Пристанище Дата Сайентиста


Гео и язык канала: Казахстан, Русский
Категория: Технологии


Канал Рената Алимбекова (@alimbekovkz) про карьеру, применение и обучение Data Science. Веду блог https://alimbekov.com
По вопросам рекламы на канале обращаться к менеджеру: @hey_renataa

Связанные каналы  |  Похожие каналы

Гео и язык канала
Казахстан, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Вебинар «Как начать работу с облачными технологиями VK Cloud в Казахстане»

Узнайте, как использовать облачную платформу VK Cloud в Казахстане.

Дата и время: 10 февраля, 16:00 по времени Астаны.

Мы покажем кейсы компаний из Казахстана, которые используют облачные технологии VK Cloud. Объясним, как обращаться в техподдержку и работать с платежными документами, ответим на вопросы.

О чем поговорим 
· Быстрая и безопасная миграция в облако VK Cloud. 
· Запуск цифровых проектов в облаке VK Cloud в Казахстане. 
· Соблюдение закона №94-V «О защите персональных данных». 
· Бесплатное обучение работе с облачными технологиями — базовый и продвинутый курс Cloud Native DIY. 

Отдельно разберем безопасность в облаке 
· Сертификаты ISO.  
· Настройка firewall. 
· Назначение доступов и ролей.
· Двухфакторная аутентификация. 
· Общение с командой ИБ VK Cloud в Казахстане. 

Регистрируйтесь на вебинар, чтобы научиться создавать облачные серверы, подключать базы данных, настраивать сетевые сервисы и бэкапы, работать с Kubernetes и S3-хранилищем. 

Зарегистрироваться бесплатно


Репост из: New World 🌐
Проект Stargate: новый шаг в развитии ИИ

OpenAI объявила о запуске новой компании — Stargate Project, которая в течение четырех лет планирует инвестировать 500 млрд$ в создание новой инфраструктуры для искусственного интеллекта в США.

Уже в ближайшее время будет вложено 100 млрд$ . Эта инициатива укрепит лидерство Америки в сфере ИИ, создаст сотни тысяч рабочих мест и принесет экономическую пользу всему миру.

Кроме того, проект станет ключевым элементом реиндустриализации США и обеспечит стратегическую защиту национальной безопасности Америки и её союзников.

Большая игра начинается.


Меня тут недавно для одной компании попросили провести семинар по современным инструментам ИИ в разработке ПО. Планировалось примерно 7-9 обучающихся.

К сожалению пока я готовил материал семинар сорвался.

Поэтому стало интересно, насколько этот такой семинар мог бы быть интересен как юридическим лицам так и для просто разработчиков.

Программа семинара:

День первый
- Введение в LLM
- Обзор CodeX
- Обзор GitHub Copilot
- Практика GitHub Copilot
- Решение типовых задача
- Написание Unit тестов
- Обзор других инструментов по кодогенерации
- Практика

День второй
- Prompt инжиниринг
- SQL fine-tuning
- Практика

День третий
- AI для Merge requests
- Практика

Стоимость такого семинара для юридического лица и команды 7-9 человек - 1300$

Буду рад фидбеку


Прочитал статью про новую разработку в сфере генерации изображений. Метод уже сейчас может конкурировать с популярными диффузионными моделями.
Команда Yandex Research представила подход Switti, который использует новый метод для повышения качества генерации T2I (text-to-image).

Основное и главное отличие Switti - это скорость генерации (до 7 раз быстрее) без потери качества изображений.

Исследования показали слабую зависимость самовнимания на разных масштабах, что позволило создать не-AR аналог. Эта модификация ускорила процесс генерации на ~11%, уменьшила использование памяти и улучшила качество изображений.

Было выявлено, что использование guidance на высоких разрешениях не только избыточно, но иногда снижает производительность. Отключение этой функции ускорило генерацию на ~20% и улучшило детализацию создаваемых изображений.

Еще раз хочу обратить внимание, что этот подход работает не с помощью дифузионной модели, при этом не уступает ей по качеству и сильно опережает по скорости генерации изображения как показывают числа выше. Так благодаря лаборатории Yandex Research мы получаем быстрый, качественный и возможно дешевый способ генерации изображений в своих проектах.

Демо-версия

Исходный код


Использование компанией ETL и BI-платформ говорит о том, что внутри бизнеса существует достаточно много процессов, данные о которых нужно регулярно собирать и упорядочивать.

Зачастую выгрузка этих данных носит регулярный характер - такие процессы хочется автоматизировать.

Автоматизация процессов в ETL может происходить разными способами — в том числе по расписанию, по требованию, по условию или через API.

👇👇👇
Автоматизация процессов по расписанию оптимизирует обработку данных, заранее определяя время запуска регулярных операций. Например, так можно повысить эффективность:

📉 Ежедневного обновления отчетов. Компании, которые каждый день проводят утренние планерки, должны получать актуальные данные о продажах или состоянии запасов еще до начала совещаний. Для этого можно настроить ежедневное обновление отчетности на 6:00 утра — тогда команда сможет автоматически получать свежую информацию о бизнесе, сэкономив время и человеческие ресурсы на ручном формировании отчетов.

📉 Ночных проверок системы. Для поддержания целостности данных и правильной работы журналов ошибок необходимы...читать далее

P.S. Подписывайся на тг-канал Модус, чтобы знать ещё больше об аналитике и управлении данными🙂


#llm #blog

Как ускорить LLM и снизить затраты. Edge модели

Пост в блоге

Краткое содержания блогпоста:
- RouteLLM снижает расходы на LLM в 3,6 раза, оптимизируя выбор между сильной и слабой моделью для разных запросов.
- Meta Llama 3.2 (1B и 3B параметров) — компактные модели для edge-устройств с 45-60% снижением памяти при сохранении точности.
- Ministral 3B и 8B — высокопроизводительные модели для локальных вычислений, поддерживающие контекст до 128k токенов, идеально подходят для конфиденциальных задач.


Менторство, помощь в карьере, запуск пет-проектов и поиск фриланс заказов

Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе.

Друзья, я решил запустить новый формат – профессиональное комьюнити для тех, кому хочется больше личного общения, помощи в работе и карьере. В отличие от этого публичного канала, там мы сможем пообщаться в живую и разобрать интересующие вас кейсы.

🚀Что будет в чате?
– CV ревью. Ревью ваших резюме, cover letter и профилей в линкедин
– Советы и рекомендации. Рекомендации и советы по профессиональному развитию, поиску работы и так далее
– Общение. Просто общение обо всем
– АМА сессии. АМА сессии со мной и приглашенными гостями
– Поиск фриланс заказов. Бывает так, что ко мне обращаются с каким то заказом, но в силу разных обстоятельств не могу их делать сам и готов ими поделиться
– Запуск сайд- и пет-проектов. Мини-батчи как в акселераторах, «офисные часы» с ответами на вопросы подписчиков, помощь с запуском пет-проектов.

Запуск сайд- и пет-проектов силами участников это большая и амбициозная цель: хочется сделать условия, чтобы у участников получались реальные проекты, пусть и маленькие. Кроме этого мы будем искать новые идеи пет-проектов вместе. Можно будет почувствовать на себе каково это - делать проект с нуля.

👩‍💻Кому будет чат полезен?
– Тем кто вкатывается в Data Sciencе или хочет выйти на новый уровень
– Тем, кто хочет делать стартап, но не знают, как начать
– Тем, кто хочет изучить новые технологии и найти им применение на работе

🤑Какая стоимость?
Подписка на 1 месяц стоит всего 19 Евро. Стоимость чисто символическая для тех, кому это интересно, и неподъемная для тех, кто просто мимо проходил. Верю, что выборка людей будет бомба!
– Но при оплате в октябре скидка 30% на первый месяц и вы получаете гайд по подготовке к интервью по классическому Data Science на русском и английском языках. Стоимость каждого 5$ если вы бы их покупали по отдельности
– Оплачивается все внутри Телеграма в официальном приложении Tribute

А еще вас ждет первый фриланс заказ, которым я готов поделиться =)

🧐Почему стоит купить подписку именно у меня?
– Последний год помогаю стартапам решать их ML задачи. Среди моих клиентов: ScaanzWelltechFindMyKidsUnimatchAIConformal Group и др.
– Более 6 лет был на менеджерских позициях и нанимал себе сотрудников. Занимался развитием компетенций и экспертизы в команде.
– 2 года менторил студентов Яндекс Практикума многие из которых трудоустроились в Яндекс, Билайн, AliExpress CIS, X5, Kaspi, и др.
– Я сам искал работу/ проекты/ заказы и не раз.

👉Оплатить подписку со скидкой: https://t.me/tribute/app?startapp=sf1a

💵 А если вам не нужна подписка и вы просто хотите поддержать канал — жмите сюда

Если есть вопросы, то всегда мне можно написать или тут в комментах


Митап для NLP специалистов от Beeline Kazakhstan и QazCode | 24.10.2024, 17:00 | Almaty

Я и мои бывшие коллеги из QazCode, Big Data Team Beeline соберемся подискутировать о языковых моделях!

Beksultan Sagyndyk поделится свежими трендами в NLP и расскажет, как казахский язык интегрируется в эпоху LLM. Бексултан - один из тех, кто разрабатывает ИИ на казахском в Beeline Казахстан и QazCode.

А после останемся на обсуждение применения NLP в бизнесе: как применять LLMs в реальных кейсах. Расскажу о кейсах, которые я накопил за более чем год фриланс и консалтинг деятельности.

Дата: 24.10, 17:00
Место проведения: DAR U, Коктем-2, 22, 4 этаж

Мероприятие бесплатное, но количество мест ограничено, регистрация по ссылке


#llm #blog

Трендовые статьи по Large Language Model

Пост в блоге

Краткое содержания блогпоста:
- самокоррекция в LLM через обучение с подкреплением: Google Deepmind предложили инновационный подход для повышения способности больших языковых моделей (LLM) к самокоррекции.
- квантование LLM для выполнения инструкций: Было установлено, что методы квантования существенно влияют на производительность LLM. Ключевое наблюдение – квантование моделей с большими параметрами (405B) часто дает лучшие результаты.
- память в LLM: Было доказано, что LLM обладают памятью, а архитектура Transformer выполняет функцию аппроксимации входных данных, демонстрируя «память Шрёдингера», которая активируется входными данными.
- Logic-of-Thought для улучшения рассуждений LLM: Новый подход Logic-of-Thought (LoT) показал значительное улучшение производительности LLM на задачах логического рассуждения, в частности, на наборах данных ReClor, LogiQA и ProofWriter.

Пост в блоге


#llm #blog

Основные тенденции в развитии рассуждений LLM

Решил вместо трех маленьких постов сюда в телеграм канал сделать один большой пост про  тенденции в развитии рассуждений LLM.

Краткое содержания блогпоста:
- Chain of Thought (CoT) – это техника, которая значительно улучшает производительность в задачах, связанных с математикой и логикой, благодаря добавлению промежуточных шагов рассуждений. CoT может применяться избирательно, что позволяет сохранять вычислительную эффективность.
- Diagram of Thought (DoT) – предлагает новый способ структурирования рассуждений через направленные ациклические графы (DAG). Это позволяет моделям выходить за рамки линейных или древовидных рассуждений, охватывая более сложные и строгие логические выводы.
- Iteration of Thought (IoT) – внедряет динамический процесс корректировки рассуждений через агент внутреннего диалога. В отличие от жёстких процессов CoT и DoT, IoT адаптируется к промежуточным результатам, позволяя моделям точнее уточнять ответы на сложные вопросы.

Ссылка на блог пост


#llm #blog

Все новое из мира Large Language Model

За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).

Собрал все в один пост в своем блоге

Там вы найдете информацию про новые версии Gemini, новую модель DataGemma от Google, супер новинку Llama 3.2 с возможностями Computer Vision

Всем приятного чтения: https://alimbekov.com/%d0%b2%d1%81%d0%b5-%d0%bd%d0%be%d0%b2%d0%be%d0%b5-%d0%b8%d0%b7-%d0%bc%d0%b8%d1%80%d0%b0-large-language-model/


Материалы с курса ML System Design

Два моих хороших товарища Mikhail Rozhkov и Alexander Guschin выложили в открытый доступ материалы по ML System Design курсу в HARBOUR.SPACE в git

C Мишей мне довелось поработать над курсом MLOps для Data Science и разработки ML моделей, а с Сашей часто общаемся по самым разным вопросам =)

Так же советую ознакомиться с постом на medium

И подписаться на канал Саши в телеграме


#llm

Галлюцинации LLM

Вы слышали про галлюцинации у LLM моделей?
Очень много работ и техник пытаются решить эту проблему

Но вот совсем недавно вышла статья утверждающая, что структурные галлюцинации никогда не могут быть устранены из LLM. И это независимо от модели, RAG, или мер защиты/постобработки.

Термин структурные галлюцинации вводится именно в этой статье.

Авторы проводят анализ опираясь на теорию вычислений и первую теорему Гёделя о неполноте, которая касается неразрешимости задач, таких как задачи остановки, пустоты и принятия.

Авторы утверждают, что на всех этапах процесса работы LLM — от составления обучающих данных до поиска фактов, классификации намерений и генерации текста — существует ненулевая вероятность появления галлюцинаций.

Действительно ли от галлюцинаций у LLM моделей не возможно избавиться? Как вы думаете?


#LLM

Могут ли LLM придумывать новые идеи для рисерча?

Как показала статья от исследователей из Стэнфорда да могут.

По результатам статьи выявлено, что идеи, сгенерированные LLM, оцениваются как более новаторские (p < 0.05), чем идеи экспертов-людей.
Однако их гибкость была оценена несколько ниже.

Также сообщается, что LLM испытывают нехватку разнообразия в процессе генерации идей и не являются надежными оценщиками.

Статья


Building A Generative AI Platform

Chip Huyen - автор книги по Machine Learning Systems Design, выпустила пост с описанием построения Generative AI Platform.

Читается за несколько часов, очень подробно раскрыты темы с RAG, кэшем, метрками, логированием и много другого.

Рекомендую к прочтению

3k 0 74 3 30

Кофе для автора ☕️
Нравится канал? Поддержите автора, угостив чашкой кофе. Больше энергии — больше контента!


Prompt engineering от Anthropic

Вышло интересное видео, где ребята из Anthropic дают практические советы по промпт-инжинирингу и рассуждают об эволюции и будущем промпт-инжиниринга.

Еще у них вышел хороший мануал
В нем очень круто описаны с примерами:
- multishot prompting
- chain of thought prompting
- сhain complex prompts
- long context prompting tips


#llm

Ризонинг подвезли!

Не могу пройти мимо новинки от OpenAI o1. Модель уже по полной бьет все бенчмарки.

По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего. 

Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.

Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов.
Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.

Подробнее про o1 можно почитать тут

Посмотреть как кодит тут


#llm

RAG и Long-Context LLMs

В ранних версиях LLM модели с RAG были надежным решением для создания ответов на основе контекста.

С появлением long-context LLM, которые могут работать с гораздо более длинными текстами, RAG стал менее популярным, так как новые модели часто превосходят его в задачах с большим контекстом.

В новой статье от NVIDIA сообщается, что при слишком длинном контексте LLM теряют фокус на важной информации, что снижает качество ответов. В статье предлагается новый механизм, называемый OP-RAG (Order-Preserve Retrieval-Augmented Generation), который улучшает работу RAG за счёт сохранения порядка полученных фрагментов данных, что помогает достичь более высокого качества ответов.

Эксперименты на публичных бенчмарках (например, En.QA dataset) показали, что OP-RAG может превзойти современные длинноконтекстные модели без использования RAG, демонстрируя лучшую точность и качество ответов.

Ссылка на статью



Показано 20 последних публикаций.