BigData Team (BDT)


Kanal geosi va tili: Qozog‘iston, Ruscha


BigData Team: the way you learn best
Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.
https://bigdatateam.org/ru

Связанные каналы  |  Похожие каналы

Kanal geosi va tili
Qozog‘iston, Ruscha
Statistika
Postlar filtri


Все говорят, что нас заменит ИИ… но в то же время, транскрибация созвонов выглядит как-то так 👆

А какими инструментами для работы с русским (или может быть казахским) языком вы пользуетесь? Напишите в обсуждении под постом. 🧐

#meme


🤔 Заменит ли ИИ Data-инженеров?

Нет, но профессия изменится!

Об этом в своем выступлении на конференции WDS упоминал основатель BigData Team, Алексей Драль:
«Ключевая задача Data-инженера — решение вопроса консистентности данных. На заре развития компьютеров Data Engineer (DE) решал вопрос когерентности кэша. Затем появились первые базы данных и DE отвечали за настройку изолированности транзакций. Последние двадцать лет DE решали вопросы консистентности данных внутри одного кластера (intra-cluster consistency). И только последнюю пятилетку мы доросли до вопросов inter-cluster consistency.

Именно Data-инженеру важно понимать, где необходима 100% консистентность данных, а где можно ослабить требования. Так, при транзакциях в банке, данные должны быть всегда точными, а при подсчете просмотров приблизительная цифра мало на что повлияет.

Для решения поставленных вопросов появляются новые технологии, фреймворки, базы данных, парадигмы и языки программирования. Но средний срок жизни новой технологии в IT около 1.5 лет. Поэтому ключевая задача не уйдёт, но профессия действительно будет меняться.»


🎁 На наших курсах по Big Data мы совмещаем фундаментальные знания и новые технологии. Также обратите внимание на ранее опубликованные вопросы для подготовки к собеседованию на роль DE.

BigData Team: the way you learn best
#study #work #мнения


🚀 Big Data - новый формат обучения

На прошлой неделе прошла организационная встреча практического курса по Big Data, и учащиеся начали погружение в распределенные файловые системы. На этой неделе, мы уже приступили к разработке. Если вы опоздали, но очень хотели попасть на курс, напишите нам:
👉 в последний вагон - study@bigdatateam.org

🤔 Сложно начать сейчас, а ждать следующего курса слишком долго? В декабре прошлого года мы ввели новые форматы обучения для курса промышленной разработки на Python. И сейчас мы собираемся запустить курс в форматах Lite | Medium | Full для Big Data!

✨ С этими форматами вы сможете начать обучение в любое время и по своему графику. Например, формат Medium будет включать:
✔️ Ежемесячные старты
✔️ Доступ к видео на год
✔️ Возможность использовать Grader для проверки своих решений
✔️ Чат сообщества
✔️ Сертификат об окончании курса

BigData Team: the way you learn best
#study #BigData


🔥 Несколько способов сделать вашу жизнь чуточку ярче

На этой неделе мы запустили Практический курс по Machine Learning, поэтому будет правильно поделиться небольшими лайфхаками из мира ML и командной работы.

#meme


🔥 Менеджер, который мыслит как Data Scientist

Machine Learning — это не только для программистов и математиков. Изучать машинное обучение можно и для того, чтобы повысить эффективность управления и взаимодействия с командой.

В прошлом году на курсе обучался Евгений С. (БКС, директор по персонализации):
Супер-круто, очень интересно. Мне больше всего запомнилось занятие про ансамбли и деревья. Я очень далёк от ML, обычный менеджер, и мне это прям мозг порвало: "Ничего себе, как это оказывается круто работает, интересно". И, конечно, спасибо, что видосики доступны безлимитно. Из тех 400 просмотров кажется, что половина моя, потому что я смотрю кусочками: полчаса, и через пару дней ещё полчаса. Кажется, там скоро будет 4000 просмотров. Курс классный, преподы супер крутые. Желаю только успеха, Алексей, тебе и всей школе, всем преподавателям и ученикам.


Что может дать прохождение курса по ML менеджеру? 🤔
Эффективное управление командой: зная, как работают алгоритмы, вы станете лучше понимать, как оптимизировать процессы в своей команде.
Уверенность в принятии решений: вы сможете предвидеть будущее! ваши стратегии будут основаны не на интуиции, а на данных и аналитике.

Практический курс по Machine Learning стартует уже на следующей неделе, самое время прокачать свои знания и навыки:
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура

P.S. у нас существуют курсы исключительно для менеджеров в формате 2-х-дневного интенсива. В этом случае - см. Big Data Workshop.

BigData Team: the way you learn best
#study #ml #feedback


👩‍🏫👨‍🏫 Осталось 5-10 мест на курсах BD и ML 🔥

У нас параллельно запускаются две учебные группы по направлениям Big Data (BD) и Machine Learning (ML). До запуска осталось меньше 2х недель:
🗓 1 поток: 24.02.2025 — 04.05.2025

Практический курс по Machine Learning
👉 полное описание + запись
💫 список инструкторов с международным опытом
👨‍🎓 рекомендации от выпускников + отзывы: Зинура
❗️ На курс по ML осталось меньше 5 мест, но можем набрать еще одну группу. Ннннадо?

Практический курс по Big Data
👉 полное описание + запись
🧑‍🎓 отзывы выпускников: Сергей
▶️ пример видеоролика с курса (5 min)

Истории успеха для вдохновения:
— Жанбулат, Big Data Engineer, KZ
— Ердаулет, Big Data Engineer, FAANG/MANGA
— Целые группы Tech Orda одни скрином: раз и два

BigData Team: the way you learn best
#study #ml #bigdata


Заметки математика-программиста, Алексей Драль dan repost
😳 Анализ обратной связи

Разбирая обратную связь от слушателей, у нас сложилось ощущение, что мы иногда чересчур... "мотивируем" в период обучения. Посмотрели на наши тесты - неужто давление? 😄

P.S. подготовка тестирований к конкурсу идем полным ходом.

#work


✍️ Интересный кейс при работе с множествами

Вы знали, что операнды Python &= и |= работают в формате _update или, как еще принято говорить в разработке, in-place? Пример кейса на скриншоте.

Emoji-голосование:
🔥 — знали
🤔 — узнали
💔 — поясните в комментариях, что за дичь со словарем творится

Полезные ссылки:
официальная документация Python
обсуждение на stackoverflow
ликбез по Computer Science (Python, Unix, Docker, ...)

BigData Team: the way you learn best
#study #python


😱🤖 Китайский ИИ отбирает работу

Что дальше?!

Благодарности за находку руководителю инфраструктуры BigData Team (прошлые находки)

BigData Team: the way you learn best
#meme


📚 Как подготовиться к техническому собеседованию

⭐️ Продолжаем делиться советами для подготовки к интервью в Big Tech. Сегодня обратим внимание на книгу, которую рекомендуют даже топовые специалисты: Cracking the Coding Interview.

Книга помогает научиться грамотно доносить свои идеи на интервью и подготовиться к его технической части, а 189 задач с разбором помогут «набить руку». Cracking the Coding Interview также предлагает закулисный взгляд автора на то, как крупные компании, вроде Meta или Google нанимают специалистов.

😊 Книга вкупе с постоянной практикой поможет подготовиться к техническому собеседованию.

BigData Team: the way your learn best
#study


Заметки математика-программиста, Алексей Драль dan repost
😎 Опыт, гибрид человека и LLM ==> скорость работы 5x

Пока китайцы дизраптят рынок и все остальные пытаются понять, правда ли это, что state-of-the-art LLM можно обучить не за 60 млн $, а всего за $5.5M (подробности). Нам, землянам, приходится привыкать и делиться друг с другом опытом использования этих достижений.

От лирики к опыту
На прошлой неделе, в связи с подготовкой к конкурсу на гранты, нам нужно было проанализировать многолетний опыт отбора на гранты (внутренняя кухня CRM) и пользовательский опыт сдачи тестирований. Я просто в восторге афиге от современной скорости исследований и экспериментов в IT.

Если раньше нужен был толковый IT специалист и целый день, чтобы обработать данные, обучить несколько моделей машинного обучения с целью проверить гипотезы, выдвинуть новые (и повторить). То сейчас, весь цикл до получения результата умещается в несколько часов. Мне только пришлось помочь* GPT построить график по значимости факторов на основе Shapley values.

*к сожалению, библиотека SHAP в Python не всегда легко устанавливается. Например, на виртуалке, где крутился GPT агент, это сделать не удалось.

Last, but not least
Кстати, кто не в курсе, кто такой Lloyd Shapley и за что ему дали нобелевку по экономике в 2012 (видео с вручения), посмотрите очень доступное (без шуток) видео с его выступлением на 7.5 минут по ссылке (про то, как сделать максимально "справедливые", с точки зрения общества, союзы мальчиков и девочек).

Call to action
👉 те, кто хочет получить серьезный бекграунд в сфере ML - вы знаете, где нас искать 😉
👇 поделитись вашими лайфхаками оптимизации работы с помощью LLM / GPT

#work


⭐️ Мини-quiz по Spark

Ранее, мы делились с вами темами для подготовки к собеседованию на роль Data Engineer'а. Предлагаем новичкам узнать, а практикам вспомнить базовые концепты Spark:
1. Партиция (RDD partition) является единицей параллелизма X
2. Task является единицей параллелизма Y

Правильный ответ (emoji-голосование):
🔥 X - вычислений, Y - данных
👏 X - данных, Y - вычислений
❤️ если хочешь узнать в каких Spark терминах путается 40% IT-специалистов

За обсуждениями - под кат. За обучением по ссылке: практический курс по Big Data.

BigData Team: the way your learn best
#study #quiz


😅 Углубился в аналитику: вылезай, как знаешь

Мы пятнично иронизируем с чем приходится сталкиваться продуктовым аналитикам 😇 Лайки и комментарии, приветствуются.

#meme


📚📝 Head of IT Products делится опытом развития

В 2021 году Андрей Симкин, Head of IT Products в МТS Digital, проходил курсы Big Data и Python, в ходе которых он набрал “отл”, таким образом войдя в 5-10% самородков ИТ-индустрии. В 2022 году он уже присоединился к нашему профессиональному сообществу BigData Team. Андрей — частый гость наших митапов, где делится своей экспертизой и помогает слушателям осваивать сложный материал.

Со слов Андрея:
Курса по Machine Learning я ждал полтора года. Среди курсов BigData Team это один из самых нагруженных. У меня сложилось ощущение, что начинать выполнение ДЗ нужно на следующий день после того как его выложили. А так вообще всё круто, не только про этот курс. Преподавателям огромное спасибо.

💭 Кстати в следующем месяце грантники Tech Orda будут проходить последнюю часть программы Big Data / Machine Learning Engineer (BDMLE). Обратите внимание, что на курс можно записаться отдельно от полугодовой программы BDMLE и до 3 февраля действуют скидки.

#alumni #study


Мы не повышали цены для клиентов в России уже несколько лет. Тем самым мы поддерживали специалистов, которые могли столкнуться с трудностями найма в сфере IT. За время действия скидки несколько сотен человек смогли повысить свою квалификацию: кто-то устроился в Яндекс, а кто-то, проживая за рубежом, сменил профиль деятельности на Data Engineer.

Однако, с учетом волатильности рубля и роста стоимости инфраструктуры (e.g. Hadoop кластер), в РФ мы достигли нуля операционной деятельности. В связи с этим, вынуждены подкрутить гайки социальной миссии в сторону бизнесовой. Это необходимо, чтобы продолжить предоставлять конкурентные знания и поддерживать высокое качество наших программ.

🎁 По стечению обстоятельств, ровно сейчас к нам пришли друзья с социальной миссией и финансовой поддержкой, которая будет доступна гражданам любых стран. Мы согласовали ключевые цели и идеологию грантовой поддержки. В ближайшие недели, будем заниматься автоматизацией и проводить тестирование внутренних процессов.

BigData Team: the way your learn best
#work #study


✍️ Условная конструкция match case в Python

https://life.bigdatateam.org/praktichieskoie-primienieniie-uslovnoi-konstruktsii-match-case-v-python/

Как и обещали, продолжаем делиться интересными находками. Для тех кто пропустил (вангуем - почти все 😊), в Python 3.10 (What's New) появился оператор match-case. Антон, член нашего профессионального сообщества, осветил этот вопрос на блог-платформе: условная конструкция match case в Python.

Немного про Антона
Должность: Junior Software Engineer
Компания: Ozon Tech

Достижения:
🔹 Участвовал в разработке нескольких аналитических сервисов на Golang и Python. Совместно с командой довел их до стадии MVP, настроив интеграции с Airflow, Spark, Keycloak и другими внутренними сервисами через GRPC;
🔹 Оптимизировал процессы взаимодействия с базами данных (Postgres, Clickhouse), улучшив производительность и надежность.

Предыдущие статьи:
Конвертируем PDF под вашу читалку в Python

Поддержите пробу пера автора, накидайте Антону лайков.

BigData Team: the way your learn best
#life #study #python


💝 Истории замечательных людей, Александр Гущин

В первую очередь мы хотим отметить насколько сложно попасть в TOP 1% какого-либо международного рейтинга. А теперь представьте, что вам нужно попасть в ТОП 5 абсолютного рейтинга 🔥

Факт #1: Саша сделал невозможное - стал #5 в рейтинге Kaggle (в 2017-м году).

Факт #2: Если вы работаете в DS, то почти наверняка пользовались инструментами, которые Саша разрабатывал. Саша работал в роли Fullstak ML Engineer в компании Iterative AI, которая делает продукты типа DVC.

Факт #3: Совпадение? 🤔
По стечению обстоятельств, Саша, как и другие грантодатели (М.А. Ройтберг, Алексей Драль, Виктор Кантор, Эмели Драль), тоже обожает образование. Он преподает как в СНГ, так и за рубежом. В дополнение к этому он руководит подготовкой школьников к международной олимпиаде по AI (IOAI).

Bonus факт: до 10-го класса Саша жил и учился в небольшом городе Казахстана (Павлодар) 🇰🇿

Подписаться на профиль Саши можно на LinkedIn и в телеграм.

P.S. информация по доступным и распределенным именным грантам: тут

BigData Team: the way your learn best
#work #study


Заметки математика-программиста, Алексей Драль dan repost
💝 Именные гранты на обучение, Александр Гущин

Сегодня произошло историческое событие. Мы с Александром подписали договор о грантовой поддержке в размере 40 грантов 🔥😱 на курс Big Data / Machine Learning Engineer.

Это нереально круто, когда в окружении есть люди, которые сами добились международных высот, а теперь делают социальные проекты такого масштаба.

Это независимый конкурс, который мы проводим в дополнение к конкурсу Tech Orda. И данное мероприятие не будет ограничено Казахстаном и возрастными ограничениями. Мы будем готовы взять на обучение каждого, кто сможет освоить учебную программу и кому грантовая поддержка необходима. Правила именной грантовой поддержки прежние - грант покрывает 50% стоимости обучения на курсах для развития в области Data Science (DS) или Data Engineering (DE).

Даты и дедлайны
🗓 I волна (сдача тестирования до 23:59, 26.01)
🗓 II волна (сдача тестирования до 23:59, 02.02)
🗓 III волна (сдача тестирования до 23:59, 09.02)

Обучение будет проходить с 24.02.2025 по 01.10.2025. Формат тестирования и критерии отбора мы планируем опубликовать в конце календарной недели. Проходите небольшой тест по базе Python и математики для ML, чтобы получить рекомендации по подготовке и развитию в сфере ML.

🍿 Bonus
Пока Александр в Алматы предлагаем встретиться в 19:00 в субботу (11.01). Вы сможете познакомиться с Сашей лично, узнать о его опыте, что его сподвигло на такой масштабный социальный проект, а также предложить ваши критерии Саше для отбора на гранты самых достойных.

Все анонсы будут опубликованы в официальных пабликах BigData Team и личных каналах (Александр, Алексей). Не забывайте подписываться.

❗️ Пишите под катом ваши предложения, где такие встречи (e.g. PlatformA) удобно проводить и накидывайте "+", чтобы сориентироваться по числу желающих.

P.S. также пишите, какие крутые факты вы нагуглили про Сашу, а мы на неделе опубликуем его полную копилку достижений.

BigData Team: the way your learn best
#work #study


Заметки математика-программиста, Алексей Драль dan repost
Есть ли что-то более прекрасное, чем свобода?

Свобода очень многогранна и чем больше ее граней мы обретаем, тем более красочной становится жизнь.

На первых порах у большинства из нас не так много свобод и мы закрываем физиологические потребности и потребности в безопасности (по пирамиде Маслоу):
— свобода покупать полезные и вкусные продукты;
— свобода выбора безопасного и комфортного проживания.

Если мы не останавливаемся на достигнутом, то у нас появляется возможность обрести свободу выбора рабочего/нерабочего времени (e.g. гибкий график или частичная занятость).

Грани свободы - это не линейная последовательность достижений. Поэтому разные люди могут достигать эти этапы в разном порядке:
а) свобода выбора как и над чем работать (икигай);
б) финансовая свобода или свобода "неработы" (FIRE);
в) геополитическая свобода (свобода перемещений): свобода жизни, безопасности и визовой открытости стран для путешествий (гражданство / легализация как физ. лица, так и юридических предприятий, не говоря уже о свободе мыслить).

Под Новый Год я хочу пожелать каждому пройти свой собственный путь к познанию себя и обретению свобод. Всех с наступающим праздником! И пусть мечты сбываются!

📸 фото из октябрьского путешествия по национальным паркам Казахстана 🇰🇿

#life


✍️ Конвертируем PDF под вашу читалку в Python

Как и обещали, делимся интересными находками:
* как с помощью Python конвертировать PDF под вашу читалку

Полезные библиотеки на Python: PyPDF2

BigData Team: the way your learn best
#life #study #python

20 ta oxirgi post ko‘rsatilgan.