BigData Team (BDT)


Гео и язык канала: Казахстан, Русский
Категория: Технологии


BigData Team: the way you learn best
Практико-ориентированное обучение по Big Data, Machine Learning, промышленной разработке на Python.
https://bigdatateam.org/ru

Связанные каналы  |  Похожие каналы

Гео и язык канала
Казахстан, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Репост из: Заметки математика-программиста, Алексей Драль
😳 Анализ обратной связи

Разбирая обратную связь от слушателей, у нас сложилось ощущение, что мы иногда чересчур... "мотивируем" в период обучения. Посмотрели на наши тесты - неужто давление? 😄

P.S. подготовка тестирований к конкурсу идем полным ходом.

#work


✍️ Интересный кейс при работе с множествами

Вы знали, что операнды Python &= и |= работают в формате _update или, как еще принято говорить в разработке, in-place? Пример кейса на скриншоте.

Emoji-голосование:
🔥 — знали
🤔 — узнали
💔 — поясните в комментариях, что за дичь со словарем творится

Полезные ссылки:
официальная документация Python
обсуждение на stackoverflow
ликбез по Computer Science (Python, Unix, Docker, ...)

BigData Team: the way you learn best
#study #python


😱🤖 Китайский ИИ отбирает работу

Что дальше?!

Благодарности за находку руководителю инфраструктуры BigData Team (прошлые находки)

BigData Team: the way you learn best
#meme


📚 Как подготовиться к техническому собеседованию

⭐️ Продолжаем делиться советами для подготовки к интервью в Big Tech. Сегодня обратим внимание на книгу, которую рекомендуют даже топовые специалисты: Cracking the Coding Interview.

Книга помогает научиться грамотно доносить свои идеи на интервью и подготовиться к его технической части, а 189 задач с разбором помогут «набить руку». Cracking the Coding Interview также предлагает закулисный взгляд автора на то, как крупные компании, вроде Meta или Google нанимают специалистов.

😊 Книга вкупе с постоянной практикой поможет подготовиться к техническому собеседованию.

BigData Team: the way your learn best
#study


Репост из: Заметки математика-программиста, Алексей Драль
😎 Опыт, гибрид человека и LLM ==> скорость работы 5x

Пока китайцы дизраптят рынок и все остальные пытаются понять, правда ли это, что state-of-the-art LLM можно обучить не за 60 млн $, а всего за $5.5M (подробности). Нам, землянам, приходится привыкать и делиться друг с другом опытом использования этих достижений.

От лирики к опыту
На прошлой неделе, в связи с подготовкой к конкурсу на гранты, нам нужно было проанализировать многолетний опыт отбора на гранты (внутренняя кухня CRM) и пользовательский опыт сдачи тестирований. Я просто в восторге афиге от современной скорости исследований и экспериментов в IT.

Если раньше нужен был толковый IT специалист и целый день, чтобы обработать данные, обучить несколько моделей машинного обучения с целью проверить гипотезы, выдвинуть новые (и повторить). То сейчас, весь цикл до получения результата умещается в несколько часов. Мне только пришлось помочь* GPT построить график по значимости факторов на основе Shapley values.

*к сожалению, библиотека SHAP в Python не всегда легко устанавливается. Например, на виртуалке, где крутился GPT агент, это сделать не удалось.

Last, but not least
Кстати, кто не в курсе, кто такой Lloyd Shapley и за что ему дали нобелевку по экономике в 2012 (видео с вручения), посмотрите очень доступное (без шуток) видео с его выступлением на 7.5 минут по ссылке (про то, как сделать максимально "справедливые", с точки зрения общества, союзы мальчиков и девочек).

Call to action
👉 те, кто хочет получить серьезный бекграунд в сфере ML - вы знаете, где нас искать 😉
👇 поделитись вашими лайфхаками оптимизации работы с помощью LLM / GPT

#work


⭐️ Мини-quiz по Spark

Ранее, мы делились с вами темами для подготовки к собеседованию на роль Data Engineer'а. Предлагаем новичкам узнать, а практикам вспомнить базовые концепты Spark:
1. Партиция (RDD partition) является единицей параллелизма X
2. Task является единицей параллелизма Y

Правильный ответ (emoji-голосование):
🔥 X - вычислений, Y - данных
👏 X - данных, Y - вычислений
❤️ если хочешь узнать в каких Spark терминах путается 40% IT-специалистов

За обсуждениями - под кат. За обучением по ссылке: практический курс по Big Data.

BigData Team: the way your learn best
#study #quiz


😅 Углубился в аналитику: вылезай, как знаешь

Мы пятнично иронизируем с чем приходится сталкиваться продуктовым аналитикам 😇 Лайки и комментарии, приветствуются.

#meme


📚📝 Head of IT Products делится опытом развития

В 2021 году Андрей Симкин, Head of IT Products в МТS Digital, проходил курсы Big Data и Python, в ходе которых он набрал “отл”, таким образом войдя в 5-10% самородков ИТ-индустрии. В 2022 году он уже присоединился к нашему профессиональному сообществу BigData Team. Андрей — частый гость наших митапов, где делится своей экспертизой и помогает слушателям осваивать сложный материал.

Со слов Андрея:
Курса по Machine Learning я ждал полтора года. Среди курсов BigData Team это один из самых нагруженных. У меня сложилось ощущение, что начинать выполнение ДЗ нужно на следующий день после того как его выложили. А так вообще всё круто, не только про этот курс. Преподавателям огромное спасибо.

💭 Кстати в следующем месяце грантники Tech Orda будут проходить последнюю часть программы Big Data / Machine Learning Engineer (BDMLE). Обратите внимание, что на курс можно записаться отдельно от полугодовой программы BDMLE и до 3 февраля действуют скидки.

#alumni #study


Мы не повышали цены для клиентов в России уже несколько лет. Тем самым мы поддерживали специалистов, которые могли столкнуться с трудностями найма в сфере IT. За время действия скидки несколько сотен человек смогли повысить свою квалификацию: кто-то устроился в Яндекс, а кто-то, проживая за рубежом, сменил профиль деятельности на Data Engineer.

Однако, с учетом волатильности рубля и роста стоимости инфраструктуры (e.g. Hadoop кластер), в РФ мы достигли нуля операционной деятельности. В связи с этим, вынуждены подкрутить гайки социальной миссии в сторону бизнесовой. Это необходимо, чтобы продолжить предоставлять конкурентные знания и поддерживать высокое качество наших программ.

🎁 По стечению обстоятельств, ровно сейчас к нам пришли друзья с социальной миссией и финансовой поддержкой, которая будет доступна гражданам любых стран. Мы согласовали ключевые цели и идеологию грантовой поддержки. В ближайшие недели, будем заниматься автоматизацией и проводить тестирование внутренних процессов.

BigData Team: the way your learn best
#work #study


✍️ Условная конструкция match case в Python

https://life.bigdatateam.org/praktichieskoie-primienieniie-uslovnoi-konstruktsii-match-case-v-python/

Как и обещали, продолжаем делиться интересными находками. Для тех кто пропустил (вангуем - почти все 😊), в Python 3.10 (What's New) появился оператор match-case. Антон, член нашего профессионального сообщества, осветил этот вопрос на блог-платформе: условная конструкция match case в Python.

Немного про Антона
Должность: Junior Software Engineer
Компания: Ozon Tech

Достижения:
🔹 Участвовал в разработке нескольких аналитических сервисов на Golang и Python. Совместно с командой довел их до стадии MVP, настроив интеграции с Airflow, Spark, Keycloak и другими внутренними сервисами через GRPC;
🔹 Оптимизировал процессы взаимодействия с базами данных (Postgres, Clickhouse), улучшив производительность и надежность.

Предыдущие статьи:
Конвертируем PDF под вашу читалку в Python

Поддержите пробу пера автора, накидайте Антону лайков.

BigData Team: the way your learn best
#life #study #python


💝 Истории замечательных людей, Александр Гущин

В первую очередь мы хотим отметить насколько сложно попасть в TOP 1% какого-либо международного рейтинга. А теперь представьте, что вам нужно попасть в ТОП 5 абсолютного рейтинга 🔥

Факт #1: Саша сделал невозможное - стал #5 в рейтинге Kaggle (в 2017-м году).

Факт #2: Если вы работаете в DS, то почти наверняка пользовались инструментами, которые Саша разрабатывал. Саша работал в роли Fullstak ML Engineer в компании Iterative AI, которая делает продукты типа DVC.

Факт #3: Совпадение? 🤔
По стечению обстоятельств, Саша, как и другие грантодатели (М.А. Ройтберг, Алексей Драль, Виктор Кантор, Эмели Драль), тоже обожает образование. Он преподает как в СНГ, так и за рубежом. В дополнение к этому он руководит подготовкой школьников к международной олимпиаде по AI (IOAI).

Bonus факт: до 10-го класса Саша жил и учился в небольшом городе Казахстана (Павлодар) 🇰🇿

Подписаться на профиль Саши можно на LinkedIn и в телеграм.

P.S. информация по доступным и распределенным именным грантам: тут

BigData Team: the way your learn best
#work #study


Репост из: Заметки математика-программиста, Алексей Драль
💝 Именные гранты на обучение, Александр Гущин

Сегодня произошло историческое событие. Мы с Александром подписали договор о грантовой поддержке в размере 40 грантов 🔥😱 на курс Big Data / Machine Learning Engineer.

Это нереально круто, когда в окружении есть люди, которые сами добились международных высот, а теперь делают социальные проекты такого масштаба.

Это независимый конкурс, который мы проводим в дополнение к конкурсу Tech Orda. И данное мероприятие не будет ограничено Казахстаном и возрастными ограничениями. Мы будем готовы взять на обучение каждого, кто сможет освоить учебную программу и кому грантовая поддержка необходима. Правила именной грантовой поддержки прежние - грант покрывает 50% стоимости обучения на курсах для развития в области Data Science (DS) или Data Engineering (DE).

Даты и дедлайны
🗓 I волна (сдача тестирования до 23:59, 26.01)
🗓 II волна (сдача тестирования до 23:59, 02.02)
🗓 III волна (сдача тестирования до 23:59, 09.02)

Обучение будет проходить с 24.02.2025 по 01.10.2025. Формат тестирования и критерии отбора мы планируем опубликовать в конце календарной недели. Проходите небольшой тест по базе Python и математики для ML, чтобы получить рекомендации по подготовке и развитию в сфере ML.

🍿 Bonus
Пока Александр в Алматы предлагаем встретиться в 19:00 в субботу (11.01). Вы сможете познакомиться с Сашей лично, узнать о его опыте, что его сподвигло на такой масштабный социальный проект, а также предложить ваши критерии Саше для отбора на гранты самых достойных.

Все анонсы будут опубликованы в официальных пабликах BigData Team и личных каналах (Александр, Алексей). Не забывайте подписываться.

❗️ Пишите под катом ваши предложения, где такие встречи (e.g. PlatformA) удобно проводить и накидывайте "+", чтобы сориентироваться по числу желающих.

P.S. также пишите, какие крутые факты вы нагуглили про Сашу, а мы на неделе опубликуем его полную копилку достижений.

BigData Team: the way your learn best
#work #study


Репост из: Заметки математика-программиста, Алексей Драль
Есть ли что-то более прекрасное, чем свобода?

Свобода очень многогранна и чем больше ее граней мы обретаем, тем более красочной становится жизнь.

На первых порах у большинства из нас не так много свобод и мы закрываем физиологические потребности и потребности в безопасности (по пирамиде Маслоу):
— свобода покупать полезные и вкусные продукты;
— свобода выбора безопасного и комфортного проживания.

Если мы не останавливаемся на достигнутом, то у нас появляется возможность обрести свободу выбора рабочего/нерабочего времени (e.g. гибкий график или частичная занятость).

Грани свободы - это не линейная последовательность достижений. Поэтому разные люди могут достигать эти этапы в разном порядке:
а) свобода выбора как и над чем работать (икигай);
б) финансовая свобода или свобода "неработы" (FIRE);
в) геополитическая свобода (свобода перемещений): свобода жизни, безопасности и визовой открытости стран для путешествий (гражданство / легализация как физ. лица, так и юридических предприятий, не говоря уже о свободе мыслить).

Под Новый Год я хочу пожелать каждому пройти свой собственный путь к познанию себя и обретению свобод. Всех с наступающим праздником! И пусть мечты сбываются!

📸 фото из октябрьского путешествия по национальным паркам Казахстана 🇰🇿

#life


✍️ Конвертируем PDF под вашу читалку в Python

Как и обещали, делимся интересными находками:
* как с помощью Python конвертировать PDF под вашу читалку

Полезные библиотеки на Python: PyPDF2

BigData Team: the way your learn best
#life #study #python


🔥 Tech Orda в 2025 — конкурсу быть!

Всего несколько часов назад закончилась информационная сессия представителей IT-школ и технопарка Astana Hub.

У нас для вас хорошие новости:
* конкурс на гранты будет
* старт отбора на гранты запланирован на май-июнь 2025

👉 Не уверен, какие знания стоит подтянуть - проходи простой тест на проф. ориентацию по базе Python для ML по ссылке.

Из чего состоит специализация Big Data / Machine Learning Engineer (BDMLE) — почитать здесь.

Истории успеха для вдохновения:
— Жанбулат, Big Data Engineer, KZ
— Ердаулет, Big Data Engineer, FAANG/MANGA
— Целые группы одни скрином: раз и два

Call to action
0. Подписывайся на паблики, чтобы не пропустить анонсы;
1. Проходи проф. ориентацию;
2. Залетай в набор для самых заряженных на обучение. Последний промокод этого года - PYTHON10 (10% скидка до конца выходных)
🗓 deadline (промокода): 22 декабря, 23:59

BigData Team: the way your learn best
#study #TechOrda


🚀 Запуск блог-платформы BigData Team

Мы искали удобный ресурс, которым можно удовлетворить потребности нашего профессионального сообщества.

1️⃣ Мы хотим публиковать статьи по:
лучшим практикам разработки
плюшкам Python
— обработке больших массивов информации (Big Data)
— особенностям работы алгоритмов машинного обучения (Machine Learning)
гибким методологиям управления проектами
— ...

2️⃣ В то же время, мы не хотим обходить стороной заметки из жизни членов сообщества, которые разбросаны по прекрасным уголкам этого света. Согласитесь, приятно увидеть фото или видео из Португалии, где ставят мировые рекорды по серфингу, и в то же время узнать о лайфхаках путешествия на другом краю света. Например, вы знали о мысе Тобизина, жемчужине острова Русский, и как туда добраться?

Решение

Для удовлетворения этих нужд мы завели собственную платформу. Здесь, вы сможете фильтровать материалы по темам, которые интересны именно вам: news, travel, study, python, ...

Уже есть как первые публикации:
👉 https://life.bigdatateam.org/lets-go/

Так и запланирован небольшой цикл по плюшкам Python. Чтобы не пропустить полезное, подписывайтесь на public'и BigData Team (tg, ig, fb, LIn).

BigData Team: the way your learn best
#work #life #study


🔜 Гранты на 2024-2025 от BigData Team и IT-друзей

💫 Чудеса случаются. В преддверии Нового Года к нам вернулись ИТ-друзья с требованием продолжить социальные активности.

Новый конкурс будет ориентирован на всех желающих попасть в сферу Data Science (DS) или Data Engineering (DE), независимо ни от возраста, ни от страны проживания. Мы хотим помочь тем, у кого есть мотивация, но не всегда хватает возможностей.

Правила прежние: грант покрывает ~50% стоимости обучения на курсах для развития в области DS / DE.

С учетом развития возможностей ИИ и участившихся случаев его использования для сдачи тестирований мы обсуждаем новые форматы для участия в конкурсе на гранты.

🆕 Track "Python friendly"

Для тех, кто уже владеет Python, один из форматов будет — качество прохождения обучения (целеустремленность в достижении результатов) и взаимодействие с другими участниками обучения (soft skils).

Для участия в этом формате достаточно в декабре записаться на первую часть МООК курса промышленной разработки на Python на 1 месяц:
👉 формат Medium

Чтобы понять актуальность данного трека конкурсного отбора мы предлагаем промокод PYTHON11, который можно конвертировать в 20% скидку до конца выходных
🗓 deadline (промокода): 15 декабря, 23:59

Final words

На фотографии — онлайн сабантуйчик, который мы провели с грантодателями и грантниками прошлого года. Повторим?

Чтобы не пропустить информацию о конкурсе, подписывайся на наши паблики (telegram, instagram, facebook, LinkedIn) и делись ссылкой с друзьями.

🎁 Больше подробностей опубликуем ближе к Новому Году.

BigData Team: the way your learn best
#life #study #work


Напоминаем,что до конца регистрации на курс Промышленной разработки на Python 2024 года осталось 3 дня!

А если строгий график мешал вам начать обучение, теперь это не проблема⬇️ Доступны новые форматы: Lite, Medium и Full, позволяющие учиться в удобное для вас время.

Успейте записаться на формат Medium со скидкой 30% до 8 декабря.

BigData Team: the way your learn best
#study


🚀 Новые форматы обучения и скидки до конца выходных

Последний запуск курса промышленной разработки на Python 2024 года стартует 4 декабря. Из-за высокого спроса осталось всего одно место во второй (дополнительной) учебной группе! Мы понимаем, что не у всех есть возможность попасть на наше обучение с экспертной поддержкой и по расписанию.

Чтобы сделать обучение доступнее мы разработали новые форматы обучения: Lite, Medium и Full. С этими форматами вы сможете начать обучение в любое время и по своему графику.

Описание и сравнение форматов доступно на сайте по ссылке. Например формат Medium содержит:
✔️ Ежемесячные старты
✔️ Доступ к видео на год
✔️ Возможность использовать Grader для проверки своих решений
✔️ кое-что еще
✔️ и конечно же сертификаты

Самое главное — до конца этой недели (2024.12.08) вы можете записаться на формат Medium со скидкой 30%! Просто укажите в комментариях "промокод PYTHON30" при подаче заявки на обучение.

✨ Не упусти свой шанс научиться писать код, как его пишут и спрашивают на собеседованиях в Amazon, Google и других ведущих технологических компаниях.

1. Лайк
2. Репост
3. 👉 Регистрация
4. ...
5. PROFIT

BigData Team: the way your learn best
#study


🇰🇿 Разница в зарплате мужчин и женщин в IT

В октябре были опубликованы данные опросов IT'шников:
— ⅓ женщины и ⅔ мужчины
— 70% респондентов из Алматы
— 20% из Астаны

Данные показывают, что в Казахстане средняя зарплата женщин ниже на 20-30%, чем зарплата мужчин на аналогичных позициях. Эти оценки сходятся с исследованиями ПРООН и данными бюро нацониальной статистики. В IT эта разница составила 30% (см. скриншот).

Является ли это уникальной ситуацией для Казахстана? Скорее нет, поскольку в среднем, по миру, на каждый заработанный доллар тенге мужчиной, женщина зарабатывает 80 центов тиын (источник).

🇺🇸 Причем США здесь будет не лучшим примером:
— темнокожие женщины зарабатывают на 30% меньше
— латиноамериканские женщины — на целых 35%

🇰🇪 Рекорды ставит Кения: женщины зарабатывают на 52% меньше мужчин.

Как вы думаете:
1. Почему так происходит?
2. Как меры доступны или могут быть полезны, чтобы исправить гендерное неравенство?

#itnews

Показано 20 последних публикаций.