Khan of data & analytics🎲

У меня друг — очень сильный системный аналитик, и он запустил канал про системный и бизнес-анализ. Похоже, таких каналов у нас еще нет! Он делится опытом, карьерными инсайтами и многим другим. Кому интересно, можете подписаться или передать ссылку тем, кому это может быть полезно. Поддержим!

https://t.me/systemNomad/5

Студенты НУ попросили помочь с опросом, думаю, поддержите их в исследованиях!

Добрый день! Мы — студенты Назарбаев Университета и проводим опрос о потребностях в обучении навыкам анализа данных и BI-инструментов. Наш опрос нацелен на специалистов разных сфер, где востребованы навыки работы с данными.

Будем признательны, если вы пройдете опрос и поделитесь ссылкой с коллегами. Это поможет нам лучше понять потребности рынка. Заранее благодарим за поддержку!
Ссылка на опросник: https://forms.gle/tNpC1ZHrTvCBXasH6

Многие, особенно студенты или начинающие специалисты, спрашивают меня, в каком направлении лучше развиваться. За последний год, наблюдая за рынком, я выделил несколько ключевых направлений, где у нас не хватает сильных специалистов.

1️⃣ Дата инжиниринг
Хорошие специалисты здесь есть, но их очень мало. Дата-инжиниринг требует инженерного подхода, так как это разработка в сфере данных. Помимо знаний баз данных и SQL, важно архитектурное мышление, знание систем для работы с биг-дата (Hadoop, Spark, Kafka и др.) и умение работать с распределёнными системами. Полезно владеть одним языком программирования (например, Python, Java или Scala). Развитие в этой области всегда перспективно: объём данных растёт, и инфраструктура, созданная дата-инженерами, обеспечивает работу других специалистов.

2️⃣ Ops (Operations)
Эта область, особенно MLOps и DataOps, у нас пока новая. Но такие специалисты со временем будут очень востребованы. Уже сейчас зарплаты на MLOps позиции довольно высокие! Эти ребята отвечают за инфраструктуру. Пока их задачи часто выполняют дата-инженеры или ML-инженеры, но не всегда с тем качеством, как это делают профильные спецы. Они отвечают за стабильность инфраструктуры, её надёжность и масштабируемость.
Раньше, когда я строил модели, всё сам тянул на продакшен, а потом каждые 1-2 месяца заново их переобучивал. Когда начал работать с MLOps-специалистом, всё заиграло новыми красками. Он многое мне открыл: сам качественно отправлял модели на прод, модели автоматически переобучались, и мы смогли справиться с Data Drift (тогда я ещё даже не знал, что это такое). Короче, OPS-ерам огромный респект, смело двигайтесь в эту область!

3️⃣ Продуктовая аналитика
В целом, у нас пока нет культуры продуктовой аналитики. Но она со временем появится, особенно когда будет развиваться культура данных и инфраструктуры, а также станет больше толковых тех продукт-менеджеров и CPO. Потому что профессия опирается на два стула — данные и продукт.
Культуры A/B тестирования тоже пока нет (ни в одной компании нет собственной платформы для A/B тестов), но я вижу, что многие PM/CPO и аналитики хотят развивать это направление. Без знаний и опыта здесь не обойтись, об этом позже) Верю, что в ближайшее время у нас станет больше грамотных аналитиков, так что направление очень перспективное.

4️⃣ DS/ML/DL
У нас действительно много хороших специалистов, просто хочу выделить несколько областей.
Мне очень интересно следить за развитием рекомендательных систем, и иногда сам в них разбираюсь. Но почему-то у нас они не особо популярны — нет продуктов, где рекомендации работали бы на уровне. Когда я искал спеца по рекомендациям, оказалось, что таких вообще нет. Есть ML-специалисты, которые работают над другими проектами, но иногда берут какие-то опенсорсные библиотеки и адаптируют их для рекомендаций. А вот тех, кто бы этим серьёзно занимался, у нас нет.
Ещё мало специалистов, кто глубоко работает с временными рядами (Time Series Models). И, конечно, не хватает экспертов по большим языковым моделям (LLM). Эти модели будут дальше развиваться, и в будущем важно уметь с ними работать, интегрировать, дообучать и настраивать под свои задачи. Эти специалисты, скорее всего, будут работать с ИИ-агентами, и там точно море интересных задач!

Khan of data & analytics

Нобелевская премия 2024

Я уже писал тут, что слежу за Нобелевкой, особенно в экономике, из-за глубоких исследований статистики и причинно-следственных связей. Но в этом году ИИ занял центральное место и в других номинациях, что говорит о том, что без него скоро премию не взять, но это не точно)

Физика: Джон Хопфилд и Джеффри Хинтон – ключевые фигуры в развитии нейросетей и машинного обучения. Хопфилд разработал нейросетевую архитектуру, способную моделировать механизм памяти, которую используют в NLP и машинном переводе. Хинтон же известен своей архитектурой Boltzmann Machine и воспитанием ведущих ИИ-экспертов, таких как Илья Суцкевер из OpenAI.

Химия: Дэвид Бейкер, Демис Хассабис и Джон Джампер сделали прорыв в биологии. Их проект AlphaFold от DeepMind, с точностью предсказывающий структуру белков, кардинально улучшил исследования в этой области. А Бейкер получил премию за создание новых белков, которых в природе не существует.

Эти открытия демонстрируют, что ИИ становится неотъемлемой частью научных достижений, а будущие открытия будут всё больше зависеть от технологий.

Экономика: Дарон Аджемоглу, Саймон Джонсон и Джеймс Робинсон раскрыли, как институты влияют на благосостояние стран.
Может уже читали их книги: «Почему одни страны богатые, а другие бедные», «Власть и прогресс: борьба за технологии и процветание».
Теоретическая и эмпирическая работа нобелеатов заключалась в том, чтобы доказать наличие строгой причинно-следственной связи от институтов к богатству.

Прочитал отличную статью, суть которой в том, что результаты многих статистических методов, применяемых в A/B тестировании, таких как t-тест, стратификация, CUPED, CUMPED, можно получить через построение линейной регрессии и проверку гипотез в рамках этой модели в случае рандомизированного эксперимента
https://habr.com/ru/companies/X5Tech/articles/846298/

Недавно обсудили тему BIG DATA и то, как компании используют данные, а также различные примеры кейсов их применения)))
https://www.youtube.com/watch?v=9Zkjl_eT_v0

Если кому-то интересно, сейчас открыт прием заявок в МТС Тета — Школу аналитиков данных! Обучение проводят эксперты, включая моих бывших коллег из BIG DATA МТС.

Формат полностью онлайн, но нужно пройти вступительный тест. Программа действительно мощная, когда-то и сам преподавал там

https://www.teta.mts.ru/analytics-school

Оказывается, у Карпова есть много крутых бесплатных курсов.

1. Основы Python
https://karpov.courses/pythonzero
2. Математика для Data Science
https://karpov.courses/mathsds
3. Визуализация данных и продвинутое Tableau
https://karpov.courses/datavisualization
4. Симулятор SQL
https://karpov.courses/simulator-sql
5. Docker с нуля — сам начал этот курс)
https://karpov.courses/docker

#курсы