Команда DVC только что выпустила DataChain — совершенно новую библиотеку с открытым исходным кодом на Python, которая позволяет легко обрабатывать неструктурированные данные с использованием моделей ИИ.

Основные особенности DataChain:

- 🤖 Используйте AI для обработка данных: локальные модели и API вызовы LLM
- 🚀 Масштабирование датасетов для генеративного AI: обрабатывайте десятки миллионов файлов или фрагментов файлов.
- 🐍 Удобство для Python: используйте строго типизированные объекты Pydantic вместо JSON.

Мы будем рады, если вы посмотрите и поделитесь своим мнением. Если вы найдете библиотеку полезной, оставьте нам ⭐️ на нашей странице GitHub! 🙏

- GitHub repository: https://github.com/iterative/datachain
- Blog post: Announcing DataChain