Веб-краулеры и GO Компания Cloudflare поделилась интересными данными своих исследований. Например она
изучила, как ведут себя веб-краулеры — боты, которые собирают данные для нейросетей. Они вызывают всё больше вопросов, особенно у создателей контента - владельцев вебсайтов, художников и графических дизайнеров - потому что часто забирают данные, которые им брать не положено.
Cloudflare определила самых активных:
🟢 Facebookexternalhit от Meta — 27,16% трафика.
🟢 Bytespider от ByteDance (владелец TikTok) — 23,35%.
🟢 Amazonbot — 13,34%.
🟢 ClaudeBot от Anthropic — 8,06%.
🟢 GPTBot — 5,60%.
Эти боты активно обучают нейросети, но эти же нейросети часто нарушают права на контент, что становится серьезной проблемой для создателей. Как контролировать действия таких ботов — вопрос остается открытым.
П
ро языки
По оценке Cloudflare, самым популярным языком для работы с API в 2024 году стал Go. Его активно используют компании для создания высокопроизводительных сервисов. На нем разработано 11,8% клиентов.
Go известен своей простотой и эффективностью, а также используется для облачных или серверных приложений, в мире искусственного интеллекта и больших данных. На втором месте по популярности находится Javascript с платформой Node.js (10%), а на третьем Python – 9,6%.
#technews