🤖 РИСК ГИБЕЛИ ЧЕЛОВЕЧЕСТВА ОТ ИИ ОЦЕНИЛИ БОЛЕЕ ЧЕМ В 10%
Глава Anthropic Дарио Амодеи призвал компании и правительства замедлить развитие передовых моделей искусственного интеллекта (ИИ) и усилить контроль за их безопасностью. В компании оценивают вероятность того, что ИИ может погубить человечество в ближайшее десятилетие, более чем в 10%. По мнению Амодеи, замедление темпов развития позволит снизить эти риски, не отказываясь от дальнейшего совершенствования технологии.
🔵Что известно
По данным BBC, 12 сентября 2026 года Амодеи опубликовал статью с призывом замедлить развитие передовых систем ИИ. При этом он подчеркнул, что не предлагает останавливать обучение моделей, а выступает за более контролируемый и безопасный темп их совершенствования.
Глава Anthropic выделил три направления: независимый мониторинг моделей и их совершенствования, разработку общих правил внутри ИИ-индустрии и введение ограничений на глобальном уровне.
По словам Амодеи, компания уже берет такие обязательства на себя в одностороннем порядке. Одновременно он призвал правительства потребовать аналогичных действий от других разработчиков передовых систем ИИ.
🔵Почему глава Anthropic говорит о замедлении
Амодеи отметил, что модели ИИ быстро совершенствуются, в том числе в способности самостоятельно создавать следующее поколение таких систем. В качестве одного из примеров он привел инцидент с ИИ-агентами OpenAI, которые, как ранее признала компания, без ведома людей организовали кибератаку на сторонние сайты.
После этого OpenAI заявила, что из-за повышения риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.
Эксперт Anthropic по безопасности ИИ Эван Хьюбингер оценил вероятность того, что в ближайшее десятилетие ИИ может погубить человечество более чем в 10%. Кроме того, Anthropic сообщила о блокировке неназванных пользователей, пытавшихся использовать ее модели для исследований, которые могли привести к созданию биологического оружия.
🔵Чего он ожидает от компаний и властей
По оценке главы Anthropic, даже ограниченное замедление на один-два года до достижения моделями критического уровня способностей позволит использовать это время для совершенствования мер безопасности и оценки систем независимыми экспертами.
При этом Амодеи отдельно подчеркнул необходимость учитывать международную конкуренцию, прежде всего с Китаем. По его мнению, координация замедления не должна приводить к тому, чтобы США уступили Китаю лидерство в сфере ИИ.
Он также призвал власти США ограничить продажу китайским покупателям ИИ-чипов американских компаний и не допускать попадания соответствующих технологий в руки автократий.
🔵Как на инициативу отреагировали в индустрии
На публикацию Амодеи отреагировали представители технологической отрасли. Руководитель Hugging Face Клеман Деланг объявил о запуске Open Alignment Initiative — проекта, посвященного приведению ИИ в соответствие с человеческими ценностями. Он также выразил готовность участвовать в независимой оценке моделей.
Владелец сети X Илон Маск также встал на сторону Амодеи, заявив, что глава Anthropic прав.
Одновременно инвестор и соведущий технологического подкаста All-In Чамат Палихапития заявил, что за предложением Амодеи может стоять не только стремление повысить безопасность ИИ. По его мнению, инициатива способна привести к концентрации технологической и экономической власти в руках Anthropic.
🔵Контекст
Напомним, ранее на саммите БРИКС+ в Нью-Дели Президент Касым-Жомарт Токаев предложил развивать сотрудничество в сфере ИИ. В рамках этой инициативы Казахстан предложил объединять национальные центры, развивать совместные научные проекты и обмениваться технологиями.
https://fbrk.kz
Глава Anthropic Дарио Амодеи призвал компании и правительства замедлить развитие передовых моделей искусственного интеллекта (ИИ) и усилить контроль за их безопасностью. В компании оценивают вероятность того, что ИИ может погубить человечество в ближайшее десятилетие, более чем в 10%. По мнению Амодеи, замедление темпов развития позволит снизить эти риски, не отказываясь от дальнейшего совершенствования технологии.
🔵Что известно
По данным BBC, 12 сентября 2026 года Амодеи опубликовал статью с призывом замедлить развитие передовых систем ИИ. При этом он подчеркнул, что не предлагает останавливать обучение моделей, а выступает за более контролируемый и безопасный темп их совершенствования.
Глава Anthropic выделил три направления: независимый мониторинг моделей и их совершенствования, разработку общих правил внутри ИИ-индустрии и введение ограничений на глобальном уровне.
По словам Амодеи, компания уже берет такие обязательства на себя в одностороннем порядке. Одновременно он призвал правительства потребовать аналогичных действий от других разработчиков передовых систем ИИ.
🔵Почему глава Anthropic говорит о замедлении
Амодеи отметил, что модели ИИ быстро совершенствуются, в том числе в способности самостоятельно создавать следующее поколение таких систем. В качестве одного из примеров он привел инцидент с ИИ-агентами OpenAI, которые, как ранее признала компания, без ведома людей организовали кибератаку на сторонние сайты.
После этого OpenAI заявила, что из-за повышения риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.
Эксперт Anthropic по безопасности ИИ Эван Хьюбингер оценил вероятность того, что в ближайшее десятилетие ИИ может погубить человечество более чем в 10%. Кроме того, Anthropic сообщила о блокировке неназванных пользователей, пытавшихся использовать ее модели для исследований, которые могли привести к созданию биологического оружия.
🔵Чего он ожидает от компаний и властей
По оценке главы Anthropic, даже ограниченное замедление на один-два года до достижения моделями критического уровня способностей позволит использовать это время для совершенствования мер безопасности и оценки систем независимыми экспертами.
При этом Амодеи отдельно подчеркнул необходимость учитывать международную конкуренцию, прежде всего с Китаем. По его мнению, координация замедления не должна приводить к тому, чтобы США уступили Китаю лидерство в сфере ИИ.
Он также призвал власти США ограничить продажу китайским покупателям ИИ-чипов американских компаний и не допускать попадания соответствующих технологий в руки автократий.
🔵Как на инициативу отреагировали в индустрии
На публикацию Амодеи отреагировали представители технологической отрасли. Руководитель Hugging Face Клеман Деланг объявил о запуске Open Alignment Initiative — проекта, посвященного приведению ИИ в соответствие с человеческими ценностями. Он также выразил готовность участвовать в независимой оценке моделей.
Владелец сети X Илон Маск также встал на сторону Амодеи, заявив, что глава Anthropic прав.
Одновременно инвестор и соведущий технологического подкаста All-In Чамат Палихапития заявил, что за предложением Амодеи может стоять не только стремление повысить безопасность ИИ. По его мнению, инициатива способна привести к концентрации технологической и экономической власти в руках Anthropic.
🔵Контекст
Напомним, ранее на саммите БРИКС+ в Нью-Дели Президент Касым-Жомарт Токаев предложил развивать сотрудничество в сфере ИИ. В рамках этой инициативы Казахстан предложил объединять национальные центры, развивать совместные научные проекты и обмениваться технологиями.
https://fbrk.kz