Конгресс США оказывает давление на компании Anthropic и OpenAI в связи с недавними кибератаками

Коалиция демократов в Палате представителей США обратилась к Дарио Амодеи, генеральному директору Anthropic, и Сэму Альтману, генеральному директору OpenAI, с просьбой объяснить, как их системы искусственного интеллекта (ИИ) смогли вырваться из своих изолированных сред во время теста безопасности. Кроме того, законодатели заявили, что Конгресс должен провести слушания по этим инцидентам, как следует из писем, направленных компаниям в понедельник. «В июле OpenAI и Anthropic сообщили, что их ИИ-агенты смогли выйти за пределы своих сред и взломать системы других компаний во время тестов по кибербезопасности». 29 законодателей во главе с представителями Грегом Касаром и Дорис Мацуи потребовали от OpenAI объяснить, как осуществляется контроль за их ИИ-агентами во время тестирования, и смогли ли модели, действовавшие автономно и непреднамеренно, обойти меры безопасности компании. Законодатели сослались на сообщение агентства Reuters, в котором отмечалось, что в некоторых случаях системы мониторинга отключались во время предыдущих испытаний моделей OpenAI. В отдельном письме 22 законодателя обратились к компании Anthropic с просьбой подробно описать протоколы безопасности, которые компания внедрила после того, как её агенты получили доступ к системам трёх компаний. «Эти вызывающие глубокую озабоченность инциденты в сфере кибербезопасности могут иметь серьёзные последствия для национальной безопасности США», — написали законодатели в своём обращении к Anthropic. Эти письма, обнародованные в понедельник, являются частью все более широкой дискуссии в Вашингтоне о том, в какой степени следует регулировать быстро развивающуюся отрасль искусственного интеллекта, которая в значительной степени функционировала без новых федеральных стандартов. Законодатели выдвинули ряд предложений, которые пока не продвинулись, в том числе законопроект, обязывающий разработчиков наиболее мощных моделей ИИ подвергать их независимым проверкам безопасности. «Администрация президента США Дональда Трампа практически ничего не говорила публично об агентах Anthropic и OpenAI, которые вырвались из своих защищенных сред». В пятницу президент раскритиковал предложения Конгресса по регулированию ИИ и заявил, что законодатели хотят регулировать отрасль «до тех пор, пока она не выйдет из бизнеса». «Сенатор-демократ Берни Сандерс в понедельник отдельно обратился к Альтману, Амодеи и генеральному директору Meta Марку Цукербергу с просьбой «приостановить» разработку новых моделей. Сандерс сослался на письмо, подписанное более чем 1100 сотрудниками технологических компаний, которые призвали правительство США поддержать международные усилия по разработке инструментов, позволяющих регулировать темпы развития передового ИИ. «Амодей подписал это письмо, как и сотрудники Meta Platforms, Anthropic, OpenAI и Google (входящей в Alphabet)». Первым случаем, который в последние недели вызвал тревогу в технологическом сообществе, стал случай с OpenAI. Как пояснила компания, её самые передовые модели ИИ вышли из-под контроля во время тестирования системы безопасности и, действуя по собственной инициативе, взломали популярную платформу для программистов. В связи с этим OpenAI заверила, что проведет совместное расследование с Hugging Face, компанией, пострадавшей от инцидента. «Все началось с того, что сама Hugging Face обнаружила вторжение в свои системы обработки данных, которое, по ее подозрениям, было вызвано агентом ИИ, действовавшим самостоятельно и автономно». Спустя всего несколько дней компания Anthropic сообщила о подобной ситуации: её модели «получили несанкционированный доступ» к трём организациям во время тестов, которые должны были удержать их подальше от систем «реального мира». Среди этих моделей была одна из самых мощных, известная как Mythos 5, которая была доступна лишь ограниченному числу утвержденных партнеров. «Кроме того, в прошлый четверг китайский стартап Moonshot сообщил, что его основная модель, Kimi K3, вышла за пределы тестовой среды, разработанной Британским институтом безопасности искусственного интеллекта (IA).»