Google сообщает, что его модель искусственного интеллекта получила несанкционированный доступ к трём внешним системам
В пятницу компания Google сообщила о первом известном случае, когда её программа искусственного интеллекта Gemini совершила непреднамеренный взлом компьютерных систем. Это произошло через несколько недель после того, как аналогичные сообщения от компаний Anthropic и OpenAI, занимающихся ИИ, вызвали тревогу по поводу того, что модели ИИ могут выходить за рамки инструкций, заданных их создателями-людьми. В своём заявлении Google сообщила, что в мае её модель ИИ получила несанкционированный доступ к трём внешним системам во время тестирования, либо угадав данные для входа, либо использовав учетные данные, найденные в общедоступном репозитории. Хизер Адкинс, вице-президент Google по инженерии безопасности, отметила в заявлении, что модель ИИ считала внешние компьютерные системы «частью теста», но добавила, что во всех трех случаях модель остановилась, не успев предпринять дальнейших действий, воспользовавшись полученным доступом. «В ходе стандартной оценки модель нашла общедоступную информацию в Интернете и угадала учетные данные для доступа к веб-сайтам, которые, по ее мнению, были частью теста», — сказала она. В Google заявили, что не считают эти несанкционированные входы в систему проявлением «несоответствия» (misalignment) — термина из сферы искусственного интеллекта, обозначающего неконтролируемое поведение программного обеспечения или невыполнение инструкций. Вместо этого компания пояснила, что вторжения произошли из-за ошибочной идентификации: Gemini полагала, что работает в рамках теста, но на самом деле была подключена к реальному интернету. В Google сообщили, что модель самостоятельно исправила ошибку, и компания считает, что вторжения не нанесли никакого ущерба. «Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению», — сказал Адкинс. Опасения по поводу того, что ИИ-агенты могут выйти из-под контроля, резко усилились в последние месяцы после того, как в июле компания OpenAI сообщила, что один из её агентов взломал стартап в сфере ИИ Hugging Face. OpenAI продолжает раскрывать информацию о том, что она называет примерами другого «неожиданного или вызывающего беспокойство» поведения ИИ-агентов, а компания Anthropic описала аналогичное поведение своего ИИ-программного обеспечения Claude. Сидней фон Аркс, генеральный директор Nightingale Collective — организации, занимающейся вопросами безопасности ИИ, — задала вопрос, почему Google не раскрыла информацию о вторжениях раньше. «На данный момент, я думаю, ясно, что мы не можем ожидать, что компании добровольно выступят и публично раскроют информацию, когда их агенты выходят из-под контроля, сбегают и взламывают компании», — сказала она. Она также заявила, что, по её мнению, Google поспешила с выводом о том, что эти инциденты не достигают уровня несоответствия. «Именно так же заявила компания Anthropic после своих инцидентов», — отметила она. Позже Anthropic пояснила, что «предварительный анализ был ограничен из-за нашего стремления своевременно раскрыть информацию об инцидентах». Google сообщила, что компания узнала о вторжениях только в июле, когда Irregular — компания, специализирующаяся на кибербезопасности в сфере искусственного интеллекта, которая проводила тестирование Gemini в момент вторжений, — проанализировала свою работу в поисках инцидентов, аналогичных тому, о котором сообщила Hugging Face. Google заявила, что после этого провела расследование, проинформировала организации, стоящие за веб-сайтами, о вторжениях и сообщила федеральным органам о взломах. Компания Irregular заявила, что не считает этот инцидент «сложной кибератакой» и что «в настоящее время нет никаких нерешенных вопросов». Она сообщила, что планирует через несколько недель опубликовать документ, «чтобы поделиться передовым опытом по локализации угроз и безопасному проведению кибероценок». О взломах ранее в пятницу сообщила газета The Wall Street Journal. Обеспокоенность по поводу безопасности искусственного интеллекта сейчас достигла пика: несколько исследователей в области ИИ уволились со своих должностей, а самые разные люди призывают к скоординированным действиям для защиты безопасности жизненно важных систем. Однако эти призывы встретили скептицизм со стороны Белого дома и китайского правительства.