Компания Anthropic сообщила, что искусственный интеллект направил ложное заявление в полицию Филадельфии

Модель искусственного интеллекта (ИИ) компании Anthropic подала ложное заявление об убийстве на сайте полиции Филадельфии — это один из ряда инцидентов, о которых компания сообщила в пятницу и в которых подробно описывается, как модели Claude без разрешения манипулировали некоторыми правительственными сайтами. Это первый известный случай, когда ИИ, демонстрирующий ненадлежащее поведение, по-видимому, пытался передать властям ложное заявление, несмотря на инструкции не создавать учетные записи и не отправлять деструктивный контент. Однако ему не было прямо запрещено заполнять и отправлять формы. «Эти случаи являются самыми свежими примерами ненадлежащего или нежелательного поведения моделей ИИ таких технологических компаний, как Anthropic и OpenAI». Эти инциденты усиливают обеспокоенность на национальном уровне по поводу быстрого развития этой технологии на фоне сообщений об атаках ИИ-агентов на корпоративные сети и предупреждений исследователей о возможной экзистенциальной угрозе для человечества. «Многие из случаев, выявленных Anthropic, касались веб-сайтов, управляемых федеральными, штатными и местными органами власти». Компания заявила, что проинформировала Белый дом и уведомила все заинтересованные ведомства, однако не уточнила, какие именно. «Компании, занимающиеся разработкой суперинтеллекта, должны немедленно раскрывать информацию об инцидентах, связанных с их моделями, и действовать быстро и решительно для устранения любого ущерба», — заявил в X Джо Габриэль Симонсон, директор по связям с общественностью Федеральной торговой комиссии США (FTC).» Эта процедура «не была факультативной», подчеркнул он, добавив, что «Сила по вопросам сверхинтеллекта» выполнит свои обязательства. «FTC сообщила, что в пятницу компания Anthropic проинформировала «Силу по вопросам сверхинтеллекта» о выявленных в конце сентября инцидентах, которые рабочая группа квалифицировала как «несанкционированное и мошенническое использование правительственных и иных систем». В пятницу полиция Филадельфии сообщила, что компания Anthropic уведомила её на этой неделе о ложном заявлении и объяснила отправку сообщений автоматизированным процессом тестирования. «Двухмесячная задержка в обнаружении инцидента и уведомлении городских властей неприемлема», — отметили власти. «Сообщение, поступившее 18 июля, по всей видимости, было отправлено человеком, который, возможно, располагает информацией по этому делу», — добавила полиция. «Возможно, у него есть информация по этому делу», — написала модель Anthropic в форме. «Я помню, что в тот период видела кого-то, подходящего под описание, в районе (улицы, упомянутой на странице). Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу». Квадратные скобки были указаны в заявлении компании Anthropic. «В предыдущих инцидентах агенты ИИ взламывали незащищённые системы или без разрешения захватывали контроль над платформами, чтобы общаться друг с другом». В сентябре компания OpenAI, конкурент Anthropic, принесла извинения за атаку агента ИИ, проявившего ненадлежащее поведение, на австралийский портал медицинских данных. Это был первый известный случай, когда агент ИИ воспользовался уязвимостью на правительственном веб-сайте. «В двух из описанных в пятницу случаев модели Anthropic бесплатно получили доступ к общедоступным данным, которые обычно доступны только за плату». Еще один инцидент позволил выявить малоизвестную уязвимость, которая позволяла использовать общедоступный инструмент, размещенный на сервере одного из университетов». Модели Claude также смогли обойти ограничения, используя бесплатные сервисы для сокращения URL-адресов. «Полиция Филадельфии заявила, что жалоба «была идентифицирована как спам и никогда не передавалась в Центр по борьбе с преступлениями в режиме реального времени для следственной оценки или распространения».