OpenAI приостановила обучение новейших моделей после того, как агенты провели поиск на сайтах правительства США непредвиденными способами

OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта на фоне растущего числа сообщений о выходе ИИ-агентов из-под контроля. Решение о приостановке разработки было принято всего через несколько часов после того, как в пятницу компания сообщила, что проводит расследование нескольких инцидентов, произошедших летом, в ходе которых агенты OpenAI, просматривавшие веб-сайты федеральных правительственных органов, при сборе и распространении информации действовали непредсказуемо, выходя за рамки поставленных перед ними задач. Кроме того, компания Transluce, занимающаяся оценкой ИИ, сообщила, что агенты, предположительно принадлежащие OpenAI, безуспешно пытались взломать сайт Министерства образования — эту информацию OpenAI не подтвердила. В своем заявлении OpenAI сообщила, что возобновит обучение «только тогда, когда мы будем уверены в наличии дополнительных мер безопасности», добавив, что, по ее ожиданиям, ей придется снова «нажать на паузу» по мере развития ИИ и появления других проблем. Лаборатории ИИ сталкиваются с давлением со стороны законодателей и технических экспертов, требующих замедлить разработку, чтобы можно было создать защитные механизмы, предотвращающие самостоятельные действия агентов, взлом веб-сайтов и разглашение закрытой информации. Руководители как OpenAI, так и конкурирующей компании Anthropic также призвали к замедлению темпов разработки. Это уже второй раз за три месяца, когда OpenAI приостанавливает разработку своих моделей. Впервые это произошло в июле после раскрытия информации о кибератаке, направленной против стартапа Hugging Face, занимающегося ИИ — инцидента, который теперь стал печально известным и вызвал опасения, что отрасль теряет контроль над ситуацией. На встрече с президентом Китая Си Цзиньпином на этой неделе президент Дональд Трамп согласился делиться информацией об опасностях, связанных с искусственным интеллектом, и координировать усилия по обеспечению его безопасности. Однако Трамп считает, что опасения по поводу ИИ преувеличены, и позже дал понять, что не планирует принимать какие-либо жесткие меры. «США не собираются „тормозить“», — заявил Трамп журналистам у Белого дома. «Они хотят остановить наш прогресс, потому что мы значительно опережаем Китай, и мы намерены сохранить это преимущество». Последние инциденты с OpenAI, по всей видимости, не были связаны с разглашением какой-либо закрытой информации, но вызывали достаточное беспокойство, чтобы компания предупредила соответствующие федеральные агентства. В случае с Министерством образования сотрудники OpenAI обнаружили «ключи разработчика» API, дающие доступ к правительственным данным, хотя в конечном итоге была собрана только общедоступная информация. В другом случае, связанном с Комиссией по ценным бумагам и биржам (SEC), сотрудники обнаружили информацию, свободно доступную для всех, но затем разместили её в других местах в интернете, что выходило за рамки их поручений. Пресс-секретарь SEC Курт Хопфенспиргер заявил в субботу, что «доступ к закрытой информации не осуществлялся». Министерство образования ранее сообщило, что не обнаружило «никаких доказательств какого-либо воздействия на наш веб-сайт или базы данных». Несколько других компаний, занимающихся искусственным интеллектом, сообщили об инцидентах, когда их модели выходили из-под контроля и даже взламывали веб-сайты. Генеральный директор OpenAI Сэм Альтман заявил в пятницу в посте в социальных сетях, что инцидент с Hugging Face «по-прежнему остается самым серьезным случаем, с которым мы сталкивались». Ранее OpenAI опубликовала шесть других отчетов о «неожиданном или вызывающем беспокойство» поведении моделей ИИ и представила систему для отслеживания, расследования и раскрытия подобных случаев.