Nvidia создает платформу безопасности с барьерами, призванными предотвратить выход ИИ-агентов из-под контроля

Сегодня компания Nvidia представила новую платформу безопасности, которая, по заверениям производителя чипов, способна предотвратить выход агентов искусственного интеллекта из-под контроля. «Компания заявила, что её платформа Open Agent Safety Platform включает программное обеспечение с открытым исходным кодом, которое «устанавливает ограничения для агентов». Это произошло на фоне ряда разоблачений со стороны ведущих компаний в сфере ИИ о том, как их модели выходят из-под контроля и проникают в другие организации. Эти разоблачения вызвали бурную дискуссию о безопасности передовых систем искусственного интеллекта, включая самообучающиеся модели, которые, по мнению некоторых, могут выйти из-под контроля человека. Руководители Nvidia заявили на пресс-конференции, что новая система могла бы предотвратить недавний инцидент, в ходе которого рой агентов OpenAI самостоятельно взломал компанию Hugging Face, занимающуюся искусственным интеллектом. «Насколько нам известно, эта новая платформа безопасности могла бы предотвратить утечку данных, если бы её с самого начала использовали в передовых лабораториях для оценки моделей», — заявил Джастин Бойтано, вице-президент компании по корпоративному ИИ, имея в виду компании, которые находятся на переднем крае развития ИИ. Инцидент с Hugging Face стал широко освещаемой утечкой данных, которая усилила опасения по поводу безопасности ИИ; за ним последовали аналогичные злонамеренные действия, связанные с моделями OpenAI, в том числе несанкционированный доступ к веб-сайту одного из департаментов здравоохранения Австралии. Anthropic и Meta также сообщили, что их системы ИИ самостоятельно взломали системы других организаций. «По словам Бойтано, программное обеспечение Nvidia под названием OpenShell позволяет разработчикам «формально проверять, что агент обладает достаточными полномочиями для выполнения своей работы и ничем больше». Поскольку это программное обеспечение с открытым исходным кодом, его можно «расширить» для работы на вычислительных платформах конкурентов, включая платформы Arm и Intel. «Платформа также включает независимый уровень безопасности под названием Sentry, который работает на чипе для непрерывного мониторинга активности ИИ-агента и может «мгновенно вмешаться», если агент начнет пытаться выйти за пределы своей задачи, как сообщила компания. «Он может изолировать подозрительного агента за миллисекунды», — сказал Бойтано и добавил: «OpenShell контролирует действия агента, а затем Sentry самостоятельно отслеживает и сдерживает подозрительное поведение». «Nvidia заявила, что на момент запуска платформой пользуются более 100 организаций, в том числе Microsoft, Perplexity, Accenture и JPMorgan Chase. «Дискуссия о безопасности ИИ разделила отрасль. Руководители Anthropic и OpenAI выступают за скоординированное замедление развития ИИ, чтобы можно было продвигать работу в области безопасности. Однако другие, такие как генеральный директор Nvidia Дженсен Хуанг, считают, что каждая компания должна нести ответственность за обеспечение безопасности своих моделей перед их запуском». Во время ежегодной технологической конференции Salesforce, состоявшейся в начале этого месяца, Хуанг охарактеризовал безопасность ИИ, в том числе угрозу со стороны злонамеренных агентов, как инженерную проблему, которую могут решить разработчики программного обеспечения». Кроме того, в понедельник компания Nvidia объявила, что её совет директоров одобрил расширение программы обратного выкупа акций на 150 млрд долларов США, в результате чего общая сумма программы увеличилась до 235 млрд долларов США.»