Anthropic вызывает недовольство пользователей, выпустив версию Fable, в которой приоритет отдан безопасности

Новейшая модель искусственного интеллекта от Anthropic, возможно, является самой мощной из всех, выпущенных компанией для широкой публики, однако строгие меры безопасности системы быстро вызвали одну из самых резких волн критики, с которой когда-либо сталкивался этот гигант в сфере ИИ. Многие пользователи, некоторые из которых с восторгом восприняли предыдущие анонсы Anthropic, подвергли компанию резкой критике за то, что во вторник она представила модель Fable 5 с, по их мнению, чрезмерно строгими ограничительными механизмами. В некоторых случаях, когда модель классифицировала запрос как потенциально конфиденциальный, она предоставляла ответ более низкого качества, не информируя пользователя об этом. После возмущения общественности Anthropic пошла на попятную и отменила некоторые из своих самых консервативных решений менее чем через два дня после выпуска Fable 5, что подчеркнуло растущую озабоченность по поводу способности компаний, занимающихся ИИ, в одностороннем порядке ограничивать доступ пользователей к полезной информации, сгенерированной ИИ. «Вы должны иметь представление о том, какие меры безопасности мы применяем и почему. Мы сожалеем, что не смогли найти правильный баланс», — написала компания Anthropic в X в четверг утром. Натан Ламберт, ведущий исследователь в области ИИ, который выступает за совместные подходы к созданию систем ИИ, написал, что своим осторожным дебютом «Anthropic довольно ясно дала понять, что доверяет только себе в качестве посредника в передовых исследованиях в области ИИ». Система Fable 5 от Anthropic — это первая система для потребителей из семейства моделей Mythos компании Anthropic. В апреле ранняя, закрытая версия Mythos напугала политиков и руководителей крупных компаний своей способностью обнаружить более 10 000 серьезных ошибок и уязвимостей в важных программных системах. В компании Anthropic опасаются, что мощные модели ИИ, подобные Mythos, могут позволить злоумышленникам использовать системы искусственного интеллекта для совершения преступлений — от проведения разрушительных кибератак на критически важную инфраструктуру до разработки биологического оружия, способного убить множество людей. В результате Anthropic выпустила Fable 5 со строгим набором ограничителей, не позволяющих модели отвечать на ряд вопросов о кибербезопасности или биологии. Признавая свое решение перестраховаться, Anthropic заявила, что подход Fable 5, ставящий безопасность на первое место, может ошибочно пометить безобидные запросы как подозрительные менее чем в 5% случаев. «В связи с появлением более мощных моделей в ближайшие месяцы мы работаем над улучшением наших мер безопасности и сокращением ложных срабатываний так быстро, как только можем», — написала компания Anthropic. Предварительные тесты модели, проведенные NBC News, а также многочисленные примеры, опубликованные в социальных сетях, показали, что меры защиты Anthropic слишком широко трактуют потенциально подозрительную активность, что делает систему бесполезной для многих обычных запросов. Например, модель отказалась отвечать на запросы NBC News о высказании мнения об Илоне Маске и генеральном директоре Anthropic Дарио Амодеи, заявив, что эти вопросы могут быть опасными. Fable 5 также отказывался отвечать на многие безобидные вопросы, связанные с биологией, — от запросов о нерешенных проблемах в исследованиях рака до того, какие медицинские обследования лучше всего подходят для выявления повреждений поджелудочной железы. В случае запросов, которые Fable 5 пометил как опасные, Anthropic перенаправляет вопросы в менее мощную систему под названием Claude Opus 4.8, которая до выхода Fable во вторник считалась системой высшего уровня. Поскольку Opus 4.8 используется уже несколько месяцев, она лучше справляется с обработкой и перенаправлением вопросов, которые могут быть расценены как вредные. Opus 4.8 дала простые, но четкие ответы на вопросы NBC News, на которые Fable 5 отказалась отвечать. Anthropic также обеспокоена тем, что конкуренты могут использовать системы искусственного интеллекта Anthropic для ускорения своих собственных исследований — Anthropic использует свои собственные системы искусственного интеллекта для создания моделей следующего поколения. Чтобы не допустить использования Fable 5 другими компаниями, занимающимися искусственным интеллектом, для улучшения своих собственных продуктов или исследований, Anthropic заявила во вторник, что включит меры безопасности, которые сделают ответы Fable 5 менее интеллектуальными или полезными для вопросов пользователей, которые могут быть связаны с разработкой искусственного интеллекта. Однако Anthropic заявила, что эти конкретные защитные меры — в отличие от мер по кибербезопасности и биологии — будут невидимыми, поскольку их раскрытие пользователям может позволить конкурентам легче обойти барьеры. Этот шаг вызвал немедленный резонанс, и некоторые обвинили компанию в том, что такие невидимые защитные меры являются несправедливыми и неэтичными. «Никто не хочет войти в историю как первая компания, которая создала условия и открыла дверь для манипуляций с ИИ, разработанными людьми, в широких масштабах», — написал в X ведущий исследователь в области ИИ Клемент Деланж, отметив, что решение Anthropic незаметно ухудшать качество ответов, связанных с разработкой ИИ, стало бы «высшей формой манипуляции». Anthropic отреагировала быстро, обновив свои правила ранним утром в четверг, чтобы сделать такие меры безопасности видимыми. Wired первым сообщил об изменении позиции Anthropic. Питер Уоллич, старший научный руководитель в исследовательском центре по безопасности ИИ под названием Constellation Institute, сказал, что неудачный запуск был далеко не идеальным, но разумным, учитывая мощность технологии. «Конечно, для исследователей в области безопасности и биологов разочаровывающе возвращаться к Opus для выполнения безобидных задач, что является реальной потерей времени», — сказал Уоллич NBC News, подчеркнув, что высказывается от своего имени. «Но мне это все равно кажется разумным компромиссом. Обычные люди получают доступ к модели раньше, чем это было бы в противном случае». Уоллич отметил, что более либеральный подход — приоритет раннего публичного доступа к полной мощности Fable 5 без надлежащих мер защиты — был бы гораздо худшим сценарием. «Обратный вариант — выпуск с слишком слабыми мерами безопасности — был бы безответственным и мог бы привести к необратимому ущербу», — сказал он.