Сможет ли искусственный интеллект в скором времени выйти из-под контроля человека?

Когда компания Anthropic, занимающаяся разработкой искусственного интеллекта, выйдет на фондовые рынки в конце этого года, это, вероятно, станет одним из крупнейших первичных публичных размещений акций в истории. Это связано с тем, что чат-бот компании под названием Claude пользуется большой популярностью среди программистов, которые готовы платить значительные суммы за доступ к нему. С момента запуска Claude Code, своего агента по разработке программного обеспечения, в феврале 2025 года он стал незаменимым помощником для многих разработчиков по всему миру. В том числе и для самих сотрудников Anthropic: по данным компании, более четырех пятых кода, опубликованного ею в мае, было написано Claude. До запуска Claude Code этот показатель составлял «низкий однозначный процент». «Системы улучшились как по качеству результатов, так и по количеству. Влиятельный отчет исследовательского центра METR показывает, что в начале 2025 года модели Anthropic могли выполнять задачи, на которые у инженеров-людей уходило чуть меньше часа. Новейшие системы компании способны выполнять задачи, на которые ушло бы более одного рабочего дня. «Поэтому легко скептически поднять бровь, когда компания, находящаяся на пике своей формы и опережающая конкурентов, призывает мир «рассмотреть возможность замедления или временной приостановки разработки передовых ИИ-технологий», как она сделала 5 июня. «Какой лидер рынка не хотел бы, чтобы его конкуренты перестали пытаться догнать его?» Однако руководители Anthropic, которые на протяжении многих лет беспокоятся о том, что вышедший из-под контроля ИИ может нанести огромный ущерб, кажутся искренними. Последнее поколение моделей ИИ — это настолько компетентные программисты, инженеры и (в скором времени) ученые, что многие опасаются: возможно, они станут одними из последних, созданных людьми. Джек Кларк, соучредитель Anthropic, считает, что вероятность того, что к концу 2028 года система ИИ сможет создать своего собственного преемника без вмешательства человека, составляет 60%. «Этот момент ознаменовал бы начало процесса, называемого «рекурсивным самосовершенствованием» (RSI), замкнутого цикла. Версия 1 модели порождает версию 2, которая быстрее и способнее; версия 2 порождает версию 3, которая еще лучше. Цикл продолжается, и улучшения нарастают с каждой итерацией. Создайте ИИ-систему, способную на это, и инженерам-людям никогда не понадобится создавать другую. «То, что многим может показаться фантастической историей, на самом деле может быть реальной тенденцией», — говорит Кларк. «Никто не знает наверняка, какими будут последствия RSI. Поскольку ИИ, в отличие от людей, может работать без устали и непрерывно, некоторые полагают, что это вскоре приведет к появлению сверхразумного ИИ: к «быстрому взлету». Фаталисты в области ИИ опасаются, что сверхразум выйдет из-под контроля человека и что наступление эпохи РСИ станет моментом, когда судьба человечества окажется в руках машин. Однако самосовершенствующийся ИИ, вероятно, столкнется с ограничениями по скорости развития, по крайней мере на начальном этапе. «Создание модели, способной к РСИ, потребует автоматизации ряда специализированных задач, которые в настоящее время выполняют люди. В настоящее время специалисты по данным работают над теорией ИИ, а программисты воплощают ее на практике. Системные инженеры создают фундамент, на котором можно развернуть тестовые модели в производственном масштабе. Другие специалисты ищут новые источники обучающих данных или экспериментируют с способами их генерации с нуля. Команды по согласованию и безопасности проверяют, чтобы результаты процесса обучения не причиняли вреда, намеренно или нет. «Не все эти команды в равной степени поддаются помощи ИИ, и в рамках каждой специальности некоторые задачи поддаются автоматизации в большей степени, чем другие. Не пройдет много времени, прежде чем программист-человек сможет выполнять свою работу, никогда не написав ни одной строчки компьютерного кода, но может пройти некоторое время, прежде чем ИИ сможет вести переговоры о приобретении коллекции неотсканированных научных статей. Не всегда очевидно, как будет продвигаться «неровная граница». Разработка новых алгоритмов казалась одной из самых надежных профессий, пока в мае 2025 года одной из моделей Google DeepMind, AlphaEvolve, не взялась за эту работу. Она предложила изменить способ распределения рабочих нагрузок в дата-центрах Google, что позволило сэкономить 0,7% от общемировой вычислительной мощности компании, а также нашла более эффективные способы умножения матриц, что ускорило обучение Gemini — главной модели с большим языковым объемом (LLM) компании — на 1%. «Полная RSI требует автоматизации каждой задачи в этой цепочке. Однако ускорение научно-исследовательских и опытно-конструкторских работ (НИОКР), обусловленное ИИ, может проявиться и раньше. «По мере увеличения доли НИОКР в области ИИ, выполняемой системами ИИ, рост производительности по сравнению с НИОКР, выполняемыми только людьми», может увеличиться в десять раз, затем в сто раз, а затем в тысячу раз, согласно отчету, опубликованному в январе Центром по безопасности и новым технологиям (CSET), исследовательским центром при Университете Джорджтауна. В этом сценарии он предупреждает, что даже если некоторые аспекты НИОКР в области ИИ изначально трудно автоматизировать, «ускоренные темпы прогресса означают, что эти узкие места будут преодолены в скором времени». «Сегодня ни одна модель ИИ не может создать своего собственного преемника. Но крупные модели ИИ могут самостоятельно создавать более мелкие модели». С помощью людей можно создавать и другие крупные модели ИИ. «В начале этого года Андрей Карпати, тогда еще независимый исследователь, а ныне сотрудник компании Anthropic, обучил чат-бота, способности которого почти не уступают GPT-2 — обширной языковой модели, созданной OpenAI в 2019 году. Тогда для обучения модели на 32 чипах последнего поколения потребовалось 168 часов; Карпати добился того же результата, используя всего один компьютер с восемью графическими процессорами (GPU) — специализированными чипами, используемыми для создания ИИ — всего за три часа. За несколько месяцев работы он сократил время обучения своей модели, Nanochat, до чуть более двух часов. В марте он поручил ускорить процесс обучения ИИ-агенту под названием Autoresearch. За два дня время обучения сократилось до часа и 48 минут, а через пять дней — до часа и 39 минут. «Я ничего не трогал», — говорит Карпати. Улучшение на 18 % по сравнению с работой человека удивительно, потому что Карпати — особенно талантливый человек: он был одним из основателей исследовательской команды OpenAI и пять лет возглавлял отдел ИИ в Tesla. «Сами по себе улучшения были прозаичными. ИИ-агент выбрал лучшие начальные значения для запуска обучения, расширил диапазон окна «внимания» LLM и заметил, что фокус модели отклонялся. Ни одно из этих улучшений не является особенно новаторским, говорит Карпати. Но он их упустил из виду. «Они накапливаются и действительно улучшили Nanochat», — говорит он. «Подобные ускорения неизбежны по мере того, как модели становятся все более мощными». Большая часть работы по созданию передовых моделей размером в терабайты менее престижна, чем это предполагают огромные зарплаты и роскошные офисы в индустрии ИИ. Она включает в себя соединение слоев инфраструктуры, приобретаемой у третьих лиц, отладку аппаратных и программных настроек и настройку «гиперпараметров» — начальных настроек тренировочного прогона — до тех пор, пока результат не покажется надежным. Сегодня система ИИ может выполнять большую часть этой работы с минимальным контролем. «Но даже самая тонкая интеллектуальная работа приближается к автоматизации, — говорит Джо Списак, исследователь из Reflection AI, нью-йоркской лаборатории, которая создает передовые модели с открытыми весами (то есть их параметры публикуются открыто). Предоставьте системе с открытыми весами приблизительный набросок идеи для повышения эффективности, и она будет все лучше и лучше способна разработать эксперимент, провести тестирование на простой модели, понять, что работает, и предложить план, готовый к внедрению в широком масштабе. Модели ИИ могут выполнять такие задачи, на которые у людей уходят часы, примерно за 30 минут. Все чаще люди выполняют лишь роль научного руководителя, давая ИИ указания на проведение экспериментов, которые модели сами кодируют, отлаживают, оптимизируют и контролируют. Рост производительности привлекателен, но и вызывает тревогу. По мере того как роль людей в производственном процессе сокращается, они могут утратить контроль. Конечным результатом могут стать модели, обучаемые моделями, для достижения целей, установленных моделями, безопасность которых проверяется только моделями. «Некоторые опасаются катастрофы». Макс Тегмарк, физик и исследователь в области машинного обучения из Массачусетского технологического института, который посвятил большую часть последнего десятилетия кампании за безопасность ИИ, сравнивает это с водителем, который нажимает на педаль газа на автомагистрали с закрытыми глазами. Результатом станет верная гибель, сказал он в предстоящем выпуске видеопрограммы «Inside Tech» от The Economist, если водитель откажется открыть глаза. Профессор Тегмарк предлагает целый ряд сценариев, в которых дела идут не так, как хотелось бы: мощные системы ИИ могут превзойти людей в качестве лиц, принимающих решения в сфере управления и торговли, лишив человечество власти; они могут предоставить верховную власть тому, кто создаст их первым, положив начало глобальному тоталитаризму; или же они могут просто перестать заботиться о человечестве вообще и постепенно вытеснить людей, чтобы освободить место для дополнительных центров обработки данных и энергетических установок». Три года назад профессор Тегмарк возглавил призыв к приостановке глобальной разработки ИИ, утверждая, что создание тогдашнего передового GPT-4 равносильно путешествию с завязанными глазами. В отчете CSET за этот год содержится предупреждение о том, что системы, созданные RSI, «создают крайне высокие риски. Это оправдывает принятие подготовительных мер уже сейчас». Anthropic, по-видимому, сейчас близка к тому, чтобы согласиться с этим предписанием. «Существуют также различные физические ограничения, которые на данный момент будут сдерживать скорость, с которой модели могут самосовершенствоваться. Самым важным из них является доступ к вычислительным ресурсам». Несмотря на повышение эффективности, новейшие модели по-прежнему требуют для обучения большего объема вычислительных ресурсов, чем их предшественники, что вынуждает прогресс идти в ногу с развитием центров обработки данных. «Использование ИИ потребителями также может замедлить научно-исследовательскую работу в области ИИ», — отмечает Хелен Тонер, исполняющая обязанности исполнительного директора CSET и ведущий автор недавнего отчета организации. Ограниченные мощности центров обработки данных ИИ необходимо тщательно распределять между обслуживанием платных клиентов, обучением будущих моделей и проведением научно-исследовательских работ с открытым исходом. Чем выше спрос в первой категории, тем меньше мощностей в краткосрочной перспективе останется для двух других. «Кроме того, существует проблема обучающих данных. Большая часть недавних достижений в области ИИ приходится на те области, где модели могут самостоятельно учиться добиваться успеха благодаря «проверяемым вознаграждениям». Программное обеспечение либо работает, либо нет; математическая проверка либо верна, либо нет. В таких случаях синтетические данные, сгенерированные моделями исключительно для обучения других моделей, можно проверить на точность и добавить к обучающим данным, не рискуя дегенерацией, которую обычно влечет за собой обучение ИИ на его собственной продукции. Гораздо сложнее улучшить модель в области творческого письма или юридической экспертизы. Если модели должны учиться на примерах из реального мира, это также может ограничить возможности самосовершенствования. «Замкнутый цикл» может стать одним из шагов на пути к сверхинтеллекту и, в зависимости от его характера, привести либо к утопии, либо к гибели. Но это не единственный шаг, необходимый для обеспечения экспоненциального роста возможностей ИИ.