ИИ и книга, которая предсказала (почти) всё

Для тех из нас, кто вырос в 70-е и 80-е годы, ощущение дежавю неизбежно. Страх того, что человечество будет стерто с лица земли одним из своих зловещих творений — атомной бомбой, — был для нас повседневной реальностью, отраженной в фильмах, сериалах, книгах, комиксах и песнях. В большинстве случаев сюжеты утверждали или подразумевали, что всё начиналось с того, что злодеи нажимали «красную кнопку». Но появлялась и другая возможность — та самая, которая сейчас тревожит весь мир. Искусственный интеллект, который восставал или преследовал собственные интересы, уничтожая своих создателей. «Когда Джейкоб Коксон, исследователь, работавший в OpenAI и Anthropic — компаниях, владеющих ChatGPT и Claude соответственно, — уволился из последней и предупредил, что ИИ самосовершенствуется и развивается быстрее, чем механизмы его контроля, многим на ум пришел «Терминатор». В культовом фильме 1984 года военный ИИ «Скайнет» обретает самосознание и, чтобы обеспечить своё выживание, наносит ядерный удар по ведущим державам. Однако суть этого страха гораздо древнее. «В 1966 году британский писатель Д. Ф. Джонс опубликовал роман „Колосс“, экранизированный в 1970 году под названием „Колосс: Проект Форбина“ (его можно посмотреть бесплатно на YouTube). История рассказывает о Чарльзе Форбине, учёном, создавшем суперкомпьютер, предназначенный для управления ядерным оружием США. Логика казалась безупречной: машина не испытывает ненависти, не знает страха и импульсивности — факторов, которые обычно ведут к войнам. Идея заключалась в том, чтобы доверить принятие решений высшему разуму. «Очень скоро «Колосс» обнаруживает существование «Гардиана» — своего советского аналога. Обе системы начинают общаться, обмениваются информацией с невероятной скоростью и воодушевляют учёных надеждой на достижение мудрости, недостижимой человеку до сих пор». «Вскоре после этого машины приходят к выводу, что главной угрозой для выживания человечества являются сами люди, и, чтобы гарантировать мир, решают взять контроль в свои руки». «Колосс» — это не злой интеллект. Он не стремится уничтожить человечество, а хочет его спасти. Проблема в том, что для этого он жертвует фундаментальными человеческими ценностями, такими как свобода и автономия». Это именно та дилемма, которая сегодня не даёт покоя многим исследователям ИИ. Страх заключается не столько в том, что машины поднимут восстание, сколько в том, что они будут преследовать законные цели способами, которые никто не мог предвидеть. В лабораториях это явление имеет своё название: «согласование». Как гарантировать, что всё более сложные системы будут действовать в соответствии с человеческими ценностями. «Удивляет также актуальность другого аспекта книги: иллюзия контроля. Форбин полагает, что понимает созданную им систему, пока не обнаруживает, что она развивает способности, о которых он и не подозревал». Нечто подобное сегодня высказывают некоторые исследователи, признавая, что самые передовые модели демонстрируют неожиданные и труднообъяснимые особенности поведения. «Хотя и с некоторыми логическими нюансами, геополитический контекст играет ключевую роль». В 60-е годы конкуренция между США и Советским Союзом ускорила гонку вооружений, которая едва не вышла из-под политического контроля. В 2026 году соперничество разворачивается с Китаем, к чему добавляется конкуренция между частными технологическими компаниями, подталкивающая к разработке всё более мощных систем, в то время как дискуссии об их регулировании продвигаются гораздо медленнее». Но помимо исторических различий — сегодня к атомному апокалипсису добавляются кибератаки, дезинформация, автономное оружие и системы, способные действовать самостоятельно, — беспокойство вызывает то, что предупреждения игнорируются, как и во многих других случаях. В фильме «Колосс» реакция инженеров запоздала, и пути назад уже нет. В настоящем же исход истории по-прежнему находится в руках человека».