Борхес в контексте искусственного интеллекта

Тот, кто следует рекомендации Netflix посмотреть сериал «Зависть» и за один день просматривает все четыре сезона, тем самым дает системе понять, что ему сериал очень понравился, даже если он никогда не отвечал на опрос, в котором прямо спрашивалось об этом. Что касается ИИ, то современной версией перекладывания вины между свиньей и тем, кто ее кормит, кажется, является вопрос о «человеке в цикле»: степень человеческого вмешательства в автоматизированную систему, такую как алгоритмы рекомендаций сериалов и фильмов или сам ChatGPT. В одном крайнем случае система работает полностью автономно; в другом — делает именно то, что ей указывает человек. «Вопрос, который напрашивается сам собой, заключается в том, насколько то, что мы наблюдаем при взаимодействии с ИИ (фильмы, которые мы смотрим, идеи, которые мы черпаем из ChatGPT, новости, которые мы читаем), определяется системой, а насколько — нашими собственными решениями. Технический термин — reinforcement learning from human feedback (обучение с подкреплением на основе обратной связи от человека): система учится на наших реакциях, которые, в свою очередь, были сформированы самой системой, в цикле, напоминающем мем с пауками-людьми, стреляющими друг в друга». Недавний выступление на TED молодой студентки Наоми Куриэль с поразительной ясностью объясняет эту идею, которая кажется сложной, но, если ее правильно изложить, оказывается подозрительно знакомой. «Эта идея, как и следовало ожидать, не нова: это вариация старого противоречия между тем, кто на самом деле принимает решения, и тем, кто лишь полагает, что принимает их. Экономисты и менеджеры десятилетиями изучают разрыв между формальной властью и реальной властью в организациях; философы веками задаются вопросом, существует ли свобода воли. ИИ не изобрел эту проблему: он сделал ее конкретной и актуальной». Спустя 40 лет после его смерти интересно посмотреть, что по этому поводу говорил Хорхе Луис Борхес. В «Шахматах», своем знаменитом стихотворении 1960 года, Борхес говорит, что фигуры в игре «не знают, что указательная рука игрока управляет их судьбой, не знают, что алмазная строгость сдерживает их свободу воли и их путь», и завершает его пугающим вопросом: «Бог движет игроком, а тот — фигурой. Какой Бог за Богом затевает эту интригу из праха, времени, сна и агонии?» Борхес не дает ответа, возможно, потому что важно только само вопрошение. «Системы рекомендаций и автоматизированных прогнозов напоминают собаку, стремящуюся угодить своему хозяину». Дело не в том, что собака «учится притворяться мертвой», а в том, что она учится выполнять действие по команде хозяина («Притворись трупом!» — кричал Инодоро Перейра своему милому Мендиете, героям великого Роберто Фонтанарроса), который затем вознаграждает её поглаживанием или кусочком мяса. Вопрос в духе Борхеса заключается не только в том, что заставляет Мендиету реагировать, но и в том, какова сложная структура, объясняющая как поведение собаки, так и поведение ее хозяина. «Прогнозы формируют поступки своих пользователей в той же мере, в какой эти пользователи формируют прогнозы. Тому, кто способен испортить себе неделю из-за просмотра плохого фильма, подходит только консервативный прогноз «все фильмы плохие»; и ровно наоборот — тому, кто не терпит пропускать хорошие. Естественно, просмотр время от времени плохого фильма — это неизбежная цена за то, чтобы не оставаться в стороне от разговоров о хороших. Таким образом, перед одним и тем же фильмом один и тот же прогнозист будет осторожен с одним типом пользователя и авантюрен с другим, тем более если тем, кто «направляет» (обеспечивает обратную связь) прогноз, является сам пользователь: человек в цикле настраивает алгоритм и настраивается им». Очевидно, что боргеанские аллегории не исчерпываются «Шахматами». Более того, в некотором смысле почти все его творчество вращается вокруг роли судьбы и воли. В цикле «Тлон, Укбар, Орбис Тертиус» выдуманная людьми выдумка в конечном итоге заменяет реальность, в которой эти люди живут; в рассказе «Круглые руины» тот, кто мечтает о другом, обнаруживает, что сам является объектом чьей-то мечты; в «Алефе» Борхес восхищается точкой, содержащей в себе всё (во времени и пространстве), включая самого себя, созерцающего её. Менее очевидная, но столь же просветляющая связь обнаруживается в «Аналитическом языке Джона Уилкинса». В этом вдохновенном эссе Борхес задает вопрос о том, в каком смысле любой порядок неизбежно подвержен некоторой произвольности. В качестве примера: людям с целиакией удобно, чтобы в супермаркете все безглютеновые продукты были собраны вместе; но не сладкоежкам, которые хотели бы, чтобы все печенья (с глютеном или без) находились на одной полке. По этому поводу Борхес говорит, что «известно, что нет такой классификации вселенной, которая не была бы произвольной и гипотетической. Причина очень проста: мы не знаем, что такое вселенная»; то есть, в конечном счете, любая классификация зависит от того, как, по нашему мнению, устроены вещи. Другими словами, любой алгоритм, который упорядочивает (товары на полках, избирателей в различных рекламных кампаниях, гостей за столами на свадьбе), несет в себе некоторую произвольность, являющуюся результатом того, как, по нашему мнению, функционируют или должны функционировать рынки, политика или семьи. Борхес добавляет, что «невозможность проникнуть в божественный замысел вселенной не может, тем не менее, удержать нас от разработки человеческих схем, хотя мы и осознаем, что они носят временный характер». То есть алгоритм, упорядочивающий объекты или людей, изменяется человеком в цикле (рекурсивно и динамично) по мере обновления его знаний о том, как устроены вещи. «Ключевой вопрос заключается не в цикличности как таковой, а в равновесии (или его отсутствии), к которому приводит эта «свободная борьба» между людьми и машинами». В «Лотерее в Вавилоне» Борхес описывает общество, решения которого определяются случайностью, как в веселом эпизоде сериала «Теория большого взрыва», где Шелдон Купер оставляет несколько решений (купить PlayStation или Xbox) на волю бросания монеты. В более драматичной форме общество, описанное Борхесом, в конечном итоге принимает все возможные решения за своих жителей через «Компанию» — организацию, которая управляет случайностью с растущей непрозрачностью. Борхес оставляет открытым вопрос о том, существовала ли «Компания» когда-либо на самом деле или же господствующий случай — не что иное, как результат взаимодействия между системой, которая им управляет, и теми, кто ей подчиняется: снова человек в цикле, на этот раз принимающий (пассивно или активно) то, что алгоритм и случай управляют всем». Пока человек имеет право голоса в цикле ИИ, тревожное видение «Тлона» или «Лотереи в Вавилоне» кажется далекой фантастикой. Пока ChatGPT или Claude реагируют на наш ввод, как Мендиета на инструкции Инодоро Перейры, общество сохраняет часть этического и функционального контроля над алгоритмами. Вопрос, который остается открытым, заключается в том, увидим ли мы когда-нибудь, как ИИ вытеснит нас из цикла и начнет исследовать нас по собственной инициативе, как если бы дон Инодоро заметил вдали Мендиету, тренирующегося в одиночестве «давать лапку», чтобы потом похвастаться перед другими собаками деревни своими новообретенными навыками».