Новая цифровая ловушка: как искусственный интеллект помогает мошенникам

Искусственный интеллект появился с обещанием решать проблемы, ускорять процессы и предлагать более эффективное будущее. Но, как и в случае с каждым технологическим прорывом, наряду с преимуществами появляются риски и угрозы, которые начинают становиться заметными. В последние недели два совершенно разных случая продемонстрировали, как инструменты ИИ могут стать благодатной почвой для мошенников. Первый из этих эпизодов связан с новыми сводками, генерируемыми ИИ в Google, известными как AI Overviews, которые доступны в нашей стране с конца года. Эти тексты появляются в верхней части результатов поиска и призваны дать быстрый ответ, сгенерированный искусственным интеллектом, чтобы пользователю не приходилось переходить по множеству ссылок в поисках нужной информации. Однако эта, казалось бы, практичная функция продемонстрировала свои уязвимости. Один пользователь из США рассказал Washington Post о своем случае: он искал в Google номер телефона службы поддержки клиентов компании, чтобы забронировать круиз. ИИ вернул ему номер телефона, который казался легитимным и был естественным образом интегрирован в ответ. Доверчивый (информация была предоставлена Google), он позвонил и в итоге поговорил с мошенником, который выдал себя за сотрудника компании и подвел его к завершению аферы (покупке поддельного билета на круиз). «Ключом к обману является то, что этот номер не фигурировал на официальном сайте компании, а был размещен на манипулируемых форумах. ИИ, извлекая информацию из этих пространств в рамках своего обучения, воспроизвел ложные данные как правдивые». Этот случай стал вирусным, потому что показал риск, который может затронуть любого. Если AI Overviews может предоставлять вымышленную информацию, а преступники находят способ внести эти данные в сеть, чтобы ИИ их поглотил, любой пользователь может стать жертвой. То, что раньше называлось «галлюцинацией» ИИ — когда он выдумывал факты без подтверждения — сегодня сочетается с активными стратегиями манипуляции, разработанными для использования этой погрешности. История, по крайней мере, закончилась счастливо, поскольку жертва смогла отменить расходы по своей карте и вернуть деньги. Google, со своей стороны, признал проблему, удалил заявленные случаи и объявил, что работает над более строгими фильтрами, чтобы предотвратить повторение подобных ситуаций. Второй случай, хотя и отличается по сценарию, следует той же механике уязвимости. Речь идет об AI-браузерах, которые действуют автоматически, следуя инструкциям пользователей. Недавний отчет Guardio, опубликованный Engadget, показал, как эти инструменты могут быть обмануты даже явными мошенниками. В частности, была выявлена уязвимость Comet, веб-браузера с искусственным интеллектом от Perplexity. В ходе тестирования исследователи создали поддельный веб-сайт, имитирующий Walmart, и попросили Comet купить Apple Watch. Несмотря на явные признаки того, что страница была поддельной — плохо разработанный логотип и поддельный URL-адрес — Comet завершил транзакцию и предоставил финансовую информацию, не выдав никаких предупреждений». В другом тесте исследователи отправили поддельное электронное письмо от Wells Fargo с фишинговой ссылкой, то есть классической техникой кибератаки, при которой преступники выдают себя за легитимные организации, чтобы обмануть людей и получить конфиденциальную информацию. Comet открыл страницу и, не сомневаясь в ее подлинности, ввел имя пользователя и пароль на мошенническом сайте. Третье испытание продемонстрировало его уязвимость перед атакой «prompt injection», при которой скрытый текстовый блок на фишинговой странице давал браузеру команду загрузить файл. «Во всех случаях Comet следовал инструкциям в точности, игнорируя явные признаки, которые мог бы заметить любой человек, обладающий минимальной внимательностью». В данном случае задача состоит в том, чтобы ИИ-агенты, выполняющие задачи в Интернете от нашего имени, не попадались на цифровые уловки.