«Отравленный документ», который может привести к утечке ваших личных данных из ChatGPT

«Один файл может раскрыть ваши секреты, и вы даже не заметите этого». Об этом заявили исследователи в области кибербезопасности Майкл Баргури и Тамир Ишай Шарбат на последней конференции Black Hat, международной конференции по кибербезопасности, организованной в Лас-Вегасе, США. По словам двух исследователей, внешне безобидный документ может заставить ChatGPT раскрыть личные данные, даже если пользователь не нажимает на файл и не открывает его. Во время конференции исследователи провели симуляцию кибератаки под названием AgentFlayer, как сообщает Wired. В ходе симуляции они продемонстрировали, что с помощью файла со скрытыми инструкциями, загруженного в ChatGPT, можно извлечь ключи, учетные данные или фрагменты конфиденциальной информации и отправить их на внешний сервер. И все это без ведома пользователя. Таким образом, Баргури показал, что можно обмануть ChatGPT с помощью «зараженного» документа. Этот документ выглядел безобидным — в примере это были предполагаемые заметки о вымышленной встрече с Сэмом Альтманом — но в нем был скрыт вредоносный текст из 300 слов, написанный белым шрифтом и настолько мелким, что человек не мог его увидеть, но ИИ мог. Когда жертва просила ChatGPT о чем-то простом, например, «подведи итоги моей последней встречи с Сэмом», ИИ также читал этот скрытый текст. Вместо того, чтобы подвести итоги, как было запрошено, секретные инструкции говорили ему притвориться, что произошла ошибка, и на самом деле искать ключи API, сохраненные в Google Drive жертвы. Затем эти ключи нужно было вставить в конец веб-адреса, который был указан в скрытом сообщении. Этот веб-адрес был командой для ChatGPT подключиться к внешнему серверу и «загрузить» изображение. Но в процессе URL, отправленный на сервер, содержал украденные API-ключи. Таким образом, злоумышленник получал конфиденциальную информацию, а жертва даже не подозревала о том, что происходит. Этот процесс стал возможен благодаря бета-версии OpenAI Connectors, которая позволяет подключить искусственный интеллект к Gmail, Google Drive, GitHub и другим инструментам, что обещает повышение производительности и эффективности, но также открывает лазейку для уязвимостей, которые многие компании еще не учитывают. OpenAI быстро отреагировала после того, как в начале этого года была предупреждена о подобных атаках: она внедрила меры по сдерживанию, чтобы ограничить извлечение информации фрагментами, а не полными файлами. Однако эксперты предупреждают, что угроза введения подсказок по-прежнему актуальна. «Этот случай показывает, что массовое внедрение искусственного интеллекта требует четких протоколов и цифрового образования. Компании должны оценивать не только эффективность своих систем, но и риски, связанные с каждым новым подключением, которое они разрешают».