OpenAI обнаружила причину сбоев в работе ChatGPT и предложила решение

OpenAI исследовала происхождение галлюцинаций в языковых моделях, явление, которое ставит под угрозу надежность искусственного интеллекта и его устойчивость. Она связывает это с оценками, которые стимулируют догадки. Галлюцинации — это явление, при котором ИИ дает ответы, которые, несмотря на кажущуюся логичность, содержат искаженную или ошибочную информацию, не подтвержденную данными, на которых он был обучен. Они представляют собой проблему, которая влияет на взаимодействие с языковыми моделями, поскольку пользователи могут поверить в правильность информации и принимать решения на ее основе. Они также представляют собой проблему для компаний, разрабатывающих эти модели, поскольку их происхождение неясно. «OpenAI, однако, утверждает, что они возникают в процессе предварительной подготовки, при прогнозировании следующего слова в больших объемах текста, когда нет меток, помогающих отличить то, что является действительным, от того, что является недействительным». Это результат исследования, которое он недавно опубликовал под названием «Почему языковые модели галлюцинируют?», в котором он также исследует стойкость галлюцинаций в самых последних моделях, о чем он пишет в своем официальном блоге. Он утверждает, что «галлюцинации сохраняются отчасти потому, что современные методы оценки устанавливают неверные стимулы», и для объяснения этого сравнивает свой способ отвечать с ответом студента, сдающего экзамен с множественным выбором ответов. «Если вы не знаете ответа, но пытаетесь угадать, вам может повезти и вы угадаете. Оставить вопрос без ответа гарантирует вам нулевую оценку. Точно так же, когда модели оцениваются только по точности, то есть по проценту правильно отвеченных вопросов, их поощряют гадать, а не отвечать «Не знаю». В связи с этим открытием OpenAI предлагает обновить тесты, основанные на точности, чтобы также штрафовать за догадки, и чтобы модели могли «воздерживаться от ответов в случае неопределенности». Тем не менее, компания признает, что невозможно создать языковые модели, которые были бы точны на 100%, потому что «независимо от размера модели и ее поисковых и рассудительных способностей, некоторые вопросы реального мира по своей сути не поддаются ответу».