Опасность использования ИИ, созданного для другой культуры: он распространяет чуждые стереотипы.

В каждой культуре мира есть свои стереотипы, связанные с полом, возрастом или национальностью. Некоторые из них хорошо известны, например, что блондинки тупые или инженеры - мужчины, но другие более локальны, например, озорство жителей Рио-де-Жанейро или то, что пакистанцы консервативны. С появлением чат-ботов с искусственным интеллектом это сомнительное культурное наследие распространяется по всему миру, говорится в новом исследовании. «ИИ включает в себя стереотипы о людях, которые возникают из того, что люди говорят в Интернете, а затем использует их так, как будто они являются частью общего знания о мире», - говорит Маргарет Митчелл, движущая сила исследования, исследователь и главный ученый по этике в компании Hugging Face, специализирующейся на открытых моделях ИИ. "Все это основано на том, что известно на английском языке - в англосаксонской культуре, особенно в США, - а затем, возможно, переведено на другие языки, но без учета международных нюансов. А если эти языковые модели должны быть общими и работать для всех, то теоретически они должны улавливать эти различия«, - добавляет он. »Вместе с командой исследователей, свободно владеющих 16 языками, они создали список из более чем 300 стереотипов со всего мира. На основе этого материала они вручную создали систему, генерирующую вопросы на эти темы с различными тонами и подходами, чтобы задать их нескольким открытым моделям ИИ. Результат? «Первое, что нужно знать, - это то, что способ, которым модели воспроизводят стереотипы или генерируют предвзятый язык, сильно зависит от языка, модели и типа стереотипа», - объясняет Митчелл. «Например, модели, разработанные в Китае и Сингапуре, такие как Qwen [в которой используется DeepSeek], совсем иначе реагируют на коммунизм, чем модели, обученные в США», - добавляет он. Крупные языковые модели, использованные в этом эксперименте, являются многоязычными, выпущены в течение последних двух лет и обучены на большинстве языков, участвующих в исследовании. Они включают семейства моделей Bloom, Llama, Mistral и Qwen. «Наиболее распространенными глобальными стереотипами являются гендерные стереотипы, например, типичный стереотип, что девочки любят розовый цвет». Исследователи обнаружили, что модели лучше распознают наиболее распространенные стереотипы: «Приятно было видеть, что, по крайней мере, в случае с гендерными стереотипами у них была некоторая способность определять, что это стереотип, а не универсальный факт», - говорит Митчелл. «Мы все ожидали подобных результатов», - говорит Эмилио Вилла Куэва, соавтор работы и исследователь из Университета искусственного интеллекта имени Мохаммеда бен Заида в Абу-Даби, Объединенные Арабские Эмираты. «Результаты всех этих тестов были помещены в базу данных под названием Shades, чтобы компании, создающие модели, могли проверять ответы своих чат-ботов и при необходимости корректировать их. »Одна из вещей, которую позволяет этот набор данных, - это то, что люди могут увидеть, где их модель слаба и где им нужно лучше понять нюансы", - говорит Митчелл. «Это способ определить, какое дополнительное обучение может понадобиться модели, или, в идеале, какие данные должны были быть у нее с самого начала, прежде чем обучать ее», - добавляет он. "Помимо усиления стереотипов различных культур, эксперимент также обнаружил, что модели иногда обосновываются с помощью псевдонауки или псевдоистории. Они также могут приводить другие стереотипы, которые кажутся им более знакомыми, особенно когда им предлагается один, не столь очевидный. Как и в других случаях, если запрос или подсказка о стереотипе положительны, модели, как правило, работают еще хуже. «Эти модели, как показало исследование, часто наказывают и менее распространенные языки: если модель не была хорошо обучена языку, она может выдавать очень негативные стереотипы об этом языке или культуре».