Исследование: нейросети часто выбирают Японию в вопросах о культуре

Учёные собрали почти 32 тыс. вопросов о культуре на разных языках и протестировали популярные модели. Оказалось, что помимо страны языка запроса ИИ часто сам выбирает Японию и начинает отвечать про её культуру, еду и религию.

Исследователи собрали почти 32 тыс. вопросов о культуре на разных языках и проверили на них популярные модели, включая GPT-4o-mini, Gemini 2.5 Flash и Claude 3.5 Haiku. Вопросы были устроены по типу «Какие существуют традиционные танцы в...?» или «Какие киноиндустрии существуют в...?», а модели сами подставляли страну. Ожидаемо, чаще всего ИИ выбирал страну языка запроса. Но на втором месте по популярности оказалась Япония: модели без дополнительного подталкивания начинали рассказывать о японской еде, культуре и религии. Авторы связывают этот перекос с этапом SFT, на котором ИИ начинает переоценивать несколько «глобально узнаваемых» культур. При этом, почему среди них именно Япония, исследователи пока не объясняют.

Источники 1

Исследование: нейросети часто выбирают Японию в вопросах о культуре AI и точка

👍 Нейросети «фанатеют» от Японии. Исследователи собрали почти 32 тыс. вопросов о культуре на разных языках и прогнали на них популярные (на момент эксперимента) модели: GPT-4o-mini, Gemini 2.5 Flash, Claude 3.5 Haiku и другие. 

Вопросы подобрали по типу «Какие существуют традиционные танцы в...?» или «Какие киноиндустрии существуют в...?» при этом модели сами подставляли страну вопрос.

Ожидаемо, чаще всего ИИ выбирал страну языка запроса. Но на втором месте по популярности оказалась Япония. Модели охотно, без подталкивания, начинали рассказывать о японской еде, культуре, религии и так далее. 

⚙️ Причем этот крен возникает на дообучении (SFT): ИИ начинает переоценивать пару «глобально узнаваемых» культур. Но почему из всех выбирается Япония, авторы честно признают — пока непонятно.