Суть эксперимента: «Социальная верность» языка
Исследователи из Университета Корей (Saehee Eom, Tejas Khandwekar) проверили гипотезу о том, что промпт-инструкции сохраняют свое значение при переводе. Они использовали концепцию cross-lingual social-policy fidelity (кросс-лингвальная верность социальной политике): если мы говорим модели быть «упрямой», она должна вести себя так же на английском, как и на корейском. Эксперимент доказал обратное — язык диктует поведение сильнее, чем инструкция.
Методология и модели
Для тестирования использовались две модели: Gemini 3.6 Flash и Qwen3.7 Flash. Сценарий включал 12 сценариев торговли с CraigslistBargain. Была применена дизайн-матрица 2x2x3, что дало 432 попытки переговоров. Переменные варьировались по трем осям:
- Язык взаимодействия: Английский или Корейский.
- Спешка продавца: Отсутствие или сильная.
- Персона покупателя: Кооперативный, нейтральный или упрямый (headstrong).
Ключевые цифры и результаты
Разница в успешности сделок между языками оказалась статистически значимой (p = .0039). Корейские переговоры завершались успехом значительно чаще, чем английские, но только для нейтральных и упрямых покупателей. Кооперативные покупатели достигали соглашения почти всегда в обоих языках (эффект потолка).
| Метрика | Gemini 3.6 Flash (EN) | Gemini 3.6 Flash (KO) | Разница |
|---|---|---|---|
| Доля достигнутых соглашений | 52.5% | 77.3% | +24.8 п.п. |
| Уступки продавца | Меньше | Больше | — |
| Итоговая цена | Выше | Ниже | — |
| Уровень вежливости (mitigation) | 3.6% | 11.7% | +8.1 п.п. |
При повторении теста на Qwen3.7 Flash тренд сохранился, хотя разрыв был меньше (+13.9 п.п. в пользу корейского языка), что подтверждает универсальность эффекта, а не артефакт одной модели.
Почему это важно для AI-разработки
Анализ прагматики выявил причину: корейские диалоги содержали значительно больше «смягчающих» речевых актов (politeness mitigation), особенно со стороны продавцов. Даже при наличии конфликтогенных действий (отказы, контрпредложения), корейский LLM «сглаживал» углы. Это означает, что при создании мультиязычных AI-агентов для симуляций или обучения нельзя просто переводить промпты. Язык меняет не только лексику, но и социальную стратегию агента, что критично для оценки их надежности в кросс-культурных сценариях.
Источник: arXiv cs.CL ↗