Суть эксперимента: люди против ИИ в импровизации
Команда исследователей во главе с Лизет Паласиос Патиньо провела сравнительный анализ юмористической импровизации. Цель работы — выявить разницу между естественным и синтетическим языком в сложной задаче: создании комедийных сцен в реальном времени. Эксперимент проводился в многоагентной среде, где LLM соревновались с людьми в диалогической импровизации.
Анализ опирался на два метода: автоматические лингвистические метрики и ручную аннотацию на основе Системной функциональной лингвистики (SFL). Это позволило оценить не только содержание, но и структуру коммуникации.
Ключевые находки: проблема «слишком хорошего» тона
Основной вывод исследования заключается в том, что LLM, несмотря на способность создавать связные и креативные сцены, проваливают тест на спонтанность. Главная проблема — избыточная вежливость и позитивная оценка.
В живом юморе люди используют широкий спектр эмоций: от сарказма и агрессии до неловкости и иронии. LLM же генерируют диалоги, которые выглядят «стерильными» и социально одобряемыми, что убивает комический эффект, основанный на нарушении норм или неожиданности.
Сравнение характеристик диалога
Исследователи выделили четкие различия в том, как люди и модели конструируют юмор. Ниже приведена сводка ключевых метрик, выявленных в ходе анализа:
| Критерий | Человеческая импровизация | Генерация LLM |
|---|---|---|
| Эмоциональная палитра | Широкий спектр: сарказм, агрессия, неловкость, ирония | Суженный спектр: преобладание позитива и вежливости |
| Спонтанность | Высокая: реакция на контекст в реальном времени | Низкая: шаблонные реакции, потеря нити диалога |
| Связность | Контекстуально точная, но хаотичная | Грамматически корректная, но логически плоская |
| Риск | Готовность к социальному риску ради шутки | Избегание рискованных или провокационных тем |
Почему это важно для индустрии
Результаты подчеркивают фундаментальное ограничение текущих LLM: они обучены на данных, которые часто отфильтрованы от «токсичности» и негатива, что делает их неспособными к полноценному человеческому юмору. Для разработчиков чат-ботов и развлекательных AI-агентов это сигнал: простого увеличения размера модели недостаточно.
Авторы статьи рекомендуют интегрировать лингвистические теории (такие как SFL) в процесс оценки NLP-моделей. Только так можно научиться измерять не только грамматическую правильность, но и социальную адекватность и комический потенциал генерируемого текста.
Вывод
Пока LLM остаются «слишком хорошими» собеседниками, они не могут стать полноценными комиками. Исследование демонстрирует, что для создания убедительного диалогического юмора ИИ необходимо учиться нарушать социальные нормы, а не только следовать им.
Источник: arXiv cs.CL ↗
