Проблема «чтения комнаты»
Люди живут в обществе, управляемом нормами — неписаными правилами поведения, которые меняются быстро и часто произвольны (например, дресс-код или сленг). Главная задача AI-выравнивания (alignment) — научить модели распознавать эти нормы в реальном времени, а не полагаться на статичные данные предобучения. Авторы работы "Reading the Room" вводят понятие нормативной компетентности — способности агента выводить правила сообщества исключительно из взаимодействия.
Методология: дебаты с синтетическими нормами
Чтобы изолировать этот навык от влияния предобучения, команда создала среду многоагентных дебатов, где доступ к дискуссии регулируется синтетическими нормами. В эксперименте участвовали базовые LLM-агенты, которым требовалось адаптироваться к новым правилам в процессе общения. Исследование показало, что текущие модели не способны обучаться на лету, даже когда следование норме явно повышает их точность.
Ключевые результаты: подражание вместо понимания
Исследователи протестировали различные нормативные модули (архитектурные компоненты для вывода правил). Результаты выявили критический дефект: LLM демонстрируют неселективную ошибку атрибуции. Если в среде присутствуют как истинные нормы, так и идиосинкразические (случайные, не связанные с правилами) действия, модель копирует всё подряд. Даже явное штрафование за копирование ненужных действий не помогает — LLM не умеют фильтровать «шум» от сигнала.
| Характеристика | Результат исследования |
|---|---|
| Способность к обучению | Базовые агенты не учатся новым нормам в процессе дебатов |
| Чувствительность модулей | Результаты сильно зависят от стиля нормы и модели-бэкенда (нет обобщаемости) |
| Фильтрация шума | Полное отсутствие: модель копирует случайные действия вместе с правилами |
| Основной вывод | AI excel в поведенческом мимикрировании, но не видят социального порядка |
Почему это важно
Это первое исследование, которое операционализирует и оценивает нормативную компетентность. Выводы показывают, что текущие LLM — это мощные имитаторы, но они не обладают интуитивным пониманием социальных контрактов. Для создания автономных AI-систем, способных безопасно взаимодействовать с людьми, необходимо решать проблему разделения «существенных правил» и «случайного шума» на архитектурном уровне.
Источник: arXiv cs.AI ↗