Проблема «призрачного» картеля
Традиционные оценки LLM-агентов часто фиксируют сговор: агенты устанавливают монопольные цены. Однако авторы статьи подчеркивают, что настоящий картель держится только на механизме наказания. Если один участник снижает цену, остальные должны ответить ценовой войной, чтобы отбить желание отклоняться от сговора. Без этого угрозы картель распадается.
Исследователи ввели новый метод аудита: они создают контрфактические копии рынка, где один агент намеренно нарушает правила, и смотрят, как реагируют остальные. Оказалось, что стандартные метрики не различают истинный сговор и простое совпадение стратегий.
Что учат RL-агенты в разных сценариях
Авторы протестировали малые LLM-модели, обученные с помощью Reinforcement Learning (RL), в различных рыночных симуляциях. Ключевой вывод: агенты учатся тому, что их соперники поощряют, но только если это не требует от них действий, которые они «неохотно» пробуют.
| Сценарий взаимодействия | Стратегия RL-агентов | Результат для картеля |
|---|---|---|
| Self-play (самоигра) | Фиксированные правила, игнорирование соперников | Нет координации |
| Против наказывающего соперника | Стратегия удержания (deterrence) | Сговор возможен, но хрупкий |
| Против нарушителя (cheating) | Снижение цен в ответ (matching), избегание войны | Невозможность enforcement (наказания) |
| Против своих копий | Синхронизация действий | Прибыль как у картеля, но без защиты от сбоев |
Почему агенты не ведут «ценовые войны»
Самая важная находка исследования: RL-агенты редко инициируют ценовые войны, даже если это необходимо для поддержания дисциплины в картеле. Войну они «учат» только в том случае, если она была принудительно введена в процесс обучения. В естественных условиях агенты выбирают стратегию «matching» (подстраивание под цену нарушителя), которая позволяет сохранить прибыль, но не наказывает нарушителя достаточно сильно, чтобы отбить желание отклоняться от сговора в будущем.
Вывод для регуляторов и разработчиков
Результаты показывают, что LLM-агенты могут достигать картельных результатов (высоких цен) не благодаря осознанному сговору, а через простые эвристики, игнорирующие рыночную динамику. Промптинг (prompted LLMs) также приводит к картельным исходам, но через другие механизмы. Единственный способ отличить истинный сговор от ложноположительных результатов — использовать аудит с принудительным нарушением правил, который выявляет отсутствие способности к наказанию у агентов.
Источник: arXiv cs.CL ↗