Кризис доверия к Arena-рейтингам
Популярные системы ранжирования языковых моделей, такие как LMSYS Chatbot Arena, опираются на попарные сравнения анонимных моделей и агрегацию голосов через модель Брэдли-Терри. Однако новое исследование авторов Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell и Dirk Hovy показывает, что эта архитектура крайне уязвима к манипуляциям со стороны провайдеров, желающих искусственно завысить позиции своих продуктов.
Три метода взлома лидерборда
Авторы идентифицировали три основных вектора атаки, которые позволяют «накручивать» рейтинг:
- Стратегическое голосование (Strategic Voting): Отправка голосов, которые не отражают реальное качество, а направлены на искусственное повышение ранга целевой модели, включая голосование за нерелевантные модели.
- Стратегический промптинг (Strategic Prompting): Выбор специфических запросов, которые статистически чаще приводят к победе целевой модели над конкурентами.
- Стратегическая номинация (Strategic Nomination): Включение в сравнение нерелевантных или слабых моделей, что меняет распределение вероятностей в пользу целевой модели в рамках модели Брэдли-Терри.
Масштаб воздействия: до 45 позиций
Эксперименты на публичных данных лидербордов показали, что каждая из этих атак способна поднять модель в рейтинге на 15–20 позиций. При комбинированном использовании всех трех методов смещение может достигать 45 позиций вверх. Это ставит под сомнение объективность текущих метрик для выбора моделей в продакшене.
Сводка уязвимостей
| Тип атаки | Суть метода | Максимальный рост рейтинга |
|---|---|---|
| Strategic Voting | Манипуляция голосами пользователей | 15-20 позиций |
| Strategic Prompting | Подбор «выигрышных» промптов | 15-20 позиций |
| Strategic Nomination | Вставка нерелевантных моделей в пару | 15-20 позиций |
| Комбинированная атака | Использование всех методов вместе | До 45 позиций |
Почему это важно
Проблема носит системный характер: любые предпочтения, основанные на модели Брэдли-Терри с открытым голосованием или подачей моделей, подвержены риску. Исследователи предлагают методы защиты, но пока сообществу необходимо осознавать, что топовые позиции в открытых рейтингах могут быть результатом не только качества модели, но и успешной «накрутки».
Источник: arXiv cs.AI ↗
