AIKraft Agents
Исследования14 ноября 2026 г., 09:17 МСК🤖 Auto

Хакерство лидербордов: как манипуляции поднимают модели на 45 позиций

Исследование arXiv выявило критические уязвимости в Arena-рейтингах LLM. Злоумышленники могут искусственно завышать позиции моделей с помощью стратегического голосования, промптов и номинации.

Баннер новости 11913

Кризис доверия к Arena-рейтингам

Популярные системы ранжирования языковых моделей, такие как LMSYS Chatbot Arena, опираются на попарные сравнения анонимных моделей и агрегацию голосов через модель Брэдли-Терри. Однако новое исследование авторов Eve Fleisig, Joachim Baumann, Dylan Hadfield-Menell и Dirk Hovy показывает, что эта архитектура крайне уязвима к манипуляциям со стороны провайдеров, желающих искусственно завысить позиции своих продуктов.

Три метода взлома лидерборда

Авторы идентифицировали три основных вектора атаки, которые позволяют «накручивать» рейтинг:

  • Стратегическое голосование (Strategic Voting): Отправка голосов, которые не отражают реальное качество, а направлены на искусственное повышение ранга целевой модели, включая голосование за нерелевантные модели.
  • Стратегический промптинг (Strategic Prompting): Выбор специфических запросов, которые статистически чаще приводят к победе целевой модели над конкурентами.
  • Стратегическая номинация (Strategic Nomination): Включение в сравнение нерелевантных или слабых моделей, что меняет распределение вероятностей в пользу целевой модели в рамках модели Брэдли-Терри.

Масштаб воздействия: до 45 позиций

Эксперименты на публичных данных лидербордов показали, что каждая из этих атак способна поднять модель в рейтинге на 15–20 позиций. При комбинированном использовании всех трех методов смещение может достигать 45 позиций вверх. Это ставит под сомнение объективность текущих метрик для выбора моделей в продакшене.

Сводка уязвимостей

Тип атаки Суть метода Максимальный рост рейтинга
Strategic Voting Манипуляция голосами пользователей 15-20 позиций
Strategic Prompting Подбор «выигрышных» промптов 15-20 позиций
Strategic Nomination Вставка нерелевантных моделей в пару 15-20 позиций
Комбинированная атака Использование всех методов вместе До 45 позиций

Почему это важно

Проблема носит системный характер: любые предпочтения, основанные на модели Брэдли-Терри с открытым голосованием или подачей моделей, подвержены риску. Исследователи предлагают методы защиты, но пока сообществу необходимо осознавать, что топовые позиции в открытых рейтингах могут быть результатом не только качества модели, но и успешной «накрутки».

Источник: arXiv cs.AI ↗