6 моделей AI — это 2: Математика коррелирующих ошибок

Проблема иллюзии независимости

Классическая теорема Жюри Кондорсе (1785 г.) гласит: если каждый «голосующий» прав с вероятностью $p > 0.5$ и их решения независимы, то большинство голосов стремится к абсолютной точности. Однако в мире LLM это условие нарушается. Модели, обученные на перекрывающихся датасетах или имеющие схожую архитектуру, склонны совершать одни и те же ошибки. В результате 6 моделей могут вести себя как всего 2 независимых эксперта.

Методология: MMLU и Phi-коэффициент

Автор провёл тест на наборе данных MMLU (57 предметов, 1500 вопросов). Использовались 6 открытых моделей с параметрами от 3 до 4 млрд. Ключевая метрика — phi-коэффициент ($\varphi$), измеряющий корреляцию ошибок. Если $\varphi = 0$, ошибки независимы; если $\varphi = 1$, модели ошибаются всегда синхронно.

Эффективное количество голосов

Вместо простого подсчёта моделей вводится понятие эффективного числа голосов ($n_{eff}$). Формула учитывает корреляцию:

$n_{eff} = \frac{k}{1 + (k-1)\varphi}$

Где $k$ — количество моделей. Даже при умеренной корреляции добавление новых моделей перестает давать прирост точности, упираясь в «потолок».

Результаты: Таблица эффективности

Ниже приведены данные о том, сколько реальных «голосов» дают ансамбли при разной степени корреляции ошибок. Обратите внимание: при $\varphi = 0.3$ (умеренная корреляция) 10 моделей работают хуже, чем 3 независимых.

Вывод для разработчиков

Просто добавить больше моделей в ансамбль (voting) недостаточно. Если модели обучались на одних и тех же данных, их ошибки синхронизируются. Для повышения надежности необходимо либо использовать модели с принципиально разными архитектурами/датасетами (чтобы снизить $\varphi$), либо применять другие методы агрегации, учитывающие зависимость ошибок.

Источник: Towards Data Science ↗