Проблема одиночного рассуждения
Большие языковые модели (LLM) демонстрируют выдающиеся результаты благодаря prior knowledge и in-context reasoning. Однако подход с использованием одной модели уязвим к распространению ошибок (error propagation). Поскольку каждый следующий шаг рассуждения зависит от предыдущего, модель часто не может самостоятельно переоценить ранние выводы, создавая «слепые зоны» в логике.
Решение: Model Slicing и Collaborative Learning
Авторы работы (Yuheng Wang и соавт.) предлагают заменить одну крупную модель на набор гетерогенных (разнородных) меньших моделей при сопоставимом общем бюджете параметров. Этот процесс называется model slicing. Ключевая идея — использование различных параметризаций для независимой переоценки предыдущих шагов рассуждения.
Для обучения такому взаимодействию применяется Pyramid Supervision, которая объединяет:
- Protocol Distillation — дистилляцию протоколов взаимодействия;
- Step-level Supervision — пошаговый контроль для уточнения решений в процессе коллаборации.
Результаты и бенчмарки
Метод был протестирован на четырех категориях задач: многошаговый ответ на вопросы (multi-hop QA), математическое рассуждение, генерация кода и открытая генерация с ограничениями. Обученные гетерогенные модели показали производительность, сопоставимую или превосходящую оригинальную большую модель и существующие многоагентные базовые линии (включая методы на основе RL), при этом обеспечивая более высокую скорость инференса.
| Критерий | Одиночная LLM | Многоагентные базовые линии (RL) | Model Slices (предложенный метод) |
|---|---|---|---|
| Качество рассуждений | Уязвимо к каскадным ошибкам | Высокое | Сопоставимое или лучшее |
| Эффективность инференса | Высокая (одна модель) | Низкая (сложная координация) | Выше, чем у многоагентных систем |
| Гетерогенность | Нет | Часто да | Да (дифференцированные паттерны) |
Почему это важно
Исследование демонстрирует, что наученная коллаборация превращает гетерогенность моделей в комплементарные способности к рассуждению. Вместо того чтобы полагаться на один «мозг», система использует сильные стороны разных архитектур, что открывает путь к созданию более надежных и эффективных AI-систем без необходимости бесконечного масштабирования параметров одной модели.
Источник: arXiv cs.AI ↗