Проблема усреднения: скрытые потери
Слияние моделей (Model Fusion) позиционируется как способ объединить сильные стороны нескольких экспертов в одну модель. Однако существующие оценки часто маскируют серьезные потери в специфических навыках за счет хороших средних показателей. Команда исследователей во главе с Шуо Цаем (Shuo Cai) представила FusionEval — новый бенчмарк, который выявляет эти скрытые уязвимости, особенно в области рассуждений (reasoning) и использования инструментов (tool use).
Методология: контролируемые пулы экспертов
FusionEval использует контролируемые пулы экспертов, независимо обученные на базах Qwen3 и Llama. Охватываются пять ключевых областей: математика, код, наука, следование инструкциям и использование инструментов. Оценка проводится по восьми публичным бенчмаркам с учетом строгих правил доступа к данным. Метрики включают нормализованные средние и худшие показатели, время выполнения (runtime) и пиковое потребление GPU-памяти.
Ключевые результаты: дилемма Training-free vs MOPD
Эксперименты выявили четкое разделение стратегий слияния. Бездообучающие методы (training-free) отлично сохраняют способность к логическим рассуждениям, но приводят к существенной деградации навыков работы с инструментами. Напротив, метод MOPD (Multi-Objective Preference Distillation) сохраняет баланс, но требует дополнительных затрат на подготовку данных, инференс и дообучение.
| Метод слияния | Рассуждения (Reasoning) | Использование инструментов (Tool Use) | Требования к ресурсам |
|---|---|---|---|
| Training-free (без дообучения) | Сохраняется | Существенная деградация | Низкие (нет дообучения) |
| MOPD (с дообучением) | Сохраняется | Сохраняется | Высокие (данные + инференс + обучение) |
Почему это важно для индустрии
Результаты FusionEval показывают, что совместное удержание навыков рассуждения, следования инструкциям и работы с инструментами при низких вычислительных затратах остается нерешенной задачей. Для разработчиков, стремящихся к созданию эффективных гибридных моделей, это означает, что компромиссы неизбежны: либо вы жертвуете функциональностью инструментов ради скорости, либо платите за это вычислительной мощностью. Исследователи надеются, что FusionEval станет стандартом для поиска более эффективных путей слияния в будущем.
Источник: arXiv cs.CL ↗