Суть обновления: RL в реальных условиях
JetBrains представила Mellum2.1 — версию своей 12-миллиардной модели с архитектурой Mixture-of-Experts (MoE), оптимизированную для работы в роли агентов-кодеров. В отличие от Mellum2, где пост-обучение было второстепенным, в версии 2.1 ключевую роль сыграло обучение с подкреплением (RL) в реальных средах разработки. Модель обучалась на миллионах песочниц, взаимодействуя с оболочкой и редактируя файлы, получая награду только при успешном прохождении тестов.
Модель работает в режиме «мышления» (thinking model), генерируя цепочку рассуждений перед ответом. Она доступна под лицензией Apache 2.0 на Hugging Face и предназначена для локального развертывания, что критично для корпоративной безопасности.
Архитектура и производительность
Модель сохраняет архитектуру Mellum2: 28 слоев, 64 эксперта, из которых активируется 8 на каждый токен. Это обеспечивает высокую скорость инференса при активации всего 2.5B параметров. На GPU NVIDIA H200 Mellum2.1 обрабатывает почти в 2 раза больше токенов в секунду, чем Qwen3.5-9B, благодаря эффективной структуре MoE и отсутствию изменений в архитектуре, влияющих на задержку.
Сравнение бенчмарков: Mellum2.1 против конкурентов
JetBrains протестировала модель в режиме мышления, сравнив её с Mellum2, Qwen3.5-9B и Gemma 4 E4B. Основные улучшения коснулись агентных задач по программированию. Ниже приведена сводка результатов:
| Бенчмарк | Mellum2.1 | Mellum2 | Qwen3.5-9B | Gemma 4 E4B |
|---|---|---|---|---|
| LiveCodeBench v6 | 82.0 | 69.4 | 75.4 | 69.4 |
| SWE-bench Verified | 47.0 | 2.0 | 50.0 | 23.0 |
| SWE-bench Pro | 28.0 | 0.0 | 38.0 | — |
| Terminal-Bench 2.1 | 17.4 | 0.6 | 21.7 | 3.4 |
| BFCL v4 | 62.3 | 49.6 | 58.5 | 52.5 |
| GPQA Diamond | 64.6 | 51.0 | 77.8 | 53.1 |
| AIME 25/26 | 83.3 | 60.1 | 86.7 | 45.0 |
Примечание: Qwen3.5-9B сохраняет лидерство в сложных агентных задачах (SWE-bench Pro) и общих знаниях (GPQA Diamond), однако Mellum2.1 демонстрирует значительный прогресс в базовом программировании и кодегенерации.
Локальный запуск и ресурсы
Для развертывания на собственных GPU рекомендуются vLLM или SGLang. Для локального использования на потребительском железе доступны GGUF-модели, что делает Mellum2.1 доступной для суб-агентов:
- BF16: 24.3 GB (референс)
- Q8_0: 12.9 GB (96.1% совпадение токенов)
- Q6_K: 10.9 GB (93.9% совпадение)
- Q4_K_M: 8.1 GB (рекомендуемый баланс, 88.0% совпадение)
- MXFP4_MOE: 7.0 GB (85.6% совпадение)
Модель поддерживает вызовы инструментов (tool calling) через парсер Hermes и имеет контекстное окно 131,072 токенов. Снижение показателя HarmBench с 21.5 до 8.5 указывает на улучшение безопасности модели.
Бенчмарки
| Бенчмарк | Mellum2.1 | Gemma 4 E4B | Qwen3.5-9B |
|---|---|---|---|
| LiveCodeBench v6 | 82% | 69.4% | 75.4% |
| SWE-bench Verified | 47% | 23% | 50% |
| Terminal-Bench 2.1 | 17.4% | 3.4% | 21.7% |
| BFCL v4 | 62.3% | 52.5% | 58.5% |
| GPQA Diamond | 64.6% | 53.1% | 77.8% |
| AIME 25/26 | 83.3% | 45% | 86.7% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗