JetBrains Mellum2.1: Открытый AI-агент для кода с 2.5B активных параметров

В мире генеративного искусственного интеллекта, где гонка за параметрами часто затмевает практическую пользу, компания JetBrains делает ставку на эффективность и специализацию. Недавно они представили Mellum2.1 — новую версию своей открытой модели, специально разработанной для работы с кодом и создания AI-агентов. Это не просто еще одна языковая модель; это инструмент, который понимает контекст разработки, умеет редактировать файлы, запускать тесты и самостоятельно исправлять ошибки. В отличие от универсальных гигантов, Mellum2.1 фокусируется на узкой, но критически важной задаче: помощи разработчикам в написании и поддержке программного обеспечения.

Что особенно примечательно в этом релизе, так это архитектурный подход. Mellum2.1 использует архитектуру Mixture-of-Experts (MoE) с 12 миллиардами общих параметров, но активирует лишь 2.5 миллиарда на каждый токен. Это обеспечивает впечатляющую скорость работы и позволяет запускать модель на относительно скромном оборудовании, включая локальные GPU. Модель распространяется под лицензией Apache 2.0, что делает её доступной для коммерческого использования и интеграции в корпоративные среды. В этой статье мы подробно разберем, как работает Mellum2.1, как она обучалась в реальных условиях и почему она может стать ключевым компонентом в стеке инструментов современного разработчика.

01Что такое Mellum2.1 и зачем она нужна?

Mellum2.1 — это эволюция модели Mellum2 Thinking, которая была открыта в июне 2026 года. Основная цель создания этой модели — предоставление разработчикам мощного, но легковесного «рабочего агента» (agent worker). В отличие от простых чат-ботов, которые лишь отвечают на вопросы, Mellum2.1 спроектирована так, чтобы активно взаимодействовать с кодовой базой. Она может исследовать репозиторий, вносить изменения в файлы, проверять их с помощью тестов и корректировать свои действия на основе обратной связи.

Модель позиционируется для трех основных сценариев использования:

• Агент-работник (Agent Worker): Автоматизация рутинных задач по написанию кода, рефакторингу и исправлению багов.
• Помощник для общих рассуждений: Решение сложных логических и математических задач, требующих пошагового анализа.
• Локальное развертывание: Возможность запуска на собственных серверах или даже на рабочих станциях разработчиков, что гарантирует конфиденциальность кода и данных.

Ключевым отличием Mellum2.1 от предыдущей версии является не изменение архитектуры, а радикально новый подход к обучению. Почти все улучшения достигнуты за счет усиления обучения с подкреплением (Reinforcement Learning, RL) в реалистичных средах разработки. Это позволило модели научиться не просто генерировать текст, а понимать последствия своих действий в контексте программного проекта.

02Архитектура: Как работает MoE для максимальной скорости

Архитектура Mellum2.1 построена на принципах эффективности. Модель имеет 28 слоев и 64 эксперта (experts). Однако, в отличие от плотных моделей, где все параметры участвуют в обработке каждого токена, Mellum2.1 использует механизм маршрутизации, который активирует только 8 экспертов из 64 для каждого обрабатываемого токена. Это означает, что при общем объеме в 12 миллиардов параметров, вычислительная нагрузка эквивалентна модели с 2.5 миллиардами активных параметров.

Детали архитектуры включают:

• Grouped-Query Attention (GQA): Используется 32 заголовка запросов (query heads) и 4 заголовка ключей/значений (KV heads). Это снижает нагрузку на память и ускоряет генерацию.
• Скользящее окно (Sliding Window): Три из четырех слоев используют окно размером 1024 токена. Это позволяет модели эффективно обрабатывать длинные контексты, фокусируясь на локальных зависимостях, что критично для анализа кода.
• Контекстное окно: Поддерживается длина до 131,072 токенов, что позволяет загружать целые файлы или небольшие проекты.
• Словарь: Размер словаря составляет 98,304 токена, оптимизированный для кода и технических терминов.

Все веса модели представлены в формате bfloat16, что обеспечивает баланс между точностью вычислений и использованием памяти. Такая архитектура делает Mellum2.1 идеальной кандидатурой для задач, требующих высокой пропускной способности, таких как генерация кода в реальном времени.

03Обучение в «боевых условиях»: Роль Reinforcement Learning

Самое интересное в Mellum2.1 — это процесс пост-обучения (post-training). JetBrains перенесла обучение с подкреплением (RL) из финального этапа в основную часть тренировочного процесса. Раньше RL использовался для тонкой настройки, теперь же оно является двигателем улучшения модели.

Для обучения были отобраны и очищены данные из реальных сред:

• Математика и программирование: Задачи из конкурентного программирования и научных вычислений.
• Использование инструментов (Tool Use): Обучение модели взаимодействовать с внешними API и утилитами.
• Инженерия ПО: Это ключевая область. Модель обучалась в реальных репозиториях, имея доступ к оболочке (shell) и инструментам редактирования файлов. Она получала вознаграждение (reward) только в том случае, если тесты проходили успешно.

JetBrains запустила миллионы песочниц (sandboxes) в тысячах различных сред. Они тщательно фильтровали открытые наборы данных RL, исключая тесты с ошибками, ответы, которые невозможно проверить, и задачи, которые были слишком простыми или невозможными для решения. Такой подход позволил модели научиться не только писать код, но и отлаживать его, понимая, что «работающий код» — это не просто синтаксически правильный текст, а функциональное решение.

04Производительность: Сравнение с конкурентами

JetBrains провела обширное тестирование Mellum2.1, сравнив её с предыдущей версией Mellum2, а также с популярными моделями Qwen3.5-9B и Gemma 4 E4B. Все тесты проводились в режиме «мышления» (thinking mode) с использованием единой пайплайновой обработки. Важно отметить, что результаты являются самоотчетными, и некоторые бенчмарки могут варьироваться в зависимости от настроек.

Прорыв в агентных задачах

Самое значительное улучшение наблюдается в задачах, связанных с агентным программированием. Mellum2.1 демонстрирует колоссальный скачок по сравнению с Mellum2:

• SWE-bench Verified: Рост с 2.0 до 47.0. Это означает, что модель теперь способна успешно решать почти половину реальных задач по исправлению багов в открытых проектах.
• SWE-bench Pro: Рост с 0.0 до 28.0. В более сложных сценариях модель также показывает стабильные результаты.
• Terminal-Bench 2.1: Рост с 0.6 до 17.4. Модель научилась эффективно работать с терминалом и командной строкой.

Для агентных запусков использовалась открытая платформа Pi v0.73.1 с контекстом в 114K токенов, что позволяет модели удерживать в памяти сложную структуру проекта.

Лидерство в коде и логике

Mellum2.1 демонстрирует сильные результаты в стандартных бенчмарках для кода:

• LiveCodeBench v6: 82.0 (лучший результат в группе, опережая Qwen3.5-9B с 75.4 и Gemma 4 E4B с 69.4).
• HumanEval+: 91.5.
• MBPP+: 79.4.
• BFCL v4: 62.3.

Однако у модели есть и слабые места. В задачах, требующих глубоких знаний или сложных агентных сценариев, Qwen3.5-9B все еще лидирует. Например, в SWE-bench Pro Qwen показывает 38.0 против 28.0 у Mellum2.1, а в GPQA Diamond (тест на научные знания) Qwen набирает 77.8 против 64.6 у Mellum2.1. Также стоит учитывать, что вендоры (например, Alibaba для Qwen) могут использовать другие настройки для достижения своих рекордных результатов, которые могут отличаться от стандартных пайплайнов.

05Скорость и локальный запуск

Поскольку архитектура Mellum2.1 не изменилась по сравнению с Mellum2, скорость работы осталась на высоком уровне. JetBrains сообщает, что на одном GPU NVIDIA H200 под высокой нагрузкой Mellum2.1 обрабатывает почти в 2 раза больше токенов в секунду, чем Qwen3.5-9B. Для одиночных запросов использование многозадачного прогнозирования (Multi-Token Prediction, MTP) ускоряет генерацию примерно в 1.6 раза. Поддержка спекулятивного декодирования (speculative decoding) для vLLM находится в разработке.

Как запустить Mellum2.1 локально?

Для разработчиков, желающих протестировать модель на своем оборудовании, доступны различные форматы. Полная модель может запускаться через vLLM. Пример команды для запуска с парсером рассуждений:

vllm serve Mellum2.1-12B-A2.5B-Thinking --reasoning-parser qwen3

Для вызова инструментов (tool calling) можно использовать:

vllm serve Mellum2.1-12B-A2.5B-Thinking --enable-auto-tool-choice --tool-call-parser hermes

JetBrains рекомендует следующие параметры для оптимальной работы:

• Temperature: 0.6
• Top_p: 0.95
• Top_k: 20

Также доступны GGUF-модели для запуска через llama.cpp, Ollama и LM Studio. Это делает Mellum2.1 доступной для запуска даже на потребительских GPU. Вот доступные квантованные версии:

• BF16: 24.3 GB (референсная версия).
• Q8_0: 12.9 GB, 96.1% совпадения топ-токенов.
• Q6_K: 10.9 GB, 93.9% совпадения.
• Q4_K_M: 8.1 GB, 88.0% совпадения (рекомендуемая версия для баланса скорости и качества).
• MXFP4_MOE: 7.0 GB, 85.6% совпадения (наименее требовательная к памяти).

06Сравнительная таблица: Mellum2.1 vs Qwen3.5-9B vs Gemma 4 E4B

Для наглядности сравним ключевые характеристики моделей:

*Результаты бенчмарков: пайплайн JetBrains, режим мышления, из карточки модели Mellum2.1. Показатели вендоров для Qwen3.5-9B и Gemma 4 E4B могут отличаться.

07Безопасность и надежность

Помимо функциональности, JetBrains уделила внимание безопасности. Показатель HarmBench, измеряющий склонность модели к генерации вредоносного контента, снизился с 21.5 до 8.5. Поскольку в этом бенчмарке меньшее значение лучше, это свидетельствует о значительном улучшении безопасности модели. Это особенно важно для корпоративного использования, где защита от генерации вредоносного кода или утечки данных является приоритетом.

08Что это значит на практике

Релиз Mellum2.1 знаменует собой сдвиг в сторону специализированных, эффективных AI-инструментов для разработчиков. Вот ключевые выводы:

1. Локальный AI-агент теперь реален: Благодаря компактным GGUF-моделям (от 7 до 8.1 ГБ), разработчики могут запустить мощного помощника по коду на своем ноутбуке без отправки данных в облако. Это решает вопросы конфиденциальности и задержек.
2. RL в реальных условиях работает: Обучение в симулированных средах разработки с проверкой тестов дало огромный прирост в задачах SWE-bench. Модель не просто «знает» код, она умеет его «чинить».
3. Баланс скорости и качества: Активация всего 2.5B параметров позволяет Mellum2.1 работать быстрее многих более крупных моделей, что критично для интерактивного использования в IDE.
4. Конкуренция с Qwen: Хотя Qwen3.5-9B все еще лидирует в некоторых сложных задачах, Mellum2.1 демонстрирует превосходство в специфичных для кода бенчмарках, таких как LiveCodeBench.

Для российских разработчиков Mellum2.1 представляет особый интерес. Открытая лицензия Apache 2.0 и возможность локального запуска делают её идеальным выбором для интеграции в корпоративные системы, где использование зарубежных облачных AI-сервисов может быть ограничено или небезопасно. Наличие GGUF-форматов позволяет запускать модель даже на видеокартах NVIDIA RTX 3090/4090, которые широко доступны на российском рынке.

В будущем мы можем ожидать появления плагинов для JetBrains IDE (IntelliJ IDEA, PyCharm и др.), которые будут использовать Mellum2.1 для интеллектуального автодополнения, рефакторинга и отладки. Это может стать стандартом для разработки ПО в ближайшие годы.

09Заключение

Mellum2.1 от JetBrains — это не просто очередная модель в списке Hugging Face. Это шаг в сторону создания автономных AI-ассистентов, которые действительно понимают процесс разработки. Благодаря сочетанию эффективной архитектуры MoE, обучения с подкреплением в реальных средах и открытой лицензии, Mellum2.1 открывает новые возможности для локального развертывания AI в индустрии программного обеспечения. Если вы разработчик, который ценит скорость, конфиденциальность и специализированные возможности, Mellum2.1 определенно заслуживает вашего внимания.

Вы можете ознакомиться с весами модели, GGUF-сборками, техническим блогом и отчетом о Mellum2 на официальных ресурсах JetBrains. Следите за обновлениями, так как эта область развивается очень быстро.

Источник: MarkTechPost ↗