Открытие весов и новые метрики
Французская лаборатория Mistral официально выпустила веса своей новейшей модели Mistral Large 4 (ML4), получившей прозвище «Le Chonk» из-за огромного количества параметров. После трех недель бета-тестирования с партнерами компания представила обновленные бенчмарки, демонстрирующие, что западные открытые модели догоняют проприетарные аналоги.
Ключевое достижение ML4 — прорыв в области агентного программирования. На бенчмарке Terminal-Bench 4.0 модель показала результат 41%, значительно улучшив показатель превью-версии (28%). Это позволило ML4 обойти китайскую модель GLM-5.3 от компании OpenCode на один пункт в специализированном индексе.
Сравнение с конкурентами
Несмотря на лидерство в узкой задаче, в общем рейтинге Artificial Analysis’ Coding Agent Index (композиционный балл по трем бенчмаркам) ML4 находится в плотной группе лидеров. Модель демонстрирует высокую эффективность, используя на 47% меньше токенов на задачу по сравнению с аналогами.
| Модель | Индекс Coding Agent (Overall) | Terminal-Bench 4.0 | Примечание |
|---|---|---|---|
| GLM-5.3 (OpenCode) | 49 | 40% | Лидер общего рейтинга |
| Mistral Large 4 (ML4) | 48 | 41% | Лидер по эффективности токенов (-47%) |
| Codex GPT-6.1 Terra | 48 | Информация недостаточна | Проприетарная модель |
| DeepSeek V4.1 Flash | Информация недостаточна | Ниже ML4 | Лидер в CyberGym (см. ниже) |
Кибербезопасность как приоритет
ML4 позиционируется не только как кодер, но и как инструмент киберзащиты. Модель получила три режима рассуждения: low, medium и high, что позволяет адаптировать вычислительные затраты под сложность задачи. В тесте CyberGym, измеряющем способность находить уязвимости памяти в C/C++ проектах, ML4 показала результаты выше, чем DeepSeek V4.1 Flash.
Компания подчеркивает важность суверенитета данных: в отличие от проприетарных моделей, где доступ может быть отозван в любой момент, открытые веса ML4 позволяют предприятиям и госструктурам полностью контролировать среду развертывания и защиту от джейлбрейков.
Экономика обучения
Масштаб ML4 впечатляет даже на фоне гигантов индустрии. Модель обучена с нуля за два месяца на 4 000 GPU Nvidia Grace Blackwell в дата-центрах Mistral в Европе. Для сравнения, по словам Джеффа Хуанга, OpenAI использовала около 100 000 GPU для обучения GPT-6 Astra. Это делает ML4 одним из самых экономичных решений уровня SOTA (state-of-the-art) на текущем рынке.
Бенчмарки
| Бенчмарк | Mistral Large 4 | Codex GPT-6.1 Terra | GLM-5.3 |
|---|---|---|---|
| Terminal-Bench 4.0 | 41% | — | 40% |
| Artificial Analysis Coding Agent Index | 48score | 48score | 49score |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: ZDNet AI ↗