В мире открытых больших языковых моделей (LLM) каждое крупное обновление вызывает бурную дискуссию среди исследователей, разработчиков и энтузиастов. 29 октября 2026 года компания Mistral AI представила свое новейшее детище — модель Mistral Large 4, получившую в сообществе прозвище «Le Chonk». Это не просто очередная итерация улучшения качества текста; это полноценная мультимодальная система, способная обрабатывать текст и изображения, генерировать ответы и демонстрировать выдающиеся результаты в таких сложных задачах, как кибербезопасность и программирование.
Mistral Large 4 позиционируется как флагманская модель с открытыми весами, которая сочетает в себе мощь закрытых аналогов с прозрачностью и гибкостью open-source экосистемы. Модель имеет около 1 триллиона (1T) параметров, но благодаря архитектуре Mixture-of-Experts (MoE) активными в каждый момент времени являются лишь 49 миллиардов. Контекстное окно модели составляет впечатляющие 1 миллион токенов, что позволяет работать с огромными объемами данных, такими как целые библиотеки кода или длинные юридические документы. В этой статье мы подробно разберем, как устроена эта модель, какие новые возможности она открывает для разработчиков и как ее можно запустить как в облаке, так и на локальном оборудовании.
01Что нового в Mistral Large 4?
Главное отличие Mistral Large 4 от своих предшественников заключается в интеграции мультимодальности и оптимизации архитектуры для эффективности. Модель сочетает в себе большой пул экспертов (experts), разреженное внимание (sparse attention) и визуальный энкодер Pixtral. Языковая модель выбирает небольшую группу экспертов для каждого токена, в то время как индексатор внимания выбирает, к каким предыдущим позициям токенов следует обратиться. Это две разные формы разреженности: одна выбирает сети прямого распространения (feed-forward networks), а другая — позиции контекста.
Модель доступна в двух официальных вариантах: FP8 и NVFP4. Кроме того, сообщество Unsloth и команда llama.cpp уже подготовили GGUF-квантованные версии, что делает запуск модели на потребительском оборудовании более реалистичным. Лицензия Mistral Ecosystem Open-Weight License является производной от MIT, но устанавливает ограничения на использование модели в качестве сервиса (Model-as-a-Service), что важно учитывать при коммерческом развертывании.
02Кибербезопасность: новый стандарт для открытых моделей
Одним из самых значимых достижений Mistral Large 4 является ее способность в области кибербезопасности. Модель набирает 82% в тесте Artificial Analysis Cyber Index, который требует от модели воспроизвести реальную уязвимость в программном обеспечении с открытым исходным кодом, а затем исправить ее. Для сравнения, многие закрытые флагманские модели показывают результат, близкий к нулю, так как их фильтры безопасности блокируют попытки воспроизведения уязвимостей, даже если цель — защита.
Это критически важно для защитников (defenders). Исправление уязвимостей часто требует понимания того, как именно работает атака. В внутренних тестах Mistral Large 4 также показала себя полезной для анализа вредоносного ПО, приоритизации уязвимостей и написания правил обнаружения угроз, хотя модель не обучалась специально для этих задач. Mistral позиционирует модель преимущественно для оборонительной безопасности. Команды, работающие с инцидентами, часто сталкиваются с тем, что входные данные, содержащие признаки атаки, блокируются провайдерами API. Открытые веса дают полный контроль над политикой использования и развертыванием.
При этом модель не становится «безопасной дырой». На промптах из наборов данных JailbreakBench, StrongREJECT и AgentHarm уровень отказов Mistral Large 4 выше, чем у любых других открытых моделей, что свидетельствует о зрелости ее системы безопасности.
03Архитектура: как устроен «мозг» Le Chonk
Чтобы понять, почему Mistral Large 4 так быстро работает с огромными контекстами, нужно заглянуть под капот. Текстовый декодер модели состоит из 72 слоев, имеет скрытое измерение (hidden dimension) 6,144 и 64 головы внимания (attention heads). Блоки внимания комбинируют Multi-head Latent Attention (MLA) с индексатором DeepSeek Sparse Attention (DSA). MLA хранит сжатое представление KV (Key-Value), а DSA выбирает до 2,048 ключевых позиций для каждого запроса, что значительно экономит память и вычислительные ресурсы.
Интересной особенностью является распределение слоев с позиционным кодированием RoPE (Rotary Position Embeddings) и без него (NoPE). Паттерн составляет 3:1, то есть три слоя декодера используют RoPE, а каждый четвертый слой использует NoPE. Это помогает модели лучше масштабироваться на длинные контексты. Кроме того, состояние KV разделяется между слоями.
В блоках декодера первый слой использует плотную сеть прямого распространения (dense feed-forward network). Остальные 71 слой используют блоки MoE. В них маршрутизатор на основе softmax выбирает четыре из 128 экспертов для каждого токена. Один общий эксперт всегда работает вместе с выбранными, что в сумме дает 5 активных экспертов на токен. Для позиционного кодирования Mistral использует LeRope — масштабированный RoPE с одним обучаемым множителем на частоту.
04Визуальный энкодер: взгляд модели
Mistral Large 4 — это не только текст. Для обработки изображений модель использует энкодер Pixtral объемом 1.6 миллиарда параметров. Pixtral состоит из 30 слоев, имеет скрытое измерение 2,048 и 16 голов внимания. Он использует патчи размером 14x14 и проектор слияния патчей (patch-merge projector) со размером пространственного слияния 2. Это позволяет модели эффективно извлекать визуальные признаки и интегрировать их в текстовое представление.
Архитектура визуального энкодера спроектирована так, чтобы минимизировать накладные расходы при обработке изображений, сохраняя при этом высокое качество распознавания деталей. Это делает Mistral Large 4 отличным выбором для задач, где требуется анализ скриншотов, диаграмм или фотографий в сочетании с текстовым контекстом.
05Результаты бенчмарков
По состоянию на 29 октября 2026 года Mistral Large 4 занимает пятое место в индексе интеллекта Artificial Analysis среди моделей с открытыми весами. Модель демонстрирует сильные результаты в программировании, кибербезопасности, мультимодальном понимании и агентных рабочих процессах.
Программирование и кодинг-агенты
В задачах программирования ML4 показывает следующие результаты:
- 61.7% на DeepSWE v1.1
- 59.4% на SWE-Atlas-QnA
- 28.3% на Terminal-Bench 4
Ее совокупный балл Coding Agent Index составляет 49.8%, что ставит ее выше таких моделей, как DeepSeek V4 Pro 0813 и Qwen3.8 Max. Кроме того, модель хорошо справляется с задачами интеллектуального труда: 59.9% на AutomationBench и 1,393 Elo на AA-Briefcase, которые оценивают бизнес-процессы и долгосрочные профессиональные задачи.
Кибербезопасность
Как уже упоминалось, кибербезопасность — одна из сильнейших сторон ML4. Модель решает 93% из 40 задач, взятых из соревнований по безопасности (Cybench). Также она демонстрирует 93.3% устойчивости к атакам на Lakera’s B3 benchmark, что подтверждает ее надежность против инъекций промптов.
06Поддержка инференса: как запустить модель
Mistral Large 4 поставляется с поддержкой «день ноль» для основных фреймворков: Transformers, vLLM и llama.cpp. Это означает, что вы можете начать работу с моделью сразу же после ее выхода, без необходимости ждать обновлений от сообщества.
Transformers
Реализация в библиотеке Transformers предоставляет класс AutoModelForMultimodalLM, а AutoProcessor подготавливает входные данные для текста и изображений. Модель поддерживает уровни усилий для рассуждений (reasoning effort): low, medium и high. По умолчанию установлен high, и важно отметить, что отключить рассуждения нельзя — даже если вы укажете none, модель все равно будет использовать high.
Для запуска модели необходимо обновить пакет transformers:
pip install --upgrade transformersНиже приведен пример кода для запуска модели с распределенной обработкой:
import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig
distributed_config = DistributedConfig(
tp_size=int(os.environ["WORLD_SIZE"]),
ep_size=int(os.environ["WORLD_SIZE"]),
)
model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
distributed_config=distributed_config,
)
# Только текст
text_messages = [
{
"role": "user",
"content": "Who are you?"
}
]
# Текст + изображение
multimodal_messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg"
},
{
"type": "text",
"text": "How many cats are in the image?"
},
],
}
]
for messages in [text_messages, multimodal_messages]:
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="medium"
).to(model.device).to(model.dtype)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=100)
if int(os.environ["RANK"]) == 0:
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))Скрипт можно запустить с помощью torchrun --nproc-per-node 8 script.py.
vLLM
vLLM поддерживает высококачественный чекпоинт NVFP4, который имеет меньший объем памяти и требует GPU NVIDIA Blackwell. Модель также поставляется с DSpark drafter для дополнительного ускорения. Запуск сервера выглядит следующим образом:
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--config-format mistral \
--load-format mistral \
--tensor-parallel-size 8 \
--decode-context-parallel-size 8 \
--enable-expert-parallel \
--dtype bfloat16 \
--max-model-len 131072 \
--max-num-seqs 16 \
--max-num-batched-tokens 2048 \
--gpu-memory-utilization 0.85 \
--enable-prefix-caching \
--enforce-eager \
--mm_processor_cache_gb 0.0После запуска сервера можно отправлять запросы через curl:
curl -s http://127.0.0.1:8000/v1/chat/completions -H \
'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'Llama.cpp
Llama.cpp и Llama App уже поддерживают Mistral Large 4. Установить Llama App можно командой:
curl -LsSf https://llama.app/install.sh | shЗапуск сервера с указанием суффикса квантования:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_KКоманда llama.cpp предоставляет следующие квантования: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, BF16. Квантования 2-битного уровня (IQ2_XXS, Q2_K) могут работать на одном компьютере Apple Silicon Ultra с 512 ГБ объединенной памяти. Остальные требуют распределенного инференса. На одном M3 Ultra Q2_K показывает префилл около 90 токенов в секунду и генерацию 15 токенов в секунду.
07Дообучение с помощью TRL
Mistral также предоставляет поддержку дообучения (fine-tuning) модели с помощью библиотеки TRL (Transformer Reinforcement Learning). Для этого необходимо обновить пакеты transformers, trl и peft:
pip install --upgrade transformers trl peftВ примере ниже показано, как обучить модель многоязычному мышлению. Дообученная модель сможет рассуждать на языке, указанном в системном промпте. Скрипт запускается на ноде с 8 GPU B300:
# torchrun --nproc-per-node 8 sft.py
import os
from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer
world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
model_id,
distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
dtype="auto"
)
dataset = load_dataset(
"HuggingFaceH4/Multilingual-Thinking", split="train"
)
# Ассистент переносит рассуждения, поэтому рендерим их в режиме рассуждений
dataset = dataset.map(
lambda x: {
"chat_template_kwargs": {
"reasoning_effort": "high"
}
}
)
trainer = SFTTrainer(
model=model,
args=SFTConfig(
packing=True,
max_length=4096,
assistant_only_loss=True,
learning_rate=1e-4,
lr_scheduler_type="cosine",
warmup_steps=10
),
train_dataset=dataset,
peft_config=LoraConfig(
r=16,
lora_alpha=32,
target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)"
),
)
trainer.train()08Инференс-эндпоинты и Dell Enterprise Hub
Mistral Large 4 доступна на Inference Endpoints Hugging Face с готовым рецептом для развертывания на 8 GPU NVIDIA H200. Рецепт использует vLLM с весами FP8, разделенными между всеми восемью GPU с помощью тензорного и экспертного параллелизма. Модель использует встроенный заголовочный модуль DSpark для ускорения генерации через спекулятивное декодирование. Она обслуживает до 131K токенов контекста и обрабатывает до 16 запросов одновременно.
Результаты производительности:
- Один запрос: время до первого токена около 0.6 секунд для промпта в 1K токенов, скорость генерации ~65 токенов/с, достигая 120–138 токенов/с в чат-промптах.
- Длинные промпты: промпты в 16K токенов, четыре одновременно, префилятся со скоростью около 4,300 токенов/с, время до первого токена 8–9 секунд.
- Под нагрузкой: около 480 токенов/с общей генерации для 1,000 разговоров ShareGPT.
Развернуть эндпоинт можно с помощью CLI:
hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-409Что это значит на практике
Появление Mistral Large 4 знаменует собой новый этап в развитии открытых моделей. Ее способность работать с мультимодальными данными, обрабатывать миллионы токенов контекста и демонстрировать выдающиеся результаты в кибербезопасности делает ее незаменимым инструментом для профессионалов. Открытые веса позволяют компаниям и исследователям адаптировать модель под свои нужды, дообучать ее на собственных данных и развертывать в изолированных средах, что критически важно для работы с конфиденциальной информацией.
Для разработчиков это означает возможность создания более умных и надежных агентов, способных не только писать код, но и анализировать уязвимости, обрабатывать изображения и рассуждать на разных языках. Поддержка различных форматов квантования и фреймворков инференса обеспечивает гибкость развертывания — от облачных решений до локальных серверов на базе Apple Silicon. Mistral Large 4 — это не просто еще одна модель, это мощный инструмент, который расширяет границы возможного в области искусственного интеллекта.
Источник: Hugging Face ↗