Архитектурный прорыв: 24 физических слоя вместо 48
Inkling 2 Mini — это мультимодальная модель типа Mixture-of-Experts (MoE) с ~26 млрд физических параметров, но всего 3 млрд активных на каждый токен. Главная инновация заключается в использовании «зацикленных» слоев: 12 средних слоев из 24 выполняются трижды. Это позволяет модели вести себя как сети с 48 логическими слоями, не увеличивая объем памяти для хранения весов.
Каждый токен маршрутизируется к 8 из 128 доступных экспертов (SwiGLU). Между проходами через зацикленное ядро (слои 6–17) информация передается через специальные «сообщения» (cross-pass messages), которые контролируются обучаемым гейтом. Это позволяет модели уточнять вычисления предыдущего прохода, не требуя дополнительных вычислительных ресурсов на хранение промежуточных состояний всех слоев.
Бенчмарки и сравнение с конкурентами
Модель позиционируется как лидер в своем классе. По данным Artificial Analysis Intelligence Index v5 (AAv5), Inkling 2 Mini превосходит или равняется таким гигантам, как Gemma 4 31B, Muse Glimmer и Qwen3.8-27B, в 32 из 48 тестовых категорий. Особое внимание уделено кодингу и работе с инструментами:
| Бенчмарк | Результат Inkling 2 Mini | Сравнение с конкурентами |
|---|---|---|
| FrontierCode v2.0 | Лидер | Лучший результат в классе |
| Terminal-Bench 4.0 | Высокий | Ничья с Qwen3.8-27B |
| AutomationBench-AA v1.0.6 | Хороший | Немного уступает Qwen |
| AA Briefcase (ELO) | Высокий рейтинг | Конкурентоспособно с Qwen 27B |
Технические детали и поддержка
Модель поддерживает контекстное окно до 1 миллиона токенов и принимает на вход как текст, так и изображения. Архитектура использует скользящее окно (sliding window) размером 1024 токена для большинства слоев и полную внимательность (full attention) для одного слоя в каждом блоке. Для ускорения инференса Thinking Machines Lab также выпустила исследовательский вариант модели с переменным числом проходов (variable loop), позволяющий снизить нагрузку за счет уменьшения количества итераций.
Как запустить локально
Официальная поддержка Inkling 2 Mini доступна в основных фреймворках:
- Hugging Face Transformers: Полная поддержка фиксированного цикла и исследовательской версии с переменным числом проходов.
- llama.cpp и MLX: Оптимизированная поддержка для локальных устройств.
- SGLang: Поддержка day-zero для продакшн-развертывания на серверном оборудовании.
Модель поставляется в смешанной точности (NVFP4 и MXFP8 для весов экспертов), что снижает требования к памяти. Также интегрирована поддержка вызова инструментов (tool calling) и настройки «усилия на размышление» (reasoning effort) через параметры шаблона чата.
Бенчмарки
| Бенчмарк | Inkling 2 Mini | Qwen3.8-27B |
|---|---|---|
| Terminal-Bench 4.0 | 0ELO | 0ELO |
| AutomationBench-AA v1.0.6 | 0ELO | 0ELO |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hugging Face blog ↗
