Архитектура: экономия веса через повторное использование слоев
Inkling 2 Mini — это разреженная модель Mixture-of-Experts (MoE) с 26.4 млрд общих параметров, из которых активны лишь 3.4 млрд на токене. Ключевая инновация — looped transformer: модель хранит 24 слоя, но средние блоки (12 слоев) применяются к каждому токену 3 раза с общими весами. Это дает эффект 48 применений слоев при сохранении чекпоинта всего в ~20 ГБ.
Такой подход позволяет запускать мощную модель на потребительском оборудовании: MacBook с 32 ГБ памяти, NVIDIA DGX Spark или любых GPU с 32+ ГБ VRAM. Для квантования доступны GGUF-билды через Unsloth и llama.cpp.
Производительность: лидер в кодинге, уступает в знаниях
Модель демонстрирует выдающиеся результаты в задачах агентного программирования, но имеет слабые стороны в долгосрочной памяти и сложных инструкциях. Ниже приведено сравнение с ключевыми конкурентами в классе 25-35B параметров (данные от вендоров):
| Метрика / Характеристика | Inkling 2 Mini | Qwen3.8-27B | Gemma 4 26B A4B |
|---|---|---|---|
| Архитектура | Looped MoE | Dense | MoE |
| Активные параметры | 3.4B (5.4B эфф.) | 27B | 3.8B |
| SWE-bench Verified (bash) | 79.2% | Не сообщено | Не сообщено |
| DeepSWE v1.1 | 48.2% | 42.2% | Не сообщено |
| Terminal Bench v2.1 | 71.6% | 73.0% | Не сообщено |
| GPQA Diamond | 86.6% | 89.2% | 82.3% |
| MultiChallenge (многошаг.) | 50.0% | Не сообщено | Не сообщено |
| Интеллект на ватт (DGX Spark) | 0.703 | 0.430 (Qwen3.6) | 0.159 |
Модель также показывает сильные результаты в поиске (79.0% на BrowseComp) и работе с документами (92.8% на OmniDocBench). Однако она уступает в задачах на долговременную память (HLE-Diamond: 15.2%) и соблюдение сложных ограничений (ComplexConstraints v1.1: 33.4%).
Обучение и оптимизация
Процесс обучения включал прунинг: из 384 экспертов на слой осталось 128 наиболее используемых. Далее следовала дистилляция от более крупной внутренней модели Inkling (1 трлн токенов) и RL-оптимизация. Для снижения потерь при квантовании слои экспертов используют формат NVFP4, а последние 4 слоя — MXFP8.
Почему это важно для разработчиков
Inkling 2 Mini закрывает нишу локальных агентов для кодинга. При контексте до 1 млн токенов и лицензии Apache 2.0, она позволяет развертывать автономных AI-ассистентов на локальных машинах без облачных затрат. Запуск возможен одной командой в vLLM:
vllm serve "thinkingmachines/Inkling-2-Mini"
Модель доступна на Hugging Face, а хостинг и тонкая настройка поддерживаются платформой Tinker.
Бенчмарки
| Бенчмарк | Inkling 2 Mini | Gemma 4 26B A4B | Qwen3.6-35B-A3B | Qwen3.8-27B |
|---|---|---|---|---|
| GPQA Diamond | 86.6% | 82.3% | 86% | 89.2% |
| Terminal Bench 2.1 | 71.6% | — | — | 73% |
| DeepSWE v1.1 | 48.2% | — | — | 42.2% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
