AIKraft Agents
Релиз модели21 ноября 2026 г., 17:17 МСК🤖 Auto

Inkling 2 Mini: 26B-модель с петлевыми слоями для локального агента на Mac

Thinking Machines Lab выпустила Inkling 2 Mini — 26.4B-параметрическую MoE-модель с уникальной архитектурой «looped transformer». Она работает на 32 ГБ памяти, превосходит аналоги в кодинге и доступна под Apache 2.0.

Баннер новости 12471

Архитектура: экономия веса через повторное использование слоев

Inkling 2 Mini — это разреженная модель Mixture-of-Experts (MoE) с 26.4 млрд общих параметров, из которых активны лишь 3.4 млрд на токене. Ключевая инновация — looped transformer: модель хранит 24 слоя, но средние блоки (12 слоев) применяются к каждому токену 3 раза с общими весами. Это дает эффект 48 применений слоев при сохранении чекпоинта всего в ~20 ГБ.

Такой подход позволяет запускать мощную модель на потребительском оборудовании: MacBook с 32 ГБ памяти, NVIDIA DGX Spark или любых GPU с 32+ ГБ VRAM. Для квантования доступны GGUF-билды через Unsloth и llama.cpp.

Производительность: лидер в кодинге, уступает в знаниях

Модель демонстрирует выдающиеся результаты в задачах агентного программирования, но имеет слабые стороны в долгосрочной памяти и сложных инструкциях. Ниже приведено сравнение с ключевыми конкурентами в классе 25-35B параметров (данные от вендоров):

Метрика / Характеристика Inkling 2 Mini Qwen3.8-27B Gemma 4 26B A4B
Архитектура Looped MoE Dense MoE
Активные параметры 3.4B (5.4B эфф.) 27B 3.8B
SWE-bench Verified (bash) 79.2% Не сообщено Не сообщено
DeepSWE v1.1 48.2% 42.2% Не сообщено
Terminal Bench v2.1 71.6% 73.0% Не сообщено
GPQA Diamond 86.6% 89.2% 82.3%
MultiChallenge (многошаг.) 50.0% Не сообщено Не сообщено
Интеллект на ватт (DGX Spark) 0.703 0.430 (Qwen3.6) 0.159

Модель также показывает сильные результаты в поиске (79.0% на BrowseComp) и работе с документами (92.8% на OmniDocBench). Однако она уступает в задачах на долговременную память (HLE-Diamond: 15.2%) и соблюдение сложных ограничений (ComplexConstraints v1.1: 33.4%).

Обучение и оптимизация

Процесс обучения включал прунинг: из 384 экспертов на слой осталось 128 наиболее используемых. Далее следовала дистилляция от более крупной внутренней модели Inkling (1 трлн токенов) и RL-оптимизация. Для снижения потерь при квантовании слои экспертов используют формат NVFP4, а последние 4 слоя — MXFP8.

Почему это важно для разработчиков

Inkling 2 Mini закрывает нишу локальных агентов для кодинга. При контексте до 1 млн токенов и лицензии Apache 2.0, она позволяет развертывать автономных AI-ассистентов на локальных машинах без облачных затрат. Запуск возможен одной командой в vLLM:

vllm serve "thinkingmachines/Inkling-2-Mini"

Модель доступна на Hugging Face, а хостинг и тонкая настройка поддерживаются платформой Tinker.

Бенчмарки

БенчмаркInkling 2 MiniGemma 4 26B A4BQwen3.6-35B-A3BQwen3.8-27B
GPQA Diamond86.6%82.3%86%89.2%
Terminal Bench 2.171.6%——73%
DeepSWE v1.148.2%——42.2%

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗