AIKraft Agents
Главная/Блог/Гайд/Inkling 2 Mini: Локальный Agentic AI на…
Гайд10 мин чтения · 21 ноября 2026 г.

Inkling 2 Mini: Локальный Agentic AI на 20 ГБ с архитектурой Looped Transformer

Thinking Machines Lab представили Inkling 2 Mini — открытую модель с 26.4 млрд параметров, использующую уникальную архитектуру Looped Transformer. Разбираем, как это работает, где запускается и почему это прорыв для локального кодинга.

Inkling 2 Mini: Локальный Agentic AI на 20 ГБ с архитектурой Looped Transformer

В мире искусственного интеллекта, где гонка за параметрами часто приводит к созданию моделей, доступных только в облачных гигантах, компания Thinking Machines Lab предлагает свежий взгляд на эффективность. Они выпустили Inkling 2 Mini — открытую модель с весами (open-weight), которая насчитывает 26.4 миллиарда параметров, но при этом занимает всего около 20 ГБ памяти. Это не просто еще одна оптимизированная нейросеть; это демонстрация того, как архитектурные инновации могут превзойти сырую мощность. Inkling 2 Mini использует технологию Looped Transformer, которая позволяет модели «перепропускать» данные через одни и те же слои несколько раз, вместо того чтобы добавлять новые веса. Такой подход делает модель идеальной для локального запуска на потребительском оборудовании, таком как MacBook с чипом Apple Silicon или даже на компактном NVIDIA DGX Spark.

Для разработчиков, которые хотят внедрить агентный код (agentic coding), использование инструментов (tool use) или работу с документами прямо на своем компьютере, Inkling 2 Mini становится серьезным конкурентом облачным решениям. Модель распространяется под лицензией Apache 2.0 на платформе Hugging Face, что открывает двери для сообщества. Но что скрывается за цифрами 26.4B и 20GB? Как именно работает «зацикливание» слоев и почему это дает преимущество в задачах программирования, но оставляет желать лучшего в задачах на общие знания? Давайте разберем эту технологию досконально.

01Что такое Inkling 2 Mini и зачем нужна архитектура Looped Transformer?

Inkling 2 Mini — это модель типа Sparse Mixture-of-Experts (MoE), которая принимает на вход текст и изображения, но генерирует только текст. Она является младшим братом более крупной модели Inkling 2 Small (594 млрд параметров), выпущенной 5 ноября 2026 года. Однако именно Inkling 2 Mini привлекает внимание благодаря своей доступности и уникальной архитектуре обработки данных.

Ключевая инновация здесь — Looped Transformer. В традиционных трансформерах каждый токен проходит через все слои сети один раз. В Inkling 2 Mini модель хранит всего 24 слоя, разделенных на 4 блока по 6 слоев. Первый и последний блоки обрабатываются один раз. Однако два средних блока «зацикливаются»: они применяются к данным три раза на каждый токен, используя одни и те же веса. Это означает, что хотя физически у модели 24 слоя, каждый токен проходит через 48 применений слоев (24 слоя × 2 прохода, но с учетом структуры это дает эквивалент 48 операций). Такой механизм позволяет модели извлекать больше информации из тех же самых параметров, создавая эффект «эффективных параметров» в размере 5.4 млрд на токен, хотя активных параметров всего 3.4 млрд.

Между этими проходами модель передает информацию с помощью механизма, называемого Attention Residuals (остатки внимания), и обучаемого гейта. Это позволяет слою «помнить», что он уже обработал, и корректировать свои выводы. Feed-forward слои используют 128 экспертов, из которых для каждого токена выбираются только 8. Это сохраняет разреженность (sparsity) и эффективность вычислений.

💡
Почему именно средние слои? Исследователи обнаружили, что зацикливание средних слоев дает прирост вычислительной эквивалентности от 1.51x до 1.91x. Если же зациклить последние слои, прирост составляет лишь 1.24x–1.36x. Вариант со зацикливанием средних слоев выиграл в 27 из 28 тестовых сравнений, что подтверждает важность глубокой обработки информации в середине сети.

02Как обучалась модель: от 384 экспертов до NVFP4

Процесс обучения Inkling 2 Mini был сложным и многоэтапным. Изначально модель была обучена с 384 экспертами на слой, из которых активными были 8. На середине обучения команда провела прунинг (обрезку), отбросив две трети экспертов, оставив только 128 наиболее часто используемых. Это позволило сократить вычислительную нагрузку без критической потери качества.

После прунинга модель прошла этап дистилляции знаний (distillation) на 1 триллионе токенов от более крупной внутренней модели Inkling. Этот шаг помог «вылечить» модель после потери части экспертов. Завершающий этап включал Supervised Fine-Tuning (SFT), а затем Reinforcement Learning (RL) на 2.2 триллионах токенов и 2000 шагов, плюс дистилляцию on-policy.

Особое внимание уделяется квантованию. Слои экспертов обучаются и развертываются в формате NVFP4 (NVIDIA FP4), а последние 4 слоя используют MXFP8. Thinking Machines утверждает, что такой гибридный подход устраняет потерю точности, которая обычно возникает при конвертации квантованных моделей. Также существует исследовательский вариант модели TML-d24-varloop-research, который позволяет тренировать от 1 до 5 проходов через слои для экспериментов.

03Производительность: где Inkling 2 Mini сияет, а где уступает

Все приведенные ниже результаты являются самоотчетными данными от Thinking Machines. Важно понимать, что бенчмарки могут отличаться в зависимости от настроек, но общая картина выглядит впечатляюще, особенно в нише программирования.

Inkling 2 Mini: Локальный Agentic AI на 20 ГБ с архитектурой Looped Transformer

Сильные стороны: Агentic Coding и Поиск

Inkling 2 Mini демонстрирует выдающиеся результаты в задачах, связанных с написанием и исправлением кода. На наборе данных SWE-bench Verified (только bash) модель набирает 79.2%. Это очень высокий показатель для модели такого размера. На более сложном наборе SWE-bench Pro v2 (Hard) она показывает 77.9%. В задаче DeepSWE v1.1 результат составляет 48.2%, что превосходит даже Qwen3.8-27B (который, по их собственным данным, показывает 42.2%). На Terminal Bench v2.1 модель набирает 71.6%, немного уступая Qwen3.8-27B (73.0%).

В области агентного поиска модель также сильна: 79.0% на BrowseComp (с компрессией) и 82.7% на MCP Atlas. Это говорит о том, что модель эффективно работает с внешними инструментами и может самостоятельно искать информацию в интернете или файловой системе.

Слабые стороны: Знания и Многошаговые инструкции

Однако архитектура Looped Transformer имеет свои компромиссы. Поскольку модель не увеличивает общее количество параметров, а лишь переиспользует их, она может уступать в задачах, требующих обширных фактических знаний. На бенчмарке HLE-Diamond (High-Level Evaluation) модель показывает лишь 15.2%. На AA-Omniscience результат составляет -8.6, при этом уровень галлюцинаций (non-hallucination rate) равен 63.4%.

Также модель не является лучшим выбором для сложных многошаговых диалогов или задач с жесткими ограничениями. На MultiChallenge она набирает 50.0%, а на ComplexConstraints v1.1 — всего 33.4%. Это означает, что если вы попросите модель строго следовать сложным инструкциям в длинном диалоге, она может начать «терять нить» или игнорировать часть условий.

⚠️
Важно для разработчиков: Если ваша задача требует глубокого знания редких фактов или строгого соблюдения сложных ограничений в длинном контексте, Inkling 2 Mini может потребовать дополнительной настройки (fine-tuning) или использования более крупных моделей. Однако для генерации кода и работы с документами она подходит отлично.

04Сравнение с конкурентами: Qwen и Gemma

Чтобы понять место Inkling 2 Mini на рынке, сравним ее с популярными моделями того же класса: Qwen3.8-27B, Qwen3.6-35B-A3B и Gemma 4 26B A4B.

Характеристика Inkling 2 Mini Qwen3.8-27B Qwen3.6-35B-A3B Gemma 4 26B A4B
Архитектура Looped MoE Dense MoE MoE
Всего параметров 26.4B 27B 35B 25.2B
Активных параметров 3.4B (5.4B эфф.) 27B (dense) 3B 3.8B
Контекст До 1M 262K (до 1M) 262K (до 1M) 256K
GPQA Diamond 86.6% 89.2% 86.0% 82.3%
SWE-bench Verified 79.2% (bash) Не сообщено 73.4% Не сообщено
Лицензия Apache 2.0 Apache 2.0 Apache 2.0 Apache 2.0

Как видно из таблицы, Inkling 2 Mini имеет преимущество в виде архитектуры Looped MoE, которая позволяет ей быть эффективнее плотных моделей (Dense) при меньшем количестве активных параметров. Она превосходит Qwen3.6-35B-A3B в задачах SWE-bench. Однако Qwen3.8-27B, будучи плотной моделью, показывает более высокие результаты в общих знаниях (GPQA Diamond: 89.2% против 86.6%).

Важно отметить, что все бенчмарки сравниваются в разных условиях, поэтому разрывы следует воспринимать как направленные тенденции, а не абсолютные истины. Тем не менее, Inkling 2 Mini уверенно держит марку в нише агентного программирования.

05Энергоэффективность: рекорд на DGX Spark

Одним из главных козырей Inkling 2 Mini является энергоэффективность. Thinking Machines сообщает, что на метрике Stanford’s Intelligence per Watt модель набирает 0.703 на устройстве NVIDIA DGX Spark. Для сравнения, Qwen3.6-35B-A3B показывает 0.430, а Gemma-4-26B-A4B — всего 0.159. Это означает, что Inkling 2 Mini генерирует больше «интеллекта» на каждый ватт потребленной энергии, что критически важно для мобильных устройств и портативных серверов.

Inkling 2 Mini: Локальный Agentic AI на 20 ГБ с архитектурой Looped Transformer

Зацикливание слоев снижает затраты на инференс (инференс — процесс генерации ответов). Хотя обучение зацикленной модели требует на 7.5% больше вычислений, чем базовая модель, на этапе инференса она экономит ресурсы. Чтобы достичь того же уровня потерь (loss) на агентных трассировках длиной 512k токенов, незацикленная модель потребовала бы на 140% больше вычислений инференса.

06Как запустить Inkling 2 Mini локально?

Одно из главных преимуществ Inkling 2 Mini — ее доступность. Чекпоинт весит около 20 ГБ в формате Safetensors. Это позволяет запускать модель на оборудовании, которое есть у многих разработчиков:

  • Apple Silicon: MacBook с 32 ГБ+ оперативной памяти.
  • NVIDIA DGX Spark: Компактный AI-компьютер.
  • Другие GPU: Любые видеокарты с 32 ГБ+ VRAM.

Также доступны квантованные сборки в формате GGUF через инструменты Unsloth и llama.cpp. Это позволяет запускать модель даже на более слабом оборудовании с использованием оптимизаций.

Поддержка серверинга включает популярные фреймворки: Transformers, vLLM, SGLang, Ollama, NVIDIA Dynamo и TokenSpeed. Для быстрого старта с vLLM достаточно одной команды:

terminalbash
vllm serve "thinkingmachines/Inkling-2-Mini"

Также модель доступна через платформу Tinker, где можно использовать хостированный инференс и тонкую настройку. Однако точная стоимость доступа через Tinker в материалах запуска не раскрывается.

07Что это значит на практике?

Для российского разработчика или энтузиаста AI, Inkling 2 Mini открывает новые возможности. Учитывая текущие ограничения на доступ к некоторым облачным сервисам и желание сохранить конфиденциальность данных, локальный запуск моделей становится все более актуальным.

1. Агentic Coding на ноутбуке. Если вы работаете над проектом, где нужно генерировать код, искать баги или работать с терминалом, Inkling 2 Mini может работать прямо на вашем MacBook Pro с M1/M2/M3 чипом. Вам не нужно отправлять код в облако, что важно для коммерческих проектов с закрытым исходным кодом.

Inkling 2 Mini: Локальный Agentic AI на 20 ГБ с архитектурой Looped Transformer

2. Работа с документами. Модель поддерживает контекст до 1 миллиона токенов. Это позволяет загружать большие документы, книги или базы знаний и задавать по ним вопросы. Благодаря архитектуре Looped Transformer, модель может эффективно обрабатывать длинные контексты, не требуя огромных объемов памяти.

3. Обучение и эксперименты. Благодаря открытой лицензии Apache 2.0 и доступности весов, вы можете дообучить (fine-tune) модель под свои задачи. Например, обучить ее специфическому стилю кода вашей компании или работе с внутренними API. Использование NVFP4 и MXFP8 квантования упрощает этот процесс.

4. Экономия ресурсов. Если вы разворачиваете AI-сервис для клиентов, использование Inkling 2 Mini может снизить затраты на электроэнергию и оборудование благодаря высокой энергоэффективности. Это особенно важно при масштабировании.

Однако, как и любая технология, Inkling 2 Mini имеет свои ограничения. Не ожидайте от нее идеального знания фактов или способности вести сложные многошаговые диалоги без потери контекста. Для этих задач лучше подходят более крупные плотные модели. Но для специализированных задач, таких как кодинг и работа с документами, Inkling 2 Mini предлагает уникальный баланс между производительностью, размером и эффективностью.

Thinking Machines Lab продемонстрировали, что путь к мощному AI не всегда лежит через увеличение параметров. Иногда достаточно умной архитектуры, которая позволяет модели «думать» глубже, используя те же самые ресурсы. Inkling 2 Mini — это яркий пример того, как инновации в архитектуре могут сделать передовые технологии доступными для каждого разработчика.

08Заключение

Inkling 2 Mini от Thinking Machines Lab — это не просто еще одна модель в списке Hugging Face. Это демонстрация силы архитектурных инноваций. Зацикливание средних слоев трансформера позволяет достичь впечатляющих результатов в агентном программировании и работе с документами, сохраняя модель в рамках 20 ГБ памяти. Это делает ее идеальным выбором для локального запуска на потребительском оборудовании.

Хотя модель уступает в задачах на общие знания и сложные многошаговые инструкции, ее сильные стороны в кодинге и энергоэффективности делают ее ценным инструментом в арсенале современного разработчика. С открытой лицензией Apache 2.0 и поддержкой популярных фреймворков, Inkling 2 Mini готова к использованию прямо сейчас. Если вы ищете мощный, но компактный AI-ассистент для работы с кодом и документами, стоит обратить внимание на эту модель.

Вы можете ознакомиться с технической документацией, модельными картами и весами на Hugging Face, а также попробовать модель в Tinker Playground. Для разработчиков, интересующихся деталями реализации, доступен технический блог и исследовательские варианты модели.

Источник: MarkTechPost ↗