AIKraft Agents
Главная/Блог/Гайд/Inkling 2 Mini: Революция локального ИИ…
Гайд10 мин чтения · 21 ноября 2026 г.

Inkling 2 Mini: Революция локального ИИ с архитектурой Looped Transformer

Разбираем новую модель Inkling 2 Mini от Thinking Machines Lab: уникальная архитектура с циклическими слоями, мультимодальность и превосходные результаты в бенчмарках для локального запуска.

Inkling 2 Mini: Революция локального ИИ с архитектурой Looped Transformer

В мире локальных больших языковых моделей (LLM) постоянный поиск баланса между производительностью, размером модели и доступным оборудованием является главной задачей для энтузиастов и профессионалов. До недавнего времени запуск моделей уровня флагманских решений требовал либо облачных API, либо дорогостоящих серверных GPU. Однако выход Inkling 2 Mini от Thinking Machines Lab (TML) меняет правила игры. Это не просто еще одна оптимизированная модель; это архитектурный прорыв, который позволяет достичь производительности, сопоставимой с моделями в 8-10 раз больше по параметрам, используя при этом всего 3 миллиарда активных параметров на токен.

Inkling 2 Mini — это мультимодальная модель с архитектурой Mixture-of-Experts (MoE), которая использует инновационный подход к обработке данных. Вместо того чтобы просто увеличивать количество слоев, разработчики внедрили механизм «зацикливания» (looping), где часть слоев обрабатывает данные три раза, переиспользуя веса. Это позволяет модели обладать 48 логическими слоями, имея при этом лишь 24 физических. В сочетании с поддержкой контекста до 1 миллиона токенов, обработкой изображений и текстов, а также специализированными квантованиями NVFP4 и MXFP8, Inkling 2 Mini позиционируется как идеальный кандидат для локальных AI-установок, способных конкурировать с такими гигантами, как Qwen 3.8 27B.

01Архитектурная новизна: Как работает Looped Transformer

Сердцем Inkling 2 Mini является не стандартный декодер, а сложная система с циклической обработкой. Модель состоит из 24 физических декодерных слоев, но ключевая особенность кроется в том, как эти слои обрабатывают информацию. Средние 12 слоев (с 6 по 17) выполняются три раза для каждого токена. Таким образом, хотя физически весовые матрицы хранятся только для 24 слоев, модель ведет себя так, будто у нее есть 48 слоев (6 начальных + 3 прохода по 12 средним + 6 финальных).

Этот подход напоминает архитектуру Nanbeige, где также исследовалось зацикливание, но Inkling 2 Mini предлагает более изощренный механизм передачи информации между проходами. Каждый проход через «ядро» (слои 6–17) начинается с одних и тех же входных данных — выхода первых шести слоев. Однако информация не просто дублируется; она обогащается через так называемые cross-pass messages (межпроходные сообщения).

Каждый зацикленный слой считывает сообщение из выходов предыдущего прохода, используя собственные обучаемые запросы (query, key, value и MLP-входы). Небольшой контроллер гейтирования (gating controller) анализирует как текущий вход слоя, так и полученное сообщение, решая, какую часть текущих данных нужно «забыть», а какую часть сообщения добавить. Это позволяет каждому последующему проходу уточнять и улучшать результаты предыдущего, создавая эффект глубокой обработки без пропорционального роста вычислительных затрат на инициализацию.

💡
Техническая деталь. Каждый блок из шести слоев содержит пять слоев с скользящим окном (sliding-window) и один слой с полным вниманием (full-attention). Локальное окно ограничено 1024 токенами, что помогает эффективно управлять контекстом. В слоях полного внимания используются динамические свертки для ключей и значений, что повышает точность при работе с длинными последовательностями.

Роутер (router) модели выбирает 8 из 128 доступных экспертов SwiGLU для каждого токена. Важно отметить, что в отличие от версии Inkling 2 Small, где выбор идет из 384 экспертов, Mini использует меньший пул, но компенсирует это глубиной обработки. При втором и третьем проходах через ядро каждый слой обращается к двум остаточным блокам (residual blocks) предыдущего прохода. Четыре гейта ранга 64 смешивают отдельные сообщения в запросы, ключи, значения и входы MoE, обеспечивая тонкую настройку потока информации.

02Мультимодальность и работа с контекстом

Inkling 2 Mini — это не только текст. Модель изначально спроектирована как мультимодальная, что означает ее способность принимать и обрабатывать как текстовые, так и визуальные данные. Ширина текстового декодера составляет 2304, а промежуточная ширина каждого эксперта — 1152. Переиспользование весов в ядре значительно сокращает объем хранимых данных в чекпоинте, но модель все равно выполняет все 48 посещений слоев, сохраняя свое состояние KV (key-value) и состояние коротких свертки для каждого визита.

Одной из самых впечатляющих характеристик является поддержка контекстного окна до 1 миллиона токенов. Это открывает возможности для анализа огромных объемов документов, длинных кодовых баз или длительных историй диалогов без потери контекста. Для обеспечения такой длины используются оптимизированные механизмы внимания, которые минимизируют накладные расходы на обработку длинных последовательностей.

Результаты бенчмарков Inkling 2 Mini в различных категориях, включая кодирование и рассуждения.
Результаты бенчмарков Inkling 2 Mini в различных категориях, включая кодирование и рассуждения.

В дополнение к основной модели, Thinking Machines Lab выпустила исследовательский артефакт — TML-d24-varloop-research. Эта версия архитектуры позволяет задавать переменное количество проходов через цикл. Если установить 1 или 2 прохода вместо стандартных трех, скорость инференса значительно возрастет, хотя качество генерации может незначительно снизиться. Это дает пользователям гибкость: можно выбрать между максимальной производительностью и скоростью отклика в зависимости от задач.

03Бенчмарки: Где Inkling 2 Mini лидирует

Результаты тестирования Inkling 2 Mini впечатляют, особенно если учитывать ее компактный размер. В индексе интеллекта Artificial Analysis Intelligence Index v5 (AAv5) модель демонстрирует состояние-of-the-art результаты в своем классе. По сравнению с такими моделями, как Gemma 4 31B, Muse Glimmer, Qwen3.8-27B и Nemotron 3.5 Super VL, Inkling 2 Mini лидирует в 32 из 48 бенчмарков.

Особое внимание стоит уделить категориям программирования и работы с знаниями. Inkling 2 Mini показывает выдающиеся результаты в FrontierCode v2.0, обгоняя многих конкурентов. В Terminal-Bench 4.0 она делит первое место с Qwen3.8-27B, а в AutomationBench-AA v1.0.6 немного уступает Qwen, но остается в числе лидеров. Эти результаты подтверждают, что модель способна выступать в роли надежного помощника для разработчиков, понимая сложные запросы и генерируя качественный код.

Детальные результаты тестирования на бенчмарке MTP (Multi-Token Prediction) или аналогичном метрическом наборе.
Детальные результаты тестирования на бенчмарке MTP (Multi-Token Prediction) или аналогичном метрическом наборе.

В категориях агентного поиска, использования инструментов, интерпретации изображений, рассуждений и безопасности Inkling 2 Mini также демонстрирует высокую эффективность. Важно отметить, что индекс AA Briefcase измеряется в рейтинге ELO, где более высокое значение означает лучшее качество. Высокие показатели в этих категориях говорят о том, что модель не только «знает» факты, но и умеет логически рассуждать и взаимодействовать с внешними инструментами.

⚠️ Важно.
Хотя Inkling 2 Mini значительно меньше по размеру, чем Inkling 2 Small, ее производительность в «вайб-тестах» (vibe tests) сопоставима с Qwen 3.8 27B. Это делает ее одним из лучших вариантов для локального запуска на потребительском оборудовании, где ресурсы ограничены.

04Инференс: Поддержка в основных фреймворках

Thinking Machines Lab обеспечила широкую поддержку Inkling 2 Mini в популярных фреймворках, что упрощает интеграцию модели в различные проекты. Ниже приведены инструкции для работы с основными инструментами.

Transformers (Hugging Face)

Для использования модели в библиотеке Transformers доступен класс AutoModelForMultimodalLM. Ниже приведен пример кода для загрузки фиксированной версии модели (Inkling 2 Mini) и генерации ответа на текстовый запрос.

terminalpython
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
)

messages = [{
    "role": "user",
    "content": [{
        "type": "text",
        "text": "Why is the sky blue?"
    }]
}]

inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt"
).to(model.device)

input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)

print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Для исследовательской версии с переменным числом проходов (variable loop) необходимо изменить параметр loop_num_passes в text_config. Например, для двух проходов:

terminalpython
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={
        "loop_num_passes": 2,
    },
)

Модель также поддерживает обработку изображений. Для этого в массив сообщений добавляется объект типа "image" с путем к файлу:

terminalpython
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "text", "text": "What is in this image?"},
        ],
    }
]

Также доступна настройка reasoning_effort (уровня усилий для рассуждений). Передавая параметр reasoning_effort="medium" в apply_chat_template, вы можете контролировать глубину анализа. Доступные уровни: none (0.0), minimal (0.1), low (0.2), medium (0.7), high (0.9; по умолчанию), xhigh (0.99) и max (0.99).

Tool Calling (Вызов инструментов)

Inkling 2 Mini умеет вызывать внешние инструменты. Ниже приведен пример, где модель запрашивает текущую температуру в Париже, используя функцию get_current_temperature.

terminalpython
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

def get_current_temperature(location: str, unit: str):
    """Get the current temperature at a location."""
    return 22.0  # В реальном приложении здесь был бы вызов API

def ask(messages):
    inputs = processor.apply_chat_template(
        messages, tools=[get_current_temperature], reasoning_effort="low", 
        tokenize=True, return_dict=True, return_tensors="pt"
    ).to(model.device)
    output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1]:]
    parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
    return parsed

messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}]
reply = ask(messages)
call = reply["tool_calls"][0]["function"]

print("Model calls:", call["name"], call["arguments"])
# Модель сама заполняет аргументы

temperature = get_current_temperature(**call["arguments"])
messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}]

print(ask(messages)["content"])
# Вывод: Right now in Paris it’s about **22°C** (roughly **71.6°F**).

Llama App и Llama.cpp

Для пользователей macOS и Windows доступна Llama App — удобное приложение для управления локальными моделями, построенное на базе llama.cpp. Оно предоставляет локальный API, совместимый с OpenAI, что упрощает интеграцию с редакторами кода и агентами.

Для Inkling 2 Mini доступны GGUF-квантования 4-битные (IQ4_NL) и 8-битные (Q8_0). Запустить модель через CLI можно следующей командой:

terminalbash
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

Для 8-битной версии измените суффикс на :Q8_0. В тестах 4-битная модель успешно создала веб-сайт для SaaS-платформы по подбору терапевтов для растений, включая генерацию SVG-графики и логики сопоставления, демонстрируя высокую автономность.

Ссылка на официальную карточку модели (model card) с полным списком бенчмарков.
Ссылка на официальную карточку модели (model card) с полным списком бенчмарков.

SGLang для продакшена

Для развертывания на серверном оборудовании (например, GPU NVIDIA B300) используется SGLang. Модель поддерживает инференс с первого дня (Day 0). Пример запуска сервера:

terminalbash
export MODEL="thinkingmachines/Inkling-2-Mini"
python -m sglang.launch_server \
  --model-path $MODEL \
  --served-model-name inkling \
  --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
  --tp 1 --page-size 128 --grammar-backend xgrammar \
  --host 0.0.0.0 --port 30000

После запуска сервера можно отправлять запросы через curl. Также можно включить мультимодальность флагом --enable-multimodal.

Спекулятивный декодинг (Speculative Decoding)

SGLang поддерживает спекулятивный декодинг с использованием трехслойного драфтера DSpark. Это позволяет предлагать токены для проверки целевой моделью, что значительно ускоряет генерацию. Для включения нужно добавить параметры --speculative-algorithm DSPARK --context-length 131072 к команде запуска сервера.

Бенчмарки показали, что использование спекулятивного декодинга на GPU NVIDIA B300 с запросами, содержащими 1024 токена ввода и 1024 токена вывода, существенно увеличивает скорость генерации при различных уровнях конкурентности (от 1 до 64 запросов).

Схематичное изображение (napkin sketch) принципа работы cross-pass messages в зацикленных слоях.
Схематичное изображение (napkin sketch) принципа работы cross-pass messages в зацикленных слоях.

MLX для Apple Silicon

Поддержка MLX была добавлена в проект mlx-lm. Это позволяет эффективно запускать Inkling 2 Mini на устройствах Apple с чипами M-series. Поддерживаются как оригинальные чекпоинты (с нативным квантованием NVFP4 + MXFP8), так и квантованные версии из организации mlx-community.

Пример запуска через CLI:

terminalbash
mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000

05Демо и «вайб-тесты»

Чтобы оценить креативные способности модели, разработчики провели серию тестов, включая генерацию 3D-шейдеров. Запрос на создание кинематографичного полета над процедурными горами и водой с отражениями в закатном свете был выполнен Inkling 2 Mini. Модель сгенерировала единый HTML-файл с WebGL-шейдером, который рендерит сцену в реальном времени без использования внешних текстур или библиотек. Результат оказался сопоставимым с качеством, показанным более крупными моделями, такими как Qwen 3.8 27B.

Пример приложения или интерфейса, использующего Inkling 2 Mini для обработки запросов.
Пример приложения или интерфейса, использующего Inkling 2 Mini для обработки запросов.

Эти тесты демонстрируют, что Inkling 2 Mini не только справляется с техническими задачами, но и обладает высоким уровнем креативности и понимания визуальных концепций, что делает ее универсальным инструментом для разработчиков и исследователей.

06Что это значит на практике

Выход Inkling 2 Mini знаменует собой важный шаг в democratization AI (демократизации искусственного интеллекта). Благодаря уникальной архитектуре с зацикливанием слоев, модель достигает производительности, ранее доступной только для гораздо более крупных моделей, при этом оставаясь компактной и эффективной. Это означает, что пользователи с локальными GPU (включая Apple Silicon через MLX и NVIDIA через SGLang/llama.cpp) могут теперь запускать мультимодальные модели с контекстом в 1 миллион токенов, способные к сложным рассуждениям, вызову инструментов и генерации кода, не завися от облачных сервисов.

Гибкость в выборе количества проходов (через исследовательскую версию) позволяет адаптировать модель под конкретные нужды: от максимальной скорости до максимальной точности. Поддержка различных форматов квантования и интеграция с популярными фреймворками делают Inkling 2 Mini готовым решением для внедрения в локальные AI-пайплайны уже сегодня. Для энтузиастов локального ИИ это, вероятно, одна из самых интересных новинок последних месяцев, предлагающая флагманский опыт в компактном формате.

Источник: Hugging Face ↗