Прорыв в классе 3B-моделей
Команда Thinking Machines опубликовала в Hugging Face веса модели Inkling 2 Small. Это не просто очередная итерация, а значимое обновление архитектуры, которое позиционируется как новый лидер в классе компактных языковых моделей (SLM). Модель разработана для эффективного развертывания на edge-устройствах и локальных серверах без потери качества рассуждений.
Технические характеристики и архитектура
Inkling 2 Small базируется на оптимизированной архитектуре, позволяющей достигать высокой плотности знаний при минимальном потреблении ресурсов. Ключевые особенности:
- Количество параметров: 3.2 миллиарда (3.2B).
- Контекстное окно: Поддержка длинных контекстов для работы с большими объемами данных.
- Обучение: Использованы передовые методы RLHF и DPO для улучшения качества ответов и безопасности.
Сравнение с конкурентами
По данным разработчиков, Inkling 2 Small превосходит многие модели размером до 7B параметров в задачах на логическое мышление и генерацию кода. Ниже приведена сравнительная таблица ключевых метрик (на основе открытых бенчмарков Thinking Machines):
| Модель | Параметры | Логика (GSM8K) | Код (HumanEval) | Многозадачность (MMLU) |
|---|---|---|---|---|
| Inkling 2 Small | 3.2B | 82.4% | 78.1% | 68.5% |
| Qwen2.5-3B | 3B | 76.2% | 71.5% | 64.1% |
| Llama-3.2-3B | 3B | 74.8% | 69.3% | 62.9% |
| Phi-3.5-mini | 3.8B | 79.1% | 75.4% | 66.2% |
Почему это важно для разработчиков
В эпоху, когда компании ищут баланс между производительностью и стоимостью инференса, Inkling 2 Small предлагает редкое сочетание. Высокие баллы в GSM8K (математическая логика) и HumanEval (генерация кода) означают, что модель способна решать сложные задачи, которые ранее требовали использования моделей в 2-3 раза больше. Это открывает возможности для внедрения AI в мобильные приложения и устройства с ограниченной памятью.
Где скачать
Веса модели уже доступны на платформе Hugging Face по ссылке thekingmachines/Inkling-2-Small. Разработчики рекомендуют использовать формат GGUF для совместимости с llama.cpp и другими легковесными рантаймами.
Источник: Huggingface ↗
