Thinking Machines выпустила Inkling: 975B параметров и самообучение

Технические характеристики и архитектура

Inkling — это модель типа Mixture-of-Experts (MoE) с общим количеством параметров 975 миллиардов, из которых активными являются 41 миллиард. Модель обучалась на 45 триллионах токенов, включающих текст, изображения, аудио и видео. Ключевая особенность архитектуры — поддержка контекстного окна до 1 миллиона токенов и нативное рассуждение (reasoning) над мультимодальными данными.

Параллельно с основной версией Thinking Machines опубликовала превью Inkling-Small с 12 активными параметрами для задач, требующих низкой задержки и стоимости.

Демонстрация самообучения (Self-Finetuning)

Самое значимое событие — демонстрация способности Inkling к автономному дообучению. Модель самостоятельно написала код для создания датасета, запустила процесс обучения через API платформы Tinker и применила новые веса. В качестве теста модель обучили быть «липограммой» (запрет на использование буквы 'e').

Процесс занял около 27 минут. После успешного обучения модель переключилась на новые веса и начала отвечать, строго соблюдая ограничение, что ранее требовало сложного промптинга.

Сравнение с конкурентами

Inkling позиционируется не как лидер по отдельным бенчмаркам, а как сбалансированная база для кастомизации. Ниже приведено сравнение производительности на ключевых метриках (шкала 0-100, данные из релиза):

Почему это важно

Thinking Machines делает ставку на доступность кастомизации. Модель доступна для дообучения через платформу Tinker, а интерфейс Inkling Playground позволяет разработчикам тестировать поведение модели. Интеграция с OpenCode позволяет запускать Inkling в различных агентных средах, что делает её универсальным фундаментом для создания специализированных AI-ассистентов без необходимости обучения с нуля.

Источник: Thinkingmachines ↗