Архитектура и эффективность
Kolibri (Kolibri-1) — это Mixture-of-Experts (MoE) трансформер, разработанный полностью в Германии с учетом требований EU AI Act и GDPR. Модель имеет 78.1B общих параметров, но использует механизм маршрутизации, который активирует только 3.46B параметров на каждый токен (4.4% от общего числа). Это достигается за счет 384 маршрутизируемых экспертов, из которых для каждого токена выбираются топ-6, плюс один общий эксперт.
Ключевая инновация — гибридная архитектура внимания. 40 из 50 блоков используют скользящее окно (sliding-window) по 512 токеном, а каждые пятый блок применяет полное внимание. Это позволяет удерживать контекстное окно в 1,048,576 токенов, при этом только 10 слоев зависят от длины контекста. При сравнимых вычислительных затратах это обеспечивает поддержку последовательностей в 4 раза длиннее, чем у моделей с полным вниманием.
Обучение и данные
Предобучение прошло на 24 триллионах токенов с использованием 768 GPU NVIDIA B200. Особое внимание уделено немецкому языку: более 2 триллионов токенов на немецком были курированы или сгенерированы синтетически, что составляет более 20% от общего датасета. Постобучение включало SFT, MergeMix и RL на 1.2 млн внутренних задач с использованием протокола Merlin-Arthur, который учит модель воздерживаться от ответов, если контекст недостаточен.
Бенчмарки и сравнения
Kolibri демонстрирует высокие результаты в английском и немецком языках, превосходя многие аналоги по совокупному баллу. Ниже представлено сравнение с ключевыми конкурентами из отчета Aleph Alpha:
| Модель | Разработчик | Всего / Активные параметры | Макс. контекст | Overall Score (EN / DE) | Agentic Avg (EN) |
|---|---|---|---|---|---|
| Kolibri-1 | Aleph Alpha | 78.1B / 3.46B | 1,048,576 | 75.5 / 70.8 | 63.4 |
| Qwen3.6 35B-A3B | Alibaba Qwen | ~35B / 3B | ~1M (с YaRN) | 71.4 / 67.3 | 62.1 |
| Nemotron 3 Super | NVIDIA | 120B / 12B | 1M | 73.0 / 67.9 | 54.9 |
| Mistral Small 4 | Mistral AI | 119B / 6.5B | 256k | 63.1 / 61.4 | 40.7 |
В отдельных метриках Kolibri лидирует: GPQA Diamond (84.3), AIME 2025 (96.9) и Code Avg (89.3). По сравнению с предыдущей версией Kolibri Origin, новая модель декодирует в 2.7 раза больше текста на GPU и набирает на 21.4 балла выше в английских тестах.
Деплой и лицензия
Модель выпущена под лицензией Apache 2.0 с весами в формате FP8 (размер чекпоинта ~78 ГБ). Она оптимизирована для работы на одном GPU NVIDIA B200, B300, H200 или двух H100 SXM5 через vLLM. Поддерживается настройка уровня рассуждений (reasoning effort) и встроенные парсеры для вызова инструментов. Для развертывания рекомендуется использовать пакет aleph-alpha-inference с параметрами reasoning_parser kolibri1 и tool_call_parser kolibri1.
Бенчмарки
| Бенчмарк | Kolibri-1 | Mistral Small 4 | Nemotron 3 Super | Qwen3.6 35B-A3B |
|---|---|---|---|---|
| Agentic avg (EN) | 63.4% | 40.7% | 54.9% | 62.1% |
| Overall score (EN) | 75.5% | 63.1% | 73% | 71.4% |
| Code avg (EN) | 89.3% | 82% | 88.3% | 87.7% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗