Новый стандарт длины контекста
Mirendil анонсировала Fern — свою первую модель, обученную с нуля. Ключевая особенность архитектуры — поддержка контекстного окна до 10 миллионов токенов. Это эквивалентно примерно 23 МБ кода, полумиллиону строк или сотням полных трасс работы агентов, которые модель может удерживать в памяти одновременно. Компания позиционирует это как переход от статического знания (параметры) к динамическому доступу к данным (контекст).
Технические характеристики Fern 0.1
Первая версия Fern 0.1 представляет собой базовую модель Mirendil-Base, прошедшую короткий этап пост-обучения. Она оптимизирована для высокопроизводительных агентных задач. В таблице ниже приведены основные параметры текущей версии и планы на будущее:
| Параметр | Fern 0.1 (Mirendil-Base) | Mirendil-Base-Large | Mirendil-Base-XL |
|---|---|---|---|
| Размер модели | 0.1–0.5T параметров | 0.5–2T параметров | 2–10T параметров |
| Контекст | До 10M токенов | Информация недостаточна | Информация недостаточна |
| Входные данные | Текст и код | — | — |
| Статус | Доступна (early access) | Pretraining (20%+) | Pretraining (20%+) |
Сценарии использования: от кода до аудита
Fern 0.1 заточена под специфические задачи разработчиков ИИ. Модель способна:
- Агентное программирование: запускать команды, читать вывод и продолжать работу до прохождения тестов.
- Отладка по логам: анализ длинных логов и стеков вызовов для поиска ошибок.
- Аудит данных: сканирование целых шейдов предобучения на наличие дубликатов, утечек бенчмарков и мусора.
- Анализ трасс: чтение полных трасс работы агентов для объяснения причинно-следственных связей.
Результаты обучения
Метрика качества модели оценивается через "bits per byte" (перекрестная энтропийная потеря на байт). Чем ниже значение, тем лучше. На данный момент Fern 0.1 находится на стадии раннего доступа, а более крупные версии (Large и XL) все еще находятся в процессе предобучения. Mirendil планирует регулярно выпускать новые версии модели по мере завершения этапов пост-обучения.
Источник: Mirendil ↗