Революция в контексте: 10 миллионов токенов
Mirendil выпустила Fern 0.1, свою первую модель, разработанную с нуля для задач программирования. Ключевая особенность — контекстное окно объемом до 10 миллионов токенов, что эквивалентно примерно 23 МБ кода или полумиллиону строк. Это позволяет загружать в память модели целые репозитории, логи обучения или трассировки агентов целиком, не прибегая к фрагментации.
Модель построена на базе Mirendil-Base после короткого этапа пост-обучения. В отличие от многих современных LLM, Fern 0.1 не является открытой: веса не опубликованы, доступ предоставляется только через ранний доступ (early access). Точное количество параметров не раскрывается, но указано, что модель варьируется от 0.1 до 0.5 триллионов параметров.
Экономика разработки: один человек и ИИ
Самый интригующий аспект проекта — методология создания. Исследование Mirendil-Base было выполнено одним исследователем за 3.5 месяца. Общая стоимость вычислений, включая токены для агентов и обработку данных, составила менее $10 млн.
Код написан с нуля на PyTorch и JAX. Примечательно, что более 99% кода было сгенерировано ИИ-агентами, а человек выполнял роль архитектора, принимая решения о том, какие эксперименты проводить и когда вмешиваться. Обучение велось исключительно на публичных данных (GitHub, веб-страницы, открытые датасеты) без использования дистилляции или синтетических данных.
Результаты бенчмарков: сила в поиске, слабость в действии
Модель демонстрирует выдающиеся результаты в задачах на работу с длинным контекстом, но отстает в сложных агентных сценариях. На бенчмарке RULER (стандарт для проверки длинного контекста) модель показала 100% точность в задаче «Single needle retrieval» (поиск одной иголки в стоге сена) на всех длинах от 32K до 10M токенов.
Однако в задачах агентного программирования Fern 0.1 проигрывает флагманским моделям. Ниже приведено сравнение ключевых метрик:
| Бенчмарк | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| Terminal Bench 4.0 (pass %) | 6.1% | 12.6% | 41.9% | 66.4% |
| SWE-Bench Verified (pass %) | 73.4% | 93.4% | 95.4% | 98.2% |
| SWE-Pro v2 Hard (pass %) | 76.5% | 88.2% | 84.3% | 100.0% |
| Bits per byte (при 1M байт) | 0.165 | 0.140 | 0.170 | — |
Как видно из таблицы, Fern 0.1 значительно уступает Claude Opus 5.5 и Kimi-K3 в задачах терминального взаимодействия (Terminal Bench), где требуется выполнение команд. Тем не менее, она показывает конкурентоспособные результаты на SWE-Bench и превосходит некоторые открытые модели, такие как Inkling и Nemotron 3 Ultra.
Почему это важно для индустрии
Запуск Fern 0.1 демонстрирует, что создание мощных специализированных моделей возможно при меньших бюджетах, чем у технологических гигантов, за счет эффективного использования ИИ-агентов для написания кода. Хотя модель пока не готова для сложных автономных задач (низкий балл в Terminal Bench), её способность удерживать в контексте огромные объемы кода открывает новые возможности для отладки, аудита и анализа больших кодовых баз, где традиционные модели «забывают» начало документа.
Mirendil уже работает над более крупными версиями: Mirendil-Base-Large (0.5–2T параметров) находится на стадии 80% предобучения, а Mirendil-Base-XL (2–10T параметров) — на 20%.
Бенчмарки
| Бенчмарк | Fern 0.1 | Claude Opus 5.5 | GLM-5.3 | Kimi-K3 |
|---|---|---|---|---|
| SWE-Bench Verified | 73.4% | 98.2% | 95.4% | 93.4% |
| Terminal Bench 4.0 | 6.1% | 66.4% | 41.9% | 12.6% |
| SWE-Pro v2 Hard | 76.5% | 100% | 84.3% | 88.2% |
| SWE Atlas QnA | 53.2% | 66.4% | 59.4% | 66.1% |
| DeepSWE | 44.2% | 74.2% | 66.9% | 67.3% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗