Ricursive Intelligence представила Ripple-65B Preview — плотную (dense) языковую модель на 65 миллиардов параметров, обученную с нуля для агентного программирования. Это первая публичная версия проприетарной модели, лежащей в основе платформы AI-дизайна чипов Ricursive. Модель доступна под лицензией Apache 2.0 и позиционируется как конкурент MoE-архитектурам в 10 раз большего размера.
Ключевое достижение: 80.52 балла на Terminal-Bench 2.1. Это лучший результат среди открытых моделей из США, превосходящий MoE-ривалов с 501B–975B параметров. При этом общая стоимость R&D составила всего $32 млн, что в 10 раз дешевле предыдущего лидера рынка.
01Архитектура и обучение
Ripple-65B использует классическую dense-архитектуру Transformer, отказавшись от Mixture-of-Experts (MoE) для снижения сложности инфраструктуры. Модель «тонкая и глубокая»:
- Размер модели (d_model): 5120
- Количество слоев: 80
- Объем данных: 12 триллионов токенов (текст и код, преимущественно английский)
- Контекстное окно: до 1 млн токенов (на этапе обучения использовались последовательности до 2 млн токенов)
В отличие от Olmo 3, архитектура адаптирована под стабильность (в стиле Gemma 3N). Применены специфические оптимизации:
- Избыточные головы внимания (overprovisioned attention heads) для улучшения рассуждений.
- Sliding-window attention в части слоев.
- Gated attention, глобальная NoPE (Positional Embedding) и value residuals.
- Обрезка активаций FFN (FFN activation clipping), аналогичная gpt-oss.
Тренировка проводилась с эффективностью 40% MFU (Model FLOPs Utilization) без кастомных ядер. Пост-обучение включало SFT, long-context SFT и смешанное RL. Использовалась техника truncated importance sampling с линейным штрафом за длину. Для достижения результата на Terminal-Bench потребовалось всего 1.4 млн роутов (rollouts) — это в ~70 раз меньше, чем у Beam (100M+ роутов).
02Бенчмарки: сильные и слабые стороны
Модель демонстрирует выдающиеся результаты в задачах агентного кодинга, но уступает более крупным моделям в общих знаниях и сложных научных задачах.
| Бенчмарк | Ripple-65B | Reflection Beam (501B MoE) | Muse Spark Open (816B MoE) | Inkling (975B MoE) |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 80.5 | 80.1 | 76.4 | 63.8 |
| SWE-bench Pro v2.0 Hard | 79.1 | — | — | — |
| SWE-bench Verified | 76.5 | 80.9 | — | 77.6 |
| GPQA Diamond | 85.2 | — | 89.0 | 87.2 |
| SciCode | 39.4 | — | — | — |
При тестировании с официальным хэшем Terminus 2 на контексте 128K результаты конкурентов упали (Beam до 70.8), тогда как Ripple-65B сохранил лидерство (80.5), а Muse Spark Open вырос до 78.7.
03Запуск: BF16 и NVFP4 квантование
Модель поставляется в трех чекпоинтах: instruction-tuned BF16, base BF16 и экспериментальный NVFP4. Архитектура NVFP4 квантует слои MLP, оставляя внимание в BF16, что позволяет запускать модель на локальных устройствах класса NVIDIA DGX Spark.
На датацентровых GPU (2x B200) модель выдает 250 токенов/с при батче 8 (до квантования). Для локального развертывания требуется около 65-70 ГБ VRAM в BF16 или значительно меньше в NVFP4 (точное число VRAM для NVFP4 не указано, но целевое устройство — DGX Spark, имеющее 64 ГБ памяти, что требует агрессивного квантования или offloading).
Для установки и запуска через Hugging Face Transformers можно использовать следующий код:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "ricursive/Ripple-65B-Preview"
# Загрузка модели в BF16
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# Пример инференса
inputs = tokenizer("Write a Python function to sort a list", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Для использования NVFP4 версии потребуется специфический загрузчик, поддерживающий формат NVIDIA FP4, который пока находится в экспериментальной стадии. Официальные веса доступны на Hugging Face.
04Кому подойдёт / что запустится
- Agentic Coding: Идеально для задач автоматизации написания кода, отладки и работы с терминалом. Лидер в Terminal-Bench 2.1.
- Локальный деплой: С NVFP4 чекпоинтом можно попробовать запустить на NVIDIA DGX Spark (64GB VRAM), что делает её доступной для edge-устройств или небольших серверов.
- Бюджетные R&D: При стоимости обучения $32M, модель предлагает высокую эффективность за счет dense-архитектуры и малого числа RL-роутов.
- Не подходит для: Глубоких научных исследований (низкий балл на SciCode), мультимодальных задач (только текст) и сценариев, где критична точность в сложных математических доказательствах (уступает более крупным MoE моделям).
Модель доступна на Hugging Face. Запуск через API планируется на Together AI, GMI Cloud и OpenRouter.
Источник: MarkTechPost ↗