Архитектура и масштаб
Beam — это первая модель от новой американской лаборатории Reflection, доступная под лицензией Apache 2.0. Это модель типа Mixture-of-Experts (MoE) с общим объемом 501 миллиард параметров, но при генерации токена активными являются лишь 23 миллиарда. Архитектура включает 52 слоя, каждый из которых (кроме первых трех) использует блок MoE с 256 экспертами, из которых на каждый токен маршрутизируется 8 лучших. Такая структура позволяет модели работать со скоростью компактных 23B-моделей, сохраняя при этом емкость гигантской сети.
Работа с длинным контекстом (1M токенов)
Ключевая особенность Beam — поддержка контекстного окна в 1 миллион токенов. Для достижения этого используется гибридная система внимания: 43 слоя применяют скользящее окно (sliding-window) по 512 токенов, а 9 глобальных слоев обрабатывают полный контекст. Это радикально снижает потребление памяти. В таблице ниже приведено сравнение требований к памяти для контекста 128K и 1M токенов в формате BF16:
| Контекст | Полностью глобальные слои (52) | Beam (Гибридный) |
|---|---|---|
| 128K токенов | 26 GiB | 4.6 GiB |
| 1M токенов | 208 GiB | 36.08 GiB |
Форматы весов и аппаратные требования
Модель доступна в трех форматах: BF16 (около 1 ТБ), FP8 (для GPU NVIDIA Hopper и Ampere) и NVFP4 (для NVIDIA Blackwell). Формат NVFP4 является наиболее практичным для развертывания, так как сжимает модель до ~280 ГБ, сохраняя качество, близкое к BF16. Для ускорения инференса также доступен спекулятивный декодер DFlash2.
Результаты бенчмарков
Beam позиционируется как модель для кодинга и агентов. Ниже представлены результаты тестирования в ключевых категориях. Обратите внимание, что квантование до NVFP4 практически не влияет на точность в задачах кодинга, но может незначительно снижать результаты в сложных логических задачах.
| Бенчмарк | BF16 | FP8 | NVFP4 |
|---|---|---|---|
| SWE Bench Pro v2-Hard | 76.5% | 78.4% | 78.6% |
| Terminal Bench v2.1 | 80.1% | 78.9% | 78.2% |
| AIME 2026 (Математика) | 97.7% | 98.0% | 97.5% |
| GPQA Diamond | 90.6% | 90.3% | 89.3% |
| MCP Atlas (Tool Calling) | 80.8% | 81.5% | 80.5% |
Экосистема и инициатива разработчиков
Beam имеет нативную поддержку в библиотеках transformers, vLLM и SGLang. Для разработчиков запущена программа с призовым фондом $10,000 в виде кредитов Hugging Face Hub за лучшие проекты на базе Beam (демо, квантование, датасеты, RL-окружения). Модель поставляется с собственным Rust-хендлом для максимальной производительности и поддерживает настройку уровня рассуждений (от "low" до "max") через специальный токен.
Бенчмарки
| Бенчмарк | Beam (BF16) | Beam (FP8) | Beam (NVFP4) |
|---|---|---|---|
| SWE-bench Verified | 81.6% | 80.2% | 80.7% |
| SWE Bench Pro v2-Hard | 76.5% | 78.4% | 78.6% |
| AIME 2026 | 97.7% | 98% | 97.5% |
| GPQA Diamond | 90.6% | 90.3% | 89.3% |
| LiveCodeBench | 88.3% | 88.1% | 87.4% |
| Terminal Bench v2.1 | 80.1% | 78.9% | 78.2% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hugging Face blog ↗