В мире больших языковых моделей (LLM) происходит постоянная гонка вооружений, где ключевыми метриками становятся не только качество ответов, но и способность модели работать с огромными объемами контекста, выполнять сложные рассуждения и интегрироваться в рабочие процессы разработчиков. 16 октября 2026 года лаборатория Reflection Labs, новая американская компания, представила свое первое детище — модель Beam. Это не просто еще одна нейросеть; это флагманский проект с 501 миллиардом параметров, открытый под лицензией Apache 2.0, который позиционируется как инструмент для команд, стремящихся развернуть модели уровня frontier (передового уровня) на собственной инфраструктуре.
Beam спроектирован с нуля для двух основных сценариев использования: программирование (coding) и агентные задачи (agentic work). Модель поддерживает контекстное окно объемом в 1 миллион токенов, что позволяет ей «читать» целые кодовые базы или длинные технические документы за один проход. Но главное отличие Beam кроется в его архитектуре: это разреженная смесь экспертов (Mixture-of-Experts, MoE), которая обеспечивает вычислительную эффективность модели с 23 миллиардами активных параметров, сохраняя при этом интеллектуальный потенциал гиганта в 501 миллиард. В этой статье мы подробно разберем, как устроен Beam, почему его архитектура революционна для долгосрочного контекста, как он справляется с бенчмарками и что это значит для разработчиков в России и мире.
01Архитектура Beam: Как устроен гигант
Чтобы понять мощь Beam, нужно заглянуть под капот его архитектуры. Beam — это декодер с 52 слоями и скрытым размером (hidden size) 5120. Однако, в отличие от плотных моделей, где каждый токен проходит через все параметры сети, Beam использует механизм Mixture-of-Experts (MoE). Это позволяет активировать только часть нейронной сети для каждого конкретного токена, что радикально снижает вычислительные затраты на инференс.
В первых трех слоях используется плотный блок SwiGLU MLP. Остальные 49 слоев заменяют этот блок на блок MoE, состоящий из 256 экспертов. Каждый эксперт — это также SwiGLU MLP с промежуточным размером 2560, что составляет около 39 миллионов параметров на эксперта. Вместе все эксперты содержат 98,4% параметров всей модели. Роутер (маршрутизатор) использует схему, вдохновленную DeepSeek-V3: он оценивает все 256 экспертов с помощью сигмоиды, разделяет их на 8 групп по 32 эксперта, выбирает 4 лучшие группы (на основе суммы двух самых высоких оценок в каждой группе) и затем выбирает топ-8 экспертов внутри этих групп. Таким образом, для каждого токена вычисляется только 8 экспертов, что эквивалентно модели с 23 миллиардами активных параметров.
Уникальная система внимания (Attention)
Одной из самых инновационных частей Beam является гибридная система внимания, разработанная для работы с контекстом в 1 миллион токенов. Стандартные модели сталкиваются с проблемой масштабирования: память, необходимая для хранения ключей и значений (KV-cache), растет линейно с длиной контекста, что делает обработку длинных документов невозможной на обычном оборудовании.
Beam решает эту проблему, комбинируя два типа слоев внимания. 43 слоя используют скользящее окно (sliding-window attention) по предыдущим 512 токенам. Это означает, что эти слои «помнят» только недавний контекст, что экономит память. Остальные 9 слоев (каждый шестой и последний) используют глобальное внимание, обращаясь ко всему доступному контексту.
Внутри блоков внимания применяется групповое внимание (Grouped-Query Attention) с 48 головами запросов (query heads) и 8 головами ключей и значений (key-value heads). Но самое интересное происходит с позиционным кодированием. В слоях скользящего окна используется стандартная RoPE (Rotary Position Embeddings), так как относительная позиция важна в коротком окне. Однако в глобальных слоях позиционное кодирование отсутствует. Вместо этого каждый запрос умножается на скаляр, который медленно растет с количеством видимых токенов по формуле: (1 + (pos + 1) / 2048) ** 0.1. Эта техника, называемая scalable-softmax query scaling, действует как температура: она сохраняет точность функции softmax даже при увеличении длины контекста, предотвращая «размазывание» вероятностей.
02Поток остаточных связей: Стабильность через нормализацию
Еще одной отличительной чертой Beam является его обработка остаточных связей (residual connections). В стандартных трансформерах выход каждого подслоя добавляется к потоку данных с весом 1, что приводит к постепенному росту масштаба потока данных по мере глубины сети. Beam делает иначе.
Beam считает входные эмбеддинги как шаг 1. На каждом последующем шаге k он добавляет выход подслоя с весом 1/sqrt(k) и сохраняет существующий поток с весом sqrt((k-1)/k). Квадраты этих двух весов в сумме дают 1, что гарантирует постоянный масштаб потока данных от первого до последнего слоя. После 104 сложений (учитывая, что каждый слой имеет два подслоя) каждый выход подслоя и входные эмбеддинги имеют одинаковый вес в конечном скрытом состоянии. Это обеспечивает исключительную стабильность градиентов и позволяет модели эффективно обучаться на огромных глубинах. Кроме того, все вычисления роутера, произведения SwiGLU, нормализации и скалярного масштабирования выполняются в точности FP32, даже если веса модели хранятся в более низких разрядах.
03Эффективность контекста: 1 миллион токенов
Поддержка контекста в 1 миллион токенов — это не просто маркетинговый ход. Благодаря гибридной архитектуре внимания, Beam достигает этого с минимальными затратами памяти. Каждый слой кэширует 2 x 8 KV-голов x 128 измерений = 2048 значений на токен. Если бы все 52 слоя сохраняли каждый токен, кэш рос бы на 208 КБ на токен. Но поскольку только 9 глобальных слоев хранят всю последовательность, а 43 слоя скользящего окна хранят фиксированное окно в 512 токенов, кэш растет всего на 36 КБ на токен — примерно в шесть раз медленнее, чем в наивной реализации.
Стандартная модель (все глобальные слои): 208 GiB.
Beam (гибридная архитектура): 36.08 GiB.
Это делает возможным запуск таких моделей на доступном оборудовании, а не только на суперкомпьютерах.
04Бенчмарки: Код, рассуждения и агенты
Reflection Labs предоставила обширные результаты тестирования Beam в различных форматах точности: BF16, FP8 и NVFP4. Модель демонстрирует выдающиеся результаты в задачах программирования и логического вывода.
В категории Agentic Coding / Terminal Beam показывает следующие результаты:
- SWE Bench Pro v2-Hard: 76,5% (BF16), 78,4% (FP8), 78,6% (NVFP4). Примечательно, что квантование до FP8 и NVFP4 даже улучшает результаты по сравнению с BF16, что может быть связано с эффектом регуляризации.
- Terminal Bench v2.1: 80,1% (BF16).
- SWE Atlas Codebase QnA: 31,8% (BF16), 32,2% (FP8).
В категории Reasoning (рассуждения) модель также показывает высокий уровень:
- AIME 2026: 97,7% (BF16), 98,0% (FP8).
- HLE (Human Level Evaluation) с инструментами: 51,1% во всех форматах.
- LiveCodeBench: 88,3% (BF16).
Важно отметить, что Beam поддерживает функцию preserve_thinking, которая позволяет модели сохранять цепочку рассуждений в контексте между несколькими ходами диалога. Пользователь может выбрать уровень усилий для рассуждения: "low", "medium" (по умолчанию), "high", "xhigh" и "max". Это критически важно для сложных агентов, которым нужно «думать вслух» перед тем, как выполнить действие.
05Инференс и развертывание: Как запустить Beam
Beam поставляется с поддержкой «день ноль» (day-0 support) в основных библиотеках: Transformers, vLLM и SGLang. Также доступна собственная оптимизированная оболочка на Rust от Reflection Labs.
Запуск через Transformers
Самый простой способ запустить Beam — использовать пайплайн генерации текста. Ниже приведен пример кода для инициализации модели и токенизатора:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "reflection/Beam-1.0-501B-A23B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id, dtype="auto", device_map="auto"
)
messages = [
{"role": "system", "content": "You should only answer with a number."},
{"role": "user", "content": "What is 17 * 23?"},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="medium" # по умолчанию
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=2000)
# Парсинг ответа
message = tokenizer.parse_response(
outputs[:, input_len:], prefix=inputs["input_ids"][:input_len]
)Токенизатор Beam включает встроенный шаблон ответа. Метод parse_response автоматически разделяет сырой вывод на поля: рассуждение, ответ и вызовы инструментов. Это избавляет от необходимости писать сложные регулярные выражения для парсинга.
Вызов инструментов (Tool Calling)
Beam поддерживает вызов инструментов с использованием собственной XML-подобной грамматики. При передаче инструментов в apply_chat_template и parse_response, парсер автоматически приводит аргументы к объявленным типам данных.
def get_weather(city: str, unit: str = "celsius"):
"""Get the current weather for a city."""
...
tools = [get_weather]
messages = [{"role": "user", "content": "I land in Paris tonight. Do I need a coat?"}]
inputs = tokenizer.apply_chat_template(
messages, tools=tools, add_generation_prompt=True, tokenize=True,
return_dict=True, return_tensors="pt"
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1000)
message = tokenizer.parse_response(
outputs[:, input_len:], prefix=inputs["input_ids"][:input_len], tools=tools
)
if message.get("tool_calls"):
print("Tool call detected!")Масштабирование: vLLM и SGLang
Для высокопроизводительного развертывания рекомендуется использовать vLLM или SGLang. Оба проекта поддерживают Beam «из коробки».
Пример запуска через vLLM с 16 GPU (для BF16):
vllm serve reflection/Beam-1.0-501B-A23B --tensor-parallel-size 16 --served-model-name beamДля ускорения генерации можно использовать спекулятивное декодирование с моделью-драфтером DFlash2:
vllm serve reflection/Beam-1.0-501B-A23B \
--tensor-parallel-size 16 \
--speculative-config '{ "method": "dflash", "model": "reflection/dflash2-drafter-preview", "num_speculative_tokens": 15 }'В SGLang поддержка также полная. Для GPU NVIDIA Blackwell (B200/B300) рекомендуется использовать формат NVFP4, который снижает объем памяти, необходимый для весов, с 1 ТБ (BF16) до ~280 ГБ. Для более старых GPU (Hopper, Ampere) доступны чекпоинты FP8.
06Аппаратные требования и оптимизация
Развертывание модели такого масштаба требует серьезной инфраструктуры. Вот ориентировочные требования:
- NVFP4 (для Blackwell): Чекпоинт занимает ~280 ГБ. Для комфортной работы с длинным контекстом и батчами рекомендуется использовать 4 GPU B200 (720 ГБ суммарной памяти) или 2 GPU B300 (288 ГБ каждая).
- FP8 (для Hopper/Ampere): Требует больше памяти, чем NVFP4, но меньше, чем BF16. Для BF16 чекпоинта (1 ТБ) потребуется 8 GPU H200 (по 141 ГБ) или 16 GPU H200 для распределения весов.
07Обучение и тонкая настройка (Post-Training)
Beam не только готов к инференсу, но и поддерживает полное обучение с подкреплением (RL) и контролируемое дообучение (SFT). Reflection Labs предоставляет рецепты для этих процессов. Для RL используется библиотека Miles. Это открывает возможности для команд, которые хотят дообучить Beam на специфических корпоративных данных, сохраняя его способность к рассуждениям и вызову инструментов.
Кроме того, Reflection Labs объявила конкурс с призовым фондом $10 000 в виде кредитов Hugging Face Hub для лучших проектов, использующих Beam. Это могут быть демо на Spaces, квантованные версии для специфического оборудования, синтетические датасеты или новые среды для RL. Это стимулирует сообщество к созданию экосистемы вокруг Beam.
08Что это значит на практике
Появление Beam знаменует собой сдвиг в парадигме открытых моделей. Раньше модели с сотнями миллиардов параметров были доступны только крупным корпорациям через закрытые API. Beam, будучи открытым и оптимизированным через MoE, позволяет компаниям развернуть «фронтьерную» модель на своей инфраструктуре. Это критически важно для:
- Безопасности данных: Код и данные не покидают периметр компании.
- Кастомизации: Возможность дообучения модели под специфические языки программирования или внутренние инструменты.
- Экономии: При больших объемах запросов собственное развертывание может быть дешевле, чем оплата по токенам в проприетарных API.
Для разработчиков в России это также означает возможность участия в глобальном сообществе open-source AI, используя доступные альтернативы для инференса (через API) или локальные кластеры с квантованными версиями модели. Beam демонстрирует, что будущее за гибридными архитектурами, которые сочетают огромную емкость памяти с эффективностью вычислений, делая передовые технологии доступными для более широкого круга пользователей.
Источник: Hugging Face ↗