Разработка автономных транспортных средств (AV) находится на пороге нового этапа, где простого распознавания объектов уже недостаточно. Современные системы должны не только видеть, но и «понимать» контекст, выстраивая логические цепочки причинно-следственных связей в реальном времени. Однако внедрение таких сложных моделей в бортовые компьютеры сталкивается с жесткими ограничениями вычислительных мощностей и задержек. NVIDIA представляет решение этой дилеммы — модель NVIDIA Alpamayo 2 Edge, адаптивную визуальную языковую модель действий (VLA), способную выполнять сложные рассуждения прямо на борту автомобиля без облачной инфраструктуры.
Эта система разработана специально для работы в условиях ограниченных ресурсов платформы NVIDIA DRIVE AGX Thor. В отличие от своих более крупных предшественников, Alpamayo 2 Edge использует механизм адаптивного рассуждения: она генерирует цепочки причинности (Chain-of-Causation) только тогда, когда ситуация на дороге требует глубокого анализа, экономя вычислительные ресурсы в рутинных сценариях. Это позволяет достичь задержки от пикселя до траектории в пределах 160–190 миллисекунд, что критически важно для безопасности.
В этой статье мы подробно разберем архитектуру модели, методы оптимизации инференса, роль модели оценки AlpaJudge и практические шаги по интеграции этих технологий в реальные проекты автономного вождения. Мы покажем, как перейти от теоретических вычислений к работающему коду на бортовом железе.

01Архитектура и ключевые особенности Alpamayo 2 Edge
В основе Alpamayo 2 Edge лежит 2-миллиардная языковая модель на базе архитектуры Nemotron, которая служит «мозгом» для обработки визуальной информации и навигационных инструкций. Модель принимает на вход видеопоток с камер кругового обзора, историю движения собственного автомобиля (ego-motion) и текстовые команды навигации. На выходе она генерирует не только траекторию движения, но и текстовое объяснение принятых решений — так называемые цепочки причинности (Chain-of-Causation, CoC).
Ключевой инновацией является адаптивное рассуждение. В обычных условиях, когда дорога свободна и ситуация предсказуема, модель не тратит циклы на генерацию длинных текстовых объяснений. Вместо этого она выдает специальный токен <NOMINAL>, сигнализируя о том, что действие является стандартным. Это значительно сокращает количество генерируемых токенов и экономит энергию процессора. Однако при появлении сложных препятствий, нестандартных ситуаций или необходимости интерпретации жестов регулировщика, модель переключается в режим глубокого анализа, генерируя подробные логические цепочки.
Для генерации самих траекторий используется диффузионный эксперт действий. Этот компонент берет на себя задачу преобразования высокоуровневых рассуждений в конкретные физические параметры управления: угол поворота руля, ускорение и торможение. Такой гибридный подход позволяет сочетать семантическое понимание ситуации с точностью физического моделирования.
Обучение с подкреплением в замкнутом цикле
Одной из главных проблем при уменьшении размера модели является потеря качества. Чтобы компенсировать это, NVIDIA применила метод обучения с подкреплением в замкнутом цикле (closed-loop reinforcement learning) в симуляторе AlpaGym. В отличие от традиционного обучения, где модель оценивается по отдельным кадрам, здесь она учитывается на основе последствий своих действий в течение всего сценария.
Результаты этого этапа пост-обучения оказались впечатляющими: производительность в замкнутом цикле улучшилась на 48,9% по сравнению с лучшей контрольной точкой, полученной без использования RL. Это означает, что модель стала значительно стабильнее, реже совершала ошибки и лучше справлялась с долгосрочным планированием маршрута.
02Оптимизация инференса для бортовых систем
Запуск модели размером в 2 миллиарда параметров на бортовом компьютере — это сложная инженерная задача. NVIDIA предоставляет готовые рецепты развертывания через Alpamayo Developer Hub, которые позволяют оптимизировать модель для работы на платформе DRIVE AGX Thor. Процесс включает несколько критических этапов: квантование весов, экспорт в формат ONNX, построение движков TensorRT и использование специализированных плагинов TensorRT-Edge-LLM.
Особое внимание уделено ускорению рассуждений с помощью DFlash2. Этот инструмент позволяет проводить спекулятивное декодирование (speculative decoding), что значительно ускоряет процесс генерации текста без потери качества. В результате, полная задержка от получения изображения с камер до формирования управляющей траектории составляет от 160 до 190 миллисекунд. Это время включает в себя обработку всех входных данных, генерацию рассуждений (если они нужны) и расчет траектории.

Практический пример кода
Для разработчиков важно понимать, как выглядит интеграция модели на практике. Ниже приведен пример скрипта инференса, который показывает, как загрузить модель, подготовить данные и запустить генерацию траекторий. Обратите внимание на использование torch.autocast для оптимизации вычислений с плавающей запятой и параметры диффузионного сэмплинга.
import torch
import transformers
from alpamayo2_edge.checkpoint import load_model
from alpamayo2_edge.load_physical_aiavdataset import load_physical_aiavdataset
from alpamayo2_edge.helper import prepare_model_inputs, to_device
from alpamayo2_edge.models.utils import fuse_traj_tokens
data = load_physical_aiavdataset(**clip)
model, loading_info = load_model("nvidia/Alpamayo2-Edge")
settings = dict(
seed=43,
top_p=0.98,
top_k=None,
temperature=0.6,
num_traj_sets=1,
num_traj_samples=1,
max_generation_length=256,
diffusion_kwargs={"inference_step": 10},
)
prepared = prepare_model_inputs(data, model.config, model.tokenizer)
prepared = to_device(prepared, device="cuda")
"""Seed text and diffusion sampling, then run the model on prepared inputs."""
torch.manual_seed(settings["seed"])
generator = torch.Generator(device="cuda").manual_seed(settings["seed"])
with (
torch.inference_mode(),
torch.autocast(
device_type=torch.device("cuda").type,
dtype=model.dtype,
enabled=model.dtype != torch.float32,
),
):
xyz, rot, _, extra = model.sample_trajectories_from_data(
prepared,
num_traj_sets=settings["num_traj_sets"],
num_traj_samples=settings["num_traj_samples"],
top_p=settings["top_p"],
top_k=settings["top_k"],
temperature=settings["temperature"],
max_generation_length=settings["max_generation_length"],
diffusion_kwargs={**settings["diffusion_kwargs"], "generator": generator},
return_extra=True,
)В этом коде важно отметить, что модель автоматически определяет, нужно ли генерировать рассуждения. Если ситуация номинальная, она вернет токен <NOMINAL>, что экономит ресурсы. Если же требуется анализ, будет сгенерирован полный текст цепочки причинности.

03AlpaJudge: Оценка качества рассуждений
Оценка траектории движения — это лишь половина задачи. Вторая, не менее важная часть — оценка качества самого рассуждения. Почему автомобиль решил затормозить? Правильно ли он идентифицировал причину? Для этого NVIDIA разработала AlpaJudge — модель-критик, калиброванную на основе человеческих оценок.
AlpaJudge существует в двух вариантах, что позволяет гибко подходить к тестированию в разных условиях:
- AlpaJudge-RB (Reference-Based): Требует вопрос, эталонный ответ и ответ модели. Возвращает вероятность совпадения с эталоном. Идеально подходит для ситуаций, где есть четкий правильный ответ.
- AlpaJudge-RF (Reference-Free): Не требует эталонного ответа. Анализирует визуальные кадры (широкоугольные и телеобъективы), историю действий и предложенное рассуждение. Возвращает пять метрик: согласованность действий, безопасность, заземленность компонентов, полноту и причинную согласованность. Это критически важно для оценки сложных, нестандартных ситуаций, где единого правильного ответа может не существовать.

Рабочий процесс оценки
Процесс оценки с помощью AlpaJudge включает несколько шагов. Сначала необходимо загрузить чекпоинты моделей (они занимают около 5 ГБ весов на GPU). Затем, используя данные из датасета PhysicalAI-AV, можно протестировать модель на конкретных сценариях. Например, в ноутбуке NVIDIA приводится пример с дорожными работами, где модель должна объяснить свои действия.
При запуске оценки на тестовом сценарии AlpaJudge-RB может показать вероятность совпадения с эталоном 0,999, а AlpaJudge-RF — общую оценку 0,842. Эти цифры позволяют разработчикам точно измерить, насколько рассуждения модели соответствуют человеческому пониманию ситуации.
04Интеграция в реальные проекты: опыт партнеров
Теория — это хорошо, но реальная ценность технологий проверяется в бою. Партнеры NVIDIA уже начали использовать Alpamayo 2 Edge в своих проектах, и их результаты демонстрируют значительный прогресс по сравнению с предыдущими поколениями моделей.
PORT (Matas Simonavicius, CTO): Компания PORT интегрировала модель в реконструкции записей улиц Лондона. Они отметили, что модель удерживала полосу в более чем два раза чаще, чем Alpamayo 1.5, и восстанавливалась после смещения с полосы на 40% чаще. Кроме того, скорость планирования была примерно вдвое выше, чем у их ранее настроенной серверной версии Alpamayo 1.5, работающей на том же GPU.
Niulinx (Luca Crotti, сооснователь): В тестах с нулевым обучением (zero-shot) модель снизила ошибку смещения (minADE) на 13,6% и латеральную ошибку предсказания (RMSE) на 46,1% по сравнению с более крупной версией Alpamayo 2 Super. После дообучения на собственных данных ошибка смещения снизилась еще на 44,2%. Важно, что переход от получения модели к первым тестам на реальном автомобиле занял всего несколько дней.

Embedl (Hans Salomonsson, CEO): Компания Embedl смогла запустить Alpamayo 2 Edge на частоте 10 Гц на платформе AGX Thor для планирования в реальном времени всего за 48 часов. Они также продемонстрировали сравнение работы модели в PyTorch и с оптимизацией Embedl, показав значительное снижение задержки и ускорение вывода рассуждений.
05Что это значит на практике
Внедрение NVIDIA Alpamayo 2 Edge и AlpaJudge меняет парадигму разработки автономного вождения. Раньше разработчики были вынуждены выбирать между сложностью модели и скоростью ее работы. Теперь же, благодаря адаптивному рассуждению и оптимизации инференса, можно получить систему, которая мыслит глубоко, но действует быстро.
Для инженеров в России и других странах это означает доступ к передовым инструментам, которые можно запускать локально. Использование открытых рецептов развертывания через TensorRT и DFlash2 позволяет настроить систему под конкретное железо, не завися от облачных сервисов. Это критически важно для обеспечения безопасности и конфиденциальности данных.
Кроме того, наличие модели оценки AlpaJudge позволяет автоматизировать процесс тестирования. Вместо того чтобы вручную просматривать тысячи часов видео, разработчики могут использовать AlpaJudge для быстрой фильтрации сценариев, где модель рассуждает некорректно. Это ускоряет итерации и позволяет быстрее находить и исправлять ошибки.
Таким образом, Alpamayo 2 Edge — это не просто еще одна нейросеть, а комплексное решение, которое закрывает весь цикл: от восприятия и рассуждения до действия и оценки. Оно предоставляет разработчикам мощный фундамент для создания по-настоящему интеллектуальных и безопасных автономных систем, способных справляться с любыми вызовами современного дорожного движения.
Разработчикам стоит начать с изучения репозиториев на Hugging Face, доступных для Alpamayo 2 Edge и AlpaJudge. Попробовав запустить модель в симуляции и оценив ее рассуждения с помощью AlpaJudge, можно перейти к интеграции с бортовыми системами, используя предоставленные рецепты оптимизации. Это шаг к будущему, где автомобили не просто следуют инструкциям, а понимают контекст и принимают осознанные решения.
Источник: NVIDIA Developer ↗
