Искусственный интеллект для физических устройств стремительно развивается, охватывая автономные транспортные средства и гуманоидных роботов. Основной вызов сейчас — это не просто запуск больших языковых моделей, а обеспечение точного анализа данных, взаимодействия в реальном времени и планирования маршрутов в условиях ограниченной мощности и задержек.
Новый стандарт в автономных системах
NVIDIA TensorRT Edge-LLM — это высокопроизводительная платформа для работы с языковыми и визуальными моделями на встраиваемых системах. Она решает проблемы производительности, возникающие при использовании больших моделей в автономных системах, таких как NVIDIA DRIVE AGX Thor и NVIDIA Jetson Thor.
Эффективное мышление на периферии
Для работы с массивными моделями на встраиваемом оборудовании необходим пересмотр подходов к вычислениям. TensorRT Edge-LLM поддерживает Mixture of Experts (MoE), что позволяет уменьшить активное использование ресурсов и задержки при обработке данных.
Гибридное мышление на краю
Теперь TensorRT Edge-LLM полностью поддерживает NVIDIA Nemotron 2 Nano, что открывает возможности для применения сложных языковых моделей прямо на чипах. Это решает проблемы памяти и задержек за счет использования инновационной архитектуры Hybrid Mamba-2-Transformer.
Реальное взаимодействие в реальном времени
TensorRT Edge-LLM теперь поддерживает Qwen3-TTS и Qwen3-ASR, обеспечивая голосовое взаимодействие без задержек. Модели Thinker и Talker оптимизированы для обработки запросов и генерации голоса непосредственно на чипе.
Оснащение роботов здравым смыслом
Для роботов и агентов с визуальной обработкой важно не только распознавание объектов, но и понимание физики и времени. TensorRT Edge-LLM теперь поддерживает Cosmos Reason 2, который помогает роботам понимать динамику мира без аннотаций.
Развитие автономного вождения
Среди самых значительных изменений в производстве автономных транспортных средств — переход на модели с полным циклом. NVIDIA Alpamayo ускоряет разработку безопасных и прозрачных систем, планирующих траекторию.
TensorRT Edge-LLM служит основой для создания следующего поколения автономных машин, предоставляя разработчикам необходимые инструменты для внедрения передовых систем.