Хэллоуин — это не просто праздник с конфетами и костюмами, это время, когда реальность становится немного страннее, а технологии позволяют оживить самые безумные идеи. Представьте себе гаражные ворота, которые не просто открываются, а разговаривают, ворчат и даже пугают гостей. Звучит как сценарий для хоррора? Или, возможно, как идеальный способ заставить детей говорить «пожалуйста»?
В этой статье мы подробно разберем проект MonsterHouse — интерактивную инсталляцию, созданную инженерами NVIDIA. Это не просто демонстрация технологий, а полноценный кейс того, как можно собрать сложный голосовой AI-агент, работающий в реальном времени на одном рабочем месте. Мы погрузимся в архитектуру решения, разберем каждый компонент стека Nemotron и объясним, как превратить деревянную дверь в «старого пирата» с характером.
01Концепция: От гаражных ворот до пиратского корабля
Идея MonsterHouse родилась из простого желания сделать Хэллоуин незабываемым. Автор проекта, Рик Гранди, хотел, чтобы его дом управлял процессом раздачи сладостей, но не в пугающем, а в раздраженном ключе. Главная метафора проекта — дом, построенный из обломков затонувшего пиратского корабля. Этот «корабль-недвижимость» недоволен своей новой жизнью и постоянно жалуется на посетителей.
Ключевая особенность персонажа — его уязвимость к вежливости. Если ребенок просто стучит, «дом» отвечает грубостью. Но стоит сказать «пожалуйста», как тон меняется, а «спасибо» может даже вызвать теплую реакцию. Это не просто шутка; это техническое требование к логике диалога, которое заставило разработчиков внедрить сложную систему управления состоянием (state tracking) в AI-агент.
02Архитектура системы: Как это работает под капотом
MonsterHouse — это пример мультиагентной системы, где каждый компонент отвечает за свой этап обработки информации. Вся система работает на одном рабочем месте с двумя мощными видеокартами NVIDIA RTX PRO Blackwell. Давайте разберем поток данных шаг за шагом.
1. Слух: Распознавание речи (ASR)
Первый этап — превращение звука в текст. Для этого используется NVIDIA Nemotron 3 ASR (Automatic Speech Recognition). Модель работает в режиме реального времени, преобразуя голос посетителей в текстовые команды. Важно отметить, что система использует модель nemotron-speech-streaming-en-0.6b.q8_0.gguf, оптимизированную для локального запуска. Она не просто слушает, но и определяет конец реплики, ожидая паузу, чтобы понять, что гость закончил говорить.
2. Мозг: Языковая модель (LLM)
Сердце системы — NVIDIA Nemotron 3.5 Bolt E4B 4GB. Это небольшая языковая модель (Small Language Model), специально разработанная для локальных диалоговых агентов. Почему именно она? В отличие от гигантских моделей, требующих серверных кластеров, Bolt E4B помещается в память видеокарты (благодаря 4-битной квантовке), что позволяет ей работать быстро и автономно, без подключения к интернету.
Модель не просто генерирует текст; она управляет сценарием диалога. Она помнит, был ли уже сказан вопрос, и решает, нужно ли «дому» смягчить тон или продолжить ворчать. Для придания персонажу уникальности к базовой модели был дообучен адаптер LoRA на основе набора примеров диалогов.
3. Голос: Синтез речи (TTS)
Полученный от LLM текст должен стать голосом. Здесь вступает в игру NVIDIA Magpie TTS Zeroshot. Технология Zero-shot позволяет создать голос персонажа, используя короткий референсный образец. В случае с MonsterHouse это был голос «грубого пирата».
Интересная деталь: у дома есть несколько настроений — от злого до довольного. LLM выбирает эмоцию, и Magpie TTS генерирует речь с соответствующей интонацией. Это достигается не через сложное обучение, а через промпты, передающие контекст эмоции, и использование разных референсных сэмплов для разных состояний.
4. Лицо: Анимация (Audio2Face)
Голос должен сопровождаться движением. NVIDIA Audio2Face-3D преобразует чистый аудиосигнал из TTS в анимацию губ и лица 3D-модели. В проекте используется модель Unreal Engine 5, где деревянная дверь гаража была превращена в скелетную сетку (SkelMesh) с возможностью деформации. Поскольку у дома нет глаз и бровей, вся экспрессия ложится на рот и «пламя» внутри, что делает анимацию экономичной, но выразительной.
5. Зрение: Компьютерное зрение (VLM)
Хотя основная механика строится на слухе, система также «видит». Модель NVIDIA Nemotron 3 Nano Omni (Vision-Language Model) анализирует видеопоток с камеры. Она описывает костюмы гостей, позволяя дому делать специфические комментарии (например, заметить вампира или ведьму). Для подсчета людей используются более легкие модели YOLO и ByteTrack, чтобы не перегружать систему.
03Тонкая настройка: Как научить дом быть «грустным пиратом»
Просто подключить LLM недостаточно. Чтобы персонаж не звучал как безликий робот, требуется тщательная настройка. Автор проекта прошел через несколько этапов итераций.
Системные промпты и сценарии
Базовый промпт задавал роль: «Ты старый корабль, который ненавидит шум». Но для стабильности диалога была разработана жесткая структура состояний. Система отслеживала, сколько раз гость уже просил, и меняла реакцию. Это позволило избежать бесконечных споров, которые могли бы раздражать посетителей.
Обучение LoRA-адаптеров
Для придания уникального стиля речи был создан датасет из диалогов. Этот датасет был сгене
Источник: Hugging Face ↗