Суть технологии: от текста к живому диалогу
NPCTalk — это инструмент на базе AI, который интегрируется в игры через плагины для AI-агентов (Claude Code, Codex, Cursor, Gemini CLI, Copilot). Система работает по принципу «говорит игрок — отвечает NPC»: используется распознавание речи (STT), генерация диалога через LLM (Cerebras) и синтез голоса (Fish Audio). Ключевая особенность — клонирование голоса персонажа на основе референсных записей, что делает ответ иммерсивным. Задержка между фразой игрока и ответом NPC составляет около 1 секунды.
Технический стек и интеграция
Проект позиционируется как часть экосистемы Universal Modder. Для работы требуется локальный сервер GPU (через Modal или fal) и API-ключи. Поддержка игр строится на абстракции «Skills»: код не знает, в какой именно игре он работает, а опирается на стандартные хуки (кто говорит, факты сцены, голос, действия). Изначально протестировано на GTA V, где оживлены 19 персонажей, включая Ламара, Майкла и полицейских.
Сравнение качества голосовых моделей
Разработчики провели бенчмаркинг на персонаже Ламаре (10 тестовых фраз, сравнение с 60 реальными клипами). Ниже приведены метрики сходства голоса (Speaker Similarity) и ошибки распознавания слов (Word Error Rate) для разных конфигураций:
| Конфигурация | Speaker Similarity (выше — лучше) | Word Error Rate (ниже — лучше) |
|---|---|---|
| ElevenLabs instant clone | 0.612 | 10.5% |
| Fish Audio Drama 3 (default) | 0.643 | 7.1% |
| Fish Audio S2 Pro (best ref) | 0.707 | 5.6% |
| S2 Pro fine-tuned (LoRA) | 0.785 | 7.5% |
Модель Fish Audio S2 Pro показала наилучшее сходство голоса (0.707 без дообучения и 0.785 с LoRA), а также наименьшую ошибку распознавания. Модель Drama 3 лучше справляется с эмоциональными тегами (смех, плач) и быстрее начинает говорить.
Безопасность и ограничения
Проект строго ориентирован на одиночные игры (Single-player). Разработчики подчеркивают, что NPCTalk не инжектируется в онлайн-игры с античитом (например, GTA Online) и не обходит DRM. Все ключи хранятся в переменных окружения, а проверка npctalk check блокирует публикацию аудио или транскриптов. Инструмент требует наличия прав на использование голосовых данных для клонирования.
Как установить
Установка зависит от используемого AI-агента. Например, для Claude Code:
/plugin marketplace add christos-antono/NPCTalk/plugin install npctalk@npctalk
Для других сред (VS Code, Cursor, OpenCode) требуется клонирование репозитория и настройка MCP-сервера. Необходимы Python 3.10+, Git, ffmpeg и доступ к GPU для работы голосового сервера.
Источник: Github ↗