Технологический стек и архитектура
Avorythm — это кроссплатформенное решение (Windows, macOS, Linux) и расширение для Chrome/Edge, которое использует мощь современных LLM для перевода аудио и видео. В основе системы лежат две ключевые модели: Google Gemini 3.5 Live для быстрого транскрибирования и перевода, а также Groq Whisper для высокоточного распознавания речи с таймкодами. Проект поддерживает более 30 языков, включая русский, английский, китайский, арабский и персидский.
Режимы работы и задержка
Разработчики реализовали два основных пути обработки звука в браузере, что позволяет выбирать баланс между скоростью и точностью:
- Низкая задержка (Low-latency): Прямой путь через Gemini 3.5 Live. Идеально для живых трансляций, где важна мгновенная реакция.
- Синхронизированный режим (Precise): Использует цепочку Groq Whisper → Gemini Text Pool → Gemini 3.1 Flash Live. Этот метод группирует целые реплики, сохраняет естественную PCM-аудио дорожку без изменения тональности и привязывает субтитры к интервалам аудио. Задержка захвата составляет около 20 секунд, что позволяет синхронизировать дубляж с оригиналом.
Ключевые возможности и метрики
Avorythm выделяется гибкостью вывода и локальной обработкой данных. Приложение генерирует четыре независимых аудиоканала и два потока субтитров. Ниже приведена сравнительная таблица режимов:
| Характеристика | Режим «На странице» (On-page) | Синхронизированный плеер (Synchronized) |
|---|---|---|
| Задержка | Минимальная (приоритет скорости) | ~20 секунд (приоритет точности) |
| Источники AI | Google Gemini 3.5 Live | Groq Whisper + Gemini 3.1 Flash |
| Вывод аудио | Только дубляж или оригинал | Смешивание (Smart ducking), экспорт в WebM |
| Субтитры | В реальном времени на экране | Синхронизированные SRT файлы |
| Запись | Не поддерживается | Локальный захват вкладки, экспорт ZIP |
Приватность и локальность
Важное преимущество Avorythm — отсутствие телеметрии и аналитики. Загруженные медиафайлы обрабатываются локально: аудио-чанки отправляются в Groq Whisper, а текст — в Gemini. Ключи API хранятся в системном хранилище или в сессии браузера (chrome.storage.session) и не шифруются, но не синхронизируются с облаком. Проект распространяется под лицензией MIT, что позволяет свободно модифицировать код.
Установка и требования
Для работы десктопного приложения требуется Python 3.12, Node.js 20+ и FFmpeg. Windows-версия включает FFmpeg, но требует ручной установки из-за отсутствия цифровой подписи (SignPath в процессе). Для работы расширения в Chrome необходимо разрешить доступ к аудио вкладки и, для точного режима, к API Groq. Проект активно развивается, и пользователи могут следить за обновлениями на GitHub.
Источник: Github ↗