Overtone Captions
Генерация и адаптация субтитров для любого экрана с использованием ИИ для исправления ошибок распознавания речи.
Что это
Overtone — это инструмент с открытым исходным кодом для автоматического создания и форматирования субтитров. Он преобразует аудио в текстовые файлы с таймкодами, которые можно использовать в видеоплеерах, поддерживающих формат video.js.
Система использует несколько моделей распознавания речи (gpt-transcribe, Azure STT, Elevenlabs Scribe) для получения транскрипции. При возникновении разногласий между моделями Overtone отправляет проблемные фрагменты на повторную проверку, а финальное решение принимает языковая модель (LLM), анализируя контекст.
Ключевая особенность — адаптация субтитров под любые соотношения сторон экрана. Инструмент предоставляет CLI-утилиту для конвертации аудио и плагин для интеграции в веб-проекты, позволяя создавать корректно разбитые строки без ручного редактирования.
Продукт подходит для разработчиков и создателей контента, которым нужно быстро генерировать доступные субтитры для видео с минимальным участием человека. Решение распространяется по лицензии MIT.