Революция в обработке аудио: от текста к прямому аудио
Сан-Франциская компания Bland Labs представила Tofu-1 — полнодуплексную модель «speech-to-speech» (голос-в-голос) в стадии исследовательского превью. В отличие от традиционных каскадных голосовых агентов, которые преобразуют речь в текст, обрабатывают её через LLM и затем синтезируют ответ, Tofu-1 работает напрямую с аудиосигналом. Это позволяет модели сохранять интонации, паузы и контекст фоновых шумов, что критически важно для сложных сценариев использования.
Ключевые возможности и технические особенности
Tofu-1 спроектирована для работы в условиях реального мира: в движущихся автомобилях, больничных палатах и при плохом качестве связи. Модель обладает тремя ключевыми навыками:
- Отслеживание спикеров: различает участников разговора и определяет, к кому обращена реплика.
- Сепарация шума: отделяет голоса от плача детей, работы телевизора, шума шоссе или тональных сигналов клавиатуры.
- Паралингвистика: считывает эмоции, такие как нерешительность, раздражение или срочность.
Модель поддерживает функцию thinking while talking (мышление во время говорения): агент может продолжать диалог, пока выполняет фоновую задачу, и сообщает об результате только по её завершении, не прерывая поток общения ложными подтверждениями.
Сравнение с конкурентами
На рынке полнодуплексных голосовых моделей Tofu-1 конкурирует с решениями от OpenAI, NVIDIA и Block. Ниже приведено сравнение ключевых характеристик:
| Характеристика | Bland Tofu-1 | OpenAI GPT-Live-1 | NVIDIA Nemotron | Block Dessa |
|---|---|---|---|---|
| Тип модели | Full-duplex speech-to-speech | Full-duplex voice model | Full-duplex speech-to-speech | Full-duplex speech-to-speech |
| Параметры | Не раскрыто | Не раскрыто | 11B | Не раскрыто |
| Задержка (Latency) | Не раскрыто | 0.798 s (FDB v1) | 448 ms (FDB) | Не раскрыто |
| Доступность весов | Закрыто | Закрыто | Открыто (OpenMDW 1.1) | Не выпущено |
| Обучающие данные | Миллионы часов реальных разговоров | Не раскрыто | ~550k часов аудио + текст | Только человеческая речь |
| Инфраструктура | Хостинг Bland | Хостинг OpenAI | A100, H100, H200, B100, B200, RTX-6000 | MacBook Pro M4 Max+ |
«Тест с телевизором» и скрытность данных
Bland использует метрику «TV Test» для оценки способности модели игнорировать громкий фоновый звук (например, телевизор) и фокусироваться на звонящем. Компания заявляет, что в слепых тестах более 92% участников не смогли отличить Tofu-1 от человека. Однако точные метрики задержки, стоимость и детальные бенчмарки пока не опубликованы, что отличает подход Bland от NVIDIA, предоставляющей открытые веса и четкие показатели производительности.
Доступность и целевые рынки
Доступ к Tofu-1 открыт для ограниченного числа корпоративных клиентов в сферах банковского дела, здравоохранения, страхования и госуправления. Форма регистрации запрашивает объем ежемесячных звонков (от 1 000 до 50 000+). Ожидается, что модель станет доступна широким массам в январе 2026 года. Архитектура модели остается закрытой, а развертывание осуществляется исключительно через инфраструктуру Bland.
Источник: MarkTechPost ↗
