Голосовые интерфейсы давно перестали быть просто удобной опцией; они стали критически важным компонентом взаимодействия человека с машиной. Однако традиционные подходы к обработке голоса, основанные на цепочке преобразований «речь-в-текст-в-решение-в-речь», имеют фундаментальный недостаток: они теряют богатство контекста, заложенное в самой интонации, паузах и эмоциональной окраске голоса. Именно эту проблему пытается решить компания Bland AI, представившая на суд общественности модель Tofu-1. Это не просто очередное обновление в линейке голосовых ассистентов, а принципиально новый подход к архитектуре искусственного интеллекта, работающему непосредственно с аудиосигналом.
Tofu-1 позиционируется как первая модель в планируемой семье голосовых решений Bland, способная к полнодуплексной (full-duplex) коммуникации. Это означает, что модель может одновременно слушать собеседника и генерировать ответ, не дожидаясь окончания реплики пользователя. Более того, она способна «думать» и выполнять сложные задачи в процессе разговора, не прерывая диалог. Для бизнеса, особенно в сферах, где важна скорость и точность (банкинг, здравоохранение, госуслуги), это открывает новые горизонты автоматизации, приближая взаимодействие с ИИ к естественному человеческому общению.
01Что такое Tofu-1 и почему это прорыв?
В основе Tofu-1 лежит концепция прямого обработки аудио. В отличие от классических каскадных систем, где голос преобразуется в текст, текст отправляется в большую языковую модель (LLM), а затем синтезированный ответ возвращается в голос, Tofu-1 работает с аудиоданными на всех этапах. Это позволяет модели сохранять информацию о тоне голоса, запинаниях, фоновых шумах и других паралингвистических признаках, которые часто теряются при транскрипции. Хотя Bland AI не раскрывает внутреннюю архитектуру модели, она обучена на обширных массивах реальных разговоров, что дает ей уникальное понимание контекста и нюансов человеческой речи.
Ключевая особенность Tofu-1 — ее устойчивость к шуму. Модель разработана для работы в сложных акустических условиях: в движущихся автомобилях, шумных больничных палатах или при плохом качестве связи. Она умеет отделять голос пользователя от фоновых звуков, таких как плач ребенка, работающий телевизор, шум шоссе или тональные сигналы клавиатуры телефона. Это делает ее идеальным кандидатом для использования в сценариях, где качество связи часто оставляет желать лучшего.

02Три столпа аудио-интеллекта: Отслеживание, Шум, Паралингвистика
Bland AI выделяет три ключевые способности, которые делают Tofu-1 уникальным игроком на рынке голосового AI. Эти навыки не просто улучшают качество распознавания, но и позволяют модели понимать социальный контекст разговора.
1. Отслеживание спикеров (Speaker Tracking)
Модель способна различать разных говорящих в разговоре и определять, к кому именно обращена реплика. Это критически важно в многопользовательских сценариях, например, когда клиент разговаривает с оператором колл-центра, а рядом находится его коллега или родственник. Tofu-1 понимает, кто задает вопрос, а кто просто комментирует ситуацию, что позволяет давать релевантные ответы только нужному собеседнику.
2. Разделение шума (Noise Separation)
Как уже упоминалось, способность отделять голос от шума — это не просто техническая деталь, а основа надежности. Tofu-1 может фильтровать широкий спектр фоновых звуков: от медицинских интеркомов в больницах до тональных сигналов набора номера. Это позволяет модели сохранять фокус на сути разговора, игнорируя отвлекающие факторы, которые часто сбивают с толку традиционные системы распознавания речи.

3. Паралингвистика (Paralinguistics)
Это, пожалуй, самая интересная и сложная функция. Tofu-1 «слышит» не только слова, но и эмоции, стоящие за ними. Модель распознает колебания, разочарование, срочность и другие эмоциональные состояния пользователя. Это позволяет ИИ адаптировать свой тон и стиль ответа в реальном времени, делая взаимодействие более эмпатичным и человечным. Например, если пользователь звучит раздраженно, модель может изменить свой ответ, чтобы успокоить его, вместо того чтобы механически продолжать выполнение задачи.
03Полнодуплексность и «мышление» во время разговора
Одной из самых впечатляющих особенностей Tofu-1 является ее способность к полнодуплексной коммуникации с функцией «мышления» в процессе разговора. В традиционных системах пользователь должен ждать, пока ИИ закончит свою реплику, прежде чем задать следующий вопрос или прервать его. Tofu-1 позволяет пользователю прерывать или исправлять модель прямо посреди предложения.
Более того, модель может выполнять сложные задачи (например, поиск информации в базе данных или оформление заказа) в фоновом режиме, продолжая вести диалог. Она не заявляет о завершении задачи, пока она действительно не будет выполнена, и не прерывает разговор, чтобы сообщить о результате. Вместо этого она интегрирует результат в естественный поток диалога, когда это уместно. Это создает ощущение настоящего, непрерывного разговора, а не взаимодействия с роботом, который «думает» в тишине.
04Генерация сцен и «Тест с телевизором»
Поскольку Tofu-1 моделирует звук телефонного разговора, она способна не только анализировать, но и генерировать его. Это включает в себя создание звуков второго говорящего, акустики помещения и даже шума линии. Эта способность открывает новые возможности для симуляции и тестирования голосовых AI-систем, а также для создания более реалистичных виртуальных собеседников.
Особое внимание Bland AI уделяет так называемому «Тесту с
Источник: MarkTechPost ↗
