pipecat-ai/pipecat

Open Source framework для голосовых агентов, мультимодальных приложений и AI в реальном времени. Поддерживается Daily и сообществом.

Агенты⭐ 17 086Pythonпоследний релиз: v1.15.0

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Pipecat — это open-source Python-фреймворк для создания голосовых и мультимодальных AI-агентов с ультра-низкой задержкой в реальном времени.

Зачем нужен

Инструмент позволяет строить сложные конвейеры (pipelines) для обработки аудио, видео и текста, объединяя сервисы распознавания речи, TTS и LLM. Он полезен для разработки интерактивных приложений, где критична скорость отклика и возможность координации работы нескольких агентов.

Что можно реализовать

Голосовые ассистенты с естественным потоковым диалогом
Мультимодальные интерфейсы, обрабатывающие голос, видео и изображения
Системы с несколькими агентами (multi-agent), где специалисты передают задачи друг другу или работают параллельно
Бизнес-боты для сбора информации, поддержки клиентов и проведения встреч
Интерактивное сторителлинг и генеративные медиа-приложения

Ключевые возможности

Поддержка мультиагентных систем с передачей контроля (handoff) и параллельным выполнением задач
Встроенные структурированные диалоги (Pipecat Flows) с управлением состоянием
Готовые клиентские SDK для JS, React, React Native, iOS, Android, C++ и ESP32
Интеграция с AI-ассистентами кода (например, Claude Code) для быстрого старта проектов через CLI
Низкая задержка благодаря поддержке WebSockets и WebRTC транспортов

👤 Кому подойдёт: Разработчики Python, создающие AI-приложения; команды, разрабатывающие голосовых ботов и мультимодальные интерфейсы; исследователи в области real-time AI-агентов

Релизы

v1.15.0major

🕐 8 дн назад · релиз на GitHub ↗

Pipecat v1.15.0: умная остановка реплик пользователя, экспрессивная речь, reasoning в AWS Bedrock и улучшенная оценка качества аудио.

Added: Добавлена ClassifierUserTurnStopStrategy для определения завершения реплики пользователя с помощью классификатора, а также экспрессивная речь (alpha) и тег expression для тестов.
Added: AWSBedrockLLMService теперь поддерживает вывод reasoning (Claude, Nova 2) через новые фреймы и сохраняет подписанные рассуждения между вызовами.
Added: Внедрен AICTytoObserver для оценки качества аудио пользователя и оптимизация LLMWithBackend через predictive_delegation для ускорения ответов.
Added: NvidiaTTSService получил поле custom_configuration для передачи специфичных параметров модели, а SmallestTTSService — настройку языка произношения чисел.
Added: TavusVideoService теперь передает эмоции реплики на основе delivery, а система тестирования поддерживает проверку регулярных выражений в тексте.

v1.14.0major

🕐 13 дн назад · релиз на GitHub ↗

Добавлены сервисы для Perplexity, NVIDIA Omni и Zoom AI, улучшена обработка текста и аудио.

Added: Добавлен PerplexityAgentHttpLLMService с поддержкой веб-поиска и вызова функций.
Added: Появился NvidiaOmniLLMService для мультимодальных моделей Nemotron Omni с прямой обработкой аудио.
Added: Внедрен ZoomAISTTService для потоковой транскрипции через Zoom Scribe Live.
Added: LLMTextProcessor получил text_transforms для переписывания текста перед TTS и контекстом.
Added: NvidiaSTTService теперь поддерживает диаризацию спикеров и настройку формата меток.

v1.13.0minor

🕐 18 дн назад · релиз на GitHub ↗

Добавлена поддержка загрузки файлов и изображений в LLM-контекст через RTVI, улучшена работа с FishAudio TTS.

Added: Внедрена поддержка отправки файлов и изображений боту через RTVI-сообщение send-file с интеграцией в контекст LLM.
Added: Добавлены новые фреймы (FileRawFrame и др.) и методы LLMContext для работы с файлами, включая автоматическую обработку MIME-типов.
Added: Реализован FileResolver для безопасного разрешения URL и FileStorage для управления файлами с кэшированием и поддержкой облачных хранилищ.
Added: В dev-раннер добавлен эндпоинт загрузки файлов и флаг --uploads-folder, а также механизм очистки сессий.
Added: Улучшена работа LLMContext: добавлено удаление невалидных сообщений о файлах при ошибках в ответах моделей.
Added: В FishAudioTTSService добавлены настройки для контроля длины чанков и нормализации громкости.

v1.12.0minor

🕐 1 мес назад · релиз на GitHub ↗

Pipecat v1.12.0: улучшена агрегация TTS, добавлена поддержка IPA-транскрипции, переподключение MOQ и уверенность ответов Judge.

Added: TTS теперь учитывает Settings.language для агрегации предложений, по умолчанию используется английский.
Added: Добавлен TTSService.pronunciation_transform_ipa() для точной произношения имён и терминов через IPA-маппинг с поддержкой Cartesia, ElevenLabs, Inworld и Deepgram.
Added: MOQTransport получил клиентское переподключение с backoff и улучшенное обнаружение разрывов сессии через счётчики трафика.
Added: В JudgeVerdict добавлено поле confidence (0–1), а оценка теперь поддерживает классификаторы, включая быстрый Jev.
Added: Каждый кадр теперь имеет флаг interruptible для управления прерыванием, а также добавлен LLMClassifier для массовых запросов к LLM.

v1.11.0minor

🕐 1 мес назад · релиз на GitHub ↗

Pipecat v1.11.0: видео в LiveKit, тонкая настройка STT/TTSS, поддержка Saaras v4 и Groq reasoning.

Added: LiveKitTransport теперь поддерживает вывод видео (камера) с настраиваемым кодеком и битрейтом.
Added: Добавлена поддержка модели Saaras v4 в SarvamRealtimeSTTService.
Added: GroqLLMService получил поле reasoning_effort для контроля усилий рассуждения и скрытия мыслей Qwen.
Added: Расширены настройки STT: задержка в OpenAI, ключевые слова, стабильность AWS, начальный промпт Whisper.
Added: AzureTTSService поддерживает аудиоэффекты, SmallestTTSService — чтение математических формул.
Added: Улучшены скриптовые тесты: оценка function_call через judge, проверка маркеров завершения LLM.

v1.10.0majorbreaking

🕐 1 мес назад · релиз на GitHub ↗

Переход на OpenAI 3 и Anthropic 1 SDK, новый Speechmatics Agent STT, улучшенная работа Smallest TTS и Gradium VAD.

Breaking: Обновлены зависимости: теперь поддерживаются OpenAI 3 (на базе httpx2) и Anthropic 1 SDK, что требует пересборки TLS-сертификатов и явного указания региона для Bedrock.
Breaking: SpeechmaticsSTTService переключен на новый Agent STT API (/v2/agent), старый real-time endpoint больше не поддерживается, изменены настройки обнаружения реплик и модели.
Added: SmallestTTSService использует continuation API для сохранения просодии в рамках одного хода LLM, добавлена настройка буферизации max_buffer_delay_ms.
Added: GradiumSTTService получил серверное обнаружение конца реплик (turn detection), позволяющее передавать управление VAD на сторону сервера.
Added: LiveKitParams получил настройку размера буфера исходящего аудио, а SpeechmaticsSTTService добавил автоматическое переподключение с экспоненциальной задержкой.

v1.9.0minor

🕐 1 мес назад · релиз на GitHub ↗

Детальная аналитика задержек, поддержка аудио в тестах, новый AssemblyAI STT, улучшения Azure/Deepgram и Eval-фреймворка.

Added: Добавлен LatencyBreakdown.contributions для детальной разбивки задержек по этапам и настройкам.
Added: Появился AssemblyAISyncSTTService для транскрипции через Sync API AssemblyAI.
Added: В сценариях тестирования (Eval) теперь можно использовать аудиофайлы вместо синтеза речи.
Added: Добавлены обработчики on_progress и on_update для отслеживания состояния Eval-сессий.
Added: Улучшены настройки Azure TTS/STT и Deepgram Flux (фильтр нецензурной лексики, версионирование моделей).

v1.8.1patch

🕐 2 мес назад · релиз на GitHub ↗

Исправлено распознавание .yml-файлов в pipecat eval run и устранена ошибка с предупреждениями Context Hub в pipecat init.

Fixed: Команда pipecat eval run теперь корректно обрабатывает .yml-файлы в директориях, дополняя поддержку .yaml.
Fixed: Исправлена ошибка в pipecat init, из-за которой повторно предлагалось создать существующий индекс Context Hub и не появлялось предупреждение о неактуальности.

v1.8.0minor

🕐 2 мес назад · релиз на GitHub ↗

Pipecat v1.8.0: добавлен Context Hub, улучшена работа с MCP и Gemini, обновлён Google STT.

Added: Встроен Context Hub в CLI для управления знаниями агентов с автоматической проверкой актуальности.
Added: Упрощена интеграция MCP: добавлен метод tools() для автоматической регистрации инструментов.
Added: Появился KeenableWebSearch для голосовых агентов с поиском по веб-страницам через MCP.
Added: Gemini-адаптер теперь поддерживает внешние изображения по URL через Part.from_uri().
Added: Google STT v2 получил поддержку адаптации фраз для учета доменной лексики.
Added: Добавлены фреймы ProposedUserStartedSpeakingFrame для гибкого управления переключением реплик.

v1.7.0minor

🕐 3 мес назад · релиз на GitHub ↗

Добавлены метрики использования для LLM и STT, улучшена настройка ElevenLabs, Deepgram, AssemblyAI и Google Gemini.

Added: Добавлены метрики использования токенов для AWS Nova Sonic и метрики длительности аудио для всех STT-сервисов.
Added: В ElevenLabs STT добавлена фильтрация фонового шума, а в Deepgram Flux — конвертация чисел в цифры.
Added: Для AssemblyAI добавлена поддержка множественных языков, а для Google Gemini — явные настройки безопасности.
Added: В LiveKit добавлена поддержка входящих DTMF-сигналов, а в HTTP-клиенты сервисов — параметр кастомного клиента.