pathwaycom/pathway

Что это за инструмент

Pathway — это Python-фреймворк для потоковой обработки данных (stream processing) и ETL, работающий на мощном движке Rust.

Зачем нужен

Инструмент позволяет писать код один раз и использовать его как для пакетной обработки (batch), так и для потоковой (streaming), обеспечивая инкрементальные вычисления в памяти. Это упрощает разработку и поддержку систем реального времени, так как не требует переписывания логики при смене режима обработки.

Что можно реализовать

• Потоковая аналитика и мониторинг событий в реальном времени
• Построение конвейеров LLM и RAG (Retrieval-Augmented Generation) с живыми данными
• ETL-процессы с подключением к Kafka, PostgreSQL и Google Drive
• Обработка неструктурированных данных в SQL on-the-fly

Ключевые возможности

• Единый код для batch и streaming режимов
• Высокая производительность за счет движка на Rust и инкрементальных вычислений
• Встроенные коннекторы к внешним источникам данных
• Готовые шаблоны для LLM и RAG пайплайнов
• Простое развертывание через Docker и Kubernetes

👤 Кому подойдёт: Python-разработчики, инженеры данных и AI-инженеры, строящие системы реального времени и LLM-приложения