katanemo/plano

Что это за инструмент

Plano — это AI-нативный прокси-сервер и плоскость данных (data plane) для агентных приложений, работающий на базе Envoy.

Зачем нужен

Инструмент решает проблему переноса агентов из прототипа в продакшен, забирая на себя рутинную инфраструктурную работу: маршрутизацию запросов к нужным агентам, выбор LLM-провайдеров, безопасность (модерацию) и наблюдаемость. Это позволяет разработчикам сосредоточиться на бизнес-логике агентов, а не на написании кастомного middleware.

Что можно реализовать

• Создание мультиагентных систем (multi-agent apps), где запрос автоматически маршрутизируется к специализированному агенту (например, погодному или поиску билетов).
• Централизованное управление доступом к разным LLM-провайдерам (OpenAI, Anthropic и др.) с возможностью семантической маршрутизации моделей.
• Обеспечение безопасности агентов через цепочки фильтров (Filter Chains) для защиты от джейлбрейков и внедрения модерации.
• Сбор телеметрии и трассировки (OTEL) для всех агентов без изменения их кода для последующего анализа и улучшения.
• Интеграция агентов в существующую инфраструктуру как единой точки входа (edge proxy) для упрощения деплоя.

Ключевые возможности

• Оркестрация агентов с низкой задержкой через YAML-конфигурацию без изменения кода приложений.
• Model Agility: умная маршрутизация запросов к LLM по имени, алиасу или предпочтениям.
• Agentic Signals: автоматический захват сигналов и трассировки (traces/metrics) для каждого агента.
• Модульная архитектура: можно использовать как прокси для агентов, как роутер LLM или оба варианта вместе.
• Языковая независимость: агенты могут быть написаны на любом языке, поддерживающем OpenAI-compatible API.

👤 Кому подойдёт: Backend-разработчики и AI-инженеры, строящие production-ready агентные приложения, которым нужно отделить инфраструктуру от бизнес-логики.