openlit/openlit

Open source платформа для AI Engineering: LLM Observability на базе OpenTelemetry, мониторинг GPU, Guardrails, Evaluations, управление промптами, Vault, Playground. 🚀💻 Интеграция с 50+ LLM Providers, VectorDBs, Agent Frameworks и GPU.

LLMOps⭐ 2 777TypeScriptпоследний релиз: openlit-2.1.0

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

OpenLIT — это open-source платформа для AI-инжиниринга, обеспечивающая наблюдаемость (observability) LLM, GPU и векторных баз данных на базе OpenTelemetry.

Зачем нужен

Инструмент упрощает разработку Generative AI приложений, позволяя отслеживать метрики, затраты и ошибки в реальном времени. Он полезен для перехода от тестирования к продакшену, так как предоставляет единый интерфейс для мониторинга, управления промптами и безопасного хранения ключей API.

Что можно реализовать

Мониторинг производительности и затрат (cost tracking) для LLM и GPU в продакшене
Автоматическая оценка качества ответов LLM (LLM-as-a-Judge) на наличие галлюцинаций, токсичности и соответствия инструкциям
Централизованное управление версиями промптов (Prompt Management) и секретов (API Keys)
Сравнение и тестирование различных LLM через встроенный Playground (OpenGround)

Ключевые возможности

OpenTelemetry-native SDK для Python, TypeScript и Go, интегрирующиеся с существующими инструментами мониторинга
11 встроенных типов оценки (evaluations): проверка на галлюцинации, предвзятость, безопасность, полноту и другие метрики
Rule Engine для определения условных правил (AND/OR) на основе атрибутов трассировки
Поддержка 50+ провайдеров LLM, векторных баз данных и фреймворков для агентов
Возможность кастомизации оценки стоимости для fine-tuned моделей через пользовательские файлы цен

👤 Кому подойдёт: AI-инженеры, разработчики LLM-приложений и DevOps-специалисты, отвечающие за мониторинг, безопасность и оптимизацию затрат в системах с Generative AI.

Релизы

openlit-2.1.0major

🕐 11 дн назад · релиз на GitHub ↗

OpenLIT 2.1.0: новые провайдеры и коннекторы памяти, панель управления рисками и улучшения безопасности.

Added: Добавлен встроенный провайдер MiniMax с поддержкой моделей M3 и M2.7, включая потоковую передачу и метаданные.
Added: Реализованы коннекторы памяти Mem0, Claude и Zep с функциями поиска, записи и интеграцией Ask Otter.
Added: Введена панель Trace Governance с экспортом паспортов трасс и поддержкой политик NIST, EU AI Act и OWASP ASI.
Added: Добавлено обнаружение зацикливания агентов (stuck-agent loop) с фильтрацией повторяющихся вызовов инструментов.
Fixed: Исправлены ошибки установки, крашы дашборда и усилены меры безопасности аутентификации и изоляции арендаторов.

openlit-2.0.0major

🕐 24 дн назад · релиз на GitHub ↗

Релиз 2.0: реорганизация репозитория, новые фичи OpenTelemetry и SDK, исправления для LLM и GPU.

Added: Проведена реорганизация структуры репозитория.
Added: Добавлена поддержка фреймворка OpenTelemetry Collector для фильтрации по типу файловой системы.
Added: В TypeScript SDK добавлена инструментация для Letta.
Added: В клиентскую часть добавлена размерность trace-analysis для обнаружения misuse инструментов.
Fixed: Исправлено отслеживание параллельных блоков tool_use в Anthropic и function_call в Gemini.
Fixed: Устранено двойное подсчет токенов для вывода reasoning и исправлена работа с потоковыми спанами Anthropic.

otel-gpu-collector-0.0.8minor

🕐 26 дн назад · релиз на GitHub ↗

Релиз 0.0.8: новые режимы коллектора, переименование метрик GPU, исправления eBPF для CUDA 13 и поддержка x86-64.

Added: Добавлены режимы работы коллектора (all/light/serving/training/deep) для гибкого управления функциями.
Added: Введена переменная OTEL_GPU_FS_TYPES_EXCLUDE для исключения типов файловых систем из метрик.
Added: Переименованы имена метрик GPU (например, hw.gpu.up на hw.status) и улучшена устойчивость к ошибкам конфигурации.
Fixed: Исправлено декодирование аргументов запуска CUDA eBPF и добавлена поддержка разрешения хендлов ядер CUDA 13.
Fixed: Добавлен макрос PT_REGS_PARM6 для x86-64, позволяющий корректно обрабатывать шестой аргумент в BPF-программах.

ts-1.15.0minor

🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка кэшированных токенов для множества провайдеров и пороги оценок; исправлен расчёт стоимости AssemblyAI.

Added: Добавлена поддержка кэшированных токенов для OpenAI, Anthropic, Bedrock, Groq, Google AI, Vertex AI, Azure AI Inference, Claude Agent SDK, Cursor SDK и Strands.
Added: Введены пороги оценок по типам и аутентифицированные API-эндпоинты для создания и обновления офлайн-оценок.
Fixed: Исправлен расчёт стоимости AssemblyAI: теперь используется длительность аудио вместо длины URL, как в Python SDK.