AIKraft Agents
ВойтиТарифы и покупка

openlit/openlit

Open source платформа для AI Engineering: LLM Observability на базе OpenTelemetry, мониторинг GPU, Guardrails, Evaluations, управление промптами, Vault, Playground. 🚀💻 Интеграция с 50+ LLM Providers, VectorDBs, Agent Frameworks и GPU.

LLMOps⭐ 2 951TypeScriptпоследний релиз: openlit-2.1.1
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

OpenLIT — это open-source платформа для AI-инжиниринга, обеспечивающая наблюдаемость (observability) LLM, GPU и векторных баз данных на базе OpenTelemetry.

Зачем нужен

Инструмент упрощает разработку Generative AI приложений, позволяя отслеживать метрики, затраты и ошибки в реальном времени. Он полезен для перехода от тестирования к продакшену, так как предоставляет единый интерфейс для мониторинга, управления промптами и безопасного хранения ключей API.

Что можно реализовать

  • Мониторинг производительности и затрат (cost tracking) для LLM и GPU в продакшене
  • Автоматическая оценка качества ответов LLM (LLM-as-a-Judge) на наличие галлюцинаций, токсичности и соответствия инструкциям
  • Централизованное управление версиями промптов (Prompt Management) и секретов (API Keys)
  • Сравнение и тестирование различных LLM через встроенный Playground (OpenGround)

Ключевые возможности

  • OpenTelemetry-native SDK для Python, TypeScript и Go, интегрирующиеся с существующими инструментами мониторинга
  • 11 встроенных типов оценки (evaluations): проверка на галлюцинации, предвзятость, безопасность, полноту и другие метрики
  • Rule Engine для определения условных правил (AND/OR) на основе атрибутов трассировки
  • Поддержка 50+ провайдеров LLM, векторных баз данных и фреймворков для агентов
  • Возможность кастомизации оценки стоимости для fine-tuned моделей через пользовательские файлы цен

👤 Кому подойдёт: AI-инженеры, разработчики LLM-приложений и DevOps-специалисты, отвечающие за мониторинг, безопасность и оптимизацию затрат в системах с Generative AI.

Релизы

openlit-2.1.1minor
🕐 10 дн назад · релиз на GitHub ↗

OpenLIT 2.1.1: новый OTLP-приёмник, интеграции с Trustabl и Memcode, алертинг через NATS и улучшенная UI-субъектность.

  • Added: Встроенный OTel Collector заменён на первый-party OTLP receiver, теперь OpenLIT принимает трассы, метрики и логи на портах 4317 и 4318.
  • Added: Добавлен интерфейс телеметрии на уровне трасс с агрегацией длительности, количества спанов и ошибок, а также отдельная вкладка со списком спанов.
  • Added: Реализована система realtime-алертов на базе NATS JetStream с возможностью настройки правил и отображения результатов в дашборде.
  • Added: Появились новые провайдеры и коннекторы: OrcaRouter, Trustabl scanner, OpenCode, Memcode для долгосрочной памяти агентов и LangGraph.
  • Fixed: Исправлена работа офлайн-оценок после перезапуска, улучшена доступность OTLP-ингеста и исправлена миграция шифрования Vault.
otel-gpu-collector-1.0.0major
🕐 23 дн назад · релиз на GitHub ↗

Релиз 1.0.0: исправлена атрибуция GPU-процессов и событий CUDA, добавлена защита от записи в read-only устройства, обновлены зависимости и документация.

  • Added: Пропуск метрик записи для read-only блочных устройств Linux с возобновлением отчётности при изменении статуса.
  • Fixed: Исправлена атрибуция GPU-процессов к их собственным pod через cgroup и hostname, устранена ошибка при использовании привилегированных pod.
  • Fixed: Добавлена атрибуция hw.id к событиям CUDA на мульти-GPU хостах с использованием текущего устройства потока и очисткой устаревших PID.
  • Added: Обновлены примеры в README: теперь телеметрия отправляется в OpenLIT OTLP receiver на порту 4318.
  • Обновлены зависимости: OpenTelemetry, eBPF, gRPC и другие Go-модули.
openlit-2.1.0major
🕐 1 мес назад · релиз на GitHub ↗

OpenLIT 2.1.0: новые провайдеры и коннекторы памяти, панель управления рисками и улучшения безопасности.

  • Added: Добавлен встроенный провайдер MiniMax с поддержкой моделей M3 и M2.7, включая потоковую передачу и метаданные.
  • Added: Реализованы коннекторы памяти Mem0, Claude и Zep с функциями поиска, записи и интеграцией Ask Otter.
  • Added: Введена панель Trace Governance с экспортом паспортов трасс и поддержкой политик NIST, EU AI Act и OWASP ASI.
  • Added: Добавлено обнаружение зацикливания агентов (stuck-agent loop) с фильтрацией повторяющихся вызовов инструментов.
  • Fixed: Исправлены ошибки установки, крашы дашборда и усилены меры безопасности аутентификации и изоляции арендаторов.
openlit-2.0.0major
🕐 2 мес назад · релиз на GitHub ↗

Релиз 2.0: реорганизация репозитория, новые фичи OpenTelemetry и SDK, исправления для LLM и GPU.

  • Added: Проведена реорганизация структуры репозитория.
  • Added: Добавлена поддержка фреймворка OpenTelemetry Collector для фильтрации по типу файловой системы.
  • Added: В TypeScript SDK добавлена инструментация для Letta.
  • Added: В клиентскую часть добавлена размерность trace-analysis для обнаружения misuse инструментов.
  • Fixed: Исправлено отслеживание параллельных блоков tool_use в Anthropic и function_call в Gemini.
  • Fixed: Устранено двойное подсчет токенов для вывода reasoning и исправлена работа с потоковыми спанами Anthropic.
otel-gpu-collector-0.0.8minor
🕐 2 мес назад · релиз на GitHub ↗

Релиз 0.0.8: новые режимы коллектора, переименование метрик GPU, исправления eBPF для CUDA 13 и поддержка x86-64.

  • Added: Добавлены режимы работы коллектора (all/light/serving/training/deep) для гибкого управления функциями.
  • Added: Введена переменная OTEL_GPU_FS_TYPES_EXCLUDE для исключения типов файловых систем из метрик.
  • Added: Переименованы имена метрик GPU (например, hw.gpu.up на hw.status) и улучшена устойчивость к ошибкам конфигурации.
  • Fixed: Исправлено декодирование аргументов запуска CUDA eBPF и добавлена поддержка разрешения хендлов ядер CUDA 13.
  • Fixed: Добавлен макрос PT_REGS_PARM6 для x86-64, позволяющий корректно обрабатывать шестой аргумент в BPF-программах.
ts-1.15.0minor
🕐 3 мес назад · релиз на GitHub ↗

Добавлена поддержка кэшированных токенов для множества провайдеров и пороги оценок; исправлен расчёт стоимости AssemblyAI.

  • Added: Добавлена поддержка кэшированных токенов для OpenAI, Anthropic, Bedrock, Groq, Google AI, Vertex AI, Azure AI Inference, Claude Agent SDK, Cursor SDK и Strands.
  • Added: Введены пороги оценок по типам и аутентифицированные API-эндпоинты для создания и обновления офлайн-оценок.
  • Fixed: Исправлен расчёт стоимости AssemblyAI: теперь используется длительность аудио вместо длины URL, как в Python SDK.