2.2.72patch
Автоматическое обновление OpenAPI-спецификации и кода Fern, а также обновление файла с ценами моделей.
- Added: Автоматизировано обновление OpenAPI-спецификации и сгенерированного кода Fern.
- Added: Обновлён файл с ценами моделей.
comet-ml/opik
Отлаживайте, оценивайте и мониторьте свои LLM-приложения, RAG-системы и агентные воркфлоу с помощью комплексного трейсинга, автоматических оценок и готовых для продакшена дашбордов.
LLMOps⭐ 22 172Pythonпоследний релиз: 2.2.72
Что это за инструмент
Opik — это open-source платформа для наблюдаемости (observability), оценки и оптимизации LLM-приложений, RAG-систем и агентов.
Зачем нужен
Инструмент помогает разработчикам отлаживать, тестировать и мониторить генеративные AI-приложения на всех этапах: от прототипа до продакшена. Он устраняет неопределенность в разработке за счет детального трейсинга, автоматизированных оценок и оптимизации промптов.
Что можно реализовать
- Отладка и мониторинг RAG-систем и чат-ботов с помощью детального трейсинга вызовов LLM
- Автоматизированная оценка качества ответов моделей с использованием LLM-as-a-judge и кастомных метрик
- Оптимизация промптов и агентов с помощью специализированного SDK Opik Agent Optimizer
- Обеспечение безопасности AI через встроенные функции Opik Guardrails
Ключевые возможности
- Глубокий трейсинг вызовов LLM, логирование диалогов и активности агентов
- Нативная интеграция с популярными фреймворками, включая Google ADK, Autogen и Flowise AI
- Возможность аннотирования трейсов и спанов баллами обратной связи через SDK или UI
- Промпт-плейграунд для экспериментов с моделями и промптами
- Готовые продакшн-дашборды для масштабного мониторинга
👤 Кому подойдёт: разработчики AI-приложений, ML-инженеры, команды, работающие с LLM, RAG и агентами
Релизы
2.2.71minor
Исправлено управление параметрами Claude, улучшена конфигурация SDK и добавлены инструменты для управления спанами.
- Fixed: Исправлено управление параметрами сэмплирования Claude: теперь они зависят от модели, а не от провайдера.
- Added: Улучшен поток настройки конфигурации в Python SDK.
- Added: Добавлена проверка готовности: сервис падает, если флаг обертки спанов не совпадает с топологией БД.
- Added: Внедрены драйверы переключения спанов, а также руководства и инструменты для репетиции процессов.
- В тестах Python SDK используется новая переменная окружения для ключа Anthropic.
2.2.70patch
Вышла версия 2.2.70.
2.2.69minor
Исправлена конфигурация ClickHouse, добавлен экспорт результатов экспериментов и маппинг полей трассировки в колонки датасета.
- Fixed: Исправлена настройка ClickHouse: параметр prefer_localhost_replica теперь явно устанавливается в профиле по умолчанию.
- Added: Добавлена возможность экспорта полного набора результатов эксперимента прямо из браузера.
- Added: Реализовано сопоставление полей трассировки (trace) и спанов (span) с колонками элементов датасета.
- Added: Оптимизировано удаление спанов: каскадное удаление теперь ограничено собственными партициями.
- Added: Обновлены файлы с ценами моделей и синхронизированы определения моделей провайдеров.
2.2.68patch
Исправлена валидация вебхуков и улучшено копирование в трассировках, потоках и спанах.
- Fixed: Исправлена валидация адресов вебхуков и сокращён вывод деталей ошибок при тестировании.
- Added: Функции копирования перенесены в интерфейсы трассировок, потоков и спанов.
2.2.66patch
Исправление оценки датасетов в Playground, оптимизация мутаций span и улучшение стабильности создания проектов.
- Fixed: Исправлена оценка запусков в Playground по выбранным правилам для датасетов.
- Added: Оптимизирована работа с мутациями span: переадресация DAO на spans_local до обёртки Distributed.
- Fixed: Улучшена защита от дубликатов по backdated-id и добавлен повторный запрос при создании проекта.
- Added: Добавлены спецификации e2e для тестирования сжатия вставки датасетов и ограничения потоков записи.
2.2.65patch
Исправление запросов к span, оптимизация SDK через orjson, обновление цен моделей и зависимостей.
- Fixed: Исправлено исключение demo-проекта при запросах использования span в бэкенде.
- Added: Оптимизирована производительность SDK: тела запросов теперь кодируются через orjson.
- Fixed: Добавлена обязательная проверка ALERT_UPDATE для операции удаления пакетов алертов.
- Added: Обновлён файл цен моделей и синхронизированы определения моделей провайдеров.
- Обновлены зависимости: com.google.api:gax до версии 2.85.0 и автоматически обновлены OpenAPI-спецификация и Fern-код.
2.2.64patch
Исправления в SDK и бэкенде, виртуализация сетки Playground и добавление BI-события для MCP.
- Fixed: SDK: исправлена ошибка отклонения дубликатов в SpearmanRanking.
- Fixed: Бэкенд: исправлен возврат ошибки 500 при пустых OpenTelemetry-запросах.
- Added: Frontend: добавлена виртуализация сетки вывода в Playground для повышения производительности.
- Added: BI: теперь генерируется событие opik_mcp_connected при новом подключении MCP.
- Fixed: SDK: исправлена проблема с перехватом команды uvx opik-mcp инструментом uv.
2.2.63patch
Исправлена производительность SDK: сжатие данных вынесено из потока производителя.
- Fixed: Оптимизирована производительность SDK за счёт выноса операций сжатия из потока производителя.
2.2.61patch
Исправлена обработка ошибок оценщиков, улучшена производительность загрузки датасетов и добавлена политика безопасности.
- Fixed: Исправлена логика оценщиков: отклоняются полностью нерабочие ответы и прекращается сохранение провалов как нулей.
- Added: Добавлен файл SECURITY.md для настройки канала приватного раскрытия уязвимостей.
- Fixed: Улучшена производительность Python SDK: загрузка элементов датасета теперь выполняется потоково без материализации.
- Fixed: Исправлена панель параметров модели, которая ранее предлагала недоступные опции.
- Fixed: Устранена зависимость в функции waitForRunsComplete, теперь она корректно завершает ожидание.
2.2.60minor
Добавлена поддержка Gemini 3.8 Flash и нативного thinking_level, исправлены MCP-коннекторы и стабильность UI.
- Added: Добавлена поддержка уровней мышления Gemini 3.8 Flash в Playground и онлайн-скоринге, а также отправка нативного thinking_level для Vertex Gemini 3.
- Fixed: Исправлена проблема, при которой одновременные запросы на обновление refresh_token приводили к потере MCP-коннекторов.
- Fixed: Устранены проблемы с нестабильностью размеров панелей экспериментов при навигации по элементам датасета.
- Fixed: Дашборды проектов теперь корректно изолированы в рамках конкретного проекта.
- Added: Добавлено баннерное объявление о поддержке MCP (Model Context Protocol) в верхней части страницы.
2.2.59patch
Исправления в бэкенде, синхронизация моделей и обновление документации SDK.
- Fixed: Исправлена работа с границами недель и скрытием строк в будущем.
- Fixed: Устранён разрыв в данных трасс после переключения.
- Added: Добавлена документация по интеграции Python SDK.
- Синхронизированы определения моделей провайдеров.
- Обновлён файл с ценами моделей.
2.2.58patch
Добавлена документация по OAuth2 для кастомных провайдеров и исправлен перенос стоимости в ADK-спаны через LiteLLM.
- Added: Добавлена документация по аутентификации OAuth2 client credentials для пользовательских провайдеров.
- Fixed: Исправлен перенос собственной стоимости прокси LiteLLM в спаны ADK.
2.2.57patch
Исправления в бэкенде, SDK и фронтенде, обновление документации и цен моделей.
- Fixed: Бэкенд: отбрасывание метрик без значений вместо падения батча, оптимизация буфера асинхронной вставки и пакетная обработка очереди.
- Fixed: SDK: запуск асинхронной оценки через to_thread для предотвращения блокировки event loop.
- Fixed: Расширение Cursor: предотвращение дублирования трассировок при редактировании.
- Fixed: Фронтенд: исправление округления остатка секунд в функции форматирования длительности.
- Документация: обновлена таблица прав рабочих пространств и добавлены специфичные атрибуты OTel.
- Обновлены определения моделей провайдеров, файл цен моделей и автоматически сгенерированная OpenAPI-спецификация.
2.2.55patch
Исправлена тарификация токенов рассуждений, улучшена классификация ошибок провайдеров и логика удаления трасс.
- Fixed: Токены рассуждений теперь тарифицируются по собственной ставке, а не по ставке вывода.
- Fixed: Ошибки провайдеров классифицируются по статусу, а не по диапазону 4xx/5xx.
- Fixed: События удаления трасс теперь записываются до фактического удаления.
- Added: Спецификации таксономии теперь управляются через reconciliation, а не генерируемые PR.
- Added: Предложены спецификации e2e на основе исследования релизов 2.2.48–2.2.49.
2.2.54minor
Добавлена интеграция Cerebras, исправлены ошибки SDK и улучшена стабильность бэкенда.
- Added: Добавлена интеграция Cerebras в Python SDK.
- Fixed: Исправлена ошибка повторных попыток при сбоях загрузки вложений S3.
- Fixed: Исправлено делегирование оценки в ConversationThreadMetric вместо выброса исключения.
- Fixed: Улучшена стабильность процессов миграции трасс и добавлено измерение времени отката.
- Added: Интерфейс «Opik Connect» переименован в «Ollie».
2.2.53patch
Исправления: удаление трассировок, цены моделей, пагинация версий, уровень мышления Flash Lite, OAuth токены MCP.
- Fixed: Исправлено удаление трассировок: мутация теперь ограничена собственными разделами батча.
- Fixed: Исправлена парсинг цен моделей с компактными суффиксами дат в формате YYYYMMDD.
- Fixed: В интерфейсе добавлена пагинация истории версий промптов и исправлена их нумерация.
- Fixed: Добавлен уровень «none» для мышления, чтобы модели Flash Lite оставались без него.
- Added: Бэкенд теперь сообщает поле expires_at при интроспекции OAuth-токенов MCP.
2.2.52minor
Версия 2.2.52: добавлена параллельная чтение датасетов, оптимизация подсчета элементов и исправление XAUTOCLAIM.
- Added: SDK: реализовано параллельное пакетное чтение элементов датасета.
- Added: Бэкенд: добавлен анализ сессий cipx с тайлингом задач и краткими итогами глав.
- Fixed: Бэкенд: исправлено продолжение XAUTOCLAIM с правильной позиции курсора.
- Added: Бэкенд: оптимизирован подсчет элементов датасета при наличии версии с items_total.
2.2.51patch
Исправлено чтение контента от судьи, добавлено сохранение метрик использования по вызовам, оптимизирован CI.
- Fixed: Исправлено чтение содержимого сообщений от судьи как строки, если оно не является набором частей контента.
- Added: Добавлено сохранение единиц потребления ресурсов для каждого вызова в таблицы cipx_spends и cipx_spend_blocks.
- Пропуск проверки npm audit в CI для TypeScript SDK и увеличение таймаута задачи публикации до 15 минут.
2.2.50patch
Исправление потока оценок, регистрация Cerebras, улучшение BI-событий SDK и новые E2E-тесты.
- Fixed: Исправлено зависание потока при получении не декодируемых сообщений об оценках.
- Added: Cerebras зарегистрирован как канонический провайдер для корректной загрузки цен моделей.
- Added: Улучшена обработка BI-событий в SDK.
- Added: Добавлена таблица ClickHouse cipx_session_analysis.
- Added: Покрыты E2E-тестами жизненный цикл алертов и утверждения идентификаторов датасетов.
2.2.49minor
Добавлена поддержка Gemini thinking для Vertex AI и Google AI, улучшена производительность обогащения датасетов и исправлены тесты.
- Added: Добавлена возможность настройки Gemini thinking для интеграций Vertex AI и google_ai.
- Added: На экране согласия MCP OAuth теперь автоматически выбирается рабочее пространство по умолчанию.
- Added: Бэкенд начал принимать токены устройств CIPX и сохранять device_id в идентификаторах.
- Fixed: Запросы обогащения датасетов теперь выполняются параллельно, что повышает производительность.
- Fixed: Исправлено зависание теста PythonEvaluatorServiceTest путем добавления таймаутов.
2.2.48patch
Исправлена конфигурация S3 для MinIO, обновлены тестовые спецификации и добавлена возможность вставки записей в датасет без дедупликации.
- Fixed: Исправлена настройка бэкенда EM для указания правильного порта MinIO API.
- Added: В SDK добавлена возможность вставки элементов в датасет без проверки на дубликаты.
- Обновлены предложения по таксономии и спецификации e2e-тестов.
2.2.47patch
Исправлена ошибка, из-за которой запросы к трассировкам могли терять записи из отдалённого будущего.
- Fixed: Устранена ошибка в бэкенде, при которой обёрнутые границы недели приводили к потере записей из далёкого будущего при чтении трассировок.
2.2.46patch
Исправления производительности, безопасности и стабильности: оптимизация блокировок, лимиты Jackson, таймауты аутентификации.
- Fixed: Исправлено подсчёт уникальных ID при определении размера версии датасета.
- Fixed: Применены лимиты чтения Jackson к Redis stream codec для повышения безопасности.
- Fixed: Оптимизирована блокировка версий датасетов, теперь она применяется только при создании.
- Fixed: Добавлены таймаут и повторные попытки для вызовов аутентификации в react-svc.
- Обновлена документация для пользователей AI-assistant с указанием на MCP server.
2.2.45patch
Релиз 2.2.45: добавлена настройка MCP и skill pack одной командой, исправлены ошибки потоков в SDK и оптимизирована работа с датасетами.
- Added: Добавлена возможность установки MCP и набора навыков одной командой (OPIK-8062).
- Fixed: Исправлено подавление исключений в потоковых обёртках Bedrock и Mistral в SDK.
- Fixed: В списке экспериментов теперь корректно отображаются задержка и стоимость лучшего запуска (OPIK-8060).
- Fixed: Запрещено создавать очереди аннотаций с именами, состоящими только из пробелов, для предотвращения потери данных (OPIK-7957).
- Выполнены оптимизации производительности бэкенда: атомарное обновление версий датасетов и ускорение сканирования элементов экспериментов.
- Добавлена японская версия README и обновлена документация по интеграции навыков.
2.2.44minor
В Opik 2.2.44 агенты получили доступ ко всем инструментам, исправлено сопоставление провайдеров OTel и обновлена документация.
- Added: Агенты теперь могут использовать все доступные инструменты без необходимости включать специальную функцию.
- Fixed: Исправлено корректное сопоставление имен провайдеров из OpenTelemetry с внутренними провайдерами Opik.
- Added: Синхронизированы определения моделей для различных провайдеров.
- Добавлена документация по устранению пяти проблем, выявленных при репетиции отката.
2.2.43patch
Исправлена передача токенов кэша Claude в Bedrock, добавлена редакция контента трасс без прав и улучшено фильтрация.
- Fixed: Исправлена передача токенов кэша Claude через агрегатор потоков Bedrock.
- Added: Добавлена автоматическая редакция содержимого трасс для пользователей без доступа к исходным данным.
- Fixed: Устранена ошибка, из-за которой извлечение использования LangChain ломалось при отсутствии метаданных модели.
- Fixed: Разрешена фильтрация дашбордов по описанию и исправлено применение фильтров элементов датасета.
- Added: Добавлено исчерпывающее покрытие unit-тестами для метрики PromptInjection.
2.2.42minor
Релиз 2.2.42: исправления SDK, новые таблицы для аналитики, поддержка DeepInfra и улучшение экспорта.
- Added: Добавлена таблица cipx_savings_facts для измерения реальной экономии.
- Added: Глубокая интеграция с DeepInfra: провайдер зарегистрирован как канонический, загружаются цены моделей.
- Added: Обновлен google-cloud-vertexai до версии 1.52.0 для поддержки конфигурации мышления (thinking config).
- Fixed: Исправлено подавление исключений в потоковых обёртках Anthropic и передача исключений в логах при ошибках стриминга.
- Fixed: Улучшен экспорт элементов экспериментов: сохранены сортировка, поиск и убрано усечение данных.
2.2.41minor
Обновление SDK с аналитикой, интеграция с Cursor, фиксы цен Snowflake и оптимизация фронтенда.
- Added: Python SDK теперь отправляет анонимную аналитику использования.
- Added: Добавлена интеграция для логирования использования токенов и стоимости из Cursor в Opik.
- Fixed: Исправлена регистрация Snowflake как провайдера для корректной загрузки цен моделей Cortex.
- Fixed: Устранены проблемы с маппингом блоков расходов slash_command и identity_context.
- Added: Включено логирование кэш-токенов в отчеты по использованию промптов.
2.2.40minor
Введение динамической OAuth2-авторизации для провайдеров, оптимизация производительности и исправление ошибок онлайн-скоринга.
- Added: Добавлена динамическая авторизация OAuth2 (client credentials) для пользовательских AI-провайдеров.
- Added: Внедрена виртуализация таблицы результатов экспериментов для повышения производительности интерфейса.
- Fixed: Исправлены четыре ошибки онлайн-скоринга, возникавшие в продакшене.
- Fixed: Коррекция логики семплирования онлайн-оценивания: теперь применяется только к продакшен-трейсам.
- Added: Оптимизация бэкенда: удаление трасс теперь ограничивается собственными партиями батча.