comet-ml/opik

Исправления в SDK и бэкенде: обработка ошибок LLMJudge, валидация имён проектов и оптимизация чтения трасс.

• Fixed: SDK теперь корректно обрабатывает некорректные вердикты LLMJudge как ошибки парсинга.
• Fixed: Бэкенд блокирует создание проектов с именами длиннее 150 символов.
• Fixed: Оптимизировано чтение сообщений в трэдах: теперь данные берутся только из первой и последней трассы.
• Added: В плейграунде появилась возможность открывать любые LLM-спаны.
• Обновлен базовый образ Docker до Python 3.12.16-slim.

Исправления SDK и бэкенда, ограничение токенов Gemini 4 Argon, обновление зависимостей и инструментов фронтенда.

• Fixed: Исправлена работа агента-судьи, который теперь отправляет вердикт через инструмент.
• Fixed: Ограничено максимальное количество выходных токенов для Gemini 4 Argon значением 32 768.
• Fixed: Устранена ошибка, позволяющая оценивать более 1000 потоков, и исправлена синхронизация кэша дедупликации.
• Added: Добавлена возможность запроса элементов экспериментов по всем экспериментам набора данных.
• Фронтенд переведен на Vite 8 и Vitest 5, а также обновлены зависимости Zod и @hookform/resolvers.

Исправления в SDK и бэкенде: поддержка детализации затрат, обработка таймаутов и исправление ошибок при создании проектов и версий датасетов.

• Fixed: Добавлена поддержка детализации затрат для span.
• Fixed: Исправлена ошибка «Project already exists» при запуске датасета с несколькими промптами.
• Fixed: SDK теперь корректно обрабатывает нулевой таймаут flush как истекший бюджет.
• Fixed: Устранены проблемы с deadlock при создании первой версии датасета.
• Fixed: Обновлены уязвимые зависимости (six) в фронтенде.

Исправлена работа парсера LLM-judge в TS SDK и улучшена логика поиска потоков на бэкенде.

• Fixed: Исправлена ошибка в TS LLM-judge парсере SDK, теперь корректно обрабатываются повторяющиеся идентичные JSON-объекты.
• Fixed: На бэкенде исправлена логика поиска потоков: теперь при выборе потока корректно сохраняются все связанные с ним трассировки.

Исправлена работа с OpenAI Responses API, обновлены цены моделей и улучшена производительность загрузки трасс.

• Fixed: Исправлена поддержка моделей OpenAI с интерфейсом Responses-only и улучшена логика фильтрации устаревших моделей.
• Fixed: В SDK для Google ADK 2.13.0 исправлено сохранение корневого агента в качестве трассы.
• Added: Обновлён файл с ценами моделей и синхронизированы определения провайдеров.
• Added: Оптимизирована производительность бэкенда: ограничена загрузка трасс потоками чтения в зависимости от их недель.
• Fixed: Исправлено прокручивание вложений в боковой панели потока вместе с сообщениями.

Исправления в SDK для LLMJudge и миграций БД, оптимизация поиска потоков и документация интеграций.

• Fixed: SDK теперь безопасно обрабатывает неподдерживаемые числовые утверждения в LLMJudge.
• Fixed: Бэкенд: поиск по потокам выполняется вне финальной стадии и один раз на запрос.
• Fixed: SDK корректно обрабатывает пустой ключ OPIK_API_KEY как неконфигурированный.
• Fixed: Процесс завершается с ошибкой при сбое миграции базы данных.
• Added: Добавлена страница документации по интеграции с Pixeltable.

Исправлен механизм переключения адресов у LLM-клиентов без повторных запросов, улучшен UI аннотатора и выбор параметров reasoning.

• Fixed: LLM-клиенты теперь корректно переключаются на следующий адрес при сбое, не повторяя запросы.
• Added: В правилах онлайн-оценок добавлена поддержка выбора уровня усилий (reasoning effort) для OpenAI и OpenRouter.
• Added: Упрощён интерфейс карточки аннотатора и предпросмотра, улучшено взаимодействие с чатом Ollie.

Исправления в бэкенде и SDK: улучшена обработка ошибок, кэширование и переключение моделей.

• Fixed: Исправлена логика обработки ошибок провайдеров: тела ошибок больше не дублируются в логах при повторных попытках.
• Fixed: Улучшено переключение моделей: интерфейс корректно считывает уровни нагрузки, отображаемые в панели.
• Fixed: В SDK добавлена тарификация для каждого уровня размера промпта и записей в кэш на 1 час для всех провайдеров.
• Fixed: Оптимизирована работа со стримингом: ожидание заголовков ограничено таймаутом чтения, повторные попытки выполняются только при временных сбоях.

Исправления производительности бэкенда, валидации заголовков провайдеров и обработки ошибок OpenAI.

• Fixed: Оптимизирована пагинация перед агрегацией данных на бэкенде.
• Fixed: Открытый транспорт Responses API теперь сохраняется, а ошибки OpenAI парсятся с дополнительными полями.
• Fixed: Заголовки провайдеров больше не выводятся в логи, а их кастомные значения валидируются на фронтенде.
• Added: Пользователи с неподтверждённой почтой перенаправляются на страницу верификации Comet.

Исправления бэкенда: оптимизация запросов, устранение блокировок и синхронизация моделей.

• Fixed: Оптимизировано чтение фильтров трасс в запросе KPI-карточек проекта.
• Fixed: Устранена проблема с блокировкой полезной нагрузки спанов из-за повторных попыток.
• Fixed: Исправлены замечания по коду бэкенда Python.
• Added: Обновлён файл с ценами моделей.
• Синхронизированы определения моделей провайдеров и обновлена спецификация OpenAPI.

Исправлено принудительное использование шлюза для LLM-запросов в Studio и добавлена опциональная изоляция сетевого исполнителя.

• Fixed: Зафиксировано использование шлюза для LLM-вызовов в Studio.
• Added: Добавлена опциональная изоляция сетевого исполнителя.

Исправлена рендеринг шаблонов промптов в изолированной среде, добавлен режим виджета Ollie на дашбордах и устранены уязвимости ОС.

• Fixed: Исправлен рендеринг шаблонов промптов через изолированную среду шаблонов.
• Added: Добавлен режим виджета Ollie для использования на дашбордах.
• Fixed: Устранены уязвимости операционной системы за счёт фиксации базовых образов.

Исправления в Playground, валидация URL провайдеров, устойчивость Redis и изолированного исполнителя.

• Fixed: Добавлена валидация базовых URL провайдеров LLM и требование учётных данных при их изменении.
• Fixed: Исправлена работа Playground: запуск по Cmd/Ctrl+Enter, показ экспериментов в логах и экран восстановления при сбое.
• Fixed: Улучшена стабильность бэкенда: корректный подсчёт трасс на главной странице и отказоустойчивость Redis и изолированного исполнителя.
• Fixed: Исправлены мелкие ошибки интерфейса: скрытие колонок, открытие страниц в правильном проекте и обработка кликов.

Исправления в SDK для Gemini и OpenAI, фиксы бэкенда и UI, а также обновления документации и моделей.

• Fixed: Исправлен подсчёт токенов (thinking и tool-use) для Gemini в TypeScript SDK.
• Fixed: Устранена проблема разделения параллельных вызовов инструментов в потоковой обработке OpenAI.
• Fixed: Исправлена обработка повторных доставок экспериментов на бэкенде и корректное отображение результатов в UI.
• Added: Обновлён файл цен моделей и синхронизированы определения моделей провайдеров.
• Added: Добавлен пример создания агента для LangChain v1 и документация по настройке OTEL.

Исправления UI, обновление зависимостей, улучшение AI-labels и усиление безопасности Nginx.

• Fixed: Восстановлена кликабельность узлов графа агентов в интерфейсе после обновления Mermaid.
• Fixed: Исправлена логика отображения моделей в пикере Gemini и корректное скрытие моделей-преемников.
• Fixed: Устранена уязвимость обхода блокировок в Nginx путем канонизации внутренних путей.
• Added: Расширены метрики AI-labels: добавлены цифровые двойники, счетчики задач и показатели CPU.
• Fixed: Обновлена библиотека sanitize-html для устранения уязвимостей безопасности.

Исправлена ошибка стриминга при превышении лимита размера, оптимизированы запросы к Redis и обновлены зависимости.

• Fixed: Исправлен сбой при записи спанов и трасс, если размер полезной нагрузки превышал max_query_size.
• Added: Добавлены обучающие материалы по метрикам Judge и их выравниванию.
• Added: Оптимизирована производительность: чтение оценок и размеров проектов теперь ограничено неделями спанов.
• Fixed: Устранены замечания ревью в коде Redis Sentinel.
• Обновлены зависимости certifi и litellm с учетом требований безопасности.

Исправлена работа моделей с рассуждениями и обновлены модели онлайн-оценок по умолчанию.

• Fixed: Исправлено ограничение для моделей OpenAI с функцией рассуждения: теперь поддерживается не менее 16 токенов вывода.
• Fixed: Модели OpenAI и OpenRouter для онлайн-оценок по умолчанию заменены на GPT 5.5.
• Автоматически обновлены спецификация OpenAPI и код Fern.

Исправления в Playground, метриках и рефакторинг ParamResolver.

• Fixed: Playground блокирует запуски при пустом наборе данных или тестовом наборе.
• Fixed: Исправлено ложное сообщение об отсутствии утверждений при отсутствии результатов теста.
• Fixed: Исправлено дублирование сохранения в библиотеку промптов при двойном клике.
• Fixed: Оценки, добавленные вручную, теперь учитываются в метриках рабочего пространства.
• Added: Проверка моделей теперь проверяет каждый параметр, заявленный в каталоге.

Исправлена работа с уровнями усилий в модели, улучшена производительность чтения трасс и спанов, обновлены сообщения об ошибках в Playground.

• Fixed: Исправлено предложение отсутствующих уровней усилий и использование дефолтных значений новой модели при переключении.
• Added: Оптимизировано чтение недель спанов из таблицы span_weeks для повышения производительности.
• Added: Улучшена производительность просмотра трасс: идентификаторы трасс теперь читаются один раз для списка потоков.
• Fixed: Добавлены понятные подсказки для пользователей при достижении лимитов скорости или отклонении ролей промпта моделью.
• Added: Кнопки установки в один клик для MCP-сервера теперь отображаются в начале страницы документации.