Arize-ai/phoenix

Наблюдаемость и оценка ИИ

LLMOps⭐ 11 558Pythonпоследний релиз: arize-phoenix-v20.14.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Phoenix — это open-source платформа для наблюдаемости (observability) и оценки качества работы LLM-приложений, позволяющая отслеживать выполнение запросов и анализировать результаты.

Зачем нужен

Инструмент помогает разработчикам отлаживать, оценивать и улучшать производительность приложений на базе LLM. Он позволяет визуализировать трассировки (tracing), проводить бенчмарки с помощью LLM-оценок и управлять версиями датасетов для экспериментов и дообучения моделей.

Что можно реализовать

  • Отладка сложных цепочек вызовов LLM с помощью OpenTelemetry-трейсинга
  • Оценка качества ответов и извлеченной информации (retrieval evals) для RAG-систем
  • Создание и версионирование датасетов для экспериментов и fine-tuning
  • Сравнение эффективности разных промптов или конфигураций моделей через эксперименты
  • Интеграция с AI-ассистентами через MCP (Model Context Protocol) для анализа логов

Ключевые возможности

  • Встроенная трассировка (Tracing) на базе OpenTelemetry
  • Автоматизированная оценка (Evaluation) с использованием LLM
  • Управление версиями датасетов (Datasets) для воспроизводимости экспериментов
  • Поддержка MCP для интеграции с инструментами разработки
  • Открытый исходный код и наличие Docker-образа для быстрого развертывания

👤 Кому подойдёт: ML-инженеры, разработчики LLM-приложений, Data Scientists, занимающиеся отладкой и оценкой качества работы моделей

Релизы

arize-phoenix-v20.14.0minor
🕐 3 дн назад · релиз на GitHub ↗

Добавлен Harbor benchmark для Phoenix MCP и CLI, обновлены цены токенов моделей и исправлены ссылки в pxi.

  • Added: Добавлен Harbor benchmark для тестирования Phoenix MCP и CLI инструментов.
  • Fixed: Обновлены встроенные цены токенов для моделей.
  • Fixed: Исправлены ссылки в pxi, теперь они привязаны к своим навыкам.
  • Синхронизирована документация create_graphql_router с её сигнатурой.
arize-phoenix-v20.13.0minor
🕐 4 дн назад · релиз на GitHub ↗

Появилась возможность редактировать примеры датасетов, улучшена работа с SQLite и исправлены ошибки в агентах и API.

  • Added: Добавлена возможность редактирования таблицы примеров в датасетах через GraphQL.
  • Added: В SQLite подключено расширение sqlean для оптимизации функций date_trunc и latency_ms.
  • Added: Удалён параметр rootSpansOnly, теперь используется фильтр span DSL; добавлена документация.
  • Fixed: Исправлено сохранение частичного вывода при прерывании диалогов в агентах.
  • Fixed: Исправлено название поля API: Project.traceAnnotationsNames переименовано в traceAnnotationNames.
arize-phoenix-v20.12.0minor
🕐 6 дн назад · релиз на GitHub ↗

Добавлены фильтры для трасс и сессий, новый эндпоинт для сплитов датасетов и обновлены цены токенов моделей.

  • Added: API теперь поддерживает выражения-фильтры для трасс и сессий.
  • Added: Добавлен GET-эндпоинт для получения сплитов конкретного датасета.
  • Fixed: Обновлены встроенные цены токенов для моделей.
  • Fixed: Список сплитов датасета теперь ограничивается только примерами, входящими в него.
arize-phoenix-v20.11.0minor
🕐 9 дн назад · релиз на GitHub ↗

Добавлены GraphQL-мутации для заметок, поддержка MCP и новый навык анализа ошибок, исправлена передача состояния.

  • Added: Добавлены GraphQL-мутации для создания заметок к спанам, трассам и сессиям.
  • Added: Реализована поддержка MCP: общие навыки теперь обслуживаются на пути /mcp.
  • Added: Добавлен встроенный навык phoenix-error-analysis для анализа ошибок.
  • Fixed: Исправлена передача состояния lifespan при диспетчеризации инструментов в процессе.
  • Документация плагина Claude Code переформатирована в отдельный раздел.
arize-phoenix-v20.10.0minor
🕐 9 дн назад · релиз на GitHub ↗

Добавлены плагины для Claude Code, Cursor и Codex, оценка полноты, фильтрация затрат и обновлены цены моделей.

  • Added: Добавлены плагины для Claude Code, Cursor и installable Phoenix Codex, включая интеграцию MCP-сервера и публичных навыков.
  • Added: Введен оценщик полноты (completeness evaluator) и поддержка фильтрации аннотаций по идентификатору.
  • Added: Реализована фильтрация затрат на уровне span и отображение чтения/записи кэша в тултипах подсчета токенов.
  • Added: Версии промптов теперь доступны через GraphQL и REST API, а в интерфейс добавлен тег 'agents'.
  • Fixed: Обновлены встроенные цены токенов моделей, добавлена gpt-image-2.5 и исправлена передача API-ключа в MCP.
arize-phoenix-evals-v3.8.0minor
🕐 9 дн назад · релиз на GitHub ↗

Добавлены новые оценщики (relevance, PII, completeness), устарел document relevance, обновлён SDK Anthropic и исправлен асинхронный лимитер.

  • Added: Добавлен оценщик релевантности извлечения (retrieval relevance evaluator).
  • Added: Появился оценщик обнаружения PII на уровне сессии.
  • Added: Включён оценщик полноты (completeness evaluator).
  • Deprecated: Оценчики релевантности документов (document relevance) признаны устаревшими.
  • Fixed: Исправлен асинхронный лимитер скорости: теперь используется неблокирующий sleep.
  • Fixed: Выполнено обновление до SDK Anthropic версии 1.
arize-phoenix-evals-v3.7.0minor
🕐 10 дн назад · релиз на GitHub ↗

Добавлен оценщик полноты (completeness) и объявлено об устаревании оценщиков релевантности документов.

  • Added: Добавлен новый оценщик полноты (completeness evaluator) для оценки качества ответов.
  • Deprecated: Оценщики релевантности документов (document relevance evaluators) объявлены устаревшими.
@arizeai/phoenix-evals@2.5.0minor
🕐 11 дн назад · релиз на GitHub ↗

Добавлен оценчик полноты диалога; createDocumentRelevanceEvaluator признан устаревшим.

  • Added: Добавлена функция createCompletenessEvaluator для проверки завершения всех запросов пользователя в диалоге.
  • Deprecated: createDocumentRelevanceEvaluator признан устаревшим; рекомендуется использовать createRetrievalRelevanceEvaluator.
  • Deprecated: В новом оценщике параметр documentText переименован в context, а метка unrelated — в irrelevant.
arize-phoenix-client-v3.5.0minor
🕐 12 дн назад · релиз на GitHub ↗

Релиз Phoenix Client 3.5.0: интеграция MiniMax, фильтрация трассировок и исправления в аннотациях.

  • Added: Добавлена интеграция провайдера MiniMax.
  • Added: В клиенты Python и TypeScript добавлены фильтры ошибок и задержек для функции get_traces.
  • Added: В плагин Harbor добавлена трассировка ATIF.
  • Fixed: Исправлена валидация: теперь проверяются все настроенные ID-колонки, а не только первая.
  • Deprecated: Уточнена документация: в docstring create_dataset параметр name соответствует dataset_name.
arize-phoenix-v20.9.0minor
🕐 12 дн назад · релиз на GitHub ↗

Добавлено ATIF-трейсирование для плагина Harbor, обновлены цены моделей и исправлен подсчёт токенов.

  • Added: Добавлена поддержка ATIF-трейсирования в плагине Harbor.
  • Fixed: Исправлен подсчёт токенов: теперь учитываются только конечные LLM-спаны.
  • Fixed: Обновлены встроенные цены на токены для моделей.
  • Fixed: Устранена бесконечная повторная попытка запросов к GitHub после сбоя авторизации.
@arizeai/phoenix-mcp@4.3.8patch
🕐 12 дн назад · релиз на GitHub ↗

Обновление зависимости @arizeai/phoenix-client до версии 7.9.0.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.9.0.
arize-phoenix-v20.8.0minor
🕐 16 дн назад · релиз на GitHub ↗

Добавлена интеграция с MiniMax и фильтры ошибок/задержек для трасс; обновлен клиент.

  • Added: Добавлена интеграция провайдера MiniMax.
  • Added: В эндпоинт списка трасс добавлены фильтры по статусу ошибки и задержке.
  • Fixed: Обновлен arize-phoenix-client до версии 3.4.0.
arize-phoenix-client-v3.4.0minorbreaking
🕐 17 дн назад · релиз на GitHub ↗

Релиз 3.4.0: добавлена поддержка Z.ai, управление промптами и интеграция Harbor, изменён API провайдеров.

  • Breaking: Изменён API GET /v1/model_providers: кастомные провайдеры перенесены в отдельный эндпоинт, структура ответа обновлена.
  • Added: Добавлена встроенная поддержка GLM-провайдера Z.ai.
  • Added: В клиент добавлено удаление промптов, создание версий через REST и запись задач/вознаграждений Harbor.
  • Added: Появился эндпоинт GET /model_providers и возможность настраивать ретенцию проектов через PATCH.
  • Fixed: Исправлена связь системных подагентов с родительскими спанами, сохранены настройки выбора инструментов для Anthropic и Bedrock, обновлён SDK Anthropic до v1.
arize-phoenix-v20.7.0minor
🕐 17 дн назад · релиз на GitHub ↗

Обновление MCP-сервера на FastMCP 4, оптимизация запросов трассировок и синхронизация цен Minimax.

  • Added: Сервер MCP переведен на FastMCP 4 с использованием безgetState протокола.
  • Added: Улучшена производительность: оптимизировано связывание и область действия фильтрованных запросов трассировок.
  • Fixed: Исправлено сохранение имени инструмента в схемах LLM-инструментов pxi.
  • Fixed: Ошибка AnalyticsSqlError теперь является полноценным исключением.
  • Fixed: Синхронизированы цены модели Minimax из LiteLLM.
@arizeai/phoenix-mcp@4.3.7patch
🕐 18 дн назад · релиз на GitHub ↗

Обновление зависимости @arizeai/phoenix-client до версии 7.8.0.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.8.0.
arize-phoenix-v20.5.0minor
🕐 19 дн назад · релиз на GitHub ↗

Добавлены инструменты MCP, поддержка Claude Fable 5.1, реплеер трасс и оценка PII; обновлены цены моделей.

  • Added: Добавлены инструменты MCP и их использование в PXI
  • Added: Поддержка модели claude-fable-5-1 в Playground
  • Added: Появился sidecar для реплея записанных трасс (datagen)
  • Added: Оценщик PII на уровне сессии и инструмент создания GitHub-тикетов в PXI
  • Fixed: Обновлены встроенные цены токенов и синхронизированы ставки LiteLLM
  • Fixed: Исправлено сохранение tool choice для Anthropic/Bedrock и улучшена пагинация трасс
@arizeai/phoenix-cli@1.16.5patch
🕐 19 дн назад · релиз на GitHub ↗

В PXI-сессиях добавлена рекомендация использовать модель claude-fable-5-1.

  • Added: Добавлена рекомендация модели claude-fable-5-1 для PXI-сессий.
@arizeai/phoenix-mcp@4.3.6patch
🕐 19 дн назад · релиз на GitHub ↗

Выпущен патч @arizeai/phoenix-mcp версии 4.3.6 с обновлением зависимости @arizeai/phoenix-client до 7.7.1.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.7.1.
@arizeai/phoenix-mcp@4.3.5patch
🕐 20 дн назад · релиз на GitHub ↗

Выпущена версия 4.3.5 пакета @arizeai/phoenix-mcp с обновлением зависимостей.

  • Обновлены зависимости, включая пакет @arizeai/phoenix-client до версии 7.7.0.
@arizeai/phoenix-mcp@4.3.4patch
🕐 23 дн назад · релиз на GitHub ↗

Обновлена зависимость @arizeai/phoenix-client до версии 7.6.0.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.6.0.
arize-phoenix-v20.4.0majorbreaking
🕐 26 дн назад · релиз на GitHub ↗

Релиз Phoenix 20.4.0: добавлен MCP-инструментарий, новый эвалютор и поддержка Gemini 3.7 Flash, есть ломающие изменения API.

  • Breaking: Изменен REST-эндпоинт GET /v1/model_providers: кастомные провайдеры перенесены в отдельный метод, а структура ответа обновлена.
  • Added: Добавлен встроенный набор инструментов Phoenix MCP для работы с агентами.
  • Added: Введен новый эвалютор для оценки релевантности извлечения (retrieval relevance evaluator).
  • Added: В Playground добавлена поддержка модели Gemini 3.7 Flash.
  • Added: Пользовательский интерфейс теперь использует мета-инструменты browser-action вместо client-action.
  • Fixed: Обновлены внутренние цены токенов для встроенных моделей и исправлена работа с метками аннотаций в pandas 3.
arize-phoenix-sqlean-v0.1.1patch
🕐 27 дн назад · релиз на GitHub ↗

Исправлена ошибка: обновлена встроенная версия sqlean до 0.28.4+10a13f9.

  • Fixed: Обновлена встроенная версия sqlean до 0.28.4+10a13f9.
arize-phoenix-evals-v3.5.1patch
🕐 27 дн назад · релиз на GitHub ↗

Исправлена совместимость с Phoenix Eval v3.5.1 за счёт обновления до SDK v1 от Anthropic.

  • Fixed: Обновлена зависимость до Anthropic SDK v1 для устранения проблем совместимости.
arize-phoenix-client-v3.3.0minor
🕐 1 мес назад · релиз на GitHub ↗

В версии 3.3.0 по умолчанию включены мутации Phoenix GraphQL с подтверждением в ручном режиме.

  • Added: Мутации Phoenix GraphQL теперь включены по умолчанию с подтверждением в ручном режиме.
arize-phoenix-evals-v3.5.0minor
🕐 1 мес назад · релиз на GitHub ↗

В Phoenix 3.5.0 добавлен новый оценщик релевантности извлечения (retrieval relevance evaluator) для улучшенной оценки RAG-систем.

  • Added: Добавлен новый оценщик релевантности извлечения (retrieval relevance evaluator) для оценки качества RAG.
arize-phoenix-v20.3.0minor
🕐 1 мес назад · релиз на GitHub ↗

В Phoenix v20.3.0 добавлен DSL для фильтрации трассировок, позволяющий задавать сложные условия поиска.

  • Added: Появился DSL для выражений, позволяющий гибко фильтровать трассировки (traces) по заданным условиям.
arize-phoenix-v20.2.1patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлены встроенные цены на токены для моделей в Phoenix.

  • Fixed: Обновлены встроенные цены на токены для моделей.
arize-phoenix-client-v3.2.0minor
🕐 1 мес назад · релиз на GitHub ↗

В версии 3.2.0 добавлен новый эндпоинт POST /traces/transfer для передачи трассировок.

  • Added: Добавлен новый API-эндпоинт POST /traces/transfer для переноса трасс.
arize-phoenix-v20.2.0minor
🕐 1 мес назад · релиз на GitHub ↗

В Phoenix v20.2.0 добавлена машинно-читаемая логика согласования для инструментов PXI и обновлены цены токенов моделей.

  • Added: Агенты теперь генерируют машиночитаемое решение о согласовании для инструментов PXI, требующих подтверждения.
  • Fixed: Обновлены встроенные цены токенов для моделей, что улучшает точность расчёта стоимости.
  • Added: Добавлена документация с описанием выражений для фильтрации по спанам и сессиям.
  • Added: В репозитории опубликованы официальные заметки о выпуске (release notes).
arize-phoenix-v20.1.0minor
🕐 1 мес назад · релиз на GitHub ↗

Добавлена поддержка JWT-аутентификации, новый эндпоинт для переноса трасс и улучшены графики метрик.

  • Added: Поддержка входа через OAuth2 с использованием JWT client assertion.
  • Added: Добавлен новый POST-эндпоинт /traces/transfer для переноса трасс.
  • Added: Улучшена компоновка и элементы управления графиками метрик оценки.
  • Fixed: Исправлено возникновение коллизий идентификаторов сессий при экспорте.
  • Fixed: Запросы к моделям с функцией рассуждения (reasoning) теперь корректно маршрутизируются в Responses API.