AIKraft Agents

Arize-ai/phoenix

Наблюдаемость и оценка ИИ

LLMOps⭐ 12 168Pythonпоследний релиз: @arizeai/phoenix-cli@1.20.0
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Phoenix — это open-source платформа для наблюдаемости (observability) и оценки качества работы LLM-приложений, позволяющая отслеживать выполнение запросов и анализировать результаты.

Зачем нужен

Инструмент помогает разработчикам отлаживать, оценивать и улучшать производительность приложений на базе LLM. Он позволяет визуализировать трассировки (tracing), проводить бенчмарки с помощью LLM-оценок и управлять версиями датасетов для экспериментов и дообучения моделей.

Что можно реализовать

  • Отладка сложных цепочек вызовов LLM с помощью OpenTelemetry-трейсинга
  • Оценка качества ответов и извлеченной информации (retrieval evals) для RAG-систем
  • Создание и версионирование датасетов для экспериментов и fine-tuning
  • Сравнение эффективности разных промптов или конфигураций моделей через эксперименты
  • Интеграция с AI-ассистентами через MCP (Model Context Protocol) для анализа логов

Ключевые возможности

  • Встроенная трассировка (Tracing) на базе OpenTelemetry
  • Автоматизированная оценка (Evaluation) с использованием LLM
  • Управление версиями датасетов (Datasets) для воспроизводимости экспериментов
  • Поддержка MCP для интеграции с инструментами разработки
  • Открытый исходный код и наличие Docker-образа для быстрого развертывания

👤 Кому подойдёт: ML-инженеры, разработчики LLM-приложений, Data Scientists, занимающиеся отладкой и оценкой качества работы моделей

Релизы

@arizeai/phoenix-cli@1.20.0minor
🕐 8 ч назад · релиз на GitHub ↗

В CLI добавлена команда px prompt-versions list с пагинацией, лимитами и разными форматами вывода.

  • Added: Добавлена команда px prompt-versions list для управления версиями промптов.
  • Added: Реализована курсорная пагинация и опциональное ограничение количества результатов.
  • Added: Поддержка вывода в форматах pretty, JSON и raw.
  • Added: Отображение дат создания промптов при поддержке сервером.
arize-phoenix-client-v3.7.0minor
🕐 вчера · релиз на GitHub ↗

В версии 3.7.0 добавлена запись параметров моделей и настроек агентов в метаданные экспериментов, а также улучшена валидация данных аннотаций.

  • Added: Harbor теперь сохраняет параметры моделей и настройки агентов в метаданных экспериментов.
  • Fixed: В клиенте добавлена обязательная проверка наличия столбцов name и annotator_kind в датафреймах аннотаций.
@arizeai/phoenix-cli@1.19.2patch
🕐 вчера · релиз на GitHub ↗

Выпущен патч для @arizeai/phoenix-cli v1.19.2, обновлён клиент @arizeai/phoenix-client до версии 7.18.1.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.18.1.
@arizeai/phoenix-mcp@4.3.20patch
🕐 3 дн назад · релиз на GitHub ↗

Обновление зависимостей: версия клиента @arizeai/phoenix-client повышена до 7.18.0.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.18.0.
arize-phoenix-client-v3.6.0minor
🕐 7 дн назад · релиз на GitHub ↗

Релиз Phoenix 3.6.0: новые типы аннотаций, фильтрация трасс, улучшение работы с Anthropic и исправление ошибок.

  • Added: Добавлены новые виды аннотаций DECISION и AGENT для более точной разметки данных.
  • Added: Клиент теперь поддерживает фильтрацию трасс и сессий по выражениям, а также сортировку спанов по времени начала.
  • Added: В API добавлена возможность получения меток времени создания версий промптов.
  • Fixed: Исправлена работа с Anthropic: корректная обработка системных сообщений, инструментов и ролей developer.
  • Fixed: Устранены ошибки в Harbor (поддержка Windows, сохранение ответов агентов) и обновлен certifi для безопасности.
arize-phoenix-v20.27.0minor
🕐 7 дн назад · релиз на GitHub ↗

Релиз Phoenix v20.27.0: новые функции для Factory и Evals, исправления безопасности и стабильности.

  • Added: В Factory добавлены функции оценки PR-ревью и запроса ревью по требованию через lane pr-reviewer.
  • Added: В Python-оценщиках теперь поддерживаются TypeSafe Jev decision models.
  • Added: API стало доступно для получения меток времени создания версий промптов.
  • Fixed: Устранены уязвимости в DSL-фильтрах спанов и улучшена обработка токенов GitHub и прав субагентов.
  • Fixed: Исправлено скрытие PII в экспортируемых логах, оптимизирован GraphQL-запрос ошибок и обновлены зависимости.
@arizeai/phoenix-mcp@4.3.18patch
🕐 9 дн назад · релиз на GitHub ↗

Выпущен патч @arizeai/phoenix-mcp@4.3.18 с обновлением зависимости @arizeai/phoenix-client до версии 7.16.3.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.16.3.
arize-phoenix-evals-v3.9.5patch
🕐 9 дн назад · релиз на GitHub ↗

Исправлены примеры в документации для оценщиков PrecisionRecallFScore, которые вызывали их напрямую.

  • Fixed: Исправлены примеры в docstring для PrecisionRecallFScore, которые некорректно вызывали оценщик напрямую.
arize-phoenix-v20.26.1patch
🕐 11 дн назад · релиз на GitHub ↗

Исправлены пресеты модели MiniMax в Playground и обновлена документация.

  • Fixed: Обновлены пресеты текстовой модели MiniMax в Playground.
  • Added: В README добавлены графики истории звёзд и бейдж рейтинга.
  • Added: Добавлена страница документации по трассировке в Microsoft Agent Framework.
arize-phoenix-evals-v3.9.4patch
🕐 12 дн назад · релиз на GitHub ↗

Исправлено применение template_format при копировании PromptTemplate и приоритет kwargs клиента над глобальными настройками LLM.

  • Fixed: Исправлено применение переопределения template_format при копировании PromptTemplate.
  • Fixed: Клиентские kwargs (sync/async) теперь корректно переопределяют общие настройки LLM.
arize-phoenix-v20.26.0minor
🕐 13 дн назад · релиз на GitHub ↗

Обновление Phoenix: улучшена интеграция с Claude Console, добавлена поддержка Pipecat и обновлены зависимости.

  • Added: Ссылки на session ID в комментариях Factory теперь ведут в Claude Console.
  • Added: В Factory добавлена возможность номинирования кандидатов и диспетчеризации доверенных.
  • Added: Сервер теперь передает service.version в ресурсы OpenTelemetry.
  • Added: Добавлена документация по трассировке Pipecat и настройке авто-мержа PR.
  • Fixed: Обновлена зависимость arize-phoenix-evals до версии 3.9.3.
arize-phoenix-v20.25.0minor
🕐 14 дн назад · релиз на GitHub ↗

Релиз Phoenix v20.25.0: новые возможности фабрики, исправления багов и улучшений стабильности.

  • Added: Добавлена фабрика для создания управляемых агентов с автоматическим переводом задач в pull-запросы.
  • Fixed: Исправлено сохранение файла claude-lock.json на ветке состояния фабрики, а не в main.
  • Fixed: Улучшена обработка отмены: процесс teardown теперь корректно завершается при отмене.
  • Fixed: Исправлено форматирование ID в деталях ошибки 404 в экспериментах.
  • Fixed: Обход бага кэширования subfield в graphql-core 3.3.0 при множественных корневых запросах.
arize-phoenix-evals-v3.9.3patch
🕐 14 дн назад · релиз на GitHub ↗

Исправлена уязвимость в litellm, обновлён certifi для блокировки compromised emSign, добавлена типизация JSONPath.

  • Fixed: Исключена скомпрометированная версия litellm 1.107.0 из зависимостей.
  • Fixed: Обновлён certifi до версии 2026.10.18 для отклонения корневого сертификата emSign.
  • Fixed: Добавлена проверка типов при извлечении данных через JSONPath с использованием jsonpath-ng.
  • Исправлены битые ссылки в документации Read the Docs.
arize-phoenix-v20.24.0patch
🕐 15 дн назад · релиз на GitHub ↗

Исправлены критические уязвимости в зависимостях (litellm, certifi, Node.js) и добавлен сбор ошибок фронтенда.

  • Fixed: Исключена скомпрометированная версия litellm 1.107.0 из зависимостей.
  • Fixed: Обновлен certifi до версии 2026.10.18 для блокировки скомпрометированного корня emSign.
  • Fixed: Требуются версии Node.js, исправленные в октябре 2026 года.
  • Added: Несчастные случаи на фронтенде теперь отправляются в логи сервера.
  • В таблицу интеграций трассировки Python добавлен Atomic Agents.
@arizeai/phoenix-mcp@4.3.17patch
🕐 15 дн назад · релиз на GitHub ↗

Обновлены зависимости @arizeai/phoenix-config и @arizeai/phoenix-client.

  • Fixed: Обновлен пакет @arizeai/phoenix-config до версии 0.5.1.
  • Fixed: Обновлен пакет @arizeai/phoenix-client до версии 7.16.2.
arize-phoenix-sqlean-v0.2.1patch
🕐 17 дн назад · релиз на GitHub ↗

Исправлена версия встроенной библиотеки sqlean, обновлённая до 0.28.5.

  • Fixed: Обновлена bundled-версия sqlean до 0.28.5.
arize-phoenix-v20.23.0minor
🕐 21 дн назад · релиз на GitHub ↗

В Phoenix v20.23.0 добавлена экспортация логов сервера через OTLP, исправлена передача результатов инструментов Bedrock и обновлена документация.

  • Added: Серверные логи теперь можно экспортировать через протокол OTLP.
  • Fixed: В Playground результаты инструментов Bedrock теперь корректно передаются как текст.
  • Added: Добавлена документация по интеграции трассировки Atomic Agents.
arize-phoenix-v20.22.0minor
🕐 22 дн назад · релиз на GitHub ↗

Добавлены модели Meta Muse Wonder 1.0 и Gemini 4 Argon, исправлена работа SameSite-куков в OAuth2.

  • Added: В Playground добавлены модели Meta Muse Wonder 1.0 и Gemini 4 Argon.
  • Fixed: Исправлено сохранение SameSite=Strict куков при возврате после входа через IdP.
  • Added: Добавлена документация по трассировке Claude Managed Agents.
  • Added: Добавлены отдельные release notes для плагина Harbor.
arize-phoenix-v20.21.4patch
🕐 22 дн назад · релиз на GitHub ↗

Исправлена работа меток при нажатии Escape, улучшена сортировка таблиц и устранены предупреждения доступности.

  • Fixed: Исправлено сохранение меток при нажатии клавиши Escape.
  • Fixed: Устранены проблемы со сортировкой в таблицах.
  • Fixed: Устранены предупреждения, связанные с доступностью (a11y) и аксессорами.
arize-phoenix-v20.21.3patch
🕐 23 дн назад · релиз на GitHub ↗

Исправлены неработающие ссылки в документации Read the Docs.

  • Fixed: Устранены битые ссылки на документацию Read the Docs.
arize-phoenix-v20.21.2patch
🕐 23 дн назад · релиз на GitHub ↗

Исправлены ошибки приведения типов в экспериментах и GraphQL-запросах для корректной работы с PostgreSQL.

  • Fixed: Исправлено приведение среднего времени отклика к float в PostgreSQL при повторных запусках экспериментов.
  • Fixed: Нормализованы счётчики в сводке по извлечению данных (retrieval summary) к типу int в GraphQL.
arize-phoenix-sqlean-v0.2.0minor
🕐 24 дн назад · релиз на GitHub ↗

В Phoenix SQLEan добавлена поддержка Python 3.15 и встроен SQLite 3.54.0.

  • Added: Добавлена поддержка Python 3.15.
  • Added: Включена сборка SQLite 3.54.0.
arize-phoenix-v20.21.1patch
🕐 24 дн назад · релиз на GitHub ↗

Исправлена надёжность приёма спанов и поддержка пустых DataFrames в TraceDataset.

  • Fixed: Улучшена надёжность приёма спанов (span ingestion).
  • Fixed: TraceDataset теперь корректно обрабатывает пустые DataFrames.
  • Added: В документацию платформы Phoenix добавлен раздел про Scalekit.
  • Исправлена кликабельность бейджа "Add to Cursor" MCP в README на GitHub.
arize-phoenix-v20.21.0minor
🕐 25 дн назад · релиз на GitHub ↗

Добавлена поддержка ценообразования Mistral AI, улучшена визуализация проектов и исправлены ошибки в агентах и эвалюаторах.

  • Added: Добавлена поддержка тарификации моделей Mistral AI для отслеживания затрат.
  • Added: Проекты, созданные через ingestion, теперь получают случайный градиентный цвет.
  • Fixed: Исправлена уязвимость CVE-2026-107286 в библиотеке pydantic-ai для агентов.
  • Fixed: Восстановлена потеря метаданных эвалюаторов, вложенных под ключом result.
  • Fixed: Синхронизированы встроенные списки моделей и их цены в Playground.
@arizeai/phoenix-mcp@4.3.16patch
🕐 27 дн назад · релиз на GitHub ↗

Обновление зависимостей: версия клиента @arizeai/phoenix-client повышена до 7.16.1.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.16.1.
arize-phoenix-evals-v3.9.2patch
🕐 27 дн назад · релиз на GitHub ↗

Исправлена ошибка, при которой некорректные значения precision, recall и beta приводили к сбоям в модуле evals.

  • Fixed: В модуле evals добавлена проверка, исключающая некорректные (неконечные) значения для метрик precision, recall и beta.
arize-phoenix-v20.20.0minor
🕐 28 дн назад · релиз на GitHub ↗

Добавлен провайдер Docker Sandboxes, поддержка Claude Haiku 5.5, улучшен MCP и исправлены оценки стоимости.

  • Added: Добавлен провайдер Docker Sandboxes для изолированного выполнения.
  • Added: В Playground добавлена модель claude-haiku-5.5, устаревшие модели Anthropic удалены.
  • Added: MCP расширен: добавлены инструменты GraphQL, разрешены новые таблицы для SQL.
  • Added: В Harbor добавлена задача prompt hill-climb на датасете text-to-SQL.
  • Fixed: Обновлены встроенные цены токенов моделей и исправлены метрики сравнения экспериментов.
  • Fixed: Удалены SciPy и scikit-learn из runtime-зависимостей, обновлен pydantic-ai.
arize-phoenix-evals-v3.9.1patch
🕐 29 дн назад · релиз на GitHub ↗

Исправлена ошибка, из-за которой RateLimitError прерывал весь запуск; теперь синхронный исполнитель корректно повторяет запросы.

  • Fixed: В SyncExecutor добавлена повторная попытка при возникновении RateLimitError, что предотвращает полный сбой запуска.
arize-phoenix-v20.19.0minor
🕐 1 мес назад · релиз на GitHub ↗

В Phoenix 20.19.0 добавлен новый тип спана DECISION, данные датасетов теперь изолируются по проектам, исправлена работа WASM с внешними ресурсами.

  • Added: Добавлен новый тип спана DECISION для трассировки, доступный во всей платформе.
  • Added: Каждый записанный датасет теперь автоматически отправляется в отдельный проект.
  • Fixed: Исправлено игнорирование флага внешних ресурсов в WASM и пользовательском интерфейсе.
  • Deprecated: Удалены устаревшие cookbooks для оценки моделей.
@arizeai/phoenix-mcp@4.3.15patch
🕐 1 мес назад · релиз на GitHub ↗

Обновление зависимостей: пакет @arizeai/phoenix-client переведен на версию 7.16.0.

  • Обновлена зависимость @arizeai/phoenix-client до версии 7.16.0.