evidentlyai/evidently

Что это за инструмент

Evidently — это open-source Python-библиотека для оценки, тестирования и мониторинга ML-моделей и LLM-систем, позволяющая отслеживать качество данных и прогнозов как в оффлайн-режиме, так и в продакшене.

Зачем нужен

Инструмент помогает выявлять дрейф данных (data drift), оценивать качество генеративных ответов (включая RAG) и проверять стабильность моделей. Он полезен для автоматизации регрессионного тестирования в CI/CD и визуализации метрик через интерактивные отчеты или дашборды.

Что можно реализовать

• Обнаружение дрейфа признаков в табличных данных с помощью пресетов (например, PSI)
• Оценка качества ответов LLM: анализ тональности, длины текста и наличия отказов
• Настройка автоматических проверок (pass/fail) для интеграции в пайплайны разработки
• Мониторинг производительности моделей классификации и регрессии в реальном времени
• Экспорт интерактивных HTML-отчетов для отладки и анализа экспериментов

Ключевые возможности

• Поддержка более 100 встроенных метрик для табличных данных и текстовых моделей
• Возможность создания пользовательских дескрипторов и метрик на Python
• Гибкий интерфейс: от единичных отчетов до полноценного сервиса мониторинга
• Автоматическая генерация условий тестирования на основе референсных данных
• Экспорт результатов в JSON, Python-словари или HTML-файлы

👤 Кому подойдёт: ML-инженеры, разработчики AI-приложений и data scientists, работающие с пайплайнами данных и LLM