Giskard-AI/giskard

Что это за инструмент

Giskard — это open-source библиотека для тестирования и оценки агентов на базе LLM, предлагающая модульную архитектуру с асинхронным подходом.

Зачем нужен

Инструмент решает проблему проверки надежности, безопасности и качества ответов нечетких (non-deterministic) AI-систем. Он позволяет автоматически генерировать тесты, выявлять уязвимости (red teaming) и оценивать качество RAG, обеспечивая защиту от вредоносных атак и галлюцинаций.

Что можно реализовать

• Проверка качества RAG-систем на соответствие извлеченному контексту (Groundedness)
• Автоматический red teaming агентов для поиска уязвимостей, таких как prompt injection и утечка данных
• Многошаговое тестирование (multi-turn) диалоговых агентов с использованием LLM-as-judge
• Обнаружение регрессий после изменений в модели или промптах
• Проверка соответствия выходов агента политикам безопасности и этическим нормам

Ключевые возможности

• Модульная архитектура v3: разделение на giskard-checks, giskard-scan и giskard-rag для легковесности
• Асинхронная природа (async-first) и поддержка Python 3.12+
• Встроенные проверки: от строгих совпадений до семантического сходства и LLM-as-judge
• Автоматическая генерация антагонистических тестовых наборов на основе описания агента
• Отказ от тяжелых зависимостей в пользу эффективности и гибкости обертывания любых black-box систем

👤 Кому подойдёт: Разработчики AI-агентов, ML-инженеры, специалисты по безопасности LLM (AI Security), исследователи, работающие с RAG и multi-agent системами