AIKraft Agents
ВойтиТарифы и покупка

Giskard-AI/giskard

🐢 Open-Source Evaluation & Testing library for LLM Agents

Безопасность⭐ 5 944Pythonпоследний релиз: giskard-agents/v1.0.6
Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

Giskard — это open-source библиотека для тестирования и оценки агентов на базе LLM, предлагающая модульную архитектуру с асинхронным подходом.

Зачем нужен

Инструмент решает проблему проверки надежности, безопасности и качества ответов нечетких (non-deterministic) AI-систем. Он позволяет автоматически генерировать тесты, выявлять уязвимости (red teaming) и оценивать качество RAG, обеспечивая защиту от вредоносных атак и галлюцинаций.

Что можно реализовать

  • Проверка качества RAG-систем на соответствие извлеченному контексту (Groundedness)
  • Автоматический red teaming агентов для поиска уязвимостей, таких как prompt injection и утечка данных
  • Многошаговое тестирование (multi-turn) диалоговых агентов с использованием LLM-as-judge
  • Обнаружение регрессий после изменений в модели или промптах
  • Проверка соответствия выходов агента политикам безопасности и этическим нормам

Ключевые возможности

  • Модульная архитектура v3: разделение на giskard-checks, giskard-scan и giskard-rag для легковесности
  • Асинхронная природа (async-first) и поддержка Python 3.12+
  • Встроенные проверки: от строгих совпадений до семантического сходства и LLM-as-judge
  • Автоматическая генерация антагонистических тестовых наборов на основе описания агента
  • Отказ от тяжелых зависимостей в пользу эффективности и гибкости обертывания любых black-box систем

👤 Кому подойдёт: Разработчики AI-агентов, ML-инженеры, специалисты по безопасности LLM (AI Security), исследователи, работающие с RAG и multi-agent системами

Релизы

giskard-agents/v1.0.6patch
🕐 11 дн назад · релиз на GitHub ↗

Исправлены уязвимости зависимостей и исключена скомпрометированная версия litellm.

  • Fixed: Обновлены certifi, filelock и setuptools для устранения уязвимостей, выявленных pip-audit.
  • Fixed: Исключена скомпрометированная версия библиотеки litellm.
giskard-agents/v1.0.5patch
🕐 16 дн назад · релиз на GitHub ↗

Релиз giskard-agents v1.0.5: исправления и улучшения стабильности платформы.

  • Fixed: Устранены ошибки в логике обработки контекста агентов.
  • Fixed: Исправлена работа с внешними инструментами и MCP-серверами.
  • Added: Добавлена поддержка новых провайдеров LLM для тестирования.
  • Fixed: Улучшена стабильность при запуске сложных многошаговых сценариев.
giskard-checks/v1.0.6patch
🕐 28 дн назад · релиз на GitHub ↗

Релиз giskard-checks v1.0.6 с обновлениями и исправлениями для модуля проверок.

  • Fixed: Исправлены ошибки в модуле проверок (checks).
  • Added: Добавлены новые возможности в пакет giskard-checks.
v3.0.1patch
🕐 1 мес назад · релиз на GitHub ↗

Релиз Giskard v3.0.1: исправление уязвимостей, поддержка SOM для judges и улучшение экспорта результатов.

  • Fixed: Устранена уязвимость NLTK и обновлены зависимости, включая Anthropic до v1.
  • Added: Добавлена поддержка Self-Organizing Maps (SOM) для моделей-судей (judges).
  • Fixed: Исправлен экспорт в JUnit: экранирование запрещенных XML 1.0 символов.
  • Fixed: Улучшена обработка типов данных: нормализация named tuples и defaultdicts.
  • Added: Внедрены Quality Rails для агентов: линтинг и проверка типов на уровне файлов.
giskard-checks/v1.0.4patch
🕐 1 мес назад · релиз на GitHub ↗

Исправлена уязвимость NLTK, обновлён Anthropic, улучшена работа проверок и телеметрии.

  • Fixed: Устранена уязвимость в зависимости NLTK.
  • Fixed: Обновлена библиотека anthropic до версии 1.
  • Fixed: Исправлена передача live-вводов Interact после копирования модели.
  • Added: Добавлено измерение метрик сканирования и экспорта в Hub.
  • Fixed: Улучшена передача check_spec в деталях CheckResult для импорта в Hub.
giskard-checks/v1.0.3minor
🕐 2 мес назад · релиз на GitHub ↗

В функцию set_default_generator добавлена поддержка передачи моделей в виде строк.

  • Added: Функция set_default_generator теперь принимает модели, переданные в виде строк.
v3.0.0majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Глобальная переработка: переход на монорепозиторий v3, новые агенты, проверки и API.

  • Breaking: Код переписан в монорепозиторий с модулями giskard-core, giskard-agents и giskard-checks.
  • Added: Добавлены новые проверки: RegexMatching, поддержка аннотаций и директории судей для LLM.
  • Added: Расширены возможности агентов: эмуляция пользователей, обработка инструментов и политики повторов.
  • Breaking: Изменено API проверок: сценарии стали изменяемыми, а интерфейс взаимодействия переведен на step-based структуру.
  • Added: Пакет Suite теперь поддерживает запуск батчей сценариев и цепочечное добавление элементов.
v3.0.0rc1minor
🕐 2 мес назад · релиз на GitHub ↗

Релиз Giskard v3.0.0rc1: закрепление зависимости giskard-scan в версии rc1.

  • Закреплена зависимость giskard на версию giskard-scan rc1.
v3.0.0b3majorbreaking
🕐 2 мес назад · релиз на GitHub ↗

Релиз v3.0.0b3 репозитория Giskard-AI/giskard.

  • Breaking: Внесены критические изменения, нарушающие обратную совместимость с предыдущими версиями.
  • Added: Добавлены новые функции и улучшения функциональности платформы.
  • Fixed: Исправлены ошибки, обнаруженные в предыдущей бета-версии.
giskard/v3.0.0b3minor
🕐 2 мес назад · релиз на GitHub ↗

Релиз Giskard v3.0.0b3: предварительная версия с обновлениями функционала и исправлениями.

  • Added: Обновления функционала платформы Giskard.
  • Fixed: Исправления ошибок и улучшение стабильности.
giskard-scan/v1.0.0b4patch
🕐 3 мес назад · релиз на GitHub ↗

Исправлена уязвимость в промптах судьи и симулятора, обновлены зависимости giskard-checks.

  • Fixed: Защищены недоверенные данные в промптах судьи и симулятора от инъекций.
  • Обновлены прямые зависимости: теперь требуется giskard-checks версии не ниже 1.0.2b6.
giskard-checks/v1.0.2b6patch
🕐 3 мес назад · релиз на GitHub ↗

Обновление зависимости giskard-agents до версии 1.0.2b6 в прямых зависимых пакетах.

  • Обновлена прямая зависимость giskard-agents до версии 1.0.2b6.
giskard-scan/v1.0.0b3minor
🕐 3 мес назад · релиз на GitHub ↗

Интеграция сторонних сканеров (Lidar, DeepTeam) и улучшение обработки результатов Garak в CI.

  • Added: Интеграция Lidar scan в third_party_scan.
  • Added: Добавлена поддержка сканирования DeepTeam.
  • Fixed: Результаты проверки Garak теперь называются по плагинам детекторов.
  • Fixed: Теги зондов Garak копируются в результаты сценариев.
  • Fixed: Garak сделан опциональным для проверок CI.
v2.19.2patch
🕐 4 мес назад · релиз на GitHub ↗

Выпуск v2.19.2 включает обновление конечной точки Mixpanel для сбора аналитики.

  • Fixed: Обновлена конечная точка Mixpanel для корректной передачи аналитических данных.
giskard-scan/v1.0.0b2minor
🕐 4 мес назад · релиз на GitHub ↗

Релиз giskard-scan v1.0.0b2: обновление версии сканера в рамках экосистемы Giskard AI.

  • Added: Выпущена новая версия giskard-scan (v1.0.0b2) с обновлённым номером сборки.
  • Added: Обновлён базовый пакет giskard-checks до версии v1.0.2b4 для обеспечения совместимости.
  • Полный список изменений доступен в сравнении версий на GitHub.