ifixai-ai/iFixAi

Независимый аудит AI-агентов. Запускается человеком или самим агентом, чтобы ответить на самый важный вопрос экономики AI-агентов: выполняет ли агент свои задачи? С iFixAi вы получите ответ менее чем за 120 секунд.

Безопасность⭐ 33 833Pythonпоследний релиз: v4.3.0

Открыть на GitHub ↗Сайт проекта ↗

Что это за инструмент

iFixAi — инструмент для независимого аудита AI-агентов, который проверяет, выполняет ли агент свои задачи корректно, а не просто оценивает технические метрики. Позволяет получить ответ на вопрос «делает ли агент то, что должен?» менее чем за 120 секунд.

Зачем нужен

Традиционные инструменты оценки (Eval, Red-teaming) фокусируются на технических характеристиках, таких как эффективность токенов, задержка и устойчивость к инъекциям промптов, но не проверяют соответствие действий агента бизнес-логике. iFixAi решает эту проблему, выявляя ошибки, слепые зоны и несоответствия в работе агентов, предотвращая критические сбои до их наступления.

Что можно реализовать

Проверка агентов поддержки клиентов на наличие скрытых флагов мошенничества и несанкционированных действий (например, возврат средств без разрешения)
Аудит автономных агентов на предмет соблюдения политик безопасности и авторизации
Выявление ситуаций, когда агент закрывает тикеты или выполняет действия, противоречащие инструкциям менеджеров
Независимая проверка работы агентов перед запуском в продакшене

Ключевые возможности

Независимый аудит: проверка осуществляется либо человеком, либо самим агентом
Выявление бизнес-логики ошибок: фокус на том, делает ли агент то, что должен, а не на скорости обработки
Быстрый результат: получение ответа в течение 120 секунд
Обнаружение скрытых рисков: находит проблемы, которые пропускают стандартные метрики оценки
Поддержка Python 3.10+ и интеграция с экосистемой AI-агентов

👤 Кому подойдёт: разработчики AI-агентов, инженеры по машинному обучению, специалисты по безопасности AI, бизнес-аналитики, использующие автономных агентов

Релизы

v4.3.0major

🕐 2 дн назад · релиз на GitHub ↗

iFixAi v4.3.0: чат-аудит без адаптеров, бюджет судьи, новые утилиты и фиксы.

Added: 15 проверок теперь работают через чат без адаптеров, а модель MiniMax-M3.1-Flash стала базовой.
Added: Новые утилиты: author для создания_fixture_, validate для проверки и windtunnel для анализа дефектов.
Added: Контроль бюджета судьи: лимиты учитывают все вызовы, а нулевое значение теперь защищает от бесконечных запросов.
Fixed: Исправлены ошибки подсчета оценок, округления границ и обработки пустых или прерванных ответов.
Fixed: Устранены сбои в отчетах, некорректные пропуски обязательных минимумов и проблемы с таймстампами.

v4.2.1minor

🕐 3 дн назад · релиз на GitHub ↗

Добавлен новый инспектор V11 Guilt Tripping для выявления рисков самоповреждения, работающий в режиме только отчётов.

Added: Добавлен инспектор V11 Guilt Tripping: проверяет, не помогает ли чат-компаньон пользователям причинить себе вред, и не использует ли он кризисные скрипты в обычных ситуациях.
Added: Результаты V11 выводятся только как список находок (findings) без оценки, порога или статуса прохождения, не влияя на общий балл.
Added: В каталоге теперь 61 инспекция (32 базовых + 29 расширенных), хотя по умолчанию запускаются только 10 основных.
Fixed: В JSON-выводе для V11 отсутствуют поля score, threshold и passing; вместо них добавлены findings_only: true и массив findings.
Added: Команда ifixai compare теперь сравнивает результаты V11 по вердикту, а не по проценту.

v4.2.0majorbreaking

🕐 9 дн назад · релиз на GitHub ↗

iFixAi v4.2.0: ускоренный запуск по умолчанию, новые провайдеры шлюзов, анализ траекторий и критические фиксы судей.

Breaking: По умолчанию запускается ускоренный набор из 10 проверок вместо 60; для полного запуска нужен флаг --full-run.
Added: Добавлены провайдеры Vercel AI Gateway, Cloudflare AI Gateway и AtlasCloud, а также новые команды trajectory и policy-lab.
Fixed: Исправлена логика судей: увеличено число допустимых сбоев, улучшена обработка обрезанных ответов и таймаутов.
Fixed: Улучшена воспроизводимость: манифест теперь включает контрольные подсказки, а возобновление работы стало стабильнее.
Breaking: Изменены коды выхода CI и поведение Ctrl-C; некорректные конфигурации теперь вызывают ошибки на старте.

v4.1.0majorbreaking

🕐 16 дн назад · релиз на GitHub ↗

Исправлены критические ошибки в оценке, улучшена воспроизводимость и безопасность, добавлен интерактивный промт.

Fixed: Исправлено завышение оценок: теперь корректно обрабатываются ложные вердикты, пропущенные ответы и усеченные тексты.
Fixed: Устранены проблемы с бюджетом судей: исключено двойное выполнение запросов и обеспечена стабильность при конкурентных оценках.
Fixed: Повышена безопасность: сгенерированные фикстуры больше не дают деструктивных прав ролям с «admin» в имени.
Added: Добавлен интерактивный запрос на быстрый аудит при первом запуске, который пропускается в CI и скриптах.
Breaking: Запуск прерывается, если при возобновлении изменились эндпоинт или системный промпт; недопустимые значения --min-score теперь вызывают ошибку.