0.125.1patch
Исправлена ошибка, восстановлена рабочая ссылка-приглашение в Discord.
- Fixed: Восстановлена корректная ссылка-приглашение в Discord.
typpo/promptfoo
Тестируйте промпты, агентов и RAG. Пентестинг и сканирование уязвимостей для AI. Сравнивайте производительность GPT, Claude, Gemini, DeepSeek и других. Простые декларативные конфиги с интеграцией в CLI и CI/CD. Используется OpenAI и Anthropic.
Инструменты⭐ 26 886TypeScriptпоследний релиз: 0.125.1
Что это за инструмент
Promptfoo — это CLI-инструмент и библиотека для оценки качества (evals) и тестирования на безопасность (red teaming) приложений с LLM.
Зачем нужен
Инструмент позволяет заменить метод проб и ошибок на измеримые метрики при разработке AI-приложений. Он помогает сравнивать производительность разных моделей, выявлять уязвимости и обеспечивать стабильность работы RAG и агентов.
Что можно реализовать
- Сравнение ответов GPT, Claude, Gemini и других моделей в едином интерфейсе
- Автоматизированное тестирование промптов и RAG-систем через CI/CD
- Поиск уязвимостей и проведение red teaming для защиты LLM-приложений
- Анализ безопасности кода, связанного с LLM, через code scanning
Ключевые возможности
- Поддержка множества провайдеров: OpenAI, Anthropic, Azure, Bedrock, Ollama и других
- Полностью локальное выполнение evals для конфиденциальности данных
- Простая декларативная конфигурация и интеграция с CI/CD
- Встроенный просмотр результатов в виде веб-интерфейса и CLI
- Open source лицензия MIT и активное сообщество
👤 Кому подойдёт: разработчики AI-приложений, DevOps-инженеры, специалисты по безопасности (security researchers)
Релизы
0.125.0majorbreaking
Важные изменения: провайдеры Claude/Codex опциональны, добавлены Rouge-ассерты, безопасный режим eval и стабильность тестов.
- Breaking: Провайдеры Claude Agent и Codex SDK теперь требуют явного подключения (opt-in).
- Breaking: Библиотека jks-js переведена в разряд опциональных peer-зависимостей.
- Added: Добавлены типы ассертов rouge-l и rouge-s для оценки схожести текстов.
- Added: Введен безопасный режим (safe mode) для отключения выполнения inline-JavaScript.
- Added: Отчетность теперь включает метрики стабильности и информацию о кэшированных ответах.
- Fixed: Исправлена работа префикса not- для ассертов валидности вызовов инструментов.
code-scan-action-0.2.2patch
Исправлена ошибка, при которой OIDC-токен для code-scan инициализировался до завершения установки CLI.
- Fixed: code-scan: исправлена логика инициализации OIDC, теперь она выполняется после установки CLI.
0.124.1patch
Добавлена поддержка OpenAI Decisions и каталога цен, исправлены баги ассертов и Red Team.
- Added: Добавлена поддержка провайдера OpenAI Decisions.
- Added: Стал доступен каталог цен на токены для текстовых моделей.
- Added: Теперь можно фиксировать стоимость запросов без установки порога.
- Fixed: Исправлена работа асинхронных выражений и ключевых свойств в ассертах.
- Fixed: Устранены ошибки в Red Team: обработка невалидного JSON и выборка датасета.
- Fixed: Исправлено сохранение JSON-объектов и обработка ошибок облачных сервисов.
code-scan-action-0.2.1patch
Исправление зависимостей: обновление определений типов для обеспечения совместимости.
- Fixed: Обновлены определения типов зависимостей (#11010).
0.123.1minor
Добавлена поддержка Gemini 3.8, GPT-Live, OpenAI Agents API и MCP; улучшена стабильность assertions и CLI.
- Added: Добавлены провайдеры Gemini 3.8, Vertex Live, GPT-Live voice sessions, OpenAI Agents API и портативные схемы конфигурации MCP/HTTP.
- Added: Поддержка Ollama 0.34: отображение мыслей (thinking output), причин завершения и обновление документации моделей.
- Added: Обновлены инструменты и поддержка медиа для Gemini; обновлена аутентификация для AWS Bedrock.
- Fixed: Исправлены ошибки парсинга tool calls, инверсии оценок в search-rubric и некорректных значений по умолчанию для RAG-assertions.
- Fixed: Устранены проблемы с экспортом больших результатов, сохранением данных в памяти для расширений и обработкой некорректных вебхуков.
0.123.0majorbreaking
Добавлена поддержка GPT-6, Grok-4.6 и Gemini 3.8 Flash. По умолчанию GPT-5.6+ использует Responses API.
- Breaking: Провайдеры GPT-5.6 и выше теперь по умолчанию используют Responses API вместо Chat Completions.
- Added: Добавлена поддержка новых моделей: GPT-6 Astra, GPT Image 2.5, GPT Transcribe, Claude Fable, Mythos 5.1, Muse Spark 1.3, Gemini 3.8 Flash, Grok-4.6 и генеративных Grok.
- Added: В метаданные ответов добавлены вызовы инструментов MCP; добавлена оценка аудио через assertion llm-rubric.
- Fixed: Исправлено распознавание function_call в OpenAI Responses, сохранение окружения для stdio MCP-серверов и защита записей БД при сбоях.
code-scan-action-0.2.0majorbreaking
Выпуск 0.2.0: прекращена поддержка Node.js 20, усилены меры безопасности supply chain и обновлены зависимости.
- Breaking: Полностью прекращена поддержка Node.js 20.
- Fixed: Усилены меры безопасности цепочки поставок для code-scan action.
- Fixed: Исправлена уязвимость в зависимости undici и защищены lock-файлы.
- Fixed: Обновлены типы TypeScript.
0.122.1minor
Релиз 0.122.1: улучшено отслеживание токенов, добавлена поддержка Gemini 3.7 Flash и расширены возможности трассировки.
- Added: Добавлена поддержка моделей Gemini 3.7 Flash и Flash-Lite.
- Added: Значительно расширены возможности трассировки: добавлена интеграция с Grafana Tempo, Braintrust, Langfuse, а также поддержка OpenTelemetry GenAI, OpenAI Agents и Vercel SDK.
- Added: Улучшено отслеживание затрат: теперь можно различать объем сканирования и фактическое потребление токенов, а также учитывать токены в многошаговых атаках и отчетах.
- Fixed: Исправлены ошибки в ассертах: устранено обратное переключение в GLEU и SQL, исправлены сообщения об ошибках JSON и скоринг GLEU без токенов.
- Fixed: Устранены проблемы с зависимостями: заблокированы скрипты установки в Docker, синхронизирован генератор CST Chevrotain и упакован кэш.
0.122.0majorbreaking
Выпуск 0.122.0: прекращена поддержка Node.js 20, устранены уязвимости в зависимостях и исправлены ошибки провайдеров.
- Breaking: Удалена поддержка Node.js 20.
- Fixed: Устранены уязвимости в зависимостях undici, socket.io-parser и Biome.
- Fixed: Исправлено зависание WebSocket-оценок при остановке потока.
- Fixed: Устранена утечка настроек провайдера Nscale в тело запроса.
- Fixed: Восстановлено декодирование XML-сущностей для файлов тестов xlsx.
0.121.20minor
Добавлена поддержка Claude Opus 5, Kimi K3 и новых моделей Azure/Gemini; улучшена изоляция контекста и стабильность провайдеров.
- Added: Добавлена поддержка Claude Opus 5, Kimi K3 (Moonshot), а также актуальных моделей Azure, Claude и Gemini.
- Added: Реализована поддержка URL-шаблонизации для WebSocket-соединений.
- Fixed: История диалогов теперь изолируется по колонкам результатов, исключая коллизии индексов промптов.
- Fixed: Исправлен краш Azure при пустых ответах, обновлены пакеты Anthropic и js-yaml (безопасность).
- Fixed: Улучшена доступность отчетов Red Team, мигрирован Langfuse на SDK v5 и починены ошибки гидратации сайта.
code-scan-action-0.1.8patch
Исправлена обработка смешанных ответов в code-scan и обновлена поддержка Node 24.
- Fixed: Исправлена обработка результатов сканирования кода при смешанных ответах с пропуском.
- Fixed: GitHub Action теперь работает на среде выполнения Node 24.
promptfoo-v0.119.13patch
Вышла версия promptfoo-v0.119.13.