AIKraft/AI/Войти
AIKraft/Skills/bmad-eval

bmad-eval

Запускает оценки BMad-навыка через агент-инструментарий пользователя, сравнивая базовую и вариативную версии, качество по рубрике и точность триггеров. Применяется при запросах на оценку, бенчмаркинг, тестирование триггеров, проверку версий или по запросу от bmad-toolsmith.

BCOBMad Code Org official Разработка ★ 53.9k

Что делает навык

Запускает оценки (evals) для BMad-навыков в четырех режимах: baseline, variant, quality и trigger, сравнивая результаты с базовой моделью, вариативными версиями, рубриками или триггерами. Агент анализирует сценарии из cases.json и triggers.json, цитирует конкретные находки и не завышает показатели успеха.

Когда применять

  • Проверка того, превосходит ли навык работу голой модели на одинаковых входных данных (baseline).
  • Оценка того, оправдывает ли добавление раздела в навык улучшение результатов по сравнению со stripped-версией (variant).
  • Проверка соответствия вывода навыка заданной рубрике качества (quality).
  • Измерение точности срабатывания описания навыка на целевых запросах и отсутствия ложных срабатываний (trigger).

Как работает

  1. Определить режим оценки (baseline, variant, quality или trigger) в зависимости от поставленной задачи.
  2. Запустить соответствующий скрипт или использовать harness, зафиксировав используемую среду при первом запуске.
  3. Обработать сценарии из <skill>/evals/cases.json (input + rubric + optional state_prefix + fixture files) или запросы из <skill>/evals/triggers.json.
  4. Для режима trigger использовать scripts/run_triggers.py для измерения реального срабатывания.
  5. Проанализировать результаты, цитируя конкретные находки и отмечая случаи, прошедшие проверку по тривиальным причинам.
  6. Сформировать отчет, строго соблюдая ожидания taxonomy (strong-versus-weak) и не расширяя допуски для имитации успеха.

Примеры запросов агенту

Запусти оценку baseline для навыка, чтобы проверить, превосходит ли он голой модель.
Выполни variant-режим сравнения текущего навыка с версией по пути --variant-path.
Проверь качество вывода по заданной рубрике в режиме quality.

Что понадобится

  • Доступ к файловой структуре навыка (evals/cases.json, evals/triggers.json, references/).
  • Инструменты выполнения скриптов (uv run, scripts/run_evals.py, scripts/run_triggers.py, scripts/convert_cases.py).
  • Настроенный harness для запуска оценок (записывается в кастомизацию при первом запуске).

Описание составлено по SKILL.md навыка, сверено 09.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «bmad-eval» из репозитория: # https://github.com/bmad-code-org/bmad-method
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r bmad-eval/ ~/.claude/skills/bmad-eval/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.