AIKraft/AI/Войти
AIKraft/Skills/ab-testing

ab-testing

Помогает планировать, проектировать и внедрять A/B-тесты, сплит-тесты и программы роста. Полезен при сравнении вариантов, оценке статистической значимости и построении системы экспериментов.

coreyhaines31 official Данные ★ 53k

Что делает навык

Skill помогает проектировать, запускать и анализировать A/B-тесты, сплит-тесты и программы роста, обеспечивая статистическую достоверность результатов. Он охватывает полный цикл: от формулировки гипотезы и расчета размера выборки до интерпретации данных и ведения библиотеки проверенных паттернов.

Когда применять

  • Планирование первого A/B-теста с расчетом необходимого объема трафика и выбором метрик
  • Анализ результатов завершенного эксперимента на предмет статистической значимости и влияния на защитные метрики
  • Построение системы непрерывных экспериментов с приоритизацией гипотез по методологии ICE
  • Создание шаблонов документации для фиксации результатов и извлечения повторяющихся паттернов роста

Как работает

  1. Определить контекст теста, текущее состояние (базовую конверсию, трафик) и ограничения, предварительно изучив файл product-marketing.md, если он доступен.
  2. Сформулировать гипотезу по структуре «Потому что..., мы считаем, что...», определив одну изменяемую переменную, первичную, вторичные и защитные метрики.
  3. Выбрать тип теста (A/B, A/B/n, MVT, Split URL) и рассчитать размер выборки, используя таблицы или калькуляторы (Evan Miller, Optimizely).
  4. Спроектировать варианты изменений (заголовки, дизайн, CTA) и выбрать метод реализации (Client-Side или Server-Side) с учетом инструментов (PostHog, LaunchDarkly, VWO).
  5. Запустить тест, соблюдая правила: не заглядывать в результаты досрочно (проблема peeking), не вносить изменения в ход теста и следить за защитными метриками.
  6. Проанализировать результаты на достижение размера выборки, статистическую значимость (p-value < 0.05), размер эффекта и согласованность вторичных метрик.

Примеры запросов агенту

Спланируй A/B-тест для страницы ценообразования: у нас 10% базовой конверсии, 5000 посетителей в месяц. Мы хотим увеличить выбор тарифа на 15%. Рассчитай размер выборки и предложи гипотезу.
Проанализируй результаты теста: вариант B показал рост конверсии на 5% при p-value 0.04, но защитная метрика (тикеты в поддержку) ухудшилась. Что делать?
Составь список из 5 гипотез для улучшения воронки регистрации, используя данные из аналитики и поддержки. Оцени их по методу ICE.

Что понадобится

  • Файл .agents/product-marketing.md (или аналоги: .claude/product-marketing.md, product-marketing-context.md) для контекста продукта
  • Доступ к инструментам тестирования (PostHog, Optimizely, VWO, LaunchDarkly, Split)
  • Данные аналитики: базовая конверсия, объем трафика, сегментация

Описание составлено по SKILL.md навыка, сверено 05.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «ab-testing» из репозитория: # https://github.com/coreyhaines31/marketingskills
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r ab-testing/ ~/.claude/skills/ab-testing/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.