Суть инновации: от комментариев к исполняемому коду
Meta официально внедрила в свою инфраструктуру систему Catching Just-in-Time Tests (JiTTests). В отличие от традиционных инструментов, которые лишь анализируют diff и оставляют комментарии, JiTTests генерирует исполняемые тесты. Цель этих тестов — специально «упасть» на коде, если он вносит рискованное изменение. Это предоставляет инженерам конкретное доказательство регрессии до того, как код попадет в основную ветку.
Система работает на внутреннем бэкенде Meta с кодовой базой в сотни миллионов строк. Генерация происходит ночью на свободных мощностях, используя модели Llama 3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Важно отметить: система является внутренней, код и API не опубликованы.
Как работает пайплайн из 5 этапов
Процесс обработки изменений включает строгую фильтрацию для минимизации ложных срабатываний:
- Targeting: Выбор рискованных diff-ов за предыдущий день (аналог Diff Risk Score).
- Test generation: Два потока генерации кандидатов: dodgy diff (предполагает баг в любом изменении) и intent-aware (выводит намерение кода и создает мутанты для проверки рисков).
- LLM-as-Judge: Ансамбль моделей оценивает каждый упавший тест, анализируя код, трассировку ошибки и контекст.
- RubFake: Правило-базированный фильтр, отсеивающий артефакты вроде сломанных моков или исключений
NotImplemented. - Human-on-the-loop: Инженеры не читают каждый тест, а задают политику и проверяют агрегированные результаты. Вмешательство требуется редко.
Результаты: рост точности и ловля уязвимостей
В первой половине 2026 года система поймала 74 критических инцидента конфиденциальности (privacy SEVs) на этапе diff. Это привело к общему снижению таких инцидентов на 20%. Изначально точность подтвержденных находок составляла 19.5% (8 из 41), но к октябрю 2026 года инженеры сообщают о росте true-positive rate до 60%.
Сравнение методов генерации тестов
Исследование, представленное на FSE 2026, сравнивает эффективность разных подходов. Метод intent-aware демонстрирует наилучшие результаты по доле «слабых пойманных» (weak catches) — кандидатов на баг, которые действительно оказались уязвимостями.
| Метод | Цель | Weak catches на тест | Weak catches на diff | Осведомленность о diff |
|---|---|---|---|---|
| JiTTests (intent-aware) | Поймать баг в diff | 6.4% | 7.9% | Да (вывод намерения) |
| JiTTests (dodgy diff) | Поймать баг в diff | 2.5% | 4.0% | Да (без намерения) |
| ACH mutation-guided | Защита от классов ошибок | 0.8% | 1.6% | Нет |
| TestGen-LLM | Улучшение ручных тестов | 2.0% | 3.6% | Нет |
*Данные основаны на анализе 22 126 сгенерированных тестов в кодовой базе Meta. «Weak catch» — это кандидат на сбой, требующий верификации.
Почему это важно для индустрии
Meta демонстрирует, что LLM-генерация тестов может быть не просто «помощником», а критическим слоем безопасности. Снижение нагрузки на человеческий обзор на 70% благодаря LLM-судьям и RubFake позволяет масштабировать проверку качества на кодовых базах энтерпрайз-уровня. Хотя сам инструмент закрыт, архитектура diff-aware mutation-guided generation с ансамблевой оценкой становится новым стандартом для безопасной CI/CD.
Источник: MarkTechPost ↗
