AIKraft Agents
Инструменты16 ноября 2026 г., 14:18 МСК🤖 Auto

Meta JiTTests: LLM-тесты поймали 74 уязвимости до слияния кода

Meta перевела систему JiTTests из прототипа в продакшн. LLM-генераторы создают тесты, которые должны падать на опасных изменениях, снижая количество инцидентов конфиденциальности на 20%.

Баннер новости 12026

Суть инновации: от комментариев к исполняемому коду

Meta официально внедрила в свою инфраструктуру систему Catching Just-in-Time Tests (JiTTests). В отличие от традиционных инструментов, которые лишь анализируют diff и оставляют комментарии, JiTTests генерирует исполняемые тесты. Цель этих тестов — специально «упасть» на коде, если он вносит рискованное изменение. Это предоставляет инженерам конкретное доказательство регрессии до того, как код попадет в основную ветку.

Система работает на внутреннем бэкенде Meta с кодовой базой в сотни миллионов строк. Генерация происходит ночью на свободных мощностях, используя модели Llama 3.3-70B, Gemini 3 Pro и Claude Sonnet 4. Важно отметить: система является внутренней, код и API не опубликованы.

Как работает пайплайн из 5 этапов

Процесс обработки изменений включает строгую фильтрацию для минимизации ложных срабатываний:

  • Targeting: Выбор рискованных diff-ов за предыдущий день (аналог Diff Risk Score).
  • Test generation: Два потока генерации кандидатов: dodgy diff (предполагает баг в любом изменении) и intent-aware (выводит намерение кода и создает мутанты для проверки рисков).
  • LLM-as-Judge: Ансамбль моделей оценивает каждый упавший тест, анализируя код, трассировку ошибки и контекст.
  • RubFake: Правило-базированный фильтр, отсеивающий артефакты вроде сломанных моков или исключений NotImplemented.
  • Human-on-the-loop: Инженеры не читают каждый тест, а задают политику и проверяют агрегированные результаты. Вмешательство требуется редко.

Результаты: рост точности и ловля уязвимостей

В первой половине 2026 года система поймала 74 критических инцидента конфиденциальности (privacy SEVs) на этапе diff. Это привело к общему снижению таких инцидентов на 20%. Изначально точность подтвержденных находок составляла 19.5% (8 из 41), но к октябрю 2026 года инженеры сообщают о росте true-positive rate до 60%.

Сравнение методов генерации тестов

Исследование, представленное на FSE 2026, сравнивает эффективность разных подходов. Метод intent-aware демонстрирует наилучшие результаты по доле «слабых пойманных» (weak catches) — кандидатов на баг, которые действительно оказались уязвимостями.

Метод Цель Weak catches на тест Weak catches на diff Осведомленность о diff
JiTTests (intent-aware) Поймать баг в diff 6.4% 7.9% Да (вывод намерения)
JiTTests (dodgy diff) Поймать баг в diff 2.5% 4.0% Да (без намерения)
ACH mutation-guided Защита от классов ошибок 0.8% 1.6% Нет
TestGen-LLM Улучшение ручных тестов 2.0% 3.6% Нет

*Данные основаны на анализе 22 126 сгенерированных тестов в кодовой базе Meta. «Weak catch» — это кандидат на сбой, требующий верификации.

Почему это важно для индустрии

Meta демонстрирует, что LLM-генерация тестов может быть не просто «помощником», а критическим слоем безопасности. Снижение нагрузки на человеческий обзор на 70% благодаря LLM-судьям и RubFake позволяет масштабировать проверку качества на кодовых базах энтерпрайз-уровня. Хотя сам инструмент закрыт, архитектура diff-aware mutation-guided generation с ансамблевой оценкой становится новым стандартом для безопасной CI/CD.

Источник: MarkTechPost ↗