Модельные сплавы агентов подняли эффективность XBOW до 55%

<div> <p>Честно говоря, весной в XBOW придумали трюк, который вывел их автономных «пентестеров» на новый уровень. Используя так называемые модельные сплавы агентов, команда смогла поднять успех обнаружения уязвимостей с 25% до впечатляющих 55%.</p> <h2>Вызов XBOW</h2> <p>XBOW — это автономный сканер безопасности: вы указываете на сайт, и он пытается «взломать» его без подсказок извне. Типично агенту нужно составить модель приложения, пробовать разные подходы и анализировать результаты. Но когда речь заходит о сотнях похожих задач, нужен чёткий механизм, который не сбивается с линии.</p> <h2>Что такое модельные сплавы агентов?</h2> <p>Представьте, что вы смешиваете два металла и получаете новый, прочнее каждого из компонентов. Здесь идея похожая: вместо одной LLM-«головы» для каждой итерации берутся две (или более) модели — например, Sonnet и Gemini. Они по очереди предлагают шаги, не подозревая о существовании «коллеги», но вместе создают более сбалансированное решение.</p> <h2>Принцип работы</h2> <p>На каждом шаге мы выбираем модель случайно (можно и по схеме). Одна делает команду, вторая продолжает диалог в том же чате. Когда та, что обычно выдаёт смелые идеи, чередуется с «рабочей лошадкой» для уточнений и верификации, процесс идёт быстрее и точнее.</p> <h2>Результаты</h2> <p>Как в сплаве металлов, сочетание разных LLM дало синергетический эффект: пары моделей показывали лучшую среднюю точность, чем каждая по отдельности. Чем сильнее различаются модели, тем выше рост — до трех моделей в «сплаве» эффективность продолжает расти.</p> <h2>Когда стоит попробовать</h2> <p>Модельные сплавы полезны, если:</p> <ul> <li>Задача требует множества креативных идей;</li> <li>Вы запускаете итеративный цикл с десятками запросов;</li> <li>У вас есть доступ к разным LLM с разными сильными сторонами.</li> </ul> <h2>Когда лучше воздержаться</h2> <p>Но сплав не всегда помогает. Если ваша задача линеен и каждый шаг ведёт к цели, или одна модель справляется сама, — дополнительная сложность не окупит себя. А ещё учтите: хранить кэши придётся для каждого участника сплава.</p> </div>