Проблема выбора: Open-Source против Frontier-моделей
Организации, внедряющие AI-агентов для работы с разведданными об угрозах (CTI), традиционно сталкиваются с дилеммой: использовать дорогие закрытые модели (closed frontier) или более дешевые, но, как считалось, менее способные открытые (open-weight). Авторы исследования, опубликованного 9 октября 2026 года, протестировали эту гипотезу на бенчмарке CTI-REALM, где агент должен превратить отчет об угрозе в рабочий код детекции, запрашивая данные из живого хранилища телеметрии.
В тестировании участвовали 26 моделей: 19 с открытыми весами и 7 закрытых. Все они были оценены в единой среде с использованием общих метрик и панели LLM-судей.
Главный инсайт: Ограничение на сообщения искажает результаты
Ключевая находка исследования заключается в том, что стандартные бенчмарки часто наказывают модели за «раздумья». В оригинальном CTI-REALM существовало жесткое ограничение на количество сообщений агента. Модель, которая исчерпывала этот лимит, получала ноль за весь чекпоинт, даже если уже прошла предыдущие этапы. Это означало, что результаты на пределе лимита измеряли не столько интеллект, сколько скорость и эффективность сжатия мыслей.
Когда исследователи сняли это ограничение (relaxed limit), открытые модели «восстановились» и показали высшие награды. Открытая модель смогла сравняться с сильнейшими закрытыми аналогами, потратив на менее 10% от их стоимости.
Цена ≠ Способность: Таблица сравнения лидеров
Исследование выявило, что цена является плохим индикатором возможностей. Модели с сопоставимыми результатами (reward) могут различаться в стоимости более чем на порядок. Ниже приведена сводка по эффективности различных подходов в рамках бенчмарка:
| Категория модели | Ключевая метрика | Стоимость (относительная) | Результат при снятии лимита |
|---|---|---|---|
| Закрытые Frontier (Closed) | Высокая точность | 100% (Базовая) | Высокий, но не максимальный |
| Открытые (Open-Weight) | Сопоставимая точность | <10% | Наивысший reward |
| Модели с высоким cost | Разброс reward | >10x дороже лидеров | Не всегда лучше дешевых аналогов |
Новая метрика: Stage-level scoring
Поскольку традиционные баллы часто фиксируют лишь то, что модель «сказала», а не то, что она сделала, авторы внедрили метрики уровня этапов (stage-level metrics). Они выполняют запросы детекции в телеметрии и проверяют вывод против эталона. Это показало, что разные модели лидируют на разных этапах рабочего процесса:
- Одни модели лучше анализируют контекст.
- Другие эффективнее генерируют код.
Вместо выбора одной «универсальной» модели по общему баллу, авторы предлагают маршрутизацию (routing): передавать каждый этап задачи модели, которая специализируется именно на нем.
Миф о «мышлении» (Thinking Tokens)
Исследователи также проанализировали долю токенов, потраченных на «размышления» (chain-of-thought). Оказалось, что количество токенов на раздумья не коррелирует с итоговой наградой. Более «длинное» мышление не гарантирует лучшего детектива в кибербезопасности.
Вывод: Для задач CTI open-weight модели при адекватных условиях (снятие лимитов на итерации) становятся экономически и функционально предпочтительным выбором перед закрытыми аналогами.
Источник: arXiv cs.AI ↗