Суть прорыва: память вместо весов
Команда IBM Research представила метод ALTK-Evolve, который решает проблему надежности LLM-агентов в корпоративной среде. Вместо дорогостоящего дообучения (fine-tuning) или использования самых дорогих моделей, подход использует GPT-4.1 (старую, нереактивную модель) в качестве «архитектора» поведения.
Система анализирует траектории выполнения задач агентом, извлекает успешные и неудачные паттерны и формирует из них краткие поведенческие правила (guidelines). Эти правила добавляются в системный промпт агента. Ключевое преимущество: никаких обновлений весов модели и ручной аннотации данных. Один и тот же GPT-4.1 выступает и как агент, и как аналитик, формирующий его инструкцию.
Результаты на τ²-bench: надежность важнее среднего
Тестирование проводилось на бенчмарке τ²-bench от Sierra, который оценивает способность агентов соблюдать строгие политики (policy-bound) в сценариях розничной торговли (retail) и авиаперевозок (airline). Успех измеряется не просто средним баллом, а метрикой Pass^4 — процентом задач, решенных успешно во всех четырех попытках. Это критично для поддержки, где ошибка в 25% случаев неприемлема.
Агент ALTK-Evolve с конфигурацией lossless (все извлеченные правила) показал лучшие результаты среди всех участников лидерборда в категории retail на момент 12 октября 2026 года, обойдя решения на базе более мощных моделей.
Детальные метрики эффективности
Сравнение базового агента (baseline) и агента с «наученной памятью» показывает значительный рост как точности, так и надежности. В таблице ниже приведены результаты на тестовой выборке (held-out set) с 4 попытками на задачу.
| Домен / Конфигурация | Mean Accuracy (Точность) | Pass^4 (Надежность) | Изменение Pass^4 |
|---|---|---|---|
| Retail (Розница) | |||
| Baseline (без правил) | 78.1% | 57.5% | — |
| sup3 (высокодоверенные правила) | 78.8% (+0.7) | 60.0% (+2.5) | +2.5 п.п. |
| lossless (все правила) | 82.5% (+4.4) | 67.5% (+10.0) | +10.0 п.п. |
| Airline (Авиа) | |||
| Baseline (без правил) | 57.5% | 35.0% | — |
| sup3 (высокодоверенные правила) | 60.0% (+2.5) | 45.0% (+10.0) | +10.0 п.п. |
| lossless (все правила) | 65.0% (+7.5) | 40.0% (+5.0) | +5.0 п.п. |
Инсайты: «Дозировка» правил зависит от домена
Исследование выявило важный нюанс: количество правил не всегда должно быть максимальным. В домене retail полная коллекция правил (lossless, 292 правила) дала лучший результат по всем метрикам. Однако в домене airline компактный набор из 14 высокодоверенных правил (sup3) оказался надежнее полного набора (45% против 40% по Pass^4), хотя и уступал ему в чистой точности.
Это подтверждает гипотезу, что поддержка — это не «переключатель», а «регулятор». Оптимальное количество инструкций в промпте нужно подбирать индивидуально под задачу, балансируя между полнотой знаний и перегрузкой контекста.
Стоимость: больше токенов, не больше шагов
Важно отметить, что улучшение показателей не привело к увеличению длины диалога (количества шагов agent-user). Рост стоимости обусловлен исключительно увеличением объема входных токенов (prompt input tokens) из-за добавления блока правил в системный промпт. Это делает метод экономически предсказуемым: вы платите за контекст, а не за бесконечные итерации поиска решения.
Бенчмарки
| Бенчмарк | ALTK-Evolve (baseline) | ALTK-Evolve (lossless) | ALTK-Evolve (sup3) |
|---|---|---|---|
| τ²-bench Retail | 57.5% | 67.5% | 60% |
| τ²-bench Airline | 35% | 40% | 45% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hugging Face blog ↗