Проблема ретроспективного поиска
Традиционные системы извлечения информации (RAG) работают ретроспективно: они ищут то, что семантически похоже на запрос пользователя, игнорируя его будущие намерения. Если пользователь ранее обещал сделать что-то или запланировал действие, стандартные эмбеддинги не учитывают этот контекст, если он не совпадает с текущим запросом по смыслу.
Решение: «Проспективный член» (Prospective Term)
Автор предлагает добавить к векторному поиску «проспективный член» — механизм, который учитывает обязательства пользователя. Ключевая особенность метода — Zero-Inference. Это означает, что вычислительная нагрузка на этапе запроса (query time) отсутствует. Все вычисления по связыванию обязательств с документами производятся заранее (precomputed).
Механизм работает через явный реестр (ledger) записей, привязанных к датам или триггерным условиям. Когда условие срабатывает, связанные с ним элементы памяти получают буст релевантности, который мультипликативно смешивается с результатами эмбеддинг-поиска. При этом исходная релевантность остается доминирующей.
Результаты на синтетическом датасете
Оценка проводилась на синтетической задаче, смоделированной по структуре Benchmark TriggerBench. Датасет включает 48 диалогов, написанных вслепую (blind-authored), и 175 задач. Метод показал радикальное улучшение на «трудном» (hard) стратуме, где стандартный поиск часто дает сбой:
| Метрика | Базовый метод | С Prospective Term (default weight) | С Prospective Term (floor variant) |
|---|---|---|---|
| Recall@5 (Hard Stratum) | 0.000 | 0.955 | 1.000 |
| False Boosts | N/A | 0 (на 53 resolved-commitment задачах) | 0 |
Почему это важно для индустрии
Исследование выявило важную статистику: только 17-29% естественно сформулированных пар «запрос-триггер» не могут быть решены только за счет семантического сходства эмбеддингов. Это означает, что проблема актуальна для меньшинства случаев, но критична для них. Предложенный метод не вредит остальным запросам (zero false boosts), выступая как «всегда включенный пол» (always-on floor) в многослойной архитектуре поиска.
Автор позиционирует это как предварительный результат, так как датасет создан самими авторами. Официальная валидация на полном наборе данных TriggerBench запланирована после его релиза.
Источник: arXiv cs.CL ↗