Новый подход к Text-to-SPARQL
Команда исследователей Tommaso Soru и Abdulsobur Oyewale представила систему, выходящую за рамки статических агентов с инструментами. Их Researcher Agent способен не только выполнять запросы, но и анализировать ошибки на валидационном наборе данных, предлагая и тестируя изменения в собственных промптах, правилах и коде оркестрации инструментов.
Этот подход позволяет модели самостоятельно находить узкие места в генерации графовых паттернов, что критически важно для работы с большими онтологиями, такими как DBpedia.
Эксперимент и метрики
Авторы провели эволюцию агента через 9 последовательных версий, используя для обучения и оптимизации низкозатратную модель рассуждений. После отладки лучшая конфигурация была развернута с использованием двух более мощных бэкбон-моделей. Ключевые результаты:
- Точность: 0.22 (22%) на валидационном наборе DBpedia 2025.
- Скорость сходимости: Процесс самоусовершенствования быстро достигает плато.
- Основная проблема: Ошибки связаны не с синтаксисом SPARQL, а с выбором предикатов в базовых графовых паттернах.
Проблема амбигуитетности данных
Исследование выявило серьезный недостаток существующих бенчмарков: многие элементы набора данных DBpedia penalize (штрафуют) корректные запросы из-за неоднозначности свойств. Авторы предлагают пересмотреть методы оценки, комбинируя метрики машинного перевода и информационного поиска, чтобы точнее отражать семантическую верность запросов.
Значение для индустрии
Работа представлена на Second International TEXT2SPARQL Challenge (ESWC 2026). Она демонстрирует, что автономная оптимизация агентов может повысить надежность систем Question Answering, хотя и требует решения фундаментальных проблем качества самих баз знаний.
Источник: arXiv cs.AI ↗