Проблема: «Слепое» копирование графов
Знаниевые графы (Knowledge Graphs) — мощный инструмент для структурирования данных, но современные LLM работают с текстом. Чтобы использовать граф в контексте модели, его необходимо сериализовать (преобразовать в текст). Ранее считалось, что формат не так важен, однако новые исследования показывают, что выбор между JSON, Triples, Natural Language и другими форматами может давать разницу в точности ответа в десятки процентных пунктов.
Масштаб исследования: 15 форматов и 9 моделей
Команда исследователей во главе с Julien Yu (принято к Findings of EMNLP 2026) провела масштабный бенчмарк. Они оценили 15 различных форматов сериализации графов на 9 конфигурациях передовых LLM. Задачи были разделены на два типа:
- Извлечение знаний (Knowledge Extraction): Простое чтение фактов из графа.
- Структурное рассуждение (Structural Reasoning): Сложные логические выводы на основе связей в графе (например, поиск путей или транзитивных свойств).
Ключевые результаты: контекст решает
Главный вывод исследования: универсального лучшего формата не существует. Для простых задач извлечения фактов LLM достаточно устойчивы к формату. Однако для задач структурного рассуждения выбор формата критичен. Оптимальная стратегия — динамическое управление (dynamic orchestration), где формат подбирается под конкретную модель и тип запроса.
Ниже приведена сводка эффективности различных подходов в контексте сложных логических задач:
| Формат сериализации | Описание | Эффективность для структурного рассуждения |
|---|---|---|
| JSON / JSON-LD | Структурированный, машиночитаемый формат | Средняя/Высокая (зависит от модели) |
| Triples (SPO) | Тройки: Субъект-Предикат-Объект | Низкая/Средняя (часто теряется контекст связей) |
| Natural Language | Описание графа естественным языком | Высокая (лучше для сложных запросов) |
| Hybrid Formats | Комбинация структурных и текстовых элементов | Наивысшая (в динамическом режиме) |
Почему это важно для разработчиков
Если вы строите RAG-системы или агентов, работающих с графами знаний, простое преобразование графа в JSON может быть недостаточным для сложных логических запросов. Исследование предлагает перейти от статической сериализации к адаптивной: анализируя тип запроса пользователя, система должна выбирать наиболее подходящий текстовый «представитель» графа для отправки в контекстное окно LLM.
Источник: arXiv cs.AI ↗