Структурная сложность vs. Семантическая интерпретация
Классические задачи планирования (STRIPS) остаются сложным испытанием для LLM. Авторы исследования, опубликованного в arXiv (2610.26964), выявили критический пробел в существующих бенчмарках: они не разделяют структурную сложность задачи и сложность интерпретации символьного словаря. Исследователи протестировали 7 доменов STRIPS с оптимальной длиной плана, вычисленной через BFS, чтобы изолировать эти факторы.
Почему старые эвристики лучше нейросетей?
Удивительный результат: простая эвристика delete-relaxation ($h_{\mathrm{add}}$), не требующая обучения, превзошла современные обученные модели в предсказании структурной сложности. Это означает, что линейные модели и подсчет объектов работают эффективнее сложных архитектур, таких как ARC (episodic retrieval), когда речь идет о чистой структуре задачи.
| Метод предсказания сложности | Спирмен ($|\rho|$) | Примечание |
|---|---|---|
| Zero-training $h_{\mathrm{add}}$ | 0.931 | Лучший результат, не требует обучения |
| Ridge Regression | 0.707 | Линейная модель |
| Object Count | 0.657 | Подсчет объектов |
| ARC (Episodic Retrieval) | 0.400 | Не превосходит линейные аналоги |
Семантика убивает точность
Чтобы проверить гипотезу о важности смысла, авторы провели эксперимент с переименованием предикатов, сохраняя при этом состояние, переходы и оптимальные планы. Результат стал ключевым:
- При 0% переименования успешное планирование LLM составило 67,5%.
- При 100% переименовании (сохранение структуры, но потеря смысла) успех упал до 40,0%.
- Количество отказов (refusals) осталось на уровне 0%, что исключает проблему «непонимания инструкции» как причину провала.
Вывод для гибридных систем
Исследование доказывает, что Established symbolic heuristics (традиционные символьные эвристики) уже отлично оценивают структурную сложность. Главный барьер для LLM — это чувствительность к семантике предикатов. Для создания эффективных гибридных систем (LLM + Symbolic Planner) фокус должен сместиться с разработки новых структурных предикторов на моделирование поведения LLM, чувствительного к смыслу, а не к форме задачи.
Источник: arXiv cs.AI ↗