CIRCE: Как структура ограничений предсказывает сложность задач для LLM

Команда исследователей во главе с Чэньхао Хунгом (Chenhao Hong) представила метод CIRCE (Constraint Intermediate Representation for Complexity Estimation). В отличие от существующих подходов, которые полагаются на текст задачи, аннотации людей или скрытые состояния нейросети после попытки решения, CIRCE анализирует структуру ограничений задачи: переменные, которые нужно присвоить, и то, как они взаимодействуют друг с другом.

Принцип работы: от текста к графу

Метод использует легковесную LLM для извлечения структуры задачи и построения Constraint Intermediate Representation (CIR). Эта структура детерминированно компилируется в граф ограничений. На основе этого графа обучается графовая нейронная сеть (GNN), которая предсказывает, справится ли целевая LLM с задачей.

Результаты на бенчмарках

Эксперименты проводились на семи задачах, включающих SAT, логику и математику, с использованием четырех различных LLM. Ключевое открытие: даже случайно инициализированная GNN-энкодер, обученная на графах ограничений, превосходит сильные базовые модели, работающие только с текстом.

Сравнение метрик предсказания корректности ответа LLM:

Почему это важно для индустрии

Точное предсказание сложности задачи до её выполнения позволяет оптимизировать архитектуру AI-систем:

• Model Routing: Направление сложных задач на более мощные модели, а простых — на легкие, экономя вычислительные ресурсы.
• Allocation of Test-time Compute: Динамическое распределение ресурсов (например, количества шагов рассуждения) в зависимости от вычисленной сложности.
• Tool Augmentation: Автоматическое определение необходимости подключения внешних инструментов или агентов для решения задачи, которая «слишком сложна» для чистой LLM.

Исследование демонстрирует, что синтаксическая и логическая структура задачи (граф ограничений) является более надежным индикатором сложности для LLM, чем семантическое содержание текста или эвристики, основанные на тексте.

Источник: arXiv cs.AI ↗