Проблема численной ошибки
Традиционные методы символьной регрессии часто используют численную ошибку (numerical error) как основной сигнал для направления поиска. Однако этот подход имеет критический недостаток: он может favor (отдавать предпочтение) точному суррогатному выражению, которое численно совпадает с данными, но структурно неверно. Иными словами, модель находит «правильный ответ» через «неправильную формулу», что делает результат неинтерпретируемым и бесполезным для научного анализа.
Решение: L2G-SR и Tree Edit Distance
Авторы (Letian Huang, Xiangyu Wang, Haowei Lin, Di He) предлагают фреймворк L2G-SR (Learning to Guide LLM-based Symbolic Regression). Ключевое нововведение — использование обучаемого структурного верификатора. Вместо слепого доверия к LLM, система:
- Вычисляет сигнал структурного надзора, используя Tree Edit Distance (TED) с учетом коммутативных операторов и альтернативных форм выражений.
- Сначала выравнивает численные наблюдения с формулами, затем учится оценивать структурное сходство кандидата с целевой формулой.
- На этапе поиска целевая формула скрыта, но верификатор дополняет численную ошибку при выборе родителей в процессе эволюции.
Гибридный процесс: LLM + Человек
Процесс не полностью автоматизирован. После того как генератор LLM создает выражения, а верификатор оценивает их, аналитик использует обратную связь от верификатора и диагностические инструменты для предложения правок. Генератор затем преобразует эти правки в уточненные выражения. Это сочетание автоматизированной структурной проверки и человеческого вмешательства повышает надежность.
Результаты: SOTA на LLM-SRBench
Оценка проводилась на бенчмарке LLM-SRBench. L2G-SR показал лучшие результаты по трем ключевым метрикам по сравнению с существующими методами на различных LLM-бэкбонах и доменах:
| Метрика | Результат L2G-SR | Значение |
|---|---|---|
| Численная подгонка (Numerical fit) | State-of-the-art | Максимальная точность аппроксимации данных |
| Точность на уровне уравнения (Equation level accuracy) | State-of-the-art | Вероятность нахождения точной целевой формулы |
| Tree Edit Distance (TED) | State-of-the-art | Минимальное структурное расхождение с истиной |
Результаты демонстрируют, что обученное структурное руководство (learned structural guidance) критически важно для того, чтобы LLM не просто «угадывали» числа, а выводили физически и математически осмысленные законы.
Источник: arXiv cs.AI ↗