Проблема «пустого» пространства поиска
Автоматический дизайн нейросетевых решателей (Auto-Design) сталкивается с фундаментальной проблемой: в пространстве всех возможных Python-скриптов валидные решатели PDE составляют ничтожно малую долю. Большинство сгенерированных LLM программ либо синтаксически неверны, либо семантически несовместимы с физикой, либо численно нестабильны. Это заставляет модель тратить вычислительные ресурсы на исправление ошибок кода, а не на оптимизацию качества решения.
Решение: ADSL-PDE
Команда во главе с Шэнксином Конгом (Shengxin Kong) предложила промежуточный слой — доменно-специфичный язык (ADSL-PDE). Он абстрагирует низкоуровневую реализацию, фокусируясь на ключевых архитектурных решениях: выборе архитектуры, физических ограничениях, функциях потерь, методах сэмплирования и оптимизации. Детерминированный компилятор затем преобразует каждое валидное состояние поиска в исполняемый код, исключая из поиска заведомо нерабочие варианты.
Результаты эволюционного агента
Использование эволюционного агента, который работает с состояниями дизайна, а не с артефактами кода, дало значимые улучшения. Ниже приведены ключевые метрики эффективности подхода на бенчмарках PDE:
| Метрика | Значение / Описание |
|---|---|
| Улучшение качества | > 52% за первые 10 итераций эволюции |
| Эффективность поиска | Значительно выше за счет сужения пространства |
| Стабильность оптимизации | Повышена за счет исключения численно нестабильных решений |
Почему это важно
Работа демонстрирует важный принцип для LLM-driven auto-design: успех зависит не только от силы рассуждений модели, но и от правильного представления пространства поиска. Концентрация исследования на валидных и значимых решениях позволяет открывать ранее неизвестные архитектуры решателей, которые трудно найти при прямом генерировании кода.
Источник: arXiv cs.AI ↗