От текстового промпта к физическому решению
Традиционные методы обучения нейронных сетей опираются на градиентную оптимизацию (backpropagation), что требует значительных вычислительных ресурсов и времени. Новая работа Shogo Sato и коллег вводит концепцию Physics2Weight (PtW), которая использует Large Language Models (LLM) для weight-space programming (WSP). Это означает, что модель не обучается на данных, а напрямую генерирует веса нейронной сети, интерпретируя физические законы как программный код.
Ключевая инновация PtW заключается в двух этапах: physics-constrained prompting (формирование промпта с учетом физических ограничений) и physics-guided architecture editing (автоматическое редактирование структуры сети на основе уравнений). После первичной генерации применяется итеративное уточнение весов, что позволяет достичь точности, сопоставимой с классическими методами, но без этапа обратного распространения ошибки.
Эксперименты на уравнениях физики
Авторы протестировали фреймворк на четырех классических уравнениях в частных производных (УрЧП): уравнение теплопроводности, уравнение переноса (advection), уравнение Бюргерса и уравнение Аллена-Кана. Результаты показывают, что PtW способен генерировать рабочие архитектуры «с нуля», основываясь только на математической формулировке задачи.
Сравнение с Physics-Informed Neural Networks (PINN)
Главным конкурентом в этой области являются Physics-Informed Neural Networks (PINN), которые внедряют физические законы непосредственно в функцию потерь. Сравнительный анализ демонстрирует преимущества нового подхода в линейных задачах:
| Метод | Тип задачи | Точность решения | Метод оптимизации |
|---|---|---|---|
| Physics2Weight (PtW) | Линейные УрЧП | Ниже ошибка (лучше) | Прямая генерация весов (LLM) |
| PINN (стандартный) | Линейные УрЧП | Выше ошибка (хуже) | Градиентная оптимизация |
| Physics2Weight (PtW) | Нелинейные УрЧП | Ограниченная точность | Прямая генерация весов (LLM) |
Как видно из данных, PtW превосходит традиционные PINN по точности решения на линейных уравнениях. Однако авторы честно отмечают ограничение: при работе с нелинейными УрЧП (такими как уравнение Бюргерса) метод сталкивается с трудностями в строгом соблюдении управляющих уравнений, что указывает на необходимость дальнейшей доработки механизмов контроля физики в LLM.
Почему это важно
Успех Physics2Weight открывает путь к автоматизированному инжинирингу нейронных архитектур для научных вычислений. Если LLM смогут надежно генерировать веса для сложных нелинейных систем, это снизит порог входа в моделирование физических процессов, исключив необходимость ручной настройки гиперпараметров и долгих циклов обучения. Это шаг к созданию «самопрограммируемых» научных симуляторов, где физик задает только уравнения, а ИИ строит под них оптимальный вычислительный аппарат.
Источник: arXiv cs.AI ↗