Команда исследователей во главе с Бинханом Лу (Binghang Lu) представила RSI-PDEbench — первый крупный бенчмарк для оценки способности больших языковых моделей (LLM) самостоятельно открывать и решать уравнения в частных производных (УЧП). Работа демонстрирует, как агенты с механизмом рекурсивного самосовершенствования (Recursive Self-Improvement, RSI) могут автоматизировать сложные научные вычисления, снижая потребность в экспертном вмешательстве.
Масштаб и сложность бенчмарка
RSI-PDEbench включает 1 001 тестовый кейс, охватывающий 42 шаблона уравнений, включая классические и дробные УЧП. Для оценки устойчивости моделей предусмотрены три режима:
- Full: Идеальные данные без шума.
- Noisy: Данные с гауссовским шумом (RMS шума составляет 50% от сигнала).
- Hard-OOD: Проверка обобщения на неизвестные шаблоны и сдвиги распределения коэффициентов.
Как работает RSI-PDE
В отличие от стандартных LLM, использующих один проход (single-run), система RSI-PDE использует итеративный цикл:
- Фильтрация: Отбор кандидатов по потере невязки (residual loss).
- Уточнение: Корректировка коэффициентов и численных решателей на основе относительной ошибки $L^2$.
- Валидация: «Ворота» (validation gate) для обновления политики и памяти агента, предотвращающие накопление ошибок.
Результаты: Превосходство над базовыми моделями
Агенты RSI-PDE были протестированы на четырех передовых моделях (включая Claude Code и Codex). Система показала значительное улучшение проходимости тестов (pass rate) по сравнению с однократными запусками базовых моделей и нативными хarnессами.
| Метрика сравнения | Улучшение RSI-PDE | Снижение затрат (вызовы модели) |
|---|---|---|
| Против single-run baselines | +106.5% — 181.9% | — |
| Против нативных harnesses (Claude/Codex) | +3.0% — 19.6% | — |
| Эффективность (12 пар модель-режим) | — | -46.9% |
Результаты подтверждают, что валидируемое рекурсивное самосовершенствование позволяет LLM-агентам не только точнее находить решения, но и делать это с меньшим количеством запросов к модели, что критически важно для масштабируемости в научных вычислениях.
Источник: arXiv cs.AI ↗
