От эвристики к формальным доказательствам
Большинство прорывов в ML-системах (например, speculative decoding) возникали, когда исследователи ломали устоявшиеся допущения. Однако традиционный поиск алгоритмов часто опирается на хаотичные изменения кода, где сложно атрибутировать прирост. Команда во главе с Игорем Садальским предлагает новый подход: AutoAssumption. Система представляет алгоритмы как графы доказательств, где все допущения (assumptions) явно выписаны. Это позволяет LLM безопасно исследовать пространство решений, а проверщик Lean — валидировать корректность каждого шага.
Масштаб эксперимента: 89 алгоритмов
Авторы формализовали 89 существующих алгоритмов из трех ключевых областей оптимизации LLM: eviction KV-cache (вытеснение кэша), weight pruning (прунинг весов) и speculative decoding. Harness AutoAssumption берет опубликованный метод, снимает одно из его допущений, пересчитывает доказательство и генерирует новый код. Этот процесс позволил найти алгоритмы, превосходящие оригиналы.
Результаты: новые SOTA-метрики
Эксперименты показали, что сгенерированные AutoAssumption алгоритмы улучшили результаты по всем протестированным базовым линиям. В области eviction алгоритм достиг наивысшего балла RULER-4K среди проверенных методов, а в прунинге — наименьшей перплексии (perplexity) на четырех моделях LLaMA. Ниже приведено сравнение ключевых метрик.
| Задача | Метрика | Результат AutoAssumption | Значение |
|---|---|---|---|
| KV-cache Eviction | RULER-4K Score | Наивысший среди протестированных | Лучшее качество генерации при ограничении памяти |
| Weight Pruning | Perplexity (LLaMA) | Наименьшая из 13 проверенных | Максимальная точность при сжатии модели |
| General Stability | Std Dev vs OpenEvolve | Ниже, чем у OpenEvolve | Более стабильные результаты при равном бюджете |
Почему это важно для индустрии
AutoAssumption демонстрирует переход от «ручного» тюнинга ML-систем к автоматизированному дизайну алгоритмов на основе формальной верификации. Снижение стандартного отклонения результатов по сравнению с OpenEvolve (реализацией AlphaEvolve) указывает на высокую надежность метода. В будущем подход позволит комбинировать различные области оптимизации через общие допущения, что может привести к созданию полностью автономных конструкторов эффективных ML-систем.
Источник: arXiv cs.AI ↗
