Проблема семантического разрыва
Современные AI-агенты способны генерировать программный код на основе текстовых описаний на естественном языке. Однако существует критический разрыв между кодом, который просто компилируется, и кодом, который реализует именно ту логику, которая была запрошена. Эта проблема особенно остра в сфере Web3, где смарт-контракты управляют финансовыми активами и не могут быть исправлены после развертывания на блокчейне.
Методология: Execution-based Evaluation
Авторы исследования (arXiv:2610.37830) предлагают подход, основанный на выполнении (execution), а не на субъективных оценках или статическом анализе. Суть метода заключается в следующем:
- Генерируется набор тестовых транзакций на основе исходного описания намерения (intent).
- Эти транзакции выполняются на двух версиях контракта: на сгенерированном AI и на эталонном (оригинальном) контракте.
- Сравниваются состояния блокчейна и результаты выполнения после каждой транзакции.
Где теряется намерение?
Ключевой вклад работы — не просто констатация факта ошибки, а локализация момента, когда AI-агент «теряет» изначальное намерение разработчика. Метод позволяет выявить, на каком этапе трансформации текста в код происходит семантический сдвиг, приводящий к некорректному поведению контракта.
Значимость для индустрии
В условиях, когда автоматизация разработки смарт-контрактов становится нормой, безопасность и корректность логики выходят на первый план. Предложенный метод обеспечивает объективную метрику качества AI-генерации, позволяя разработчикам и аудиторам выявлять уязвимости, связанные с неверной интерпретацией бизнес-логики, еще до деплоя контракта в основную сеть.
Источник: arXiv cs.AI ↗