FA-LoRA: LLM для смарт-контрактов с забыванием 0.4% параметров

Проблема: Катастрофическое забывание в блокчейне

Обучение больших языковых моделей (LLM) обнаруживать уязвимости в смарт-контрактах сталкивается с тремя взаимосвязанными проблемами. Во-первых, появление новых типов уязвимостей требует адаптации модели, но полное переобучение слишком затратно. Во-вторых, обучение отдельных адаптеров на общей базе приводит к катастрофическому забыванию ранее изученных паттернов. В-третьих, на этапе инференса неизвестно, к какой задаче относится запрос, что требует консолидации множества адаптеров в одну модель.

Решение: Трехэтапный пайплайн

Авторы (Tenghui Huang и соавт.) предложили интегрированный фреймворк, состоящий из трех этапов:

• Адаптация (FA-LoRA): Используется адаптация с низким рангом, aware к частоте (Frequency-Aware). Обучение происходит в частотной области (Fourier domain) с использованием гейтов важности для каждой частоты. Это позволяет обучать всего 0.4% параметров.
• Непрерывное обучение (FAR): Метод Forget-Aware Replay оценивает риск забывания для каждого образца через динамику потерь. Модель приоритизирует воспроизведение знаний о наиболее уязвимых участках кода.
• Развертывание (APPM): Anchor-Protected Progressive Merging объединяет все адаптеры в одну модель. Алгоритм находит адаптер с лучшей обобщающей способностью как «якорь» и выполняет взвешенное слияние через конкуренцию частотных гейтов.

Результаты и метрики

Эксперименты проводились на датасете DIVE. Ключевые показатели эффективности представлены ниже:

Почему это важно

Предложенный подход демонстрирует, что LLM могут эффективно эволюционировать в условиях постоянно меняющихся угроз в блокчейне, не требуя перетренировки. Слияние адаптеров за 156 мс без увеличения потребления памяти делает технологию пригодной для интеграции в реальные системы безопасности смарт-контрактов в реальном времени.

Источник: arXiv cs.AI ↗