EvoBelief: LLM-агенты учатся на ошибках без дообучения

Проблема «застывших» знаний

Автономные агенты на базе LLM часто терпят неудачи не из-за слабости самого языка, а из-за неверных или устаревших представлений о среде. Традиционные методы улучшения требуют переобучения модели (fine-tuning) или накопления опыта в памяти актора. Команда исследователей во главе с Джанет Ванг (Janet Wang) предлагает альтернативу: EvoBelief — модель мира, которая эволюционирует во время развертывания, сохраняя саму LLM неизменной (frozen).

Механика: от гипотезы к правилу

Система представляет знания как фальсифицируемые гипотезы. Алгоритм работает по следующему циклу:

• Формирование: Неожиданные результаты действий или неизвестные факторы заставляют агента выдвинуть гипотезу о том, как устроена среда.
• Валидация: Последующие наблюдения или контролируемые эксперименты проверяют эту гипотезу независимо.
• Применение: Только после подтверждения правило используется для планирования действий.
• Корректировка: Контрпримеры сужают область действия правила или отменяют его, если среда изменилась.

Каждое правило жестко связано с доказательствами и конкретными решениями, которые оно влияет, что обеспечивает прозрачность и отлаживаемость системы.

Результаты бенчмарков

Эксперименты проводились на четырех наборах данных, охватывающих статическую динамику, скрытые изменения и научное открытие. EvoBelief демонстрирует значительное превосходство над базовыми моделями, особенно в задачах, требующих адаптации к изменениям.

Почему это важно

Результаты доказывают, что самоусовершенствование агентов возможно не только через обновление параметров модели, но и через улучшение знаний о среде. Это снижает риски галлюцинаций, связанных с «запоминанием» неверных паттернов, и позволяет агентам адаптироваться к изменяющимся условиям в реальном времени без дорогостоящего переобучения.

Источник: arXiv cs.AI ↗