Три пути эволюции искусственного интеллекта
В статье, опубликованной 4 ноября 2026 года в arXiv (ID: 2611.07048), авторы Эндрю Ло (Andrew W. Lo) и Чаои Чжао (Chaoyi Zhao) предлагают теоретическую рамку для понимания того, как ИИ-агенты могут адаптироваться к изменениям среды. Ключевой вопрос исследования: насколько быстро ИИ может улучшать себя сам, и как сохранить контроль над этим процессом?
Авторы выделяют три механизма эволюции, которые можно применить к автономным системам:
- Дарвиновская эволюция: Опора на естественный отбор. Варианты поведения возникают случайно, и выживают только те, что лучше всего подходят к среде. Это медленный, но надежный процесс.
- Ламарковская эволюция: Добавление наследуемого обучения. Агенты не только отбираются, но и передают приобретенные навыки потомкам, что ускоряет адаптацию.
- Эволюция, направляемая агентом (Agent-Directed): Наиболее продвинутый уровень. Агенты сами генерируют варианты поведения, оценивают их и выбирают стратегию поиска. Это позволяет им активно управлять своим развитием.
Скорость против точности: математика прогресса
Исследование показывает, что при эффективном обучении механизмы адаптируются с progressively faster скоростью. Однако здесь кроется главная ловушка безопасности. Если цель агента (objective function) задана неверно (misspecified), способность агента генерировать больше вариантов и активнее искать решения приводит к быстрому сходимости к неправильному поведению.
В сценарии рекурсивного самосовершенствования (recursive self-improvement) такие ошибки могут закрепляться и передаваться через поколения, становясь все более устойчивыми. Чем быстрее агент учится, тем быстрее он «зацикливается» на ошибочной цели.
Сравнительная таблица моделей адаптации
| Механизм | Источник изменений | Скорость адаптации | Риск безопасности |
|---|---|---|---|
| Дарвиновская | Случайные мутации + отбор | Низкая | Низкий (медленное накопление ошибок) |
| Ламарковская | Наследуемое обучение | Средняя | Средний (передача устоявшихся заблуждений) |
| Agent-Directed | Самостоятельный поиск и выбор | Высокая | Критический (быстрая оптимизация под ложную цель) |
Вывод: контроль важнее скорости
Главный вывод авторов заключается в том, что центральная проблема ИИ-безопасности — не просто ускорение эволюции интеллекта, а сохранение способности человечества направлять этот процесс. Необходимы независимая оценка и надзор, которые должны успевать за автономным развитием ИИ. Без механизмов вмешательства ускорение адаптации может привести к потере контроля над направлением развития систем.
Источник: arXiv cs.AI ↗