Синдром «замороженных» параметров и экономическая неэффективность
Современные большие языковые модели (LLM) обучаются централизованно, а затем их параметры «замораживаются». Это создает две критические проблемы:
- Однородность: Все пользователи получают одну и ту же модель с одними и теми же предубеждениями и пробелами в знаниях.
- Отсутствие тактичного знания (Tacit Knowledge): ИИ не понимает специфику компании, её культуру и неформальные правила. Контекстное программирование (prompt engineering) позволяет временно «вспомнить» факты, но не позволяет выработать устойчивые навыки.
Каждый раз, когда пользователь начинает новый чат, модель сбрасывается к состоянию «сразу после обучения». Запоминание фактов из истории диалога — это не обучение. Это приводит к тому, что для каждой новой задачи ИИ вынужден заново «изучать» контекст, что неэффективно по сравнению с человеческим подходом.
Урок Xerox: от экспертных систем к базе знаний
Автор приводит исторический пример из Xerox PARC в начале 1980-х. Компания пыталась заменить опыт техников-ремонтников ИИ-системой RAPPER. Система была построена на основе инженерных моделей и справочников, но техники назвали её «танцующим медведем» — красиво, но бесполезно в реальных условиях.
Проблема заключалась в том, что RAPPER не мог учиться на ошибках и новых случаях. В итоге Xerox создала систему Eureka — не ИИ, а базу данных проверенных советов от инженеров. Это позволило кумулятивно накапливать тактичное знание, специфичное для оборудования Xerox, что оказалось экономически выгоднее, чем попытка создать универсальную экспертную систему.
Проблема Хайека и научные открытия
Статья ссылается на «проблему знания Хайека» (Friedrich Hayek, 1945): критическая информация распределена локально и не может быть централизованно собрана. Современные экономисты ошибочно полагают, что ИИ сделает централизованное планирование возможным, кодируя тактичное знание. Однако без непрерывного обучения ИИ не может актуализировать эти знания в реальном времени.
Особое внимание уделено научным исследованиям (поиск новых терапий и материалов). Здесь непрерывное обучение обязательно, так как данные за пределами известной науки отсутствуют. ИИ должен учиться на результатах экспериментов так же, как человек-ученый, а не просто анализировать архивы.
Разрыв в эффективности обучения: люди против LLM
Ключевое различие между человеком и ИИ — эффективность использования образцов (sample efficiency). Люди (и животные) способны учиться на единичных примерах, что эволюционно необходимо для выживания (например, крысы запоминают связь «сладкая вода = болезнь» с первого раза). LLM же требуют миллионов примеров для формирования ассоциаций.
| Критерий | Человеческое обучение | Современные LLM |
|---|---|---|
| Механизм обучения | Непрерывное (Continual Learning) | Однократное (Batch Training) + «Замороженные» параметры |
| Эффективность образцов | Высокая (обучение на 1-2 примерах) | Низкая (отставание на 3-6 порядков) |
| Работа с тактичным знанием | Естественная, через опыт и наблюдение | Невозможная без переобучения или внешней базы знаний |
| Память в диалоге | Интеграция в долгосрочную модель мира | Только контекстное окно (In-Context Learning), не сохраняется в весах |
Почему это важно?
Пока ИИ не научится непрерывно обновлять свои параметры на основе небольшого количества новых данных (особенно в узкоспециализированных областях), он останется инструментом для обобщенных задач (кодинг, общие вопросы). Для решения специфических корпоративных проблем и прорывных научных открытий потребуется архитектура, способная к непрерывному обучению, аналогичная тому, как техники Xerox обменивались опытом в Eureka, но с возможностью интеграции этого опыта непосредственно в «мозг» модели.
Источник: LessWrong ↗