Конец эпохи «закрытого мира»
Традиционные ИИ-системы работают в «закрытом мире»: они получают фиксированный набор данных, сгенерированных по принципу i.i.d. (независимые и одинаково распределенные), и оптимизируются под известную задачу. Однако реальный мир — это «открытый мир», где задачи неизвестны заранее, данные поступают группами, а не перемешаны, а от системы требуется универсальность с минимальным участием человека.
Авторы статьи (arXiv:2610.20782) утверждают, что простое увеличение размера модели или чередование типов слоев не исправляет фундаментальные недостатки современных архитектур при работе в таких условиях. Вместо этого требуется соблюдение трех строгих требований.
Три столпа Open-world AI
Исследование выделяет три критических компонента, необходимых для того, чтобы машина могла учиться во время инференса (inference-time learning) и адаптироваться к новым задачам:
- Обучение во время инференса (Inference-time learning): Способность модели обновлять свои веса или состояние непосредственно в момент обработки запроса, опираясь на новые примеры, без переобучения всей сети.
- Богатое представление (Rich representation): Внутреннее кодирование данных должно содержать больше информации, чем требуется для стандартной обобщающей способности (generalization). Модель должна удерживать нюансы, которые обычно отбрасываются при сжатии до i.i.d. метрик.
- Предиктивное разделение (Predictive disentanglement): Архитектура должна разделять входные и выходные данные на согласованные низкомерные группы, выявляя скрытые факторы, общие для разных задач.
Эксперименты на моделях до 8B параметров
Для проверки гипотез исследователи использовали языковые модели (LLM) размером до 8 миллиардов параметров. Важно отметить, что оценка проводилась не в количественных метриках (кто победил больше очков), а в качественных свойствах: способна ли модель улучшаться по мере накопления данных от родственных задач.
| Характеристика | Требование Open-world AI | Результат при соблюдении | Результат при игнорировании |
|---|---|---|---|
| Адаптивность | Inference-time learning | Улучшение производительности с ростом данных | Деградация или стагнация |
| Представление данных | Rich representation | Сохранение скрытых факторов | Потеря информации, критичной для новых задач |
| Структура | Predictive disentanglement | Синхронизация входов и выходов | Неспособность к обобщению |
Почему это важно
Результаты показывают, что модели, не удовлетворяющие этим трем требованиям, деградируют, когда сталкиваются с накоплением данных из родственных, но новых задач. Масштабирование (scaling laws) и архитектурные уловки (например, interleaving слоев) не могут компенсировать этот пробел.
Это означает, что следующий прорыв в ИИ будет связан не с увеличением параметров, а с пересмотром архитектуры в сторону систем, способных к непрерывному обучению в реальном времени и обладающих глубокой семантической структурой данных.
Источник: arXiv cs.AI ↗