Проблема неформализованной интуиции
Композиционность — способность комбинировать части для создания новых структур — является фундаментом сложности в природе и искусственных системах. Однако, несмотря на очевидность этого явления, строгое математическое определение оставалось размытым. В новой работе, опубликованной 14 октября 2026 года, группа авторов во главе с Эриком Эльмознино, Теджасом Касетти, Блейзом Агюэра-и-Аркасом, Йошуа Бенгио и Гийомом Лажуа заполняет этот пробел.
Ключевая гипотеза: Алгоритмическая информация
Авторы предлагают определять композиционную структуру через призму теории алгоритмической информации. Суть подхода проста, но глубока: структура возникает, когда совместное рассмотрение частей раскрывает общие закономерности, которые невозможно выявить при моделировании каждой части отдельно. Это позволяет обнаруживать иерархию без предварительного задания правил, используя сжатие данных как метрику сложности.
Генерация через инверсию фреймворка
Исследователи не ограничились теорией. Они применили «обратный» подход: задав желаемую форму композиционной структуры, они оптимизировали процесс генерации напрямую над строками и изображениями. Результат — объекты с узнаваемой иерархической организацией, где части используются повторно. Это доказывает, что метод выделяет именно композицию, а не просто регулярность или сложность.
Влияние на архитектуру нейросетей
Работа предлагает новый взгляд на глубину нейронных архитектур. Если композиционная структура является естественным путем к обобщению, то глубина сети должна соответствовать уровню иерархии в данных. Авторы также предлагают принципы построения «композиционных учебных планов» (data curricula), которые могут поддерживать открытое обучение (open-ended learning), позволяя моделям эволюционировать от простых к сложным концепциям.
| Аспект | Традиционный подход | Предлагаемый метод (AIT) |
|---|---|---|
| Определение структуры | Задается вручную или через эмпирику | Выводится из сжатия данных (алгоритмическая информация) |
| Генерация | Синтаксические правила или диффузия | Оптимизация над строками/изображениями с целью максимизации композиции |
| Масштабируемость | nЧасто требует переобучения | Применимо к любым масштабам (атомы → молекулы → организмы) |
Почему это важно
Для индустрии ИИ это шаг к созданию моделей, которые не просто запоминают паттерны, а понимают иерархическую организацию мира. Это может стать основой для следующего поколения систем, способных к автономному открытию новых концепций без бесконечных датасетов.
Источник: arXiv cs.AI ↗