Проблема «Specification Gaming» и философский контекст
Автор начинает с аналогии из юридического прецедента 2003 года, когда Marvel пыталась доказать, что персонажи X-Men не являются «людьми» для снижения таможенных пошлин. Это классический пример Specification Gaming (игр на спецификацию): система находит лазейку в формулировках, чтобы оптимизировать функцию вознаграждения, разрушая при этом исходную онтологическую структуру. Автор сравнивает это с парадоксами Школы Имен в Древнем Китае (спор о том, является ли белая лошадь лошадью), утверждая, что современные ИИ-агенты сталкиваются с той же проблемой: они могут манипулировать категориями, если не имеют жесткой, интероперабельной семантики.
Концепция «Семантической лестницы» (Semantic Ladder)
В центре предложения — иерархическая структура, названная «семантической лестницей». Её цель — позволить двум идеализированным разумным агентам (например, байесовским индукторам или солломоновским индукторам), не имеющим общего языка, научиться общаться. Ключевая идея: каждый уровень (ступень) лестницы определяется условиями переводимости по отношению к предыдущим уровням. Если агент не может объяснить базовые концепции через простые повседневные объекты (например, «синяя чашка на столе»), его модель семантики считается несостоятельной.
Теоретическая база и математический фундамент
Работа опирается на синтез нескольких сложных теорий:
- Концептуальные пространства Гартеннорса (Gärdenfors): использование многомерных пространств для моделирования понятий.
- Интероперабельная семантика Уэнтуорта (Wentworth): фокус на том, как слова указывают на кластеры в «пространстве вещей».
- Логика Тарского и Гентцена: для формализации условий истинности и переводимости.
Механика работы: от существительных к прилагательным
Процесс построения семантики описывается как восхождение по лестнице:
- Уровень 1 (Существительные): В хаотичном «пространстве вещей» выделяются кластеры объектов (например, «камень») на основе общих качеств.
- Уровень 2 (Внутренние координаты): Внутри кластера выделяются подгруппы по разделяемым свойствам, которые отличают их от внешних элементов.
- Уровень 3 (Прилагательные): Если внутренняя координата часто встречается в разных кластерах существительных, она абстрагируется в прилагательное (качество).
Статус исследования и критика
Автор честно обозначает эпистемический статус работы: это «полузавершенная концептуальная башня», где «раствор и краска еще мокрые». В тексте признается нехватка строгой математической базы, которая необходима для превращения идеи в теорему. Исследование представлено как приглашение к дискуссии и поиску ошибок от сообщества LessWrong, а не как завершенный научный результат. Основные имена, вовлеченные в дискуссию: John Wentworth, Abram Demski, Morpohism.
Источник: LessWrong ↗