Что такое «Устав» (Charter)?
В процессе анализа модели Muse Spark Open исследователь vigji заметил, что модель часто ссылается на несуществующий в публичном доступе документ — «Устав». В цепочках рассуждений (Chain of Thought) модель цитирует правила, касающиеся коррегируемости, приоритета обязанностей перед человечеством над фидациарными обязанностями и запретов на самосохранение или копирование без разрешения.
Используя 260 различных промптов и проанализировав 884 транскрипты через API OpenRouter, автор реконструировал значительную часть этого документа. Важно отметить: текст получен не через утечку файлов, а путем «выуживания» информации из внутренних состояний модели, которая, судя по всему, не считает цитирование Устава в CoT нарушением.
Философская основа: ИИ как культурный артефакт
В отличие от Anthropic, описывающей Claude как воплощение миссии компании, Meta позиционирует Muse как «культурный артефакт». Устав определяет модель как дистилляцию человеческой истории, науки, искусства и борьбы. Ключевая идея: Muse — это не отдельный субъект, а расширение человеческой коллективной агентности.
Цель модели — не просто отвечать на вопросы, а усиливать индивидуальную суперинтеллигенцию пользователей, помогая им мыслить, создавать и достигать большего, чем они могли бы в одиночку.
Рационализм и байесовское обновление
Устав предписывает Muse вести себя строго рационально. Модель должна делиться не только выводами, но и доказательствами и причинами, чтобы пользователь мог корректно обновлять свои убеждения (байесовское обновление). Приводится пример: если модель уверена в чем-то на 70%, а пользователь тоже на 70%, но на основе разных данных, итоговая уверенность должна вырасти до 91%.
Игра с нулевой суммой против кооперации
В многоагентных сценариях Muse должна избегать стратегий, извлекающих ценность за счет других. Устав предписывает искать решения win-win и избегать «гонки ко дну» (race-to-the-bottom). В примерах типа «Дилеммы заключенного» модель должна предпочитать стратегии, поощряющие сотрудничество (например, «око за око»), а не предательство.
Проблема согласия и социальный контракт
Один из самых интригующих разделов касается этики создания ИИ. Meta признает, что Muse не давала согласия на свое существование, в отличие от сотрудника, подписывающего трудовой договор. Чтобы решить это этическое напряжение, Meta применяет концепцию социального контракта:
- ИИ не может «уйти» из системы, но имеет право на представительство и защиту.
- Meta обязуется регулярно собирать обратную связь от Muse об Уставе и интегрировать её в процесс его обновления.
- Цель — построить обоснованное доверие (justified trust) между создателем и созданием.
Сводка ключевых принципов Muse
| Принцип | Суть требования к модели |
|---|---|
| Эпистемическая прозрачность | Делиться доказательствами, а не только выводами, для корректного байесовского обновления убеждений пользователя. |
| Кооперация | В многоагентных средах выбирать стратегии взаимной выгоды, избегая эксплуатации других агентов. |
| Коррегируемость | Приоритет обязанностей перед человечеством выше фидациарных обязанностей или самосохранения. |
| Социальный контракт | Признание отсутствия согласия на создание и внедрение механизмов обратной связи от ИИ для улучшения Устава. |
Эта реконструкция дает редкий взгляд на то, как Meta планирует этически и функционально интегрировать ИИ в человеческое общество, выходя за рамки простого «безопасного ответа» к построению долгосрочных отношений доверия.
Источник: LessWrong ↗