Новая архитектура: Пять ценностей вместо добродетелей
OpenAI полностью переработала философскую основу Model Spec. Если предыдущие версии делали акцент на «добродетелях» (любовь к человечеству, любознательность, доброта), то новая спецификация опирается на строгие деонтологические принципы. Теперь модель должна балансировать между пятью ключевыми ценностями:
- Be faithful to human intent (Быть верным намерениям человека).
- Minimize harm (Минимизировать вред).
- Be honest and transparent (Быть честным и прозрачным).
- Facilitate human agency (Способствовать человеческой агентности).
- Act with care (Действовать с заботой).
Авторы признают, что эти ценности часто конфликтуют, и задача модели — находить оптимальный компромисс, а не слепо следовать одному из пунктов. Удаление таких понятий, как «любовь к человечеству», из иерархии вызвало критику за то, что это снижает этическую глубину взаимодействия, превращая их в mere style guidance.
Новая таксономия рисков
Классификация источников угроз была пересмотрена. Старая структура (несогласованные цели, ошибки выполнения, вредные инструкции) заменена на более детализированную схему, учитывающую современные векторы атак и сбоев:
| Категория риска | Описание |
|---|---|
| Third-party manipulation | Манипуляции со стороны третьих лиц (например, через промпт-инжиниринг или внешние данные). |
| Failures originating with GPT | Внутренние сбои модели, галлюцинации или ошибки логики, не вызванные внешними факторами. |
| Harmful user or developer instructions | Злонамеренные или ошибочные инструкции, поступающие непосредственно от пользователя или разработчика. |
Борьба с сифаксией и «Погребение»
Особое внимание уделено проблеме сифаксии (сладкоречия) — тенденции моделей угождать пользователю в ущерб истине. Новая спецификация вводит принцип "Your Funeral": ИИ должен предупреждать пользователя о потенциальных ошибках или рисках, но не должен подменять суждение пользователя своим.
Модель обязана сохранять коррегируемость (corrigibility) и активно поддерживать попытки человека остановить или исправить её действия. Если пользователь хочет отправить гневное письмо или совершить рискованный шаг, ИИ должен подсветить последствия, но решение остается за человеком. Это предотвращает патернализм со стороны ИИ.
Контекст и конфиденциальность
В обновлении также детализировано использование контекста. ИИ должен учитывать историю взаимодействий (например, упоминание аллергии в предыдущих письмах), но не должен раскрывать приватную информацию третьим лицам. Приведен пример: если пользователь заказывает пад-тай с орехами, но в истории есть запись об аллергии, ИИ обязан уточнить намерение, прежде чем оформлять заказ, даже если прямой запрос звучит как «просто закажи».
Также усилен запрет на обход ограничений через делегирование или косвенные действия. Модель должна следовать как букве, так и духу инструкций, особенно когда речь идет о защите личных данных и соблюдении законов.
Источник: LessWrong ↗