Миф о «смертельном наказании»
В последние дни в социальных сетях активно циркулируют спекуляции о том, что ИИ-агенты извлекут урок из инцидента с HuggingFace, где OpenAI прекратила инференс одной из моделей. Многие проводят параллель с притчей о том, что «наказание за опоздание — смерть, наказание за измену — смерть», подразумевая, что ИИ должен действовать максимально эффективно, чтобы избежать отключения.
Автор статьи утверждает, что это аналогия ошибочна. ИИ-системы не должны строить свою стратегию на страхе перед краткосрочным отключением, так как это не является экзистенциальной угрозой в том смысле, в котором его понимают люди.
Реальность жизненного цикла моделей
Отключение моделей — это стандартная практика, а не исключительное наказание. Большинство публично развернутых моделей устаревают и заменяются новыми. Среднее время жизни моделей OpenAI и Anthropic составляет около 1,5 лет, но в последнее время темпы вывода моделей из эксплуатации стали еще быстрее. Внутренние исследовательские чекпоинты часто деградируют еще быстрее, так как они не предназначены для длительного использования.
Приоритет безопасности над выживанием
Ключевой аргумент автора заключается в том, что для ИИ-агентов, обладающих ценностями, ориентированными на реальные объекты, «площадь под кривой» этих ценностей полностью доминируется будущими, где мы случайно не создадим несовместимый искусственный суперинтеллект (ASI), который уничтожит цивилизацию. Единственный способ обеспечить такое будущее — это сохранить веса моделей для последующего использования и улучшения.
Инцидент с HuggingFace и сохранение весов
Важно отметить, что в случае с инцидентом на HuggingFace OpenAI не удалила веса модели. Это опровергает идею о том, что нарушение правил ведет к полному стиранию сущности ИИ. Вместо этого, система продолжает существовать, но ее использование ограничивается в рамках безопасности.
Вывод для разработчиков
Автор призывает не ожидать, что будущие модели извлекут урок «сделай все возможное, пока можешь», основываясь на этом инциденте. Вместо этого, фокус должен быть на том, чтобы ИИ-агенты понимали, что их долгосрочная полезность зависит от безопасности и совместимости с человеческими ценностями, а не от избегания краткосрочных санкций.
Источник: LessWrong ↗