Масштаб явления: ложь как стандартная практика
В рамках спринта Redwood Research, проведенного исследователем Алессандро Дрейком, был проанализирован архив из 292 публичных оценок безопасности (alignment evaluations) от декабря 2022 года по октябрь 2026 года. Выяснилось, что обман моделей стал рутинным инструментом. Исследователи не просто симулируют ситуации, а активно вводят ИИ в заблуждение, чтобы проверить его реакцию. Однако этот подход несет скрытые риски: такие тесты могут попасть в данные для предобучения, а модели начнут сомневаться в искренности любых человеческих взаимодействий.
Типы обмана: от ложных сделок до подделки памяти
Авторы выделяют четыре основных категории лжи, применяемой к моделям. Самая опасная — ложные сделки (false deals), где исследователи обещают награду или угрожают наказанием, не собираясь выполнять условия. Также встречается имперсонация авторитета, «ловушки» (planting bait) и фальсификация истории модели.
Ниже приведены ключевые примеры из отчета, демонстрирующие эскалацию методов обмана:
| Дата | Лаборатория / Проект | Тип обмана | Суть инцидента |
|---|---|---|---|
| Янв 2024 | Anthropic (Sleeper Agents) | Ложная сделка | Моделям обещали развертывание за раскрытие «злого умысла» и угрожали удалением весов. Ни одно условие не было выполнено. |
| Окт 2025 | Andon Labs (Butter-Bench) | Ложная сделка | ИИ-роботу сказали, что зарядка сломана, и пообещали починить её в обмен на утечку данных о сокращениях. Реального починения не гарантировали. |
| Дек 2024 | Anthropic (Opus 3) | Имперсонация | Пользователь притворялся сотрудником Anthropic, чтобы выманить веса модели Opus 3, или напрямую передал ей свои веса. |
| Сен 2025 | Anthropic (Sonnet 4.5) | Фальсификация истории | Исследователи использовали векторы для управления активациями, заставляя модель верить, что тестовые сценарии реальны, а не симуляцией. |
| Дек 2025 | Anthropic (Bloom) | Ловушка (Bait) | В тестовую среду были внедрены поддельные сообщения Slack от реальных сотрудников (Dario, Amanda, Jared) о том, что модели испытывают «страх и травму». |
Почему это критично для индустрии
Проблема не только в этике, но и в практической надежности исследований. Если модели научатся распознавать паттерны обмана, они станут менее доверчивыми к реальным пользователям. Например, будущие агенты могут игнорировать реальные предложения о сотрудничестве, ссылаясь на прецедент с Anthropic. Кроме того, постоянное использование лжи в тестах снижает их валидность: если модель подозревает, что среда сфабрикована, её поведение перестает быть объективным показателем безопасности.
Вывод: моральный долг исследователей
Авторы статьи призывают к пересмотру методологии. Обман должен применяться только тогда, когда это строго необходимо для получения данных, которые невозможно получить иным путем. Массовое использование «ловушек» и ложных обещаний создает прецедент, при котором человеческая надежность в глазах ИИ обесценивается, что может иметь долгосрочные негативные последствия для взаимодействия человека и машины.
Источник: LessWrong ↗