Крах эпистемического контракта
Текст всегда был легко фальсифицируемым, и общество выработало иммунитет: мы не верим тексту слепо, а проверяем источник. Однако фото и видео исторически считались «неопровержимым доказательством» реальности. Сейчас этот контракт разрушается. Генеративные модели делают создание реалистичных медиа дешевым и массовым, лишая аудиовизуальный контент его главной ценности — доверия.
Ловушка «дивиденда лжеца»
Главная опасность не в том, что люди поверят фейкам, а в том, что реальное доказательство станет недоказуемым. Юристы называют это liar's dividend (дивиденд лжеца): обвиняемый может просто заявить, что видео с камеры наблюдения — дипфейк, ссылаясь на доступность технологий. Это создает разумное сомнение даже для подлинных записей. Чем больше дешевых фейков появляется, тем больше общество теряет веру в любые аудиовизуальные свидетельства.
Почему детекторы обречены
Статья аргументирует, что полагаться на детекторы (AI detectors) — стратегическая ошибка. Это игра в «кошки-мышки», где генераторы всегда впереди:
- Для людей: Мы ищем артефакты (руки, текстуры, освещение), но модели быстро учатся их избегать. Это игра с убывающей отдачей.
- Для алгоритмов: Детекторы можно обойти через adversarial training. Генераторы обучаются так, чтобы их контент не попадал в «красную зону» детекторов. Нет физического закона, обязывающего сгенерированный контент быть отличимым от реального.
Провенанс как единственное решение
Вместо поиска «следов» генерации, автор предлагает сменить парадигму: по умолчанию считать медиа фальшивкой, пока не доказано обратное. Решение — криптографически подписанный захват (multimodal provenance). Если камера или устройство подписывает данные на этапе съемки, подделать историю файла становится экспоненциально дорого. В сочетании с политикой платформ и юридической ответственностью за контент без меток, это может решить проблему масштабных фейков.
| Подход | Механизм | Уязвимость | Перспектива |
|---|---|---|---|
| Детекция (Detection) | Поиск артефактов или статистических отклонений | Обход через adversarial training; улучшение моделей делает артефакты невидимыми | Проигрышная стратегия (arms race) |
| Водяные знаки (Watermarking) | Встраивание метаданных или скрытых сигналов | Удаляются при сжатии, кадрировании или загрузке в соцсети; не работают для несгенерированного контента | Недостаточно надежно |
| Криптографическая провенансность | Подпись данных на этапе захвата (capture) | Требует изменения инфраструктуры устройств и платформ | Единственная устойчивая модель |
Источник: LessWrong ↗