Эксперимент с «стеной» и студентом
Авторы статьи используют метафору студента-художника, запертого в комнате с 1024 фотографиями лиц. Задача модели (студента) — восстановить скрытое под шумом изображение. Исследование показывает, что процесс обучения делится на два этапа с разной скоростью:
- Фаза генерации (1-я неделя): Модель учится рисовать «лица» в целом, но не копирует конкретные примеры. В этот период 0% сгенерированных изображений являются точными копиями из обучающей выборки.
- Фаза запоминания (после 3 недель): Модель начинает запоминать конкретные фото. К 16-й неделе 34% сгенерированных лиц оказываются копиями оригиналов.
Математика копирования
Для объективной оценки использовался метрический тест. Изображение считается копией, если расстояние до ближайшего оригинала в пространстве признаков менее чем в 3 раза меньше, чем до второго ближайшего. Это позволяет избежать субъективной оценки «на глаз».
Влияние размера датасета и модели
Ключевой вывод исследования: способность модели генерировать новые данные (не-копии) зависит от соотношения размера модели и объема данных. Существует «окно возможностей», где модель уже умеет рисовать, но еще не запомнила данные.
| Размер «стены» (фото) | Время до начала генерации | Время до начала запоминания | Статус |
|---|---|---|---|
| 128 | ~1 неделя | До генерации (сразу) | Только копии |
| 1,024 | ~1 неделя | ~3 недели | Генерация + копирование |
| 4,096 | ~1 неделя | ~12 недель | Длительная генерация |
| 32,768 | ~1 неделя | ~1.9 года | Практически только генерация |
| 1,000,000 | ~1 неделя | ~58 лет | Только генерация (в рамках жизни модели) |
Почему это важно для AI-индустрии
Результаты объясняют, почему современные большие диффузионные модели (например, Midjourney или DALL-E) способны создавать уникальные изображения, не нарушая авторских прав напрямую. Если размер датасета превышает емкость памяти модели (или время обучения меньше времени, необходимого для запоминания всех примеров), модель вынуждена обобщать паттерны, а не заучивать их. Это доказывает, что генерация «нового» является математически неизбежным следствием архитектуры при определенных масштабах данных.
Источник: Sheets ↗
