Проблема передачи сновидений
Сны часто бывают эмоционально насыщенными, но их крайне сложно передать словами. Авторы работы Azra Açıl и Simon Colton из Университета Лондонского центра вычислительного творчества (ICCC 2026) предлагают решение: систему Dream Scene Visualiser (DSV). Её цель — не просто создать картинку, а сохранить хронологию и логику сна, разбивая его на ключевые моменты.
Архитектура системы DSV
Процесс визуализации состоит из трех этапов, обеспечивающих когерентность (связность) повествования:
- Сегментация: Большая языковая модель (LLM) анализирует текстовое описание сна и разбивает его на четыре хронологические части.
- Генерация: Текстовая модель (text-to-image) создает изображение для каждой из четырех частей.
- Коррекция: Система DSV проверяет соответствие изображений тексту. Если визуализация не подходит, она перегенерируется до достижения нужного качества.
Метрики и оценка качества
Для объективной оценки работы системы исследователи использовали датасет DreamBank, проведя визуализацию более 50 снов. Качество, точность (fidelity) и визуальная связность измерялись с помощью современных vision-language моделей: CLIP, DINOv2 и Qwen2-VL. Это позволяет избежать субъективной оценки и опираться на математические метрики сходства текста и изображения.
| Компонент системы | Роль в процессе | Используемые технологии/Метрики |
|---|---|---|
| Сегментатор | Разделение текста на 4 временных отрезка | LLM (Large Language Model) |
| Генератор изображений | Создание визуального ряда по тексту | Text-to-Image модель |
| Модуль проверки | Регенерация некорректных кадров | Сравнение с исходным текстом |
| Оценка качества | Измерение связности и точности | CLIP, DINOv2, Qwen2-VL |
Значение для индустрии
Работа демонстрирует переход от простой генерации «красивых картинок» к созданию нарративно связанных последовательностей. Сохранение хронологии и логики событий критически важно для приложений в области психотерапии, цифрового сторителлинга и интерактивных медиа, где контекст имеет такое же значение, как и визуальный стиль.
Источник: arXiv cs.AI ↗