Суть технологии: предсказание, а не вставка
Компания Sony подала патент US 2026/0320740 A1, опубликованный 15 октября 2026 года. Изобретатель — инженер Денис Дюперрон (Denis Dupeyron). В отличие от существующих решений, которые вставляют сгенерированный кадр между двумя реальными (что требует ожидания обоих и добавляет задержку), система Sony работает иначе. Она использует нейросеть-кодировщик, чтобы превратить новый рендер в компактную «вкладку» (embedding), а затем декодер предсказывает следующий кадр.
Ключевая особенность — возможность предсказывать несколько кадров вперед на основе одного рендера. Это позволяет отображать предсказанную картинку, пока в фоне продолжается рендеринг следующего реального кадра, что должно устранить «фризы» (hitching) в тяжелых сценах.
Технические детали и обучение
Система использует опциональные входные данные: векторы движения и недавние вводные данные с контроллера. Это помогает модели угадывать направление движения игрока. Обучение происходит на самом видеопотоке: модель сравнивает каждое предсказание с реальным следующим кадром, что исключает необходимость ручной разметки данных человеком. Также предусмотрен простой fallback-режим без ИИ, который сдвигает блоки пикселей вдоль векторов движения.
Сравнение подходов к генерации кадров
| Характеристика | Стандартные методы (DLSS/FSR) | Решение Sony (Generation Super Sampling) |
|---|---|---|
| Метод работы | Вставка кадра между двумя реальными | Предсказание вперед от одного кадра |
| Задержка (Latency) | Выше (ожидание двух кадров) | Ниже (параллельный рендеринг) |
| Входные данные | Обычно только кадры | Кадры + векторы движения + ввод контроллера |
| Обучение модели | Часто требует размеченных данных | Самообучение на видеопотоке (без разметки) |
Контекст для PS6 и PS5 Pro
Технология логично вписывается в экосистему Sony после внедрения апскейлера PSSR в PS5 Pro. Утечки указывают, что PS6 будет нацелена на 4K при 120 FPS в большинстве игр. Однако генерация нескольких кадров может быть избыточной для телевизоров с частотой обновления 120 Гц. Также существует риск, что разработчики начнут злоупотреблять ИИ-генерацией вместо оптимизации кода.
На данный момент патент находится в стадии рассмотрения, метрики задержки и качества изображения не опубликованы. Это лишь один из множества патентов Sony, связанных с ИИ, включая системы адаптивных боссов, самодиагностику консолей и помощь игрокам с ограниченными возможностями.
Источник: TechPowerUp ↗