Команда Google представила инновационную модель, получившую название Lumiere, предназначенную для трансформации текста в видео. Согласно представленным образцам, Lumiere достигает впечатляющей фотореалистичности результатов. Эта модель основана на уникальной архитектуре Space-Time U-Net, позволяющей генерировать видео не пошагово, а в рамках единого процесса.
Нейромодель Lumiere обучена на огромном объеме данных – 30 миллионов пар “видео + текстовое описание”. В базовой конфигурации Lumiere способна создавать 80 кадров при частоте 16 кадров в секунду в течение 5 секунд. Это открывает широкие возможности для создания качественного видеоконтента.
Помимо преобразования текста в видео, Lumiere обладает рядом дополнительных функций, таких как конвертация статичных изображений в видео, создание видео в определенном стиле на основе эталонного изображения, изменение стиля объектов в видеоряде и даже дополнение недостающих элементов кадров.
