Команда Google представила инновационную модель, получившую название Lumiere, предназначенную для трансформации текста в видео. Согласно представленным образцам, Lumiere достигает впечатляющей фотореалистичности результатов. Эта модель основана на уникальной архитектуре Space-Time U-Net, позволяющей генерировать видео не пошагово, а в рамках единого процесса.
Нейромодель Lumiere обучена на огромном объеме данных — 30 миллионов пар «видео + текстовое описание». В базовой конфигурации Lumiere способна создавать 80 кадров при частоте 16 кадров в секунду в течение 5 секунд. Это открывает широкие возможности для создания качественного видеоконтента.
Помимо преобразования текста в видео, Lumiere обладает рядом дополнительных функций, таких как конвертация статичных изображений в видео, создание видео в определенном стиле на основе эталонного изображения, изменение стиля объектов в видеоряде и даже дополнение недостающих элементов кадров.
Поделиться через:
Похожие новости
Tesla представила роботов-помощников Optimus
Роботы Tesla Optimus смогут выполнять разнообразные повседневные задачи, от приёма посылок до ухода за детьми, что делает их незаменимыми помощниками в быту. Илон Маск описывает роботов как своего рода электромобили…