Lumiere, названная в честь братьев Люмьер, которые были пионерами в области кино, представляет собой революционную технологию, которая может революционизировать то, как мы создаем и потребляем фильмы.Приложение использует архитектуру Space-Time U-Net, которая предназначена для генерации анимационного видео за один проход модели.
Эта архитектура состоит из двух нейронных сетей: сети U-Net для генерации отдельных видеокадров и сети-трансформера для объединения этих кадров в связное видео.
Благодаря этому Люмьер способен создавать анимацию высокого разрешения, похожую на настоящие фильмы.Все, что нужно сделать пользователю, – это ввести простую фразу, например «два енота вместе читают книгу», и инструмент Google создаст видео, демонстрирующее, что именно было изобретено.Помимо создания новых видео, Lumiere также можно использовать для редактирования существующих.
Читать на novostiua.net