Основная особенность модели — возможность изменять детали ролика в соответствии с текстовым запросом, а также генерировать аудиоподложку для видео.Meta представила несколько 10-секундных примеров работы своей новой модели MovieGen.
Модель способна вносить в существующий ролик целенаправленные изменения, например, добавлять в руки человека какой-либо предмет или изменять внешний вид поверхности.
В одном из примеров видео от Meta женщина в гарнитуре VR была изменена так, чтобы выглядеть так, будто на ней бинокль в стиле стимпанк.С помощью MovieGen можно генерировать аудиофрагменты вместе с видеороликами.Meta предоставила дополнительную информацию о MovieGen в научной статье.
Читать на habr.com