Google представила нейросеть VLOGGER для генерации анимированных роликов с реалистичной мимикой человека по фотографии

Google разработала нейросеть VLOGGER, которая способна генерировать анимированные ролики говорящего человека по одной статической фотографии и записи голоса.Нейросеть генерирует движение губ, моргание глаз, жесты руками и наклоны головы.

VLOGGER также можно использовать, чтобы отредактировать уже готовое видео (например, синхронизировать движения губ человека с речью на другом языке).«Наша цель — создать фотореалистичное видео переменной длины, изображающее речь целевого человека, включая его голову и жесты.

Наш метод состоит из 1) стохастической модели диффузии движения человека в 3D и 2) новой архитектуры, основанной на диффузии, которая дополняет модели преобразования текста в изображение как временным, так и пространственным контролем», — поясняют исследователи.VLOGGER не требует обучения для конкретного человека, входные данные включают в себя только одно фото и аудиозапись с речью, которую должен произнести человек на сгенерированном ролике.