Исследователи представили метод DG-Mesh для генерации высококачественных полигональных сеток из видео
Исследователи представили метод генерации высококачественных полигональных сеток из монокулярного видео. Для генерации сетки достаточно всего одного видео, а недостающие фрагменты нейросеть создаёт с помощью отслеживания вершин с течением времени.Авторы метода Dynamic Gaussian Mesh (DG-Mesh) рассказали, что генерация полигональных сеток всё ещё остаётся сложной задачей для нейросетей.
Если опытному 3D-художнику для создания сетки достаточно всего одного изображения для референса, то модели машинного обучения требуют серию снимков объекта со всех сторон.
Генерация сеток усложняется в динамических сценах.Метод DG-Mesh отслеживает вершины объекта на видео и реконструирует 3D-объект с помощью трёхмерного гауссова сплэтинга и дифференцируемых алгоритмов.
Читать на habr.com