Соответствующую статью опубликовали на ресурсе препринтов arXiv.Так, разработчики создали алгоритм, который может переводить текст на язык жестов.
В частности, нейросеть отдельно учится качественно вырисовывать кисти рук, потому что именно они важны для точно сурдоперевода.Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами.
После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которого нужно анимировать.
Читать на hromadske.ua