Разработчики из Университета Суррея в Англии создали нейросетевой алгоритм, способны превращать в текст в жестовую речь. Об этом сообщает портал arXiv.org.
Алгоритм качественно производит сурдоперевод и отдельно обучается для качественного синтеза кистей рук. Он изначально принимает речь в виде текста, который проходит через кодировщик и превращается в модель тела с иллюстрацией жеста говорящего.
Полученная последовательность поз кодируется в вектор и подается на сверточную нейросеть U-Net. Во время обучения алгоритм проверяет качество своей работы после синтеза видео.
Читать на delovoe.tv