Новый «мозг» для голосовых ассистентов. Meta представила Voicebox AI – инструмент, способный генерировать устную речь на основе текстовых подсказок

Новая генеративная модель Meta могла бы сделать голосовых ассистентов умнее и эффективнее, однако компания пока не делится программой или ее исходным кодом.Voicebox AI работает по похожей на ChatGPT и Dall-E модели, однако генерирует не текст или изображение, а устную речь.

Система обучена на 50 000 часах нефильтрованного аудио – это стенограммы общедоступных аудиокниг, записанных на английском, французском, испанском, немецком, польском и португальском языках.По словам исследователей, такой разнообразный набор данных позволяет системе генерировать «более разговорную речь», независимо от языков, на которых говорит каждая из сторон. «Наши результаты показывают, что модели распознавания речи, обученные на синтетической речи, сгенерированной Voicebox, работают почти так же хорошо, как и модели, обученные на реальной речи», – говорят в Meta.Компания утверждает, что Voicebox превосходит VALL-E от Microsoft по преобразованию текста в язык как с точки зрения разборчивости (5,9% против 1,9% частоты ошибок в слове), так и сходства аудио (0,580% против 0,681%), будучи при этом в 20 раз быстрее.