Исследователи из Пекинской академии искусственного интеллекта объявили о выпуске собственной генеративной модели глубокого обучения, Wu Dao, которая способна конкурировать и даже превзойти GPT-3 от OpenAI.
Будучи обученной на 1,75 трлн параметров, Wu Dao 2.0 примерно в десять раз больше, чем GPT-3 (175 млрд). Она превзошла также Google Switch Transformer с 1,6 трлн параметров.
Модель обучали на китайском и английском языках на 4,9 терабайт изображений и текстов. Вторая версия Wu Dao 2.0 вышла всего через три месяца после выпуска первой в марте.
Читать на rusjev.net