Как утверждает tjournal.ru, нейросеть создана на базе языковой модели Megatron-Turing NLG, представленной Microsoft и NVIDIA в октябре 2021 года.
Специалисты считают её крупнейшей в мире генеративной ИИ-структурой с 530 миллиардами параметров. Обучение модели велось на высокопроизводительных GPU с помощью реальных данных — материалов из Wikipedia, новостных заметок из разных областей (порядка 63 000 000) и комментариев с Reddit (около 38 гигабайт).
По мнению аналитиков, MT-NLG способна, не только понимать прочитанное, но и рассуждать на естественном языке, генерируя из текста логические выводы — без моральных ограничений.
Читать на eadaily.com