В последние годы большие нейронные сети, обученные понимать языки и генерировать текст, добились впечатляющих результатов в широком спектре задач.
ИИ-система генерации текстов OpenAI GPT-3 впервые показала, что большие языковые модели (LLM) могут достичь впечатляющих результатов даже без масштабного сбора данных под конкретные задачи или обновления параметров модели.
Более поздние LLM, такие как GLaM, LaMDA, Gopher и Megatron-Turing добились еще более впечатляющих результатов. В 2021 году команда Google Research объявила о разработке Pathways — единой модели, которая может обобщать домены и задачи, и в то же время быть высокоэффективной.
Читать на itc.ua