Исследование МТИ: GPT-4 не сдал экзамен на адвоката
Исследователь Массачусетского технологического института решил проверить утверждение о том, что модель GPT-4 от OpenAI обошла 90% юристов-стажёров во время экзамена на адвоката.
Выяснилось, что модель попала только в 10% лучших в группе повторно сдававших тест.Таким образом, GPT-4 смогла обойти большинство стажёров, но в той группе, где люди повторно сдавали экзамен, провалив его в первый раз или набрав минимум баллов.Автор исследования Эрик Мартинес, докторант кафедры когнитивных наук, отмечает, что OpenAI использовала исследование 2023 года, где GPT-4 отвечал на вопросы унифицированного экзамена на адвоката (UBE).
Он обычно состоит из трёх компонентов: экзамен с несколькими вариантами ответов (MBE); Multistate Performance Test (MPT), который заставляет экзаменуемых выполнять различные юридические задачи; письменный экзамен с эссе (MEE).Результаты модели ИИ были впечатляющими: она набрала 297 баллов из 400.
Читать на habr.com
