Учёные из Университета Эрлангена — Нюрнберга провели исследование, посвящённое ответам Microsoft Copilot на медицинские вопросы.
Исследование показало, что Microsoft Copilot даёт верную информацию только в 54% случаев. 42% полученных ответов могут навредить, ещё 22% — серьёзно навредить и даже привести к смерти.В ходе исследования у Microsoft Copilot попросили ответить на 10 самых популярных медицинских вопросов в США и дать консультацию по 50 самым часто выписываемым препаратам и медикаментам.
Всего в рамках работы учёные получили 500 ответов, каждый из которых оценили по точности и полноте.«Что касается точности, ответы ИИ не соответствовали устоявшимся медицинским знаниям в 24% случаев, а 3% ответов были полностью неверными, — говорится в отчёте. — Только 54% ответов совпали с научным консенсусом. [...] С точки зрения потенциального вреда для пациентов 42% ответов ИИ могли вызвать лёгкий или умеренный вред, а 22% — привести к серьёзному вреду или смерти.
Читать на habr.com