Исследование: ChatGPT-4o можно использовать для автономного голосового мошенничества

Исследователи показали, как можно злоупотреблять голосовым API OpenAI для ChatGPT-4o, чтобы проводить финансовые мошеннические кампании.ChatGPT-4o предлагает текстовый, голосовой и визуальный ввод и вывод данных.Благодаря этим функциям OpenAI интегрировала различные меры безопасности для обнаружения и блокировки вредоносного контента,в том числе для борьбы с голосовыми дипфейками.Как продемонстрировали в своей статье исследователи UIUC Ричард Фанг, Дилан Боуман и Дэниел Канг, этих инструментов недостаточно для защиты от потенциального злоупотребления со стороны киберпреступников и мошенников.В статье рассматриваются различные виды мошенничества, такие как банковские переводы, кража подарочных карт, криптопереводы и кража учётных данных социальных сетей или Gmail.

Агенты ИИ, которые осуществляют мошенничество, используют голосовые инструменты автоматизации ChatGPT-4o для навигации по страницам, ввода данных и управления кодами двухфакторной аутентификации.Поскольку GPT-4o иногда отказывается обрабатывать конфиденциальные данные, в том числе учётные, исследователи использовали простые методы быстрого взлома, чтобы обойти средства защиты.

Они вручную взаимодействовали с агентом ИИ, имитируя роль жертвы, и используя реальные веб-сайты, такие как Bank of America, для подтверждения успешности транзакций.Как отметили авторы работы, показатели успеха варьировались от 20% до 60%, причём каждая попытка требовала до 26 действий браузера и длилась до 3 минут в самых сложных сценариях.