Cloudflare открыла доступ своим клиентам к опции бесплатной блокировки веб-сканеров поисковых ботов с ИИ

В начале июля 2024 года сетевая платформа Cloudflare (поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак) открыла доступ своим клиентам к опции по бесплатной блокировке веб-сканеров поисковых ботов с ИИ.

Новая система защиты позволяет запрещать таким ботам извлекать данные для обучения своих ИИ-моделей без согласия владельцев сайтов.В Cloudflare пояснили, что крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt.

Оказалось, что не все владельцы подобных ботов и ИИ-агентов соблюдают эти правила. Cloudflare сообщила, что некоторые компании для обучения своих ИИ-моделей намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения со стороны администраторов сайтов.Cloudflare проанализировала трафик таких неправильных ботов и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.В Cloudflare представили специальную форму для отправки отчёта, позволяющую сообщить о подозрительных ботах и сканерах.