Cloudflare обратила внимание на проблему, поскольку почти 1% всех запросов к веб-контенту, который она обрабатывает, поступает от ИИ-ботов. Предполагается, что эти боты собирают данные для обучения моделей искусственного интеллекта. Хотя владельцы сайтов могут пытаться блокировать такие системы через файл robots.txt, настройки сервера или CAPTCHA, на практике многие парсеры игнорируют эти ограничения и продолжают собирать информацию без разрешения. Это приводит к лишней нагрузке на сайты и потенциальному использованию данных без согласия их создателей, что уже стало предметом судебных разбирательств.
Вместо традиционной блокировки ботов Cloudflare применяет новый метод — так называемый «лабиринт ИИ». Когда система обнаруживает подозрительное сканирование, она перенаправляет ботов на специально сгенерированные страницы с бессмысленным, но убедительным контентом. Эти страницы создаются с помощью генеративного ИИ и выглядят достоверными, но не содержат никакой реальной информации с защищаемого сайта. В результате боты тратят ресурсы на обработку бесполезного контента, что делает их работу менее эффективной и дорогой.
«Ни один настоящий человек не пойдет на четыре ссылки вглубь лабиринта ерунды, созданной ИИ. Любой посетитель, который это сделает, скорее всего, окажется ботом, так что это дает нам совершенно новый инструмент для выявления и идентификации парсеров, которые мы добавляем в наш список.», — объясняют разработчики.
Cloudflare утверждает, что такой подход не только мешает сбору данных, но и помогает лучше выявлять ботов. Настоящий пользователь вряд ли будет углубляться в несколько уровней подобных страниц, в то время как автоматизированные системы продолжат это делать, что позволит компании эффективнее отслеживать и блокировать ботов.
Компания также планирует усовершенствовать этот метод, сделав ссылки на такие страницы более органичными и незаметными для обычных пользователей. Клиенты Cloudflare уже могут активировать AI Labyrinth через свои консоли управления.
Между тем, технологии искусственного интеллекта являются лишь инструментом, и уже от людей зависит в какую сторону их лучше направить. Например, Google представила новую ИИ-модель для роботов, которая может делать точные и скоординированные последовательности действий. Более того, она способна самостоятельно обучаться новым рабочим процессам. Эта разработка — настоящий прорыв в области робототехники, потому что раньше роботы не умели так точно и деликатно обращаться с предметами. Читайте также Что меняется в Highload-системах с точки зрения DevOps? Что ждет бизнес в области Highload-систем в ближайшее время и какие навыки и знания пригодятся менеджменту и инженерам для успешной работы в этой области? Ответы – в материале IT-World.
Источник: The Register
Источник новости: www.it-world.ru
