В понедельник компания Cloudflare объявила о планах запустить в следующем году маркетплейс, на котором владельцы сайтов смогут продавать провайдерам ИИ-моделей доступ к сканированию контента их сайтов. Создание подобного рынка является последним шагом в реализации масштабного плана генерального директора Cloudflare Мэтью Принса по предоставлению владельцам сайтов контроля над тем, как и когда ИИ-боты занимаются скрейпингом сайтов.
В качестве первого шага в рамках нового плана Cloudflare запустила бесплатные инструменты наблюдения для клиентов под названием AI Audit. Владельцы сайтов получат приборную панель для просмотра аналитики о том, почему, когда и как часто модели искусственного интеллекта просматривают их сайты в поисках информации. Cloudflare также позволит клиентам блокировать ИИ-ботов на своих сайтах одним нажатием кнопки. Владельцы сайтов могут блокировать все веб-скреперы с помощью AI Audit или допускать определенные веб-скреперы, если у них есть договоренности или если они считают, что их скрепинг выгоден.Демо-версия AI audit. (Cloudflare)
Демонстрация AI Audit показала, как владельцы сайтов могут использовать этот инструмент, который способен увидеть, откуда приходит каждый скрепер, посещающий сайт, и предлагает выборочные окна, чтобы увидеть, сколько раз скреперы из OpenAI, Meta, Amazon и других ИИ-компаний посещают ваш сайт.
Cloudflare пытается решить проблему, нависшую над индустрией ИИ: как небольшие сайты смогут быть актуальными в эпоху ИИ, если вместо них люди будут заходить на ChatGPT. Сегодня поставщики моделей ИИ перебирают тысячи мелких сайтов в поисках информации, которая используется в их LLM. Хотя некоторые крупные сайты заключили сделки с OpenAI на лицензирование контента, большинство сайтов ничего не получают, но их контент все равно ежедневно попадает в популярные модели ИИ. Это может разрушить бизнес-модели многих сайтов, сократив трафик, в котором они так нуждаются.
Ранее этим летом поисковый стартап Perplexity, работающий на основе искусственного интеллекта, был обвинен в том, что с помощью протокола Robots Exclusion Protocol он собирал сайты, которые намеренно указывали на то, что не хотят, чтобы их просматривали. Вскоре после этого Cloudflare выпустила кнопку, чтобы клиенты могли блокировать всех ботов с искусственным интеллектом одним щелчком мыши.
Некоторые владельцы сайтов рассказали изданию Business Insider, что боты искусственного интеллекта так часто скрейпингуют их сайты, что это похоже на DDoS-атаку, которая наносит вред их серверам.
Но что, если, например, сайт хочет заблокировать ботов Perplexity, но не OpenAI? Принс рассказал TechCrunch, что клиенты Cloudflare просят инструменты, которые позволят им выбирать, какие модели искусственного интеллекта будут иметь доступ к их сайтам. Новые инструменты Cloudflare, запущенные сегодня, позволят клиентам блокировать одни ИИ-краулеры и пропускать другие.
По словам Принса, даже крупные сайты, заключившие лицензионные соглашения с OpenAI, такие как TIME, Condé Nast и The Atlantic, имеют относительно мало информации о том, сколько ChatGPT скрейпингует их сайты. Многие из них вынуждены соглашаться с тем, что говорит им OpenAI, но ответ определяет, выгодна ли владельцам сайтов лицензионная сделка или нет.
Однако маркетплейс Cloudflare, который будет запущен в следующем году, призвана дать возможность небольшим сайтам заключать сделки с поставщиками моделей ИИ.
Cloudflare пока не делится полностью проработанным представлением о том, как будет выглядеть ее маркетплейс. Принс говорит, что веб-сайты могут взимать плату с поставщиков моделей искусственного интеллекта в зависимости от скорости скрейпинга отдельных веб-сайтов, но неясно, сколько они будут платить на самом деле. Кроме того, по его словам, веб-сайты могут брать денежную плату за то, что их скрейпингуют, или просто просить лаборатории ИИ предоставить им кредит.
Хотя компании, занимающиеся разработкой искусственного интеллекта, могут быть не в восторге от необходимости платить за контент, который они сейчас получают бесплатно, генеральный директор Cloudflare говорит, что в конечном итоге это будет полезно для экосистемы искусственного интеллекта. По словам Принса, нынешняя ситуация, когда некоторые ИИ-компании вообще не платят за контент, не является устойчивой.
Источник новости: habr.com
