Reddit усиливает меры по борьбе с веб-сканерами. Платформа начала блокировать поисковые системы для показа последних публикаций и комментариев, если они не платят за сбор данных.
На данный момент Google — единственная крупная поисковая система, которая показывает последние результаты при поиске сообщений на Reddit с использованием «site:reddit.com». Вероятно, так происходит потому, что Google заключила сделку на $60 млн, которая позволяет компании обучать свои модели искусственного интеллекта на контенте из Reddit.
«Это никак не связано с нашим недавним партнёрством с Google. Мы вели переговоры с несколькими поисковыми системами. Нам не удалось достичь соглашения со всеми из них, поскольку некоторые не могут или не хотят давать исполнимые обещания относительно использования ими контента Reddit, включая искусственный интеллект», — заявил представитель Reddit Тим Ратшмидт.
В прошлом месяце платформа уже обновила файл robots.txt сайта, который регулирует доступ веб-сканеров. Там отметили, что изменения не коснутся большинства пользователей или добросовестных участников, таких как исследователи и организации, например, Internet Archive.
Между тем OpenAI подписала соглашение с Reddit на обучение ChatGPT на данных платформы. OpenAI сможет анализировать обсуждения пользователей, а Reddit будет предоставлять пользователям и модераторам платформы новые функции на основе искусственного интеллекта и использовать большие языковые модели для создания приложений.
Источник новости: habr.com
