Google представила токен Google-Extended для файла robots.txt, который указывает сканерам Google включить сайт в поиск, но не разрешает использовать сайт для обучения системам ИИ, подобным тем, которые лежат в основе чат-бота Bard и Vertex AI, в том числе и для будущих поколений ИИ-моделей компании.
В случае введения ограничения для ИИ-моделей Google с помощью Google-Extended индексация сайта в поисковой выдаче продолжится без изменений. В компании объяснили, что таким образом они хотят обеспечить прозрачность и контроль в использовании моделей искусственного интеллекта.
По словам вице-президента по доверию Google Даниэля Ромен, компания «стремится сотрудничать с сообществами веб-разработчиков и ИИ-специалистов для изучения дополнительных машиночитаемых подходов к выбору и контролю для веб-издателей».
«По мере расширения ИИ-моделей веб-издатели будут сталкиваться с растущей сложностью управления различными видами их использования в масштабе. Именно поэтому мы намерены сотрудничать с сообществами веб-специалистов и специалистов по ИИ, чтобы изучить дополнительные машиночитаемые подходы к выбору и контролю для веб-издателей», — пояснил Ромен.
Ранее OpenAI выпустила инструкцию для веб-разработчиков как ограничить или заблокировать GPTBot, чтобы исключить сайт из сбора данных для обучения ChatGPT.
Источник новости: habr.com
