Публикация материалов в открытом интернете раньше означала, что их смогут прочитать люди. Теперь же это означает, что десятки ботов могут скопировать текст в наборы данных для обучения ИИ.
Инструменты против скрейпинга вроде robots.txt существуют, но работают лишь в том случае, если сами боты соглашаются держаться подальше, что происходит далеко не всегда. Требовались более жёсткие меры, и они появились в необычной форме.
Бразильская креативная студия Seneda & Abrucio объединилась с копенгагенской студией Playtype, чтобы создать нечто, не полагающееся на вежливую просьбу к ботам. Разработка получила название ShieldFont, и это бесплатный веб-шрифт с открытым исходным кодом и хитрым подвохом.
https://www.youtube.com/watch?v=Bo11j0_lqnw
Принцип работы прост – вам показывают одно предложение, а ИИ-скрейперу подсовывают совершенно другое. Дело в том, что вы видите отрендеренные пиксели на экране, тогда как большинство массовых скраперов просто забирают сырой HTML под ними.
ShieldFont использует эту разницу через автоматизированный процесс под названием подстановка глифов OpenType. Обычно эта технология заменяет один или несколько введённых символов на альтернативные глифы для улучшения отображения текста.
Однако в данном случае целые слова подменяются, из-за чего скрейпер собирает со страницы лишь бессмыслицу. Подменённые слова при этом не выбираются случайно.
Словарь студии сопоставляет каждое слово с другим той же грамматической категории, так что существительные заменяются существительными, а глаголы прошедшего времени, глаголами прошедшего времени. Слова рассортированы примерно по 250 группам, учитывающим такие факторы, как абстрактность или множественное число существительного.
Подмене подвергается около четверти слов в каждом блоке. Сохранение чистоты грамматики имеет значение, так как ИИ-компании прогоняют собранный текст через фильтры качества, отбрасывающие всё, что читается как бессмыслица.
Seneda & Abrucio пропустили защищённый текст через FineWeb-Edu, фильтр качества, применяемый для сборки крупного публичного обучающего набора данных. Выяснилось, что примерно один из десяти фрагментов, проходивших фильтр до защиты, проходил его и после.
Всё, что просачивается, достаточно связно, чтобы сохраниться, но при этом достаточно искажено, чтобы быть бесполезным. По итогам тестирования студии 55,8% защищённых фрагментов больше не сообщали изначальное фактическое утверждение.
Однако, так как вся защита строится на том, что скрейперы читают код, а не экран, скриншот защищённой страницы с последующим распознаванием текста через OCR всё же способен восстановить текст. Программы чтения с экрана для незрячих читателей также работают с кодом, поэтому озвучивают подставные слова.
Кроме того данный метод может привести к блокировке домена в поисковых системах из-за бессмыслицы.
ShieldFont поставляется с бета-функцией, которая предоставляет таким программам настоящий текст. Пока ShieldFont поддерживает только английский язык.
Код доступен на GitHub для всех желающих. Разработчики и авторы могут просто установить его как React-компонент на свои сайты.
Источник новости: shazoo.ru
