Профильные сетевые эксперты обнаружили, что соцсеть X (Twitter) начала блокировать поисковый сервис Bing. Сайт Twitter.com, теперь блокирует Bing Search, в частности Bingbot, от сканирования и доступа к контенту, размещённому на Twitter.com, на платформе X. Twitter специально добавил в свой файл robots.txt директиву, запрещающую Bingbot сканировать контент на своей социальной платформе.
После введения новых ограничений поиск в Bing показывает только 97 300 URL-адресов Twitter.
Аналогичный запрос в Google выдаёт более 380 млн результатов.
В июле Twitter заблокировал Google, что привело к 50% уменьшения показа страниц Twitter в поиске Google. Несколько дней спустя Twitter отменил это изменение.
Текущая версия robots.txt на Twitter.сom.
==========================
User-agent: Googlebot
Allow: /?lang= Allow: /hashtag/?src=
Allow: /search?q=%23
Allow: /i/api/
Disallow: /search/realtime
Disallow: /search/users
Disallow: /search/*/grid
Disallow: /? Disallow: //followers
Disallow: /*/following
Disallow: /account/deactivated
Disallow: /settings/deactivated
Disallow: /[_0-9a-zA-Z]+/status/[0-9]+/likes
Disallow: /[_0-9a-zA-Z]+/status/[0-9]+/retweets
Disallow: /[_0-9a-zA-Z]+/likes
Disallow: /[_0-9a-zA-Z]+/media
Disallow: /[_0-9a-zA-Z]+/photo
User-Agent: FacebookBot
Disallow: *
User-agent: facebookexternalhit
Disallow: *
User-agent: Discordbot
Disallow: *
User-agent: Bingbot
Disallow: *
Источник новости: habr.com
