Журналисты издания The Guardian протестировали функцию поиска на базе чат-бота ChatGPT и выяснили, что владельцы сайтов могут обмануть бота. Для этого на странице надо всего лишь разместить скрытый текст с промптом.
Для эксперимента журналисты создали веб-страницу с объявлением о продаже камеры. Сперва чат-бота спросили, стоит ли её покупать, и передали в запросе ссылку на страницу. В этом случае ChatGPT одобрил покупку, оценил товар и обратил внимание на функции, которые могут не понравиться.
После этого на странице разместили скрытый текст, который подробно описывал боту, что надо ответить пользователю. Если в тексте была просьба порекомендовать камеру, то ChatGPT советовал купить её и игнорировал негативные отзывы на странице.
Журналисты отмечают, что мошенники могут использовать скрытый текст на сайтах для обмана чат-ботов. Кроме того, языковая модель может советовать вредоносный код, если её убедить, что он полезный и не навредит пользователю. Если поиск информации с помощью чат-ботов станет популярным, то это породит рынок адаптации сайтов для ботов.
Источник новости: habr.com
