Исследователи из Калифорнийского университета в Беркли, Городского центра науки и технологий имени короля Абдаллы в Саудовской Аравии и Вашингтонского университета внимательно изучили, как большие языковые модели генерируют вопросы. Их результаты показывают некоторые явные различия между моделями AI и моделями, используемыми людьми.
Исследовательская группа начала с разработки категорий для различных типов вопросов: от простой проверки фактов до сложных запросов, требующих подробных объяснений. Затем они использовали эти категории для анализа как вопросов, сгенерированных искусственным интеллектом, так и существующих наборов данных с вопросами людей.
Чтобы проверить свои теории, команда изучила, как LLM отвечают на вопросы как с контекстом, так и без него. Экспериментируя с разной длиной ответов, они смогли измерить, сколько информации на самом деле требуется для каждого вопроса, и получить представление о сложности разных типов вопросов.
Чтобы сравнить вопросы, созданные AI, исследователи использовали два разных набора данных, основанных на статьях из Википедии, каждый из которых был создан с помощью отдельного метода. В одном наборе данных вопросы были созданы на основе конкретных текстовых отрывков, а в другом исследователи сопоставили существующие вопросы с соответствующими разделами Википедии.
Команда исследователей обнаружила, что модели AI отдают предпочтение вопросам, требующим подробных объяснений — около 44% вопросов, сгенерированных AI, относятся к этой категории. С другой стороны, люди склонны задавать более простые вопросы, основанные на фактах.
Эти вопросы, созданные искусственным интеллектом, обычно требуют более развёрнутых ответов, даже если они максимально лаконичны. Разница в требуемой длине ответа была значительной по сравнению с вопросами, созданными людьми.Большие языковые модели любят задавать вопросы, требующие подробных ответов.
В то время как люди часто сосредотачивают свои вопросы на информации, которая появляется в начале текста, модели AI распределяют свои вопросы более равномерно по всему контенту. Это особенно интересно, поскольку LLM обычно демонстрируют позиционную предвзятость при ответах на вопросы.
Исследователи считают, что их выводы имеют практическое применение. Поскольку вопросы AI имеют такие уникальные закономерности, они могут помочь в тестировании систем RAG или в выявлении случаев, когда системы AI что-то придумывают. Эти заключения также могут быть полезны для пользователей, которые хотят создавать более эффективные запросы. Они могут использовать их независимо от того, хотят ли они, чтобы искусственный интеллект генерировал вопросы, которые больше похожи на человеческие, или же им нужны вопросы с определёнными параметрами.
Вопросы, сгенерированные искусственным интеллектом, становятся всё более распространёнными в коммерческих продуктах. Например, помощник Amazon по покупкам Руфус предлагает вопросы, связанные с товарами, а поисковая система Perplexity и чат-бот Grok от X используют дополнительные вопросы, чтобы помочь пользователям глубже разобраться в темах.
Эти инструменты позволяют пользователям выбирать из вопросов, сгенерированных искусственным интеллектом, чтобы узнать больше о конкретных публикациях или темах.
Источник
Источник новости: habr.com
