Новый метод подсказок под названием «Highlighted Chain of Thought» (Выделенная цепочка мыслей)(HoT) помогает большим языковым моделям лучше объяснять свои рассуждения и упрощает проверку их ответов людьми. Подход работает в два этапа: во-первых, AI переформулирует исходный вопрос и отмечает важные факты с помощью XML-тегов. Затем он генерирует ответ, который ссылается на эти выделенные факты, создавая четкие связи между вопросом и ответом.
Этот структурированный подход заставляет модели более тщательно рассматривать представленные факты, что может уменьшить ошибок, по мнению исследователей. Цветовая кодировка выделений также ускоряет проверку людьми рассуждений AI.HoT структурирует математические задачи, помечая ключевую информацию тегами XML, что упрощает чтение и понимание контента.
Исследовательская группа использовала 15 пар вопросов и ответов с человеческими комментариями для обучения моделей AI самостоятельно генерировать основные моменты с помощью подсказок. Тестирование показывает, что HoT повышает точность AI при выполнении различных задач. В лучшем случае метод достигал улучшений до 15%, в зависимости от модели и бенчмарка.
По сравнению с традиционным методом цепочки мыслей (CoT), используемым для обучения современных моделей рассуждений, таких как OpenAI o1, HoT повысил точность на 1,6% для арифметических задач, на 2,58% для вопросно-ответных задач и на 2,53% для логических рассуждений.Сравнительные таблицы и примеры: производительность HoT и CoT на различных программах LLM с подробными примерами заданий для наглядного представления методологии.
Исследователи протестировали HoT на пяти моделях ИИ: GPT-4o, Gemini-1.5-Pro, Gemini-1.5-Flash, Llama-3.1-70B и Llama-3.1-405B. Они оценили 17 различных типов задач, охватывающих арифметику, понимание прочитанного и логическое мышление.
Модели рассуждений показали мало или вообще не показали никакой пользы от HoT в тестировании, а в некоторых случаях показали худшие результаты, при этом Deepseek-R1 фактически показал немного более низкую производительность. Исследователи связывают это с подходом подсказок на основе примеров, который может привести к худшим результатам с моделями рассуждений .
Тестировщики-люди выполнили задания проверки на 25% быстрее с выделенными ответами. Однако выделение оказало неожиданное влияние на доверие: пользователи стали более склонны принимать ответы AI, даже неверные.
При наличии выделения люди правильно определяли верные ответы в 84,5% случаев по сравнению с 78,8% без выделения. Однако их способность определять неправильные ответы снижалась с 72,2% до 54,8% при наличии выделения. Тесты с использованием моделей AI в качестве верификаторов не показали явного улучшения.Хотя HoT ускоряет проверку ответов AI человеком, он также повышает вероятность того, что люди пропустят ошибки AI
Исследователи по-прежнему оптимистично оценивают потенциал HoT в плане повышения прозрачности и понятности систем искусственного интеллекта, хотя и признают необходимость дополнительных исследований того, как выделение цветом влияет на доверие пользователей.
Метод также имеет технические ограничения. Меньшие модели, такие как Llama-3.1-8B и Qwen-2.5-Coder-32B, с трудом следуют инструкциям по тегированию, часто неправильно тегируя результаты или просто повторяя примеры. Исследование также показало, что перемещение тегов в случайные фразы значительно влияет на точность, что подчеркивает важность последовательного тегирования между вопросами и ответами.
Заглядывая вперед, команда планирует обучить модели AI генерировать ответы HoT напрямую, а не с помощью подсказок-примеров, что может сделать метод более эффективным и широко применимым.
Исследовательская работа доступна на сервере препринтов arXiv и на странице проекта. Исследователи выкладывают свой код и данные на Github.
Источник
Источник новости: habr.com
