Ученые Массачусетского технологического института (MIT) представили новый инструмент под названием SymGen, который значительно упрощает проверку ответов больших языковых моделей (LLM). Несмотря на их возможности, эти модели иногда генерируют неверную или неподтвержденную информацию, что создает необходимость в верификации их ответов, особенно в критически важных областях, таких как здравоохранение и финансы.
SymGen позволяет пользователям быстро проверять ответы LLM, предоставляя возможность наводить курсор на выделенные части текста. Это позволяет увидеть данные, использованные для генерации конкретного слова или фразы. Невыделенные части текста указывают на фразы, требующие дополнительного внимания. По словам авторов исследования, этот подход помогает людям сосредоточиться на наиболее сомнительных частях текста и повышает доверие к ответам модели.
В ходе пользовательского исследования было установлено, что SymGen ускоряет процесс верификации на 20% по сравнению с традиционными методами. Исследователи надеются, что улучшенный инструмент поможет выявлять ошибки в ответах LLM, используемых в различных реальных сценариях, включая генерацию клинических заметок и резюме финансовых отчетов. В будущем планируется расширение возможностей SymGen для работы с произвольными текстами и другими форматами данных.
Источник новости: www.ferra.ru
