NVIDIA представила бесплатную демо-версию чатбота Chat with RTX, который работает локально на вашем ПК. Это довольно интересно, поскольку даёт чатботу доступ к вашим файлам и документам. Вы можете "покормить" его персональными данными, а затем задавать вопросы и получать ответы на их основе.
Компания говорит, что пользователи могут быстро и легко подключить локальные файлы на ПК в качестве датасета для открытой языковой модели вроде Mistral или Llama 2.
NVIDIA приводит пример с пользователем, который спрашивает чатбот о ресторане, рекомендованном его партнёром в Лас-Вегасе. Бот сканирует локальные файлы в поисках ответа. Поддерживается множество форматов: .txt, .pdf, .doc/.docx, .xml и другие. Компания утверждает, что ИИ загрузит релевантные файлы в датасет "за секунды".
Chat with RTX также интегрирован с YouTube. Добавив ссылку на видео в датасет, он использует полученные знания для контекстных запросов. По словам NVIDIA, это поможет в поиске туристических рекомендаций на основе роликов любимых блогеров или при составлении краткого описания образовательного контента.
Издание The Verge уже протестировало бота и осталось довольно чатботом, написав, что видит его пользу в исследовании данных для журналистов и других профессий.
Это большой шаг к реальному цифровому помощнику, работающему в контексте персональных данных. В отличие от других чатботов, здесь данные не отправляются в облако, а обрабатываются локально. Таким образом, Chat with RTX безопаснее и контекстнее.
Есть и ограничения. Это демо-версия, так что стоит ожидать багов. Также есть жёсткие требования к железу: чатбот работает только на ПК с Windows, видеокартами RTX 30 и выше и как минимум 8 Гб видеопамяти.
Источник новости: shazoo.ru
