На выставке Computex 2023 в Тайбэе генеральный директор Nvidia Дженсен Хуанг продемонстрировал работу сервиса Avatar Cloud Engine для создания продвинутых NPC в играх. Работа сервиса построена на генеративном ИИ.
ACE предназначена для игр, которые могут работать как локально, так и в облаке. Пакет включает инструменты компании NeMo для развёртывания больших языковых моделей, а также преобразования речи в текст и текста в речь Riva.
Демонстрация технологии от Nvidia и её партнёра Convai показывает, как персонаж реагирует на естественную речь.
Для диалога достаточно нажать и удерживать клавишу, а потом наговорить текст. Вот пример диалога:theverge.com
На предварительном брифинге Computex вице-президент Nvidia по платформе GeForce Джейсон Пол отметил, что технологию может масштабировать на нескольких персонажей одновременно и теоретически можно даже позволить NPC разговаривать друг с другом.
Пока неизвестно, использовали ли уже разработчики набор инструментов. В S.T.A.L.K.E.R. 2 Heart of Chernobyl и Fort Solis будет использоваться инструмент Omniverse Audio2Face, который соотносит мимику 3D-персонажа с речью актёра озвучки.
В апреле Nvidia представила сервис NeMo Guardrails, который обеспечит точность, актуальность и безопасность ответов чат-ботов, основанных на больших языковых моделях. Сервис позволит разработчикам устанавливать три типа границ: тематические, безопасности и охраняющие.
Источник новости: habr.com
