Nvidia объявила о переводе своей технологии Audio2Face в режим открытого исходного кода. Это решение потенциально упростит разработчикам игр создание персонажей с реалистичной мимикой, способных вести убедительные диалоги с игроками в реальном времени.
Audio2Face – ключевой компонент платформы ACE от Nvidia, предназначенной для создания цифровых аватаров. Технология использует искусственный интеллект для генерации реалистичной лицевой анимации на основе аудиовхода. Система анализирует акустические характеристики, такие как фонемы и интонации, создавая поток анимационных данных, которые затем накладываются на лицевые позы персонажа.
https://www.youtube.com/watch?v=dm8-gNin76c
Благодаря использованию больших языковых и речевых моделей, генеративный ИИ создает интеллектуальных 3D-аватаров, способных естественно общаться с пользователями – от видеоигр до обслуживания клиентов. Чтобы сделать этих персонажей по-настоящему живыми, им необходимы человекоподобные выражения лица.
Полученные данные можно рендерить офлайн для заранее прописанного контента или транслировать в реальном времени для динамичных персонажей с ИИ, достигая точной синхронизации губ и эмоциональных выражений. По словам представителей компании, открытие исходного кода Audio2Face направлено на ускорение внедрения аватаров с ИИ в играх и 3D-приложениях.
Открытый релиз включает SDK Audio2Face, аудиоплагины для ввода голосовых потоков, фреймворки для обучения, примеры тренировочных данных, библиотеку лицевых моделей и специальный плагин для Unreal Engine 5. Важной частью релиза стали также модели Audio2Emotion, способные "определять" эмоциональное состояние по аудио в реальном времени.
Среди разработчиков игр, уже использующих Audio2Face, Nvidia называет Codemasters, GSC Games World, NetEase и Perfect World Games. Технологию также применяют компании Convai, Inworld AI, Reallusion, Streamlabs и UneeQ.
Однако стоит отметить, что, несмотря на открытый исходный код, платформа ACE от Nvidia может быть привязана к графическим процессорам компании. Хотя нет очевидных технических причин, почему функции ACE не могли бы работать на GPU других производителей, это соответствует традиционной стратегии Nvidia – создавать технологии, мотивирующие геймеров выбирать и сохранять верность именно их видеокартам, оставляя конкурентов вроде AMD догонять.
Источник новости: shazoo.ru
