Nvidia представила модель искусственного интеллекта Neuralangelo, которая реконструирует 3D-сцены из 2D-видеоклипов. Она позволяет создавать реалистичные виртуальные копии зданий, скульптур и других объектов реального мира.
Эти 3D-объекты затем можно импортировать в дизайнерские приложения, чтобы редактировать их для дальнейшего использования в разных сферах, например в искусстве, разработке видеоигр, робототехнике и при создании промышленных цифровых двойников.
Neuralangelo обрабатывает текстуры сложных материалов, включая черепицу, оконные стёкла и гладкий мрамор.
В демонстрации исследователи Nvidia показали, как модель может воссоздавать такие знаковые объекты, как скульптура Давида Микеланджело, а также обычные предметы вроде грузовика. Neuralangelo способна реконструировать интерьеры и экстерьеры зданий, как в примере с моделью парка в кампусе Nvidia Bay Area.
Предыдущие модели искусственного интеллекта для реконструкции 3D-сцен стремились к тому, чтобы точно зафиксировать повторяющиеся узоры текстур, однородные цвета и сильные цветовые вариации. Neuralangelo же использует технологию, лежащую в основе Nvidia Instant NeRF, чтобы запечатлеть эти мельчайшие детали. Это технология под названием «Мгновенные примитивы нейронной графики» стала результатом реализации алгоритма рендеринга/обучения для конкретной задачи на мелкозернистом графическом процессоре, где возможности управления потоком намного быстрее, чем плотные тензоры. Кроме того, Nvidia разработала метод кодирования хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством, чем ранее существовавшие.
Используя 2D-видео объекта или сцены, снятой с разных ракурсов, Neuralangelo выбирает несколько кадров, чтобы получить ощущение глубины, размера и формы. После этого система создаёт грубое трёхмерное представление сцены, подобно скульптору, начинающему высекать форму объекта. Затем она оптимизирует визуализацию, чтобы сделать детали более чёткими.
Подробности о Neuralangelo Nvidia представит на конференции по компьютерному зрению и распознаванию образов (CVPR), которая пройдет с 18 по 22 июня в Ванкувере.
В 2022 году NVIDIA разработала Instant NeRF — нейромодель рендеринга, которая изучает 3D-сцену с высоким разрешением за секунды и может отрисовать изображения этой сцены за несколько миллисекунд. Модель использует инверсный рендеринг с применением ИИ для определения поведения света в реальном мире, что позволяет исследователям реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами.
Источник новости: habr.com
