Компания Stability AI выпустила модель для генерации 3D-видео Stable Video 3D (SV3D). Модель позволяет создавать короткие ролики 360° из одного фото. SV3D основана на предыдущей модели Stable Video Diffusion от Stability AI и доступна по подписке Professional за $20 в месяц. Для некоммерческого использования SV3D доступна на Hugging Face.
Stable Video 3D AI представлена в двух вариантах, SV3D_u и SV3D_p. Первый генерирует 3D-объекты на основе одного входного 2D-изображения без настройки камеры (в результате объекты вращаются вокруг своей оси).
Вариант SV3D_p позволяет создавать 3D-видео на основе входного изображения и 3D-объекта вдоль заданных траекторий камеры.
Разработчики отмечают, что SV3D использует метод Neural Radiance Fields (NeRF), позволяющий генерировать изображения с новых ракурсов. Дополнительно модель использует метод разделённого освещения, оптимизированного для 3D-формы и текстур объектов.
Stability AI сравнивает новинку с её предшественницей, моделью Stable Zero123, которую компания выпустила в декабре. SV3D использует другой подход к созданию 3D-контента. Как объясняет Джампани, Stable Zero123 основана на Stable Diffusion и выводит по одному изображению за раз, тогда как Stable Video 3D основана на Stable Video Diffusion и позволяет одновременно выводить несколько новых изображений.
Согласно Stability AI, SV3D обеспечивает чёткое изображение под любым углом. В компании рассчитывают, что Stable Video 3D сможет значительно повысить качество генерации 3D-объектов.
Источник новости: habr.com
