Сегодня компания Adobe анонсировала запуск новых инструментов генеративного ИИ для видео, в том числе в приложении Premiere Pro. Модель Firefly Video, представленная ранее в этом году, теперь доступна в нескольких новых инструментах, которые позволят создавать видео из статичных изображений и текстовых описаний, а также расширять существующие кадры.Generative Extend в Premiere Pro
Adobe запустила в бета-версии новый инструмент для Premiere Pro — Generative Extend, который значительно упрощает редактирование видеоматериалов. Этот инструмент позволяет продлевать начало или конец видеоклипа, если он оказался слишком коротким, а также исправлять мелкие ошибки в середине кадра, например, скорректировать положение глаз или нежелательные движения объекта.
Generative Extend может увеличить длину видеоклипа всего на две секунды, что делает его подходящим для небольших правок. Например, вместо пересъемки можно устранить мелкие дефекты в кадре. Генерируемые фрагменты поддерживают разрешение 720p или 1080p при 24 кадрах в секунду. Помимо работы с видео, инструмент может также использоваться для работы с аудио: он способен продлить звуковые эффекты и фоновые шумы до 10 секунд, но с ограничениями — инструмент не работает с речью и музыкой.Одна из ключевых возможностей Generative Extend — это заполнение пробелов в отснятом материале, которые обычно требовали бы пересъемки. Например, инструмент может добавить несколько шагов человеку, идущему рядом с автомобилем, чтобы завершить незаконченный кадр. Изображение: Adobe.
Этот инструмент открывает новые возможности для видеоредакторов, позволяя сократить количество пересъемок и повысить качество финального результата за счет генеративных ИИ-технологий.
Новые инструменты для генерации видео в Adobe Firefly
Adobe расширяет возможности генерации видео с помощью двух новых инструментов, которые теперь доступны в веб-версии Firefly. Эти функции — Текст-видео и Изображение-видео — впервые были представлены в сентябре, а теперь доступны в ограниченной публичной бета-версии.
Текст-видео позволяет пользователям создавать видеоролики на основе текстового описания. Инструмент поддерживает различные стили, такие как обычная "реальная" съемка, 3D-анимация и покадровая анимация (стоп-моушн). Дополнительно пользователи могут настраивать параметры камеры, включая углы обзора, движения и дистанцию съемки, что позволяет более точно управлять процессом генерации видео.Вот как выглядят некоторые опции управления камерой для настройки генерируемого изображения. Изображение: Adobe
Инструмент изображение-видео добавляет еще больше возможностей, позволяя использовать референсное изображение в дополнение к текстовому описанию. Это особенно полезно для создания b-roll-материалов на основе фотографий или для визуализации возможной пересъемки, используя статичный кадр из уже отснятого видео. Однако, несмотря на потенциал этого инструмента, на данном этапе он еще не способен полностью заменить пересъемку, поскольку сгенерированные видеоклипы могут содержать артефакты, такие как дрожащие объекты или изменяющиеся фоны.Ограничения и перспективы
На данный момент новые инструменты Adobe для генерации видео имеют ряд ограничений. Например, они позволяют создавать клипы длиной до пяти секунд с максимальным разрешением 720p при 24 кадрах в секунду. Для сравнения, OpenAI заявляет, что их инструмент Sora способен генерировать видео продолжительностью до одной минуты с сохранением высокого качества, однако этот инструмент пока недоступен широкой аудитории.
Adobe активно работает над улучшением своих инструментов, в том числе над разработкой функции "турбо-режим", которая ускорит процесс генерации видео. В настоящее время инструменты Текст-видео, Изображение-видео и Generative Extend в среднем требуют около 90 секунд для генерации клипов, но в будущем это время будет сокращено.
Одним из ключевых преимуществ Adobe является "коммерческая безопасность" их моделей, так как они обучены на контенте, на который компания получила разрешение. Это особенно важно на фоне проблем с авторскими правами у конкурентов
Еще одной полезной функцией Adobe является возможность встраивания Content Credentials — метаданных, которые раскрывают использование ИИ и права на контент при публикации видео онлайн. Это добавляет прозрачности и помогает авторам контента защищать свои права.
Эти инновации были анонсированы на конференции Adobe MAX, где компания также представила другие функции на базе ИИ для своих креативных приложений, что подчеркивает стремление Adobe оставаться на передовой технологического прогресса в области создания мультимедийного контента.
Источник
Источник новости: habr.com
