Runway выпустила Gen-4, свою последнюю модель AI для генерации видео. Компания утверждает, что система решает одну из самых больших проблем в генерации видео AI: поддержание единообразия персонажей и объектов на протяжении сцен.
По данным Runway, Gen-4 создает более динамичные видео с реалистичными движениями, сохраняя при этом единообразие мотивов, объектов и стилей в кадрах. «Gen-4 устанавливает новый стандарт для создания видео и является заметным улучшением по сравнению с Gen-3 Alpha», — утверждает Runway.
Ключевым техническим достижением является способность Gen-4 сохранять последовательные характеры, используя только одно опорное изображение при различном освещении, локациях и обработках. Он объединяет визуальные ссылки с текстовыми инструкциями для сохранения стилей на протяжении всего видео.
По данным Runway, Gen-4 также представляет собой «значительную веху в способности визуальных генеративных моделей имитировать физику реального мира». Система позволяет пользователям размещать любой объект или субъект в разных местах, сохраняя при этом последовательность.
Runway создала несколько демонстрационных фильмов для демонстрации этих возможностей. «Нью-Йорк — зоопарк» демонстрирует последовательность персонажей, помещая одних и тех же животных в разные сцены Нью-Йорка, комбинируя изображения животных с фотографиями города.
В «The Herd» показана сцена погони по ночному коровьему полю, при этом Gen-4 сохраняет последовательность внешнего вида персонажей, используя лишь несколько референсных изображений. «The Retrieval», показывающее исследователей, ищущих таинственный цветок, было создано Gen-4 менее чем за неделю.
Модель преобразования изображений в видео Gen-4 доступна платным подписчикам и клиентам Enterprise. Справочные функции будут добавлены в будущем обновлении. Дополнительные примеры доступны на веб-сайте RunwayML.
RunwayML зарекомендовала себя как крупный игрок на рынке видеотехнологий на основе искусственного интеллекта с оценкой около 4 миллиардов долларов, годовой выручкой в размере 80 миллионов долларов в декабре 2024 года и прогнозируемой годовой выручкой в размере 300 миллионов долларов в 2025 году. Это самый сильный западный конкурент Sora от OpenAI.
Источник
Источник новости: habr.com
