категории | RSS

Разработчики выпустили ToonCrafter — нейросеть для генерации анимационных видео

Разработчики опубликовали нейросеть ToonCrafter, которая интерполирует два мультипликационных кадра, заполняя хронометраж между ними. В итоге получаются короткие анимационные видео.

ToonCrafter поддерживает несколько режимов генерации:

в базовом режиме пользователь передаёт на вход начальный и конечный кадры анимации и получает короткий роли;

вместе с кадрами можно передать скетч с пошаговой анимацией, чтобы нейросеть использовала его в качестве шаблона;

можно передать скетч с пошаговой анимацией и один готовый кадр в качестве референса, а нейросеть раскрасит набросок, используя цвета из примера.

Пока ToonCrafter может генерировать видео с разрешением 320×512 пикселей. Длительность не может превышать 16 кадров.

Код нейросети написан на Python и опубликован на GitHub и на платформе Hugging Face. Энтузиасты подготовили Jupiter для удобной работы с моделью и загрузили блокнот в сервис Google Colab.



Источник новости: habr.com

DimonVideo
2024-06-03T18:50:02Z

Здесь находятся
всего 0. За сутки здесь было 0 человек
Яндекс.Метрика