Сбер представил семейство генеративных моделей
WM 1.0, предназначенных для синтеза видео, соответствующего законам физики. Разработка ориентирована на задачи Physical AI — систем искусственного интеллекта, которые воспринимают реальный мир, понимают его динамику и управляют физическими устройствами. Код и веса моделей опубликованы на Hugging Face под лицензией MIT и доступны бесплатно.
В основе Kandinsky WM — нейросеть Kandinsky 5.0 Video Lite, дообученная на нескольких миллионах реальных видеосцен: записях с камер роботов, беспилотных автомобилей и промышленных объектов. Для автомобильных сценариев дополнительно применяли обучение с подкреплением — специальные модели оценивали ролики по сохранению формы объектов, геометрии и естественности движений, и на основе этой обратной связи Kandinsky WM учился генерировать более реалистичные кадры.
Каждый ролик длится около пяти секунд и фиксирует одно действие: манипуляцию с предметом, дорожную ситуацию или этап производственного процесса. Именно такие «кирпичики» нужны для обучения автономных систем — особенно там, где реальные съемки невозможны или опасны: ДТП, экстремальная погода, отказы оборудования.
Ключевая проблема, которую решают модели, — дефицит данных. Автомобиль с камерами и датчиками накапливает около 5000 часов записей в год, тогда как современным моделям Physical AI требуются миллионы часов. Ян Лекун, лауреат премии Тьюринга, отмечал, что четырехлетний ребенок только через зрение получает больше информации, чем содержится во всех текстах, на которых обучены крупнейшие языковые модели. Синтетическое видео призвано закрыть этот разрыв.
«Наши модели учатся на видео реального мира и позволяют “прожить” виртуально даже те сценарии, которые опасно или невозможно воспроизвести. Это шаг к моделям мира — системам, которые понимают физическую реальность, предсказывают, что произойдет дальше, и могут действовать в ней самостоятельно», — говорит Денис Димитров, CTO Kandinsky и управляющий директор по исследованию данных Сбера.
Модели уже применяет Центр робототехники Сбера для тренировки собственных роботов, а также институт AIRI — в дорожном симуляторе. Целевая аудитория разработки — компании в сфере беспилотного транспорта, производители манипуляторов и промышленных роботов, команды, внедряющие компьютерное зрение на производствах и складах, а также университеты и стартапы. Технические подробности о разработке команда опубликовала на Хабре.
Ранее мы рассказывали, как Сбер представил обновленную нейросеть Kandinsky 5.0 с поддержкой кириллицы и улучшенной генерацией изображений.
Источник новости: hi-tech.mail.ru
