Новость

Сбер выпустил открытую нейросеть Kandinsky WM 1.0 для генерации физически точных видео

1 источник

Все новости

Сбер выложил под лицензией MIT семейство моделей Kandinsky WM 1.0, которое генерирует физически достоверные видео для обучения роботов и беспилотных автомобилей. Технология доступна разработчикам бесплатно.

Сбер выпустил бесплатную нейросеть Kandinsky WM 1.0 под открытой лицензией MIT. Модель предназначена для генерации физически достоверных видео, которые можно использовать для обучения роботов и беспилотных автомобилей. По данным источника, решение помогает воспроизводить редкие и опасные сценарии, которые сложно или дорого снимать вживую, включая ДТП, экстремальную погоду и отказы оборудования. В основе лежит дообученная модель Kandinsky 5.0 Video Lite, обученная на миллионах реальных видеозаписей дорожных процессов и заводских линий. Для оценки качества используются специальные алгоритмы RL, которые проверяют сохранение геометрии и естественность кинематики и помогают избежать деформации объектов на видео. Генерация идёт блоками по 5 секунд, а полученные ролики используются для обучения автономных систем и систем компьютерного зрения. В материале также отмечено, что решение уже применяют Центр робототехники Сбера и институт AIRI в дорожном симуляторе. Полный технический разбор опубликован на Habr.

Источники 1
  • Сбер выпустил открытую нейросеть Kandinsky WM 1.0 для генерации физически точных видео Machinelearning 
    🔥 Российские разрабы выкатили бесплатную нейросеть для обучения роботов и беспилотных авто

В мире существуют лишь единицы систем, способных синтезировать физически точные данные для ИИ. Сбер выложил под открытой лицензией MIT семейство моделей Kandinsky WM 1.0, сделав технологию бесплатно доступной для всех разработчиков.

Системы генерируют физически достоверные видео и решают ключевую проблему — невозможность безопасно и дёшево снять вживую редкие или опасные сценарии вроде ДТП, экстремальной погоды или отказов оборудования.

Что внутри:

• Обучение на реальности: Kandinsky 5.0 Video Lite дообучили на нескольких миллионах видеозаписей реальных дорожных процессов и заводских линий;

• Контроль физики: Специальные алгоритмы через RL оценивают сохранение геометрии и естественность кинематики, избавляя ролики от деформации объектов;

• Модульные сценарии: Генерация 5-секундных блоков видео, из которых складывается обучение автономных систем и систем компьютерного зрения.

Модели становятся фундаментом для создания «моделей мира» — систем, способных предсказывать развитие событий в реальности. Решение уже применяют Центр робототехники Сбера и институт AIRI в своём дорожном симуляторе, а полный технический разбор опубликован в статье на Habr.

@ai_machinelearning_big_data

#ai #opensource #sber