Новость

MiniMax выпустила открытую видеомодель H3 со стереозвуком

1 источник

Все новости

MiniMax представила открытую видеомодель H3 с нативным стереозвуком, которую можно запускать на домашних видеокартах. Для работы требуются 5–9 ГБ видеопамяти в зависимости от длины ролика, при этом часть весов выгружается в оперативную память.

MiniMax выпустила открытую видеомодель H3 с нативным стереозвуком. По данным издания, модель уже можно запускать на домашних видеокартах: энтузиаст Deepbeepmeep добавил её в WanGP 12.41, а автор Pinokio подготовил однокликовый запуск. У модели есть два варианта. FL2VA создаёт видео со звуком из текста, стартового кадра, до заданного финального кадра или между ними, а также умеет продлевать ролик скользящими окнами. Ref2VA переносит в новую сцену внешность людей, стиль, движение или голос с референсных изображений, видео и аудио; скользящих окон у этого варианта нет. Для каждого варианта доступны полная версия на 33 млрд параметров и сокращённая на 20 млрд, а веса и кванты форматов int8, gguf и nvfp4 загружаются автоматически. Заявлена поддержка широкого набора видеокарт: NVIDIA начиная с GTX 10XX и AMD на RDNA 2, 3, 3.5 и 4. Экономия видеопамяти достигается за счёт выгрузки весов в оперативную память, поэтому библиотека mmgp требует минимум 24 ГБ ОЗУ, рекомендует 48 ГБ, а на Windows к каждому профилю добавляется ещё 16 ГБ. Отмечается, что у модели пока нет дистиллированных чекпоинтов, поэтому минимальное число шагов составляет 15–20. В независимом замере на RTX 3060 с 12 ГБ, 32 ГБ ОЗУ и NVMe пятисекундный ролик в 480p за 20 шагов обрабатывался почти девять минут в ComfyUI.

Источники 1
  • MiniMax выпустила открытую видеомодель H3 со стереозвуком Нейроканал 
    MiniMax H3, открытая видеомодель с нативным стереозвуком, поехала на домашних видеокартах. Deepbeepmeep добавил её в WanGP 12.41, автор Pinokio собрал запуск в один клик. Заявленный аппетит: 5-6 ГБ видеопамяти на 5 секунд (124 кадра) и 8-9 ГБ на 15 секунд в 832x480.

Вариантов два. FL2VA делает видео со звуком из текста, из стартового кадра, до заданного финального или между обоими сразу, и умеет продлевать ролик скользящими окнами. Ref2VA переносит в новую сцену внешность людей, стиль, движение или голос с референсных картинок, видео и аудио, скользящих окон у него нет. У каждого есть полная версия на 33 млрд параметров и обрезанная на 20 млрд, веса и кванты (int8, gguf, nvfp4) качаются автоматически.

Список карт широкий: NVIDIA начиная с GTX 10XX и AMD на RDNA 2, 3, 3.5 и 4. Но экономия видеопамяти держится на выгрузке весов в оперативную, и у библиотеки mmgp, которая этим занимается, свои требования: минимум 24 ГБ оперативной памяти, рекомендуется 48, а на Windows к каждому профилю добавляется ещё 16 ГБ.

Вторая деталь про скорость. Дистиллированных чекпоинтов у модели пока нет, поэтому меньше 15-20 шагов не поставить. В независимом замере на RTX 3060 с 12 ГБ, 32 ГБ оперативки и NVMe пятисекундный ролик в 480p за 20 шагов считался почти девять минут, и это в ComfyUI, а не в WanGP.

@neuro_channel