Создание 3D-сканера комнаты из телефона с помощью SAM, CLIP и DINOv2

Практическое руководство по созданию 3D-модели комнаты из видео, снятого на смартфон, с использованием готовых нейросетей SAM, CLIP и DINOv2 без дополнительного обучения.

Если нужно спроектировать мебель для комнаты, но не хочется вручную делать замеры, можно снять пространство на смартфон и передать обработку алгоритмам. В статье подробно описывается, как придать семантический смысл облаку точек, масштабировать его под реальные метры и получить чертеж, не обучая нейросети заново. Для этого используются готовые модели SAM, CLIP и DINOv2; основной акцент сделан на их правильной оркестрации.

Источники 1

Создание 3D-сканера комнаты из телефона с помощью SAM, CLIP и DINOv2 Habr AI

[Перевод] Собираем 3D-сканер комнаты из телефона, SAM, CLIP и DINOv2

Привет, «Хабр»! Представляю вашему вниманию практическое руководство по созданию умной 3D-модели комнаты из обычного видео на телефоне.

Что делать, если нужно спроектировать мебель для комнаты, но жутко не хочется возиться с рулеткой и делать замеры вручную? Можно взять смартфон, наспех отснять пространство и позволить алгоритмам сделать всю рутину за вас. В статье подробно описывается, как вдохнуть семантический смысл в облако точек, масштабировать его под реальные метры и получить чертеж, не обучив при этом ни одной нейросети.

Нейросети в процессе не обучались заново, в ход идут готовые модели – SAM, CLIP и DINOv2. Весь фокус в том, как их правильно оркестровать. Читать далее

#3d_сканирование #фотограмметрия #sam #clip #dinov2 #numpy #timeweb_статьи_перевод | @habr_ai