TAPe+ML: детекция, классификация и сегментация уровня SOTA в 0,1 млн параметров

Представлена модель TAPe+ML, которая одновременно решает детекцию, классификацию и сегментацию при очень малом числе параметров. Авторы утверждают, что по качеству и эффективности она сопоставима с крупными архитектурами.

Авторы собрали модель TAPe+ML, которая одновременно выполняет детекцию, классификацию и сегментацию, оставаясь значительно легче и экономичнее по ресурсам, чем современные SOTA-архитектуры. На COCO и RF100-VL модель показывает качество детекции уровня крупных transformer-детекторов при сотнях раз меньшем числе параметров, а на LVIS дает покрытие и точность масок, недостижимые для YOLO-семейства без переобучения, при работе в режиме, близком к real-time на массовом железе.

Источники 1

TAPe+ML: детекция, классификация и сегментация уровня SOTA в 0,1 млн параметров Habr AI

TAPe+ML: детекция, классификация и теперь и сегментация SOTA‑уровня в 0.1M параметров

Мы собрали модель, которая одновременно решает детекцию, классификацию и сегментацию, и при этом остается радикально легче и экономичнее по ресурсам, чем любые современные SOTA‑архитектуры. На COCO и RF100‑VL мы получаем качество детекции уровня крупных transformer‑детекторов при сотнях раз меньшем числе параметров, а на LVIS – покрытие и точность масок, недостижимые для YOLO‑семейства без переобучения, все это в режиме близком к real‑time на массовом железе. 

В терминах «качество / параметры / латентность» наша модель находится в области, где у крупных конкурентов просто нет сопоставимых точек: либо они хуже по качеству при сопоставимой скорости, либо требуют на порядки больше параметров и железа, чтобы выйти на похожие цифры. Посмотреть и воспользоваться

#компьютерное_зрение #детекция #классификация #сегментация #tape #yolo #rf_detr #dino #искусственный_интеллект #машинное_обучение | @habr_ai