VISReg предложили как регуляризацию для самоконтролируемого обучения в архитектурах JEPA

Исследователи представили VISReg — метод регуляризации для самоконтролируемого обучения в архитектурах JEPA, который заменяет ковариационную регуляризацию скетчингом на основе расстояния Слайс-Вассерштейна. Авторы утверждают, что подход сохраняет хорошее качество обобщения и устраняет ряд эвристических приёмов.

Авторы предложили VISReg (Variance-Invariance-Sketching Regularization) — математически обоснованный метод регуляризации для self-supervised learning в архитектурах JEPA. В основе подхода лежит скетчинг на базе расстояния Слайс-Вассерштейна: нормализованные эмбеддинги выравниваются с изотропным гауссовым априорным распределением вдоль случайных одномерных проекций, а отдельный член регуляризации отвечает за контроль дисперсии. По словам авторов, метод помогает решить проблему затухающих градиентов, которая возникает у прежних способов скетчинга распределений при коллапсе представлений, и сохраняет линейную вычислительную сложность O(NDK). Также VISReg не требует ряда хрупких инженерных приёмов, включая моментум-энкодеры, асимметрию «ученик-учитель» и техники центрирования и «заострения» распределений. В статье утверждается, что метод показывает обобщающую способность, сопоставимую с DINOv2 на downstream-задачах, при значительно меньшем объёме данных для предобучения.

Источники 1

VISReg предложили как регуляризацию для самоконтролируемого обучения в архитектурах JEPA gonzo-обзоры ML статей

Как-то так получилось, что мы в канале разбирали почти все около-Лекуновские подходы к self-supervised. Почти по всем упомянутым работам (DINO, Barlow Twins, VICReg, SIGReg, LeJEPA, LpJEPA) нашлась ссылка на разбор в нашем канале. Теперь VISReg. Лекуна в соавторах нет, но есть Рэндалл.

VISReg: Variance-Invariance-Sketching Regularization for JEPA training
Haiyu Wu, Randall Balestriero, Morgan Levine
Статья: https://arxiv.org/abs/2606.02572
Ревью: https://arxiviq.substack.com/p/visreg-variance-invariance-sketching
Сайт: https://haiyuwu.github.io/visreg
Код: https://github.com/HaiyuWu/visreg

# TL;DR

ЧТО сделали: Авторы представили VISReg (Variance-Invariance-Sketching Regularization) — математически обоснованный метод регуляризации для self-supervised learning в архитектурах JEPA, свободный от эвристик. Он заменяет стандартную ковариационную регуляризацию целевой функцией скетчинга на базе расстояния Слайс-Вассерштейна (Sliced-Wasserstein). Метод выравнивает нормализованные эмбеддинги с изотропным гауссовым априорным распределением вдоль случайных одномерных проекций, используя при этом независимый член регуляризации масштаба для контроля дисперсии.

ПОЧЕМУ это важно: Этот подход решает проблему затухающих градиентов, которая возникает у предыдущих методов скетчинга распределений при коллапсе представлений, сохраняя линейную вычислительную сложность O(NDK).

Для практиков: Метод полностью избавляет от хрупких инженерных трюков (таких как моментум-энкодеры, асимметрия «ученик-учитель» или приёмы с центрированием и «заострением» распределений). При этом он обеспечивает отличную обобщающую способность на out-of-distribution (OOD) выборках, сравнимую с DINOv2 на даунстрим-задачах, несмотря на использование в 10 раз меньшего объёма данных для предобучения.

Обучать джепы тут: https://t.me/gonzo_ML_podcasts/4663