В ридж-регрессии математически строго доказали феномен гроккинга

Авторы представили первое строгое сквозное доказательство гроккинга в избыточно параметризованной ридж-регрессии при обучении градиентным спуском с weight decay. Работа показывает, что задержанное обобщение может быть следствием базовой динамики оптимизации.

В работе «To Grok Grokking: Provable Grokking in Ridge Regression» Mingyue Xu, Gal Vardi и Itay Safran математически строго доказали феномен гроккинга — отложенной обобщающей способности — в классической избыточно параметризованной ридж-регрессии при обучении обычным градиентным спуском с weight decay. Авторы получили явные неасимптотические верхние оценки времени переобучения и нижние оценки времени начала обобщения, показав, как эти временные масштабы зависят от регуляризации и инициализации. По их результатам, гроккинг оказывается не экзотической аномалией, а естественным следствием базовой динамики оптимизации.

Источники 1

В ридж-регрессии математически строго доказали феномен гроккинга gonzo-обзоры ML статей

Это моя любимая из работ призёров и около-призёров ICML. Разобрали возникновение гроккинга на простой модельной системе — L2 регрессии. Даёт много пищи для размышления про то, как надо обучать.

To Grok Grokking: Provable Grokking in Ridge Regression
Mingyue Xu, Gal Vardi, Itay Safran
Paper: https://arxiv.org/abs/2601.19791, ICML Submission
Review: https://arxiviq.substack.com/p/icml-2026-to-grok-grokking-provable
Code: N/A
Model: N/A

# TL;DR

ЧТО сделали: Авторы представили первое математически строгое сквозное доказательство феномена гроккинга (отложенной обобщающей способности, которая возникает спустя долгое время после полного переобучения под обучающую выборку) в классической, избыточно параметризованной ридж-регрессии при оптимизации обычным градиентным спуском с weight decay. Они вывели явные неасимптотические верхние оценки для времени переобучения и нижние оценки для времени начала обобщения, показав, как эти временные масштабы контролируются регуляризацией и инициализацией.

ПОЧЕМУ это важно: Эта работа в корне меняет понимание гроккинга. Она доказывает, что этот феномен — не экзотическая аномалия, присущая исключительно сложным глубоким нейросетям или фазовым переходам при выучивании репрезентаций. Гроккинг оказался естественным и предсказуемым следствием базовой динамики оптимизации в избыточно параметризованных системах. Это даёт чёткий математический инструмент для контроля, усиления или устранения задержки обобщения в высокоразмерных задачах.

Для практиков: Задержку обобщения в больших моделях можно контролировать напрямую, не меняя архитектуру. Настройкой масштаба инициализации и расписания weight decay можно систематически управлять моментом, когда модель начнёт обобщать.

Грокать тут: https://t.me/gonzo_ML_podcasts/4443