В непрерывном обучении забывание может ускорять адаптацию

Исследователи показали, что в нестационарных средах сохранение старых знаний может замедлять обучение, а стратегическое забывание — ускорять его. В работе введена идея критической длительности задачи, после которой удержание памяти становится вредным.

Авторы работы ставят под сомнение привычный взгляд на непрерывное обучение как на задачу борьбы с катастрофическим забыванием. Они формулируют непрерывное обучение как онлайн-оптимизационную задачу минимизации средней ошибки на протяжении всей жизни модели (Average Lifelong Error, ALE) и анализируют эффективность переноса через компоненты нестабильности и переходной ошибки. В работе математически и эмпирически показано существование критической длительности задачи: если задачи в потоке данных длятся дольше этого порога, сохранение старых знаний становится менее полезным для адаптации, чем обучение без опоры на прежнюю память. Также предложено новое семейство алгоритмов — прогностическое непрерывное обучение. Для практических сценариев это означает, что в быстро меняющихся средах стандартные методы против забывания, включая буферы реплея, могут замедлять сходимость. В таких случаях авторы считают более выгодными динамическое скользящее окно памяти или даже полный сброс параметров, чем попытку удерживать все прошлые распределения.

Источники 1

В непрерывном обучении забывание может ускорять адаптацию gonzo-обзоры ML статей

Ещё про Continual learning, теперь про важность стратегического забывания.

To Retain or to Adapt? Generalizing Continual Learning
Giulia Lanzillotta, Mandana Samiei, Doina Precup, Razvan Pascanu, Claire Vernade
Paper: https://arxiv.org/abs/2607.05609
Review: https://arxiviq.substack.com/p/to-retain-or-to-adapt-generalizing
Code: N/A
Model: N/A

# TL;DR

ЧТО сделали: Авторы поставили под сомнение классическую парадигму непрерывного обучения (continual learning), где главной целью всегда считалась борьба с катастрофическим забыванием для приближения к обучению на совместных задачах (Joint-Task Learning, JTL). Сформулировав непрерывное обучение как онлайн-оптимизационную задачу минимизации средней ошибки на протяжении всей жизни модели (Average Lifelong Error, ALE), исследователи математически и эмпирически разложили эффективность переноса (Transfer Efficiency) на нестабильность (Instability) и переходную ошибку (Transient Error). Этот анализ доказал существование «критической длительности задачи» (Critical Task Duration), превышение которой делает сохранение старых знаний более вредным для скорости адаптации, чем обучение с нуля. Также авторы представили новое семейство алгоритмов — прогностическое непрерывное обучение (Predictive Continual Learning).

ПОЧЕМУ это важно: Исторически в непрерывном обучении забывание рассматривалось как инженерный баг, которого нужно избегать. Данная работа подводит строгий теоретический фундамент под идею о том, что в нестационарных средах идеальное сохранение памяти часто мешает оптимизации, а не помогает ей. Переосмыслив забывание как функциональную необходимость, исследование открывает новые возможности для проектирования базовых моделей и агентов обучения с подкреплением, которые должны непрерывно адаптироваться к меняющемуся потоку данных без груза устаревших знаний.

Для практиков: Если ваши задачи в потоке данных длятся дольше критического порога или среда меняется слишком быстро, стандартные методы борьбы с забыванием (вроде буферов реплея) будут только замедлять сходимость. В таких сценариях выгоднее использовать динамическое скользящее окно памяти или даже полный сброс параметров, нежели пытаться удерживать все прошлые распределения.

Учиться забывать тут: https://t.me/gonzo_ML_podcasts/4627