Фреймворк для оценки ёмкости памяти трансформеров предложили исследователи

Исследователи разработали фреймворк для оценки ёмкости памяти трансформеров и показали эмпирическую оценку около 3,6 бита на параметр. В работе также утверждается, что при соотношении токенов к параметрам выше 100 membership inference атаки становятся невозможными.

Авторы предложили информационно-теоретический фреймворк на основе колмогоровской сложности, который позволяет отделять непреднамеренное запоминание от обобщения. В эксперименте на сотнях моделей архитектуры GPT, обученных и проверенных на синтетических и реальных данных, они оценили ёмкость памяти трансформеров примерно в 3,6 бита на параметр и вывели сигмоидальный закон масштабирования для атак восстановления членства. По результатам работы, исследование даёт математическое объяснение феномена double descent и утверждает, что обобщение становится неизбежным, когда объём данных в битах превышает ёмкость памяти модели. Также авторы заявляют, что современные LLM, обученные на очень больших массивах данных, оказываются защищены от membership inference атак: при соотношении токенов и параметров выше 10^2 вероятность успешной атаки, по их выводам, падает до уровня случайного угадывания. Авторы отмечают, что полученные оценки могут быть полезны для проектирования обучающих пайплайнов с защитой от утечки данных и для выбора размера модели и объёма выборки с учётом риска извлечения тренировочных примеров.

Источники 1

Фреймворк для оценки ёмкости памяти трансформеров предложили исследователи gonzo-обзоры ML статей

Интересная работа. Я её разбирал в англоязычном блоге год назад, но сюда кажется так и не запостил. Работа же дошла за это время до ICML.

Интересны для меня в ней по крайней мере три момента:
1. Оценена "ёмкость" каждого веса, сколько он добавляет к памяти — примерно 3.6 бита на параметр. Что отдельно интересно, что fp32 по сравнению с bf16 не очень много добавляет, 3.83 против 3.51, не в два раза.
2. Работа очень хорошо подтверждает теорию информационного боттлнека им. Нафтали Тишби, что у модели есть в обучении две фазы — в первой она всё запоминает что может, во второй ей приходится сжимать ибо уже не лезет. Неожиданно, это та самая точка, где наблюдается double descent.
3. Если отношение токенов к параметрам больше 100, то это статистически гарантирует невозможность membership inference атаки.

How much can language models memorize?
John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar
Paper: https://arxiv.org/abs/2505.24832, ICML Submission, ICLR Submission
Review: https://arxiviq.substack.com/p/icml-2026-how-much-can-language-models
Code: N/A
Model: https://huggingface.co/rhysjones/gpt2-774M-fineweb-150B

ICML 2026 Outstanding Paper Honorable Mention

# TL;DR

ЧТО сделали: Авторы разработали информационно-теоретический фреймворк на базе колмогоровской сложности, который позволяет строго отделить непреднамеренное запоминание от обобщения. Обучив и протестировав сотни моделей архитектуры GPT на синтетических и реальных данных, они оценили эмпирическую ёмкость памяти трансформеров примерно в 3.6 бита на параметр и вывели сигмоидальный закон масштабирования для атак восстановления членства (membership inference).

ПОЧЕМУ это важно: Эта работа даёт строгое физическое объяснение феномену двойного спуска (double descent). Она доказывает, что обобщение математически неизбежно, когда объём датасета в битах превышает ёмкость памяти модели. Кроме того, исследование показывает, что современные LLM, обученные на гигантских массивах данных, математически защищены от атак восстановления членства: вероятность успеха таких атак падает до уровня случайного угадывания, как только соотношение токенов и параметров превышает 10^2.

Для практиков: Полученные оценки ёмкости позволяют проектировать пайплайны обучения с гарантированной защитой от утечки данных. Теперь можно математически рассчитать размер модели и объём обучающей выборки так, чтобы полностью исключить возможность извлечения конфиденциальных тренировочных примеров.

Считать информацию тут: https://t.me/gonzo_ML_podcasts/4418