Новость

MIPI и MIPU повышают стабильность обучения RL для LLM

1 источник

Все новости

Исследователи предлагают MIPI и двухэтапный фреймворк MIPU для решения рассогласования целей в RL для LLM. Метод принимает обновления политики только тогда, когда они проверяемо улучшают политику вывода, что повышает качество рассуждений и стабильность обучения.

Авторы: Jing Liang, Hongyao Tang, Yi Ma и др. (arXiv 2606.29526). В традиционном RL для LLM обновления политики могут выглядеть полезными на этапе обучения, но не обязательно улучшают движок вывода, который используется при развертывании. MIPI и MIPU решают эту проблему, обеспечивая монотонное улучшение политики вывода и выборочно принимая только те обновления, которые можно проверить на пользу для inference. По результатам работы, подход улучшает производительность рассуждений и стабильность обучения на разных масштабах моделей.

Источники 1
  • MIPI и MIPU повышают стабильность обучения RL для LLM KDnuggets 
    🔬 AI Research Digest
📅 Week of Jul 7–Jul 14, 2026
━━━━━━━━━━━━━━━━━━━━━━━━

1. 🎯 The Mirage of Optimizing Training Policies: Monotonic Inference Policies for LLM RL
Authors/Org: Jing Liang, Hongyao Tang, Yi Ma et al. | arXiv: 2606.29526
Bottleneck solved: LLM reinforcement learning suffers from objective misalignment — policy updates that look good in the training engine don't reliably improve the inference engine actually used in deployment.
The authors propose MIPI (Monotonic Inference Policy Improvement) and a two-step framework (MIPU) that selectively accepts updates only when they verifiably improve the deployed inference policy, boosting reasoning performance and training stability across model scales.
🔗 arXiv 2606.29526

━━━━━━━━━━━━━━━━━━━━━━━━

2. ⚡ LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference
Authors/Org: Cheng, Liu et al. (LMCache team) | arXiv: 2510.09665
Bottleneck solved: KV caches in LLM serving are ephemeral and engine-local, causing repeated recomputation of identical prefixes and underutilized GPUs — LMCache turns them into persistent, shareable, cross-engine memory.
It integrates with vLLM and SGLang, supports prefill-decode disaggregation, and ships an observability stack — making it the drop-in caching layer for teams running high-traffic LLM inference at scale.
🔗 arXiv 2510.09665

━━━━━━━━━━━━━━━━━━━━━━━━

3. 🧪 nanochat: The Best ChatGPT $100 Can Buy
Authors/Org: Andrej Karpathy | GitHub: karpathy/nanochat
Bottleneck solved: Training a full LLM pipeline from scratch (tokenization → pretraining → finetuning → inference → chat UI) was fragmented across many repos and required expensive infrastructure — nanochat collapses it to ~8,000 lines and a single GPU node.
A single --depth flag auto-tunes all hyperparameters compute-optimally; for ~$48 you get GPT-2-class capability, and for ~$100 a functioning ChatGPT clone that writes stories and answers questions — making end-to-end LLM training accessible to any developer.
🔗 github.com/karpathy/nanochat

━━━━━━━━━━━━━━━━━━━━━━━━
💡 Stay curious. Read the papers.

For More: @kdnuggets @datasciencechats