Новость

Moonshot AI раскрыла детали архитектуры модели K3

1 источник

Все новости

Moonshot AI опубликовала технические детали модели K3: 2,78 трлн параметров, 896 экспертов и контекстное окно на 1 млн токенов. Компания также описала несколько архитектурных и инфраструктурных решений, включая SiTU-GLU, Quantile Balancing, MoonViT-V2, AgentENV и MoonEP.

Moonshot AI раскрыла технические детали модели K3: 2,78 трлн параметров, 896 экспертов и контекстное окно в 1 млн токенов. По словам компании, модель опирается на оптимизации на разных уровнях стека. Среди ключевых решений — SiTU-GLU, замена SwiGLU с мягким насыщением активаций, которая позволила масштабировать разреженность до 56×. Также упоминается Quantile Balancing, убравший вспомогательный loss для балансировки нагрузки экспертов. Для работы с изображениями используется MoonViT-V2 — vision-энкодер, обученный с нуля через предсказание следующего токена. Для обучения с подкреплением применяются microVM-песочницы AgentENV вместо контейнеров, а экспертный параллелизм реализован через MoonEP с верхней границей избыточных экспертов.

Источники 1
  • Moonshot AI раскрыла детали архитектуры модели K3 Complete AI 
    Интегрально инсайты из K3: 2.78Т параметров, 896 экспертов, 1M контекст. Под капотом — системная оптимизация на каждом уровне стека:

1️⃣ SiTU-GLU — замена SwiGLU с мягким насыщением активаций. Именно это позволило безопасно масштабировать sparsity до 56× (16 из 896 экспертов). Без этого приёма модель бы просто взорвалась

2️⃣ Quantile Balancing — балансировка нагрузки экспертов за один forward pass через квантили. Полностью убрали auxiliary loss, как следствие чище градиенты, быстрее сходимость

3️⃣ MoonViT-V2 — vision encoder обучен с нуля через next-token prediction. Контрастивный pre-training (SigLIP/CLIP) оказался нестабильным при joint optimization

4️⃣ AgentENV — microVM-песочницы вместо контейнеров для RL. Firecracker VM: checkpoint за 133ms, resume за 49ms, memory overcommit 6.5×51.2 млн sandbox'ов за тренинг

5️⃣ MoonEP — expert parallelism с доказуемой верхней границей redundant-экспертов. Обучение работает 100% времени без остановок на балансировку