Moonshot AI выпустила Kimi K3 с открытыми весами

Moonshot AI опубликовала Kimi K3 на Hugging Face в открытых весах. Модель поддерживает текст и изображения, рассчитана на длинный контекст и сложные агентные сценарии.

Moonshot AI выложила Kimi K3 на Hugging Face в открытых весах. В описании модели указаны 2,8 трлн параметров и контекст до 1 048 576 токенов. Kimi K3 работает с текстом и изображениями, использует архитектуру MoE и для каждого токена активирует 104 млрд параметров. В модели также заявлены Kimi Delta Attention (KDA), Attention Residuals, 93 слоя, MXFP4-веса и MXFP8-активации. Разработчики позиционируют K3 как модель для долгих агентных задач: работы с большими репозиториями, терминалом, исследованиями, оптимизацией GPU-ядер, компиляторами и другими многошаговыми инженерными сценариями.

Источники 1

Moonshot AI выпустила Kimi K3 с открытыми весами Machinelearning

🚨 Moonshot AI выложила Kimi K3 на Hugging Face — 2,8 ТРИЛЛИОНА параметров в открытых весах.

Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)

Что внутри:

— контекст 1 048 576 токенов  
— нативная работа с текстом и изображениями  
— новая Kimi Delta Attention (KDA)  
— Attention Residuals  
— 93 слоя: 69 KDA + 24 Gated MLA  
— MXFP4-веса + MXFP8-активации  
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)

K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)

Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)

https://huggingface.co/moonshotai/Kimi-K3