Новость

Moonshot AI опубликовала веса модели Kimi K3

1 источник

Все новости

Moonshot AI выложила веса и технический отчёт модели Kimi K3. Компания называет её крупнейшей открытой моделью с 2,8 трлн параметров и контекстом в миллион токенов.

Moonshot AI опубликовала веса модели Kimi K3 вместе с техническим отчётом. Ранее модель была открыта по API, а теперь сторонние провайдеры могут развернуть её у себя. Kimi K3 имеет 2,8 трлн параметров, из которых 104 млрд активные, 93 слоя, 896 экспертов и контекст в миллион токенов. Модель поддерживает нативное зрение, а энкодер MoonViT-V2 содержит 401 млн параметров. Веса представлены в формате MXFP4, а квантование было заложено в обучение. Лицензия разрешает коммерческое использование и дообучение. Ограничение касается сценария, когда доступ к инференсу продаётся как сервис и выручка превышает 20 млн долларов за любые 12 месяцев подряд: в этом случае требуется отдельное соглашение с Moonshot. Для самостоятельного развёртывания опубликованы рецепты для vLLM и SGLang. Партнёры релиза также включают Fireworks, Nebius Token Factory, Baseten и Modal.

Источники 1
  • Moonshot AI опубликовала веса модели Kimi K3 Нейроканал 
    Moonshot выложила веса Kimi K3 и техрепорт, всё как обещали. По API модель открыли 16 июля, теперь её могут поднять у себя и сторонние провайдеры.

Напомню, это 2,8 трлн параметров при 104 млрд активных, 93 слоя, 896 экспертов с выбором шестнадцати плюс два общих. Контекст миллион токенов, зрение нативное, энкодер MoonViT-V2 на 401 млн. Веса лежат в MXFP4, квантование заложено прямо в обучение. Крупнейшая открытая модель на сегодня и первая открытая в классе трёх триллионов.

Архитектура новая: Kimi Delta Attention и Attention Residuals, 69 слоёв KDA против 24 Gated MLA, поверх фреймворк Stable LatentMoE. Заявленная отдача от вычислений выросла примерно в 2,5 раза по сравнению с K2, подробности в блоге.

Бенчмарки из карточки модели, все на максимальном уровне рассуждений: GPQA Diamond 93,5, Terminal-Bench 2.1 88,3, FrontierSWE 81,2, BrowseComp 91,2, MCPMark 94,5, SWE-Marathon 42,0. На SWE-Marathon и BrowseComp K3 идёт впереди Fable 5, Sol и Opus 4.8, но замеры авторские: на SWE-Marathon у Fable, по словам Moonshot, сработали фолбэки на трети задач.

Лицензия разрешает всё, включая коммерческое использование и дообучение. Ограничение одно: если продаёшь доступ к инференсу как сервис и выручка перевалила за 20 млн $ за любые 12 месяцев подряд, нужно отдельное соглашение с Moonshot.

Где K3 работает уже сегодня:
🤯 Fireworks, Nebius Token Factory, Baseten и Modal — партнёры дня релиза, у Fireworks сразу и дообучение;
🤯 OpenRouter отдаёт K3 через Moonshot, Nebius и Fireworks по 3 $ за миллион входных токенов и 15 $ за миллион выходных;
🤯 у себя — рецепты для vLLM и SGLang опубликованы вместе с весами.

@neuro_channel