Новость

Moonshot AI опубликовала модель Kimi K3 в открытом доступе

1 источник

Все новости

Moonshot AI выложила в открытый доступ модель Kimi K3 и технический отчёт о её обучении. В компании заявляют о контекстном окне в 1 млн токенов, архитектуре MoE и сильных результатах модели в задачах кибербезопасности и веб-разработки.

Moonshot AI опубликовала модель Kimi K3 и раскрыла детали её обучения. Модель построена на архитектуре MoE, содержит 2,8 трлн параметров, при этом на токен активируется 104 млрд параметров. Контекстное окно составляет 1 млн токенов, а при обучении использовалась MXFP4-квантизация. По данным компании, Kimi K3 показала лучшие результаты среди открытых моделей в кибербезопасности и заняла первое место на WebDev Arena среди 99 моделей. Также Moonshot AI сообщила, что поделилась всеми деталями обучения, включая использование песочниц и библиотек, чтобы другие лаборатории могли воспроизвести и улучшить результат.

Источники 1
  • Moonshot AI опубликовала модель Kimi K3 в открытом доступе Метаверсище и ИИще 
    Kimi K3 таки выложили в опенсорc

https://huggingface.co/moonshotai/Kimi-K3

И опубликовали отчет.

В общем, ничего супер-нового, но несколько интересных вещей отметил:
– 2.8T параметров всего, но на каждый токен работает 104B – 16 экспертов из 896.
– Контекст 1M, а позиционного кодирования нет вообще. Поэтому огромный контекст для нее вообще детский лепет и памяти на него не надо вагонами завозить.
– MXFP4-квантизацию вводят не после обучения, а прямо во время RL. Модель с самого начала учится жить сжатой, то есть серверную стойку можно взять и поменьше :)
– Стараются экономно расходовать токены, в том числе в мультимодальности. На BrowseComp лучший результат в мире за $2.03 за задачу. GPT-5.6 Sol вдвое дороже, Клод на максимуме – на порядок

Еще из прикольного:
– За обучение создали 51 миллион виртуалок-песочниц. Пока модель думает, песочница на паузе и не ест ресурсы вообще – а думает она до 98% времени жизни задачи. Вот на этом простое и сэкономили кучу денег на обучение.
– За один 48-часовой автономный прогон K3 спроектировала и проверила прототип чипа для ИИ, вообще с нуля. 4 мм², 8700 токенов/с в RTL-симуляции. Исходники выложили на гитхаб
– Написала свой компилятор для ИИ, обгоняет torch.compile
– Воспроизвела результат из астрофизики за два часа вместо двух недель: 20+ статей, 300 уравнений состояния, нашла ошибки в опубликованных формулах
– Смонтировала видео-ролик про собственную архитектуру из 56 клипов

Отдельно про кибербез. Мерились с GLM-5.2. Нашли 16 ранее неизвестных уязвимостей, две в ядре Linux. UK AISI и NIST проверяли независимо: GLM обходит, до фронтира не дотягивает – 0 из 41 на end-to-end эксплойтах. То есть по кибербезопасности модель лучшая из опенсорса.

По бенчмаркам всё то же, что и неделю назад: первое место на WebDev Arena среди 99 моделей (впервые открытая модель возглавила лидерборд живых людей). Про дизайн читал до этого статью интересную, как топовые модели сейчас стараются в более лучший дизайн. 

И я не вижу вообще как тут можно говорить, что это просто "дистилляция fable".

Ну и здорово, что поделились вообще всем, как что работает, как дообучали, как песочницы делали, какие библиотеки использовали. То есть повторить и улучшить сможет любая лаборатория. Вау!

Но у себя дома стойку под 2.8T, правда, всё ещё надо иметь :)

https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf