Новость

Moonshot AI выпустила открытую модель Kimi K3 с 2,8 трлн параметров

1 источник

Все новости

Moonshot AI опубликовала на Hugging Face модель Kimi K3 — открытую мультимодальную модель с архитектурой Mixture of Experts и контекстом до 1 миллиона токенов.

Moonshot AI выложила на Hugging Face модель Kimi K3. Разработчики называют её крупнейшей в мире открытой моделью: она содержит 2,8 трлн параметров и использует архитектуру Mixture of Experts, где одновременно активируются 16 из 896 экспертов. Kimi K3 поддерживает изображения и видео, а также контекст до 1 миллиона токенов. Модель ориентирована на длительные задачи программирования, работу с документами, исследования и использование инструментов.

Источники 1
  • Moonshot AI выпустила открытую модель Kimi K3 с 2,8 трлн параметров GPT/ChatGPT/AI Central Александра Горного 
    Kimi K3 выложили на Hugging Face

— 2.8 триллиона параметров, самая большая в мире открытая модель
— архитектура Mixture of Experts, одновременно активируются 16 из 896 экспертов
— нативное понимание изображений и видео
— контекст до 1 миллиона токенов
— специализация на длительных задачах программирования, работе с документами, исследованиях и использовании инструментов.

https://huggingface.co/moonshotai/Kimi-K3