Thinking Machines представила открытую мультимодальную модель Inkling

Thinking Machines выпустила открытую мультимодальную модель Inkling с архитектурой Mixture-of-Experts на 975 млрд параметров и 41 млрд активных. Модель ориентирована на кодинг, работу с инструментами и агентные задачи, а веса доступны для дообучения.

Thinking Machines представила открытую мультимодальную модель Inkling. Она обучена с нуля и использует архитектуру Mixture-of-Experts: 975 миллиардов параметров, из которых при каждом запросе активны 41 миллиард, а контекст может достигать миллиона токенов. Inkling ориентирована на кодинг, работу с инструментами и длинные агентные задачи. В компании отмечают, что модель не претендует на лидерство по общим бенчмаркам, а её ключевое преимущество — возможность кастомизации под собственные процессы. Веса модели открыты для разработчиков, а дообучение доступно через платформу Tinker. Также представлено превью облегчённой версии Inkling-Small с 12 миллиардами активных параметров. Обе модели доступны в Tinker и на Hugging Face.

Источники 1

Thinking Machines представила открытую мультимодальную модель Inkling GPT/ChatGPT/AI Central Александра Горного

Thinking Machines выпустила открытую модель Inkling

Inkling — мультимодальная модель, обученная с нуля. Архитектура Mixture-of-Experts: 975 миллиардов параметров, но при каждом запросе активны 41 миллиард. Контекст — до миллиона токенов. Модель рассчитана на кодинг, работу с инструментами и длинные агентные задачи.

Thinking Machines честно говорит, что Inkling не самая сильная модель на рынке. Главная ставка здесь на кастомизацию. Веса доступны разработчикам,  модель можно дообучать под свои процессы через основной продукт компании — платформу Tinker.

Также вышло превью облегченной Inkling-Small с 12 миллиардами активных параметров. Обе модели уже доступны в Tinker и на Hugging Face.

https://thinkingmachines.ai/news/introducing-inkling/