Новость

Bonsai 27B: локальная LLM менее 4 ГБ с мультимодальностью и агентными сценариями

1 источник

Все новости

PrismML сжала модель класса 27B до 3,8–3,9 ГБ с помощью 1-битного квантования, сохранив около 90% качества. Также доступна версия Ternary Bonsai 27B размером около 5,9 ГБ, а модель поддерживает мультимодальность, reasoning, кодинг и tool calling.

PrismML представила серию локальных LLM Bonsai 27B, полученных с помощью 1-битного квантования модели класса 27B. Размер исходной модели около 54 ГБ удалось сократить до 3,8–3,9 ГБ, при этом, по заявлению разработчиков, сохраняется около 90% качества оригинала. Также доступна более качественная версия Ternary Bonsai 27B размером около 5,9 ГБ, которая, по данным проекта, сохраняет до 95% качества baseline. Модель поддерживает мультимодальность, reasoning, написание кода, вызов инструментов и агентные сценарии, что делает её основой для локальных AI-агентов. Для Bonsai уже подготовлена WebGPU-демонстрация: кастомные ядра позволяют запускать модель прямо в браузере.

Источники 1
  • Bonsai 27B: локальная LLM менее 4 ГБ с мультимодальностью и агентными сценариями Machinelearning 
    ⚡️ Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ

PrismML взяла модель класса 27B и сжала её через 1-bit quantization: с примерно 54 ГБ до 3.8–3.9 ГБ.

Заявляют, что при таком сжатии модель сохраняет около 90% качества оригинала. Это уже размер, с которым можно думать не только про серверы, но и про ноутбуки, браузер и смартфоны.

Есть и более качественная версия Ternary Bonsai 27B: около 5.9 ГБ и до 95% качества baseline.

Модель поддерживает мультимодальность, reasoning, кодинг, tool calling и агентные сценарии. То есть это не просто локальный чат, а база для локальных AI-агентов.

Для Bonsai уже сделали WebGPU demo: кастомные kernel’ы позволяют запускать модель прямо в браузере. По словам Xenova, часть WebGPU-кода помогали писать Fable 5 и GPT 5.6 Sol.

HF collection: https://huggingface.co/collections/prism-ml/bonsai-27b
WebGPU demo: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

@ai_machinelearning_big_data

#llm #ai #ml