Малые языковые модели становятся повсеместными

Малые языковые модели уже используются в браузере Chrome на десктопе и на iPhone через Apple Intelligence. Речь идет о моделях на 1–7 миллиардов параметров, которые все чаще работают локально на устройствах.

Малые языковые модели уже используются в браузере Chrome на десктопе: туда загружается языковая модель на несколько миллиардов параметров, и ее могут вызывать открытые вкладки. На iPhone это же направление представлено Apple Intelligence, то есть ИИ на устройстве. Речь идет о моделях размером примерно от 1 до 7 миллиардов параметров, которые все чаще запускаются локально на телефонах и в браузере.

Источники 1

Малые языковые модели становятся повсеместными Habr AI

А мы и не заметили, или о том, какие ИИ живут в вашем кармане

Один разработчик запустил 400B-модель на iPhone 17 Pro. Еще раз, 400 млрд параметров, правда с оговоркой, сделал он это через стриминг весов с SSD прямо в обход оперативки. И она работала. Выдавала 0,6 токена в секунду — это примерно слово в пару секунд, с задумчивыми паузами, как диалап в 2003. Технически бесполезно, на практике возможно (но ведь запустилась же).

И вот еще из неочевидного. Прямо сейчас, пока вы читаете это в Chrome на десктопе, в ваш браузер уже скачана языковая модель на несколько миллиардов параметров, и любая открытая вкладка может ее дернуть без спроса. В вашем телефоне крутится Apple Intelligence? Поздравляю, вы обладатель ИИ в вашем смартфоне. В общем, маленькие языковые модели уже среди нас.

Так давайте разберемся, что это за модели на 1–7 млрд параметров, кто их делает, как они запускаются на телефоне, в браузере, и где вас ждет подвох, которого нет ни в одной таблице с бенчмарками. Читать далее

#малые_языковые_модели #slm #локальные_модели #квантизация #gemma #phi_4_mini #qwen #gemini_nano #пропускная_способность_памяти #троттлинг | @habr_ai