Новость

Nvidia представила новые модели Nemotron-3 для поиска и RAG

1 источник

Все новости

Nvidia выложила на Hugging Face три модели эмбеддингов Nemotron-3: старшую, облегчённую и квантизованную для Blackwell. Они предназначены для поиска и RAG, то есть преобразуют текст в векторы для подбора релевантных документов.

Nvidia выложила на Hugging Face новые модели эмбеддингов для поиска и RAG. Это энкодеры, которые преобразуют текст в векторы, чтобы система могла находить подходящие документы. Nemotron-3-Embed-8B-BF16 — версия на 8 млрд параметров, рассчитанная на максимальное качество. Она поддерживает 34 языка и контекст до 32 тысяч токенов, а размер выходного вектора составляет 4096. Nvidia сообщает результат 78,5% на RTEB и называет модель лидером этого бенчмарка. Nemotron-3-Embed-1B-BF16 — облегчённая версия на 1,14 млрд параметров с векторами размерности 2048. У неё сохранены контекст и число языков, а результат на RTEB составляет 72,4%. Nemotron-3-Embed-1B-NVFP4 — та же 1B-модель, квантизованная в NVFP4 и оптимизированная прежде всего для Blackwell. Nvidia также указывает совместимость с Ampere, Hopper и Lovelace и рекомендует vLLM. На Blackwell компания заявляет сохранение более 99% качества BF16-версии и пропускную способность до вдвое выше, чем у BF16.

Источники 1
  • Nvidia представила новые модели Nemotron-3 для поиска и RAG Нейроканал 
    Nvidia выложила на Hugging Face новые модели для эмбедингов. Это энкодеры для поиска и RAG: они превращают текст в векторы, по которым система находит подходящие документы.

Nemotron-3-Embed-8B-BF16 — версия на 8 млрд параметров для максимального качества. Она поддерживает 34 языка и контекст до 32 тысяч токенов, а на выходе даёт вектор размерности 4096. Nvidia сообщает результат 78,5% на RTEB и называет модель лидером этого бенчмарка.

Nemotron-3-Embed-1B-BF16 — облегчённая версия на 1,14 млрд параметров с векторами размерности 2048. Контекст и число языков сохранились, а результат на RTEB снизился до 72,4%.

Nemotron-3-Embed-1B-NVFP4 — тот же 1B, квантизованный в NVFP4 и оптимизированный прежде всего для Blackwell. Nvidia также указывает совместимость с Ampere, Hopper и Lovelace и рекомендует vLLM. На Blackwell компания заявляет сохранение более 99% качества BF16-версии и пропускную способность до вдвое выше, чем у BF16.

@neuro_channel