Объяснение архитектуры трансформера без сложной математики

Автор разбирает архитектуру трансформеров на концептуальном уровне, без формул и сложных определений. В статье по шагам описывается путь промпта от токенизации до генерации нового токена.

В статье автор пытается объяснить архитектуру трансформеров простыми словами и без тяжелого математического аппарата. Отдельно разбирается, что происходит с промптом на пути от токенизатора к токенам, эмбеддингам и первому слою модели, а также зачем нужен каждый из этих этапов.

Источники 1

Объяснение архитектуры трансформера без сложной математики Habr AI

Препарация трансформера

В данной статье автор попытается осмыслить архитектуру трансформеров - все наслышаны, все всё знают, но никто толком не понимает - а посему цель этой статьи - попытаться дать объяснения на концептуальном уровне, без заумных математических формул и нечитаемых дефиниций. Признаю, что объяснять теорию простыми и понятными словами - истинное искусство, доступное немногим уровня Ландау и Лифшица, но в наше время декаданса и постмодерна буду пытаться как умею. И да, автор не гарантирует 100% достоверности нижеприведенной информации, а лишь свое разумение.

Итак - попытаемся понять, что же происходит с промптом в его путешествии от токенизатора до торжественной генерации нового токена, с остановками по пути. Так же обсудим метафизический смысл нейрона.

Сперва посмотрим на общую схему — как промпт проходит токенизатор, превращается в токены и их номера, получает векторы из матрицы эмбеддингов и наконец попадает на вход первого слоя - попытаемся понять, что происходит на каждом шаге, и уловить смысл происходящего. Читать далее

#трансформеры #большие_языковые_модели #нейросети | @habr_ai