Компилятор, который превращает программу в веса нейросети

В статье разбирают идею компилятора, который преобразует понятную человеку программу напрямую в веса нейросети. Такой подход авторы связывают с вопросами интерпретируемости и созданием ИИ.

В статье обсуждается идея компилятора, который берет понятную человеку программу и превращает ее прямо в веса нейросети. Отправная точка — наблюдение, что нейросеть может работать как программа, хотя ее исходного кода у нас нет. Авторы предлагают посмотреть на эту идею через призму обычных компиляторов и базовых принципов ИИ, чтобы понять, зачем такой подход может быть нужен и в чем его привлекательность.

Источники 1

Компилятор, который превращает программу в веса нейросети Habr AI

Компилятор, который галлюцинирует

Начнем с простого. Вы скачали нейросеть, и теперь у вас на диске лежит файл на несколько гигабайт, внутри которого миллиарды чисел. Этот файл можно запустить и он будет делать всякие осмысленные штуки: писать текст, отличать котов от собак на фотографиях, переводить с китайского. То есть перед нами работающая программа. Только исходного кода к ней нет, и никогда не было.

Дальше в статье мы разберем идею, которая из этого же наблюдения и выросла. Она звучит так: а давайте напишем компилятор, который берет понятную человеку программу и превращает ее прямо в веса нейросети.

Звучит странно. Но чтобы понять, зачем это нужно и почему это красиво, придется сначала заглянуть в обычные компиляторы и немного в азы ИИ. Без них дальше будет непонятно. Читать далее

#интерпретируемость_нейросетей #rasp #tracr #трансформеры #компиляторы #механистическая_интерпретируемость #веса_модели #selectel | @habr_ai