Новость

Андрей Карпати предложил бенчмарк для ИИ на основе генерации интерактивных миров

1 источник

Все новости

Андрей Карпати предложил оценивать ИИ по способности создавать интерактивные миры с помощью кода. В качестве примера он использовал модель Opus 5, которая по абзацу из «Властелина колец» сгенерировала сцену в Three.js.

Андрей Карпати предложил новый бенчмарк для оценки возможностей ИИ — генерацию интерактивных миров с помощью кода. В примере модель Opus 5 превратила абзац из книги «Властелин колец» в 5500 строк кода для браузерной графической библиотеки Three.js. На создание сцены ушло около двух часов, был использован миллион токенов, а стоимость составила примерно 10 долларов. Звук при этом был сгенерирован через ElevenLabs. Карпати считает, что привычные тесты на пространственное мышление, включая SVG-рисование пеликана на велосипеде, уже устарели, поскольку современные мультимодальные модели справляются с ними без труда. По его мнению, новым стандартом оценки ИИ может стать именно генерация целых интерактивных миров. Главным ограничением он называет отсутствие у модели доступа к собственному видеовыходу: сейчас она опирается на скриншоты, из-за чего в рендере возникают ошибки.

Источники 1
  • Андрей Карпати предложил бенчмарк для ИИ на основе генерации интерактивных миров Machinelearning 
    ✔️ Андрей Карпати предложил новый бенчмарк для ИИ

Он использовал модель Opus 5, чтобы превратить абзац из книги "Властелин колец" в 5500 строк кода браузерной графической библиотеки Three.js.

Генерация сцены заняла около 2-х часов, потребовала миллион токенов и обошлась примерно в 10 долларов. Звук был сгенерирован через ElevenLabs.

По мнению Карпати, привычные тесты на пространственное мышление вроде рисования пеликана на велосипеде в SVG окончательно устарели. Современные мультимодальные модели справляются с ними без труда.

Генерация целых интерактивных миров с помощью кода, по мнению Андрея, может стать новым стандартом оценки возможностей ИИ.

Пока главным препятствием для идеального результата остается отсутствие у модели возможности анализировать собственный видеовыход - сейчас она вынуждена опираться на скриншоты, из-за чего в рендере возникают ошибки.


@ai_machinelearning_big_data

#news #ai #ml