Новость

Sakana AI и NYU обучили Transformer генерировать миры Minecraft на уровне отдельных блоков

1 источник

Все новости

Исследователи представили Dream-Cubed — семейство моделей на основе Transformer для создания интерактивных 3D-миров Minecraft. Модели работают с каждым блоком как с токеном и поддерживают достройку, замену участков, outpainting и генерацию миров практически неограниченного размера.

Sakana AI совместно с Нью-Йоркским университетом (NYU) разработали Dream-Cubed — семейство Transformer-моделей для генерации интерактивных 3D-миров Minecraft с точностью до отдельного блока. В системе каждый блок, например камень, вода, песок или дерево, обрабатывается как отдельный токен. Для обучения моделей собран датасет из более чем 30 миллиардов блоков. Он включает свыше 1,8 миллиона процедурно сгенерированных чанков размером 32×32×32 и более 200 тысяч фрагментов авторских карт, полученных с разрешения создателей. Dream-Cubed умеет достраивать мир вокруг заданной структуры, заменять отдельные участки и биомы, генерировать контент по расставленным пользователем блокам и расширять карту через outpainting. В исследовании также протестировали дискретную и непрерывную диффузию. Сгенерированные миры остаются редактируемыми и пригодными для игры. Исследователи опубликовали датасет, код обучения, инференс и готовые модели.

Источники 1
  • Sakana AI и NYU обучили Transformer генерировать миры Minecraft на уровне отдельных блоков Machinelearning 
    🧱 Sakana AI и NYU научили Transformer генерировать Minecraft-миры по отдельным блокам

В Dream-Cubed каждый блок - камень, вода, песок или дерево - обрабатывается как отдельный токен. Для обучения собрали более 30 млрд блоков: свыше 1,8 млн процедурных чанков размером 32×32×32 и более 200 тысяч фрагментов авторских карт.

Исследоватли собрали датасет из десятков миллиардов блоков: процедурно созданных ландшафтов и качественных пользовательских карт, полученных с разрешения авторов.

На этих данных обучили семейство Transformer-моделей для генерации интерактивных 3D-миров с точностью до отдельного блока.

Модели умеют:

- достраивать мир вокруг заданной структуры;
- заменять отдельные участки и биомы;
- генерировать по расставленным пользователем блокам;
- расширять карту через outpainting;
- создавать миры практически неограниченного размера.

Авторы протестировали дискретную и непрерывную диффузию. Сгенерированные миры сразу остаются редактируемыми и пригодными для игры.

Опубликованы датасет, код обучения, инференс и готовые модели.

Блог:  
https://pub.sakana.ai/dream-cubed

Статья:  
https://arxiv.org/abs/2604.22847

Код:  
https://github.com/SakanaAI/DreamCubed

#AI #Minecraft #GenerativeAI #Diffusion #3D #OpenSource

@ai_machinelearning_big_data