EPFL и Johns Hopkins представили NEvo для генерации видео под конкретные зоны мозга

Исследователи разработали систему NEvo, которая генерирует короткие ролики, адаптированные под активацию определённых областей зрительной коры, включая зоны, связанные с распознаванием лиц, сцен, движения, тел и социальных взаимодействий. Система использует эволюционный подход: отбирает лучшие варианты, скрещивает их и мутирует, чтобы усилить отклик выбранного участка мозга.

Исследователи из EPFL и Johns Hopkins University разработали систему NEvo, которая генерирует короткие видеоролики, оптимизированные для стимуляции конкретных областей зрительной коры мозга. Сначала модель подбирает подходящее изображение-якорь, например лицо, комнату, тело или абстрактный узор, а затем перебирает варианты движения, ритма, камеры и взаимодействий. Каждый вариант проходит через энкодер, который предсказывает fMRI-ответ и оценивает, насколько сильно ролик должен активировать выбранный участок мозга. После этого применяется эволюционный подход: промпты превращаются в «гены», лучшие варианты отбираются, скрещиваются и мутируют, а затем снова отправляются в генератор. По умолчанию система может прогнать до 400 вариантов на стадии изображения и до 200 на стадии видео. На выходе получаются двухсекундные ролики, которые модель считает наиболее возбуждающими для конкретной зоны. Авторы проверяли NEvo на участках мозга с известными реакциями: при оптимизации под зону распознавания лиц появлялись лица, под зону мест и сцен — комнаты и пейзажи, под область движения — динамичные ролики, а под область тел и действий — тела и взаимодействия. В одном из экспериментов с абстрактными объектами система, настроенная на область социальных взаимодействий, всё равно создавала сцены, напоминающие общение. Сейчас NEvo позиционируется как инструмент для нейронауки, но в будущем может найти применение в рекламе и персонализации контента.

Источники 1

EPFL и Johns Hopkins представили NEvo для генерации видео под конкретные зоны мозга anti_agi

Почешем вам мозг. Нежно

Исследователи EPFL и Johns Hopkins научили ИИ генерировать возбуждающие видео. И нет, они сделали это не так, как в Grok.

Учёные разработали систему NEvo — она адаптирует короткие ролики под конкретную область зрительной коры. Например, под FFA, которая связана с распознаванием лиц, PPA — мест и сцен, MT — движения, EBA — тел, pSTS — социальных взаимодействий.

Работает это примерно так. Сначала модель ищет удачную картинку-якорь: лицо, комнату, тело, абстрактный узор или что-то ещё. Потом поверх неё перебирает движение, ритм, камеру и взаимодействия. Каждый вариант прогоняется через энкодер, который предсказывает fMRI-ответ: насколько сильно такой ролик должен «зажечь» выбранный участок мозга.

Дальше начинается маленькая эволюция. Промпты превращаются в «гены»: лучшие варианты отбирают, скрещивают, мутируют и снова отправляют в генератор. По умолчанию система может прогнать до 400 вариантов на стадии изображения и ещё до 200 на стадии видео. На выходе — двухсекундные ролики, которые модель считает наиболее возбуждающими для конкретной зоны.

Авторы проверяли NEvo на участках мозга, реакции которых более-менее известны. Если оптимизировать ролик под зону, связанную с распознаванием лиц, система постепенно приходит к лицам. Под зону, которая реагирует на места и сцены, — к комнатам, зданиям и пейзажам. Под область движения — к динамичным роликам. Под область, связанную с телами и действиями, — к телам и взаимодействиям.

Самый забавный пример — эксперимент с абстрактными объектами. Системе давали не людей, а пластилиновые фигуры, игрушки и резиновых уточек. Но когда её просили возбудить область, связанную с восприятием социальных взаимодействий, она всё равно начинала делать из этих объектов маленькую сценку: кто-то на кого-то «смотрит», кто-то к кому-то движется, происходит что-то подозрительно похоже на общение.

Если сегодня это инструмент для нейронауки, то завтра кто-нибудь обязательно увидит там рекламный кабинет нового поколения. Ленты уже оптимизируют контент под удержание, но делают это грубо: показали миллион роликов, нашли тот, на котором пользователь залип. NEvo показывает более прямую траекторию: не ждать реакции снаружи, а заранее подбирать стимул под реакцию внутри.

Скоро и на ваших экранах! А пока посмотреть брейнрот нового поколения можно в примерах на Hugging Face.

@anti_agi