Как выглядят ваши мысли? Искусственный интеллект помог создать изображения на основе активности мозга людей

Исследователи обнаружили, что они могут реконструировать изображения по активности мозга, используя модель Stable Diffusion. Испытуемым показывали определённые картинки и в этот момент проводили функциональную магнитно-резонансную томографию фМРТ.

Сначала учёные научились предсказывать скрытое представление по сигналам фМРТ. Затем в модель добавили шум, а после декодировали эти текстовые представления из сигналов фМРТ и использовали их в качестве входных данных для создания окончательного изображения.

Ниже можно увидеть, как модели по сигналам фМРТ удалось воссоздать картинки, увиденные людьми (снизу воссозданные, сверху — реальные).