В Японии нейросеть научили воссоздавать изображения, которые видел человек

Исследователи из Киотского университета разработали нейросеть, которая способна воспроизводить изображения, которые видел человек на основе его мозговой активности. Препринт работы опубликован на bioRxiv, ее краткое описание приводит N+1.

В рамках эксперимента ученые показывали трем его участникам изображения и с помощью функциональной магнитно-резонансной томографии считывали мозговую активность. Всего были показаны 1200 различных изображений, каждое из них не менее пяти раз. После этого на парах «изображение-активность» была обучена нейронная сеть.

Дополнительно экспериментаторы добавили еще одну глубокую генеративную нейросеть (DGN), которая позволила сделать свойства полученного нейросетью изображения. Результаты исследования с DGN и без нее авторы рассматривали по отдельности.

https://www.youtube.com/watch?time_continue=273&v=jsp1KaM-avU

После обучения нейросети удалось воссоздать изображения букв, геометрических фигур и предметов (например, изображений животных). Визуально более лучшие результаты были показаны при воссоздании простых объектов. Общее попиксельное совпадение между фотографией исходного объекта и полученным изображением получилось равным 79,7% без глубокой генеративной нейросети и 76,1% с ее использованием.

Исследователи также показали воссозданные и оригинальные изображения людям и попросили попарно соотнести их. В результате люди правильно угадывали пары в 96,5% случаев без DGN и в 99,1% с ее использованием.