ИИ научился создавать 3D изображения из обычных фотографий

В новой статье, опубликованной на сервере предварительных публикаций arXiv и представленной на конференции по обработке нейроинформации (NeurIPS) в Новом Орлеане, исследователи продемонстрировали новую технику под названием «Proximity Attention Point Rendering» (PAPR), которая может преобразовывать набор 2D-фотографий объекта в облако 3D-точек, которое представляет форму и внешний вид объекта.

Каждая точка позволяет пользователям управлять объектом — перемещение точки изменяет форму объекта, а редактирование свойств точки изменяет его внешний вид. Затем облако 3D-точек может быть просмотрено с любого угла и преобразовано в 2D-фотографию, которая показывает отредактированный объект, как если бы фотография была сделана с этого угла в реальной жизни.

Используя новую технологию искусственного интеллекта, исследователи показали, как статуя может ожить — технология автоматически преобразовывает набор фотографий статуи в 3D-облако точек, которое затем анимируется. В итоге получается видео, на котором статуя поворачивает голову из стороны в сторону, пока зритель проходит вокруг нее.