3D-модель лица научились создавать при помощи камеры обыкновенного смартфона

Речь идёт об алгоритме, который, обучившись, способен создавать реалистичную модель головы, используя для этого селфи-камеры обыкновенного телефона.

Сам алгоритм состоит из двух основных частей: гиперсети, выучивающей универсальную модель головы и мимики, а также персонализированной — она создаётся на базе универсальной и обучает модель под конкретного человека.

Сообщается, что датасет составлялся при участии 255 человек разного пола, расы и возраста. В общей сложности в рамках съёмок специалисты сделали 3,1 млн кадров — именно их и использовали для обучения.

Отметим, что создание персонализированных моделей происходило при помощи iPhone 12. Данная модель была выбрана в связи с тем, что её фронтальная камера выдаёт не только RGB-слой, но также и слой глубины.