Камера смартфона разрешила «потрогать» виртуальные предметы

Свою разработку авторы представили на конференции UIST 2019. Напомним, дополненная реальность позволяет встраивать в реальный мир различные виртуальные предметы с помощью экрана и камеры смартфона. По такому принципу работает, например, игра Pokémon Go.

К сожалению, до сих пор пользователь не мог взаимодействовать с этими виртуальными объектами иначе как через экран устройства. Эту проблему и решили разработчики.

Они дополнили смартфон устройством Leap Motion, которое позволило «захватывать» движения рук. Этот датчик вообще-то предназначен для работы с компьютером, поэтому учёным пришлось дополнить устройство небольшой рабочей станцией в форм-факторе «флешки».

В итоге разработчики научили систему распознавать несколько жестов по данным с камеры глубины. Разработку проверили на двух задачах: манипуляции бытовыми объектами и строительстве небольшого дома.