Камера смартфона разрешила «потрогать» виртуальные предметы

Команда разработчиков из США и Китая создала технологию для смартфонов, которая позволяет взаимодействовать с виртуальным объектом в дополненной реальности напрямую с помощью рук, а не через сенсорный экран. Свою разработку авторы представили на конференции UIST 2019. Напомним, дополненная реальность позволяет встраивать в реальный мир различные виртуальные предметы с помощью экрана и камеры смартфона. По такому принципу работает, например, игра Pokémon Go. К сожалению, до сих пор пользователь не мог взаимодействовать с этими виртуальными объектами иначе как через экран устройства. Эту проблему и решили разработчики. Они дополнили смартфон устройством Leap Motion, которое позволило «захватывать» движения рук. Этот датчик вообще-то предназначен для работы с компьютером, поэтому учёным пришлось дополнить устройство небольшой рабочей станцией в форм-факторе «флешки». В итоге разработчики научили систему распознавать несколько жестов по данным с камеры глубины. Разработку проверили на двух задачах: манипуляции бытовыми объектами и строительстве небольшого дома.