Японские ученые улучшили трекинг лица для AR

Ученые из Института науки в Токио представили новую технологию динамического проекционного отображения лиц (DFPM), которая значительно повышает точность и скорость работы дополненной реальности (AR). Разработка позволит создавать более реалистичные визуальные эффекты в индустрии развлечений, моды и макияжа. DFPM — это технология, при которой изображения проецируются прямо на лицо человека и адаптируются к его движениям в реальном времени. Однако ранее такие системы сталкивались с проблемами: даже небольшая задержка или несоответствие координат камеры и проектора приводили к ошибкам проекции, нарушая эффект погружения. Группа ученых нашла решение. Они разработали новый метод высокоскоростного трекинга лица, который использует параллельное сочетание двух технологий. Первая, основанная на алгоритме Ensemble of Regression Trees (ERT), отвечает за быструю обработку данных, а вторая — более медленная, но точная, помогает корректировать ошибки и сложные ситуации. Комбинация этих подходов позволила достичь скорости выполнения всего 0,107 миллисекунды при высокой точности. Ученые также предложили метод предварительной обработки изображений, который сужает область поиска лица на основе данных предыдущих кадров. Это ускоряет определение ключевых точек лица, таких как глаза, нос и рот. Еще одной инновацией стал особый проектор-камера с механизмом сдвига линз. Он минимизирует ошибки выравнивания, обеспечивая точность с погрешностью всего в 1,274 пикселя на расстоянии от 1 до 2 метров.