Управление электроникой беззвучными командами: миф или реальность?

Технология разрабатывается командой из нью-йоркского Университета Буффало под руководством Жанпенга Джина. Она основана на наблюдении, что когда мы беззвучно произносим различные слова, сопутствующие действия мышц и костей вызывают деформацию слухового прохода - конкретные модели деформации могут быть сопоставлены с конкретными словами.

С аппаратной точки зрения EarCommand представляет собой устройство, похожее на наушники, которое использует обращенный внутрь динамик для излучения неслышных ультразвуковых сигналов в ушной канал пользователя. Когда эти сигналы отражаются от внутренней поверхности канала, их эхо улавливается направленным внутрь микрофоном. Связанный с ним компьютер анализирует эти эхо-сигналы, используя специальный алгоритм для определения деформации слухового прохода и, соответственно, произнесенного слова.

В ходе проведенных испытаний пользователи произносили 32 различные команды на уровне слов и 25 различных команд на уровне предложений. Система поняла большую часть сказанного, при этом коэффициент ошибок на уровне слов составил 10,2%, а на уровне предложений - 12,3%.

Более того, система работала даже тогда, когда пользователи носили маску или находились в шумной обстановке, и, в отличие от некоторых других систем чтения беззвучной речи, она не оснащена камерой.

Статья об исследовании была опубликована в журнале Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.