Инженеры создали ожерелье, которое распознает слова владельца без их произношения

Виртуальные ассистенты Сбер Салют, Яндекс.Станция – всем этим можно управлять с помощью голоса. Но что делать, если человек не может говорить, по тем или иным причинам? Ответ нашли в Корнельском колледже вычислительной техники и информатики. Ченг Чжан, доцент кафедры информатики и докторант Руидонг Чжан разработали SpeeChin, устройство распознавания беззвучной речи, которое может идентифицировать беззвучные команды, используя изображения деформации кожи на шее и лице, полученные с помощью инфракрасной камеры, установленной на шее. “У этого устройства есть потенциал для изучения речевых паттернов человека, даже при беззвучной речи”, - сказал Ченг Чжан. SpeeChin оснащен инфракрасной камерой, установленной на 3D-печатном корпусе ожерелья, которое подвешивается на цепочку так, чтобы камера была направлена на подбородок владельца. Для повышения устойчивости разработчики создали крыло с каждой стороны, а на дно поместили монету. В ходе первого эксперимента, в котором приняли участие 20 человек (10 на английском языке и 10 на мандаринском диалекте китайского), были проведены измерения для определения исходного положения подбородка, затем дифференцированные изображения использовались для обучения устройства распознаванию простых команд. Руидонг Чжан попросил участников “произнести” 54 команды на английском языке, состоящие из цифр, интерактивных команд, команд голосового помощника, команд пунктуации и навигационных команд. Затем он проделал то же самое с 44 простыми словами или фразами на мандаринском диалекте. SpeeChin распознал команды на английском и мандаринском языках со средней точностью 90,5% и 91,6% соответственно.