Новосибирские учёные разработали переводчик с языка жестов

В Новосибирском государственном техническом университете (НГТУ НЭТИ) создали систему, которая умеет распознавать и объяснять русский жестовый язык. Профессор Михаил Гриф рассказал, что система может использовать камеру, например, смартфона, чтобы распознавать жесты в реальном времени. Это мобильное приложение сможет переводить человеческую речь на язык жестов и наоборот. Ожидается, что такой переводчик появится в конце 2024-го или в начале 2025 года.

Чтобы система работала с высокой точностью, она должна распознавать около 5 тыс. жестов, но на данный момент она обучена только 400 жестам. Профессор отметил, что в различных словарях есть около 8,5 тыс. жестов, и они оценивают, что всего может быть около 10 тыс. жестов. Однако разработчики работают над улучшением системы.

Одной из сложностей при переводе с голоса на жесты является двусмысленность некоторых слов и омонимы, что может создавать трудности в точном понимании контекста.