Новосибирск, 10 сентября, 2019, 09:38 — ИА Регнум. Новосибирский программист Алексей Приходько, сам будучи глухим, разработал программу, позволяющую компьютеру переводить с языка жестов на русский, сообщает официальный сайт Новосибирского государственного технического университета.

Новая программа использует так называемую безмаркерную систему — когда не используются перчатки и тому подобные средства виртуальной коммуникации. Компьютер распознаёт картинку с камеры, фиксирует жесты, затем изображение, представленное в виде моделей, сопоставляется с данными нейронной сети. А потом соответствующий перевод выводится на экран монитора. Таким образом система работает подобно человеческому мозгу.

В качестве дополнительной функции система даёт возможность управления компьютером с помощью жестов. Таким образом можно настроить монитор и управлять курсором.

Основная проблема создания переводчика с языка жестов связана с его грамматикой. Перевод должен учитывать не только конфигурацию рук, но и так называемый немануальный компонент (артикуляция, положение тела, выражение лица). Поэтому пока ни одна программа не может заменить живого переводчика.

Сейчас прототип переводит на уровне азбуки глухих. Далее в планах Алексея обучить систему другим компонентам грамматики РЖЯ (русского жестового языка), чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих. Такая разработка понадобится не только глухим, она будет полезна и для обучения будущих переводчиков РЖЯ.

Отметим, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают. Однако Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего.