Новосибирск, 6 сентября, 2019, 09:15 — ИА Регнум. Выпускник Новосибирского государственного технического университета (НГТУ НЭТИ) обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши. Работу над прототипом системы он завершил в начале августа. Как рассказали ИА REGNUM в вузе, Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.

Система работает по аналогии с человеческим мозгом. Программа при помощи камеры распознаёт картинку и фиксирует жесты, изображение переводится в модели, обрабатывается, сопоставлется с данными в нейронной сети. После этого компьютер выводит на монитор уже соответствующий жестам перевод.

По словам Приходько, проблема в разработке хорошего переводчика связана с главной особенностью жестового языка — его грамматикой. Перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения, выражения лица, движения губ и и так далее.

«Я пошёл сложным путём, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», — отметил Алексей Приходько.

Прототип переводит на уровне азбуки глухих. Приходько планирует обучить систему другим компонентам грамматики РЖЯ, чтобы довести её до готового продукта .

Заведующая лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольга Варинова считает, что разработка будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ.