Теперь мы поймем друг друга: ученые создали переводчик для слабослышащих

 

15 ноября 2022

Ученые НГТУ и IT-компания «Адаптис» совместно разработали первый в России анимированный сурдопереводчик. Теперь слабослышащие могут общаться с любым человеком без помощи жестов.

Это чудо науки и техники умещается в обычном телефоне. Теперь глухой человек может установить аватар – разработанную программу – на свой смартфон и спокойно общаться! Нужно только навести видеокамеру на говорящего и аватар переведет разговор на русский жестовый язык. Правда, пока связь будет односторонней – перевод с языка жестов на голосовую речь дело недалекого будущего.

«Человек говорит на конференции. Его слова отправляются на наш сервер распознавания речи. Аватар показывает нужные жесты, и все это происходит практически синхронно!» – поясняет Михаил Гриф, профессор кафедры автоматизированных систем управления НГТУ.

Сначала эта разработка была протестирована на различных публичных мероприятиях. А потом ученые НГТУ перевели целый учебный видеокурс по материаловедению на русский жестовый язык. Выглядит это так: лектор представляет материал, в уголке экрана (телефона или компьютера) аватар переводит звуковой рассказ на язык жестов.

Прежде чем стать двигающимся персонажем на экране, аватар проходит технологию Motion Capture. Иными словами, при помощи специального костюма с датчиками ученые могут записывать жесты человека и переносить их в аватар. Умное «изделие» все это запоминает, а потом выдает на экран в нужной последовательности. Словарь постоянно пополняется.

Работа над технологией началась 25 лет назад в Новосибирске, под руководством ныне профессора Михаила Грифа.
«К нашей кафедре обратились с просьбой. Задачей было обучить глухих студентов информатике и вычислительной технике до уровня бакалавра. Мы с коллегами столкнулись с тем, что у нас была нехватка переводчиков. Мне пришла идея сделать компьютерный перевод. В 1997 году мы представили первый в мире вариант компьютерного переводчика на международной Сибирской ярмарке», – сообщает Михаил Гриф.

Следующим изобретением ученых стал «Сурдофон», над которым они работали с 2012 до 2017 года. Компьютерный персонаж «Сурдофона» позволял переводить речь в жесты, но движения переводчика не были похожи на человеческие. Поэтому не передавали все тонкости русского жестового общения. Эту проблему разработчики решили в 2021 году.

«Адаптис» участвует в разработке, они купили мокап-студию (прим. ред. Motion capture), в свою очередь НГТУ привлек исследователей и экспертов. Они больше по аватару, а мы, НГТУ, по распознаванию жестовой речи», – говорит профессор Гриф.

В таком партнерстве ученым удалось записать для аватара три тысячи жестов. Но это слишком мало для того, чтобы передать всё многообразие речи.

«Проблема заключается в многозначных словах и омонимах, аватар может неправильно их показать. Допустим, лисички – это могут быть грибы или животные. Поэтому нам нужно поставить модуль, который будет выявлять лексические значения», – добавляет Михаил Гриф.

Но для того, чтобы аватар появился в распоряжении любого нуждающегося, нужно решить еще массу технических проблем, а для этого требуются внушительные затраты. Михаил Гриф подмечает, что в будущем НГТУ планирует и другие разработки, которые будут касаться перевода с русского жестового языка.

Источник: Сибрай.ru

Назад к списку новостей

Хронология

Популярные темы

Видео

Видеогалерея

Фото

Фотогалерея

Социальные проекты
для прессы