Москва, Павелецкая наб., 2с3 +7 (499) 550-10-36

Новые технологии для жестовых языков – в деле искусственный интеллект

В России и Великобритании появились два независимых друг от друга проекта, связанных с переводом с языка жестов. Так, новосибирские учёные на основе нейросети разработали онлайн-переводчик, работающий в режиме реального времени. Одновременно британский стартап Robotica создаёт ультрасовременный искусственный интеллект, способный переводить язык жестов.

Подобный ИИ позволит осуществлять мгновенный перевод на все языки жестов в любом формате и в любых масштабах. Над проектом работает Robotica Machine Learning Limited – компания из Норвича, специализирующаяся на аудиовизуальном машинном обучении. Её деятельность затрагивает такие области, как неврология, телекоммуникация, видеоигры, технологии захвата движения, искусственный интеллект, перевод, 3D видео. В Великобритании компания занимается визуальными переводами для телевидения, общественного транспорта, досуга и образования.

«В мире ощущается нехватка переводчиков с языка жестов. Они действительно усердно работают, чтобы улучшить жизнь в больницах и залах суда, на собеседованиях при приёме на работу, помогая людям купить новый дом. Это сложная работа и на её освоение уходят годы. Даже если бы переводчиков было в 100 раз больше, их всё равно оказалось бы недостаточно, чтобы удовлетворить потребности цифрового мира, жаждущего контента (…) Единственный способ, которым пользователи языка жестов могут получить равный доступ к информации и развлечениям, – это машинный перевод», – поясняет Генеральный директор Robotica Machine Learning Limited Адриан Пикеринг.

В свою очередь, учёные Новосибирского государственного технического университета (НГТУ НЭТИ) обучили собственную нейросеть распознавать русский жестовый язык и на её основе создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме реального времени.

Запуск приложения для смартфонов, чат-бота, а также переводчика лекций для студентов планируется уже текущей осенью. Об этом рассказал ТАСС профессор кафедры автоматизированных систем управления НГТУ НЭТИ, разработчик Михаил Гриф.

«Для глухих сделали переводчик в две стороны. И от слышащего к глухому и от глухого к слышащему. Для массового потребителя, чтобы могли глухие использовать смартфоны. В середине сентября планируем запустить чат-бот и перевод лекций для студентов», – сказал Михаил Гриф.

По его словам, разработка ведется совместно со стратегическим партнером – компанией «Адаптис». Чтобы обучить нейронную сеть распознаванию жестов специалисты постоянно собирают большой объем исходных данных. Работа над качеством перевода будет продолжаться, русский жестовый язык имеет свою грамматику, поэтому важно выделять не отдельные слова, а грамматические конструкции, «вылавливать» многозначные слова, омонимы и другие языковые сложности.

По словам Михаила Грифа, при помощи мобильного приложения глухой и слышащий смогут общаться в режиме реального времени. Нейросеть распознаёт слова слышащего и сразу переводит их на язык жестов, который демонстрирует компьютерный аватар на гаджете неслышащего собеседника. В свою очередь, жестовая речь глухого считывается видеокамерой, нейросеть также распознаёт её и переводит в текст, либо в звучащую речь. При этом задержка перевода не превышает одну секунду.

В НГТУ в настоящее время обучаются более 150 глухих студентов. В сентябре они начали тестировать переводчик лекций в двух разных режимах. В онлайн-режиме слова преподавателя распознаются и сразу же передаются на смартфон неслышащего. Офлайн-режим подразумевает, что лекция записывается и переводится заранее. Её на языке жестов по ходу занятий транслирует аватар.

В конце месяца планируется добавить возможность разъяснения терминов или непонятных слов для студентов разных факультетов. Обучающийся может остановить трансляцию и посмотреть, что значит тот или иной термин на русском жестовом языке.

В разработке принимает участие глухой выпускник аспирантуры НГТУ Алексей Приходько. Он пишет кандидатскую диссертацию на кафедре автоматизированных систем управления НГТУ НЭТИ и выступает разработчиком и экспертом в проекте создания сурдопереводчика.

Последние новости

19.07.24

Граждане, ухаживающие за инвалидами, могут получить…

Уход за человеком с инвалидностью или престарелым родственником в ближайшем будущем может стать основанием для перевода сотрудника…

18.07.24

В Совете Федерации обсудили поддержку ветеранов СВО…

Заместитель председателя фонда «Защитники Отечества» по социальному блоку Татьяна Лотоцкая выступила с докладом в Совете Федерации.…

17.07.24

Приобретённая инвалидность – как принять своё новое…

Делегация представителей компаний индустрии «Нейронет» примет участие в проектно-образовательном интенсиве «Архипелаг 2024», где поделится…

15.07.24

Эксперты «Нейронет» расскажут о возможностях нейротехнологий…

Люди, получившие инвалидность во взрослом возрасте, рискуют надолго выпасть из жизни из-за депрессии и переживаний. Чтобы пережить…

12.07.24

ВОИ приглашает людей с инвалидностью на физкультурно-спортивный…

До 1 августа принимаются заявки на участие в фестивале Всероссийского общества инвалидов «Сочи-2024». На физкультурно-спортивное мероприятие…

11.07.24

IX Всероссийский молодёжный форум глухих пройдёт в…

Завтра, 12 июля стартует IX Всероссийский молодёжный форум Всероссийского общества глухих (ВОГ). Мероприятие пройдёт в Республике Башкортостан…

09.07.24

Правительство ДНР включилось в реализацию программы…

Жители Донбасса, которые участвуют в программе «Сектор интеграции», теперь могут пройти медико-социальную экспертизу и оформить инвалидность…

03.07.24

Жительница Авдеевки снова будет слышать благодаря проекту…

Наталья из Авдеевки 10 лет прожила под обстрелами. Из-за постоянной канонады у женщины почти полностью пропал слух. Качественную помощь…

02.07.24

Реабилитационная индустрия России в лицах и инновациях:…

IX Национальный форум реабилитационной индустрии и универсального дизайна «Надежда на технологии» стал самым крупным мероприятием в…

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение об ошибке.