Москва, Павелецкая наб., 2с3 +7 (499) 550-10-36

Новые технологии для жестовых языков – в деле искусственный интеллект

В России и Великобритании появились два независимых друг от друга проекта, связанных с переводом с языка жестов. Так, новосибирские учёные на основе нейросети разработали онлайн-переводчик, работающий в режиме реального времени. Одновременно британский стартап Robotica создаёт ультрасовременный искусственный интеллект, способный переводить язык жестов.

Подобный ИИ позволит осуществлять мгновенный перевод на все языки жестов в любом формате и в любых масштабах. Над проектом работает Robotica Machine Learning Limited – компания из Норвича, специализирующаяся на аудиовизуальном машинном обучении. Её деятельность затрагивает такие области, как неврология, телекоммуникация, видеоигры, технологии захвата движения, искусственный интеллект, перевод, 3D видео. В Великобритании компания занимается визуальными переводами для телевидения, общественного транспорта, досуга и образования.

«В мире ощущается нехватка переводчиков с языка жестов. Они действительно усердно работают, чтобы улучшить жизнь в больницах и залах суда, на собеседованиях при приёме на работу, помогая людям купить новый дом. Это сложная работа и на её освоение уходят годы. Даже если бы переводчиков было в 100 раз больше, их всё равно оказалось бы недостаточно, чтобы удовлетворить потребности цифрового мира, жаждущего контента (…) Единственный способ, которым пользователи языка жестов могут получить равный доступ к информации и развлечениям, – это машинный перевод», – поясняет Генеральный директор Robotica Machine Learning Limited Адриан Пикеринг.

В свою очередь, учёные Новосибирского государственного технического университета (НГТУ НЭТИ) обучили собственную нейросеть распознавать русский жестовый язык и на её основе создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме реального времени.

Запуск приложения для смартфонов, чат-бота, а также переводчика лекций для студентов планируется уже текущей осенью. Об этом рассказал ТАСС профессор кафедры автоматизированных систем управления НГТУ НЭТИ, разработчик Михаил Гриф.

«Для глухих сделали переводчик в две стороны. И от слышащего к глухому и от глухого к слышащему. Для массового потребителя, чтобы могли глухие использовать смартфоны. В середине сентября планируем запустить чат-бот и перевод лекций для студентов», – сказал Михаил Гриф.

По его словам, разработка ведется совместно со стратегическим партнером – компанией «Адаптис». Чтобы обучить нейронную сеть распознаванию жестов специалисты постоянно собирают большой объем исходных данных. Работа над качеством перевода будет продолжаться, русский жестовый язык имеет свою грамматику, поэтому важно выделять не отдельные слова, а грамматические конструкции, «вылавливать» многозначные слова, омонимы и другие языковые сложности.

По словам Михаила Грифа, при помощи мобильного приложения глухой и слышащий смогут общаться в режиме реального времени. Нейросеть распознаёт слова слышащего и сразу переводит их на язык жестов, который демонстрирует компьютерный аватар на гаджете неслышащего собеседника. В свою очередь, жестовая речь глухого считывается видеокамерой, нейросеть также распознаёт её и переводит в текст, либо в звучащую речь. При этом задержка перевода не превышает одну секунду.

В НГТУ в настоящее время обучаются более 150 глухих студентов. В сентябре они начали тестировать переводчик лекций в двух разных режимах. В онлайн-режиме слова преподавателя распознаются и сразу же передаются на смартфон неслышащего. Офлайн-режим подразумевает, что лекция записывается и переводится заранее. Её на языке жестов по ходу занятий транслирует аватар.

В конце месяца планируется добавить возможность разъяснения терминов или непонятных слов для студентов разных факультетов. Обучающийся может остановить трансляцию и посмотреть, что значит тот или иной термин на русском жестовом языке.

В разработке принимает участие глухой выпускник аспирантуры НГТУ Алексей Приходько. Он пишет кандидатскую диссертацию на кафедре автоматизированных систем управления НГТУ НЭТИ и выступает разработчиком и экспертом в проекте создания сурдопереводчика.

Последние новости

16.05.25

«Нейронет» в 2025 году: российские эксперты определили…

14 мая 2025 года по традиции в «Точке кипения – Москва» состоялось очередное заседание Штаба рабочей группы «Нейронет», посвящённое…

16.05.25

Бесплатный реабилитационный курс ВОИ: учимся жить активно…

Всероссийское общество инвалидов (ВОИ) приглашает людей с травмой позвоночника принять участие в Реакурсе – уникальной программе, помогающей…

15.05.25

Россия взяла второе место на чемпионате мира по дзюдо…

В Астане завершился чемпионат мира по дзюдо Международной федерации спорта слепых, в котором приняли участие 220 спортсменов из 37…

15.05.25

С 1 марта 2026 года справку об инвалидности можно будет…

Минтруд России утвердил новые формы документов, подтверждающих инвалидность, а также выписки из актов медико-социальной экспертизы…

14.05.25

Отцы детей-инвалидов могут оформить пенсию досрочно

Мужчины, воспитывающие детей с инвалидностью или оказавшиеся в сложной жизненной ситуации, могут получить право на досрочный выход…

14.05.25

В Великом Новгороде пройдёт межрегиональный параспортивный…

С 26 по 30 мая 2025 года в Великом Новгороде состоится межрегиональный спортивный фестиваль для людей с поражением опорно-двигательного…

13.05.25

«Нейронет» в образовании: как технологии учат учиться

7 мая на площадкеPruffme прошёл вебинар, посвящённый революционным нейротехнологиям в образовании. Эксперты отрасли обсудили перспективные…

07.05.25

Искусство без границ: стартовал приём заявок на конкурс…

Национальный фонд развития реабилитации приглашает к участию в конкурсе талантов людей с инвалидностью от 6 лет из России и Беларуси.…

06.05.25

VR в образовании: эксперимент доказал, что виртуальная…

В Технопарке им. Капицы провели исследование, сравнивающее эффективность обучения с помощью VR-очков и обычного 2D-экрана. Результаты…

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение об ошибке.