Москва, Павелецкая наб., 2с3 +7 (499) 550-10-36

Новые технологии для жестовых языков – в деле искусственный интеллект

В России и Великобритании появились два независимых друг от друга проекта, связанных с переводом с языка жестов. Так, новосибирские учёные на основе нейросети разработали онлайн-переводчик, работающий в режиме реального времени. Одновременно британский стартап Robotica создаёт ультрасовременный искусственный интеллект, способный переводить язык жестов.

Подобный ИИ позволит осуществлять мгновенный перевод на все языки жестов в любом формате и в любых масштабах. Над проектом работает Robotica Machine Learning Limited – компания из Норвича, специализирующаяся на аудиовизуальном машинном обучении. Её деятельность затрагивает такие области, как неврология, телекоммуникация, видеоигры, технологии захвата движения, искусственный интеллект, перевод, 3D видео. В Великобритании компания занимается визуальными переводами для телевидения, общественного транспорта, досуга и образования.

«В мире ощущается нехватка переводчиков с языка жестов. Они действительно усердно работают, чтобы улучшить жизнь в больницах и залах суда, на собеседованиях при приёме на работу, помогая людям купить новый дом. Это сложная работа и на её освоение уходят годы. Даже если бы переводчиков было в 100 раз больше, их всё равно оказалось бы недостаточно, чтобы удовлетворить потребности цифрового мира, жаждущего контента (…) Единственный способ, которым пользователи языка жестов могут получить равный доступ к информации и развлечениям, – это машинный перевод», – поясняет Генеральный директор Robotica Machine Learning Limited Адриан Пикеринг.

В свою очередь, учёные Новосибирского государственного технического университета (НГТУ НЭТИ) обучили собственную нейросеть распознавать русский жестовый язык и на её основе создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме реального времени.

Запуск приложения для смартфонов, чат-бота, а также переводчика лекций для студентов планируется уже текущей осенью. Об этом рассказал ТАСС профессор кафедры автоматизированных систем управления НГТУ НЭТИ, разработчик Михаил Гриф.

«Для глухих сделали переводчик в две стороны. И от слышащего к глухому и от глухого к слышащему. Для массового потребителя, чтобы могли глухие использовать смартфоны. В середине сентября планируем запустить чат-бот и перевод лекций для студентов», – сказал Михаил Гриф.

По его словам, разработка ведется совместно со стратегическим партнером – компанией «Адаптис». Чтобы обучить нейронную сеть распознаванию жестов специалисты постоянно собирают большой объем исходных данных. Работа над качеством перевода будет продолжаться, русский жестовый язык имеет свою грамматику, поэтому важно выделять не отдельные слова, а грамматические конструкции, «вылавливать» многозначные слова, омонимы и другие языковые сложности.

По словам Михаила Грифа, при помощи мобильного приложения глухой и слышащий смогут общаться в режиме реального времени. Нейросеть распознаёт слова слышащего и сразу переводит их на язык жестов, который демонстрирует компьютерный аватар на гаджете неслышащего собеседника. В свою очередь, жестовая речь глухого считывается видеокамерой, нейросеть также распознаёт её и переводит в текст, либо в звучащую речь. При этом задержка перевода не превышает одну секунду.

В НГТУ в настоящее время обучаются более 150 глухих студентов. В сентябре они начали тестировать переводчик лекций в двух разных режимах. В онлайн-режиме слова преподавателя распознаются и сразу же передаются на смартфон неслышащего. Офлайн-режим подразумевает, что лекция записывается и переводится заранее. Её на языке жестов по ходу занятий транслирует аватар.

В конце месяца планируется добавить возможность разъяснения терминов или непонятных слов для студентов разных факультетов. Обучающийся может остановить трансляцию и посмотреть, что значит тот или иной термин на русском жестовом языке.

В разработке принимает участие глухой выпускник аспирантуры НГТУ Алексей Приходько. Он пишет кандидатскую диссертацию на кафедре автоматизированных систем управления НГТУ НЭТИ и выступает разработчиком и экспертом в проекте создания сурдопереводчика.

Последние новости

19.04.24

Поделись мечтой и выиграй шагающую электроколяску-трансформер!…

Компания Caterwil объявила о старте творческого конкурса для людей с инвалидностью, нуждающихся в кресле-коляске. Для участия достаточно…

19.04.24

Комплексная реабилитация участников СВО: что страна…

Специальная военная операция внесла свои коррективы в работу российских производителей ТСР и организаций, оказывающих услуги по реабилитации.…

18.04.24

Всероссийский фестиваль ВОИ по парусному спорту стартует…

Ключевое событие лета и одно из основных мероприятий Всероссийского общества инвалидов (ВОИ) стартует уже 1 мая. В этот день в Тюмени…

16.04.24

Античная монета раскрыла тайну забытого императора

Нумизматика – ключ к нашему прошлому. Это не пустое бахвальство. Переоценить значение науки о древних монетах для истории очень трудно.…

15.04.24

Услышать победу: английский футбольный клуб одел глухих…

Глухие и слабослышащие фанаты футбольного клуба «Ньюкасл Юнайтед» в минувшую субботу смогли почувствовать шум стадиона в буквальном…

12.04.24

Государство оплатит авиаперелёты инвалидов II группы…

В Государственной Думе предложили ввести субсидии на авиабилеты для инвалидов IIгруппы. С такой инициативой выступила депутат Яна Лантратова,…

10.04.24

Оплачиваемая стажировка в Ростове-на-Дону: протезирование…

Центр «Технологии возможностей» и Народный фронт приглашают специалистов, работающих на территории ДНР, ЛНР, Запорожской и Херсонской…

09.04.24

Предприятия реабилитационной индустрии стали победителями…

29 февраля 2024 года в Москве на площадке ВЭБ Центра были обнародованы результаты конкурса растущих российских брендов «Знай наших»,…

05.04.24

Выявлять! Демонстрировать! Тиражировать!

III Международный форум-выставка социальных технологий «СОЦИО» пройдет с 13 по 18 мая 2024 года под единой концепцией «Равный разному…

Выделите опечатку и нажмите Ctrl + Enter, чтобы отправить сообщение об ошибке.