Новые технологии для жестовых языков – в деле искусственный интеллект

В России и Великобритании появились два независимых друг от друга проекта, связанных с переводом с языка жестов. Так, новосибирские учёные на основе нейросети разработали онлайн-переводчик, работающий в режиме реального времени. Одновременно британский стартап Robotica создаёт ультрасовременный искусственный интеллект, способный переводить язык жестов.

Подобный ИИ позволит осуществлять мгновенный перевод на все языки жестов в любом формате и в любых масштабах. Над проектом работает Robotica Machine Learning Limited – компания из Норвича, специализирующаяся на аудиовизуальном машинном обучении. Её деятельность затрагивает такие области, как неврология, телекоммуникация, видеоигры, технологии захвата движения, искусственный интеллект, перевод, 3D видео. В Великобритании компания занимается визуальными переводами для телевидения, общественного транспорта, досуга и образования.

«В мире ощущается нехватка переводчиков с языка жестов. Они действительно усердно работают, чтобы улучшить жизнь в больницах и залах суда, на собеседованиях при приёме на работу, помогая людям купить новый дом. Это сложная работа и на её освоение уходят годы. Даже если бы переводчиков было в 100 раз больше, их всё равно оказалось бы недостаточно, чтобы удовлетворить потребности цифрового мира, жаждущего контента (…) Единственный способ, которым пользователи языка жестов могут получить равный доступ к информации и развлечениям, – это машинный перевод», – поясняет Генеральный директор Robotica Machine Learning Limited Адриан Пикеринг.

В свою очередь, учёные Новосибирского государственного технического университета (НГТУ НЭТИ) обучили собственную нейросеть распознавать русский жестовый язык и на её основе создали двусторонний онлайн-переводчик для общения глухих и слышащих в режиме реального времени.

Запуск приложения для смартфонов, чат-бота, а также переводчика лекций для студентов планируется уже текущей осенью. Об этом рассказал ТАСС профессор кафедры автоматизированных систем управления НГТУ НЭТИ, разработчик Михаил Гриф.

«Для глухих сделали переводчик в две стороны. И от слышащего к глухому и от глухого к слышащему. Для массового потребителя, чтобы могли глухие использовать смартфоны. В середине сентября планируем запустить чат-бот и перевод лекций для студентов», – сказал Михаил Гриф.

По его словам, разработка ведется совместно со стратегическим партнером – компанией «Адаптис». Чтобы обучить нейронную сеть распознаванию жестов специалисты постоянно собирают большой объем исходных данных. Работа над качеством перевода будет продолжаться, русский жестовый язык имеет свою грамматику, поэтому важно выделять не отдельные слова, а грамматические конструкции, «вылавливать» многозначные слова, омонимы и другие языковые сложности.

По словам Михаила Грифа, при помощи мобильного приложения глухой и слышащий смогут общаться в режиме реального времени. Нейросеть распознаёт слова слышащего и сразу переводит их на язык жестов, который демонстрирует компьютерный аватар на гаджете неслышащего собеседника. В свою очередь, жестовая речь глухого считывается видеокамерой, нейросеть также распознаёт её и переводит в текст, либо в звучащую речь. При этом задержка перевода не превышает одну секунду.

В НГТУ в настоящее время обучаются более 150 глухих студентов. В сентябре они начали тестировать переводчик лекций в двух разных режимах. В онлайн-режиме слова преподавателя распознаются и сразу же передаются на смартфон неслышащего. Офлайн-режим подразумевает, что лекция записывается и переводится заранее. Её на языке жестов по ходу занятий транслирует аватар.

В конце месяца планируется добавить возможность разъяснения терминов или непонятных слов для студентов разных факультетов. Обучающийся может остановить трансляцию и посмотреть, что значит тот или иной термин на русском жестовом языке.

В разработке принимает участие глухой выпускник аспирантуры НГТУ Алексей Приходько. Он пишет кандидатскую диссертацию на кафедре автоматизированных систем управления НГТУ НЭТИ и выступает разработчиком и экспертом в проекте создания сурдопереводчика.