Новосибирские учёные создали онлайн-переводчик для жестового языка

Прорыв в создании инклюзивной среды совершили исследователи Новосибирского государственного технического университета (НГТУ НЭТИ). Ими разработана уникальная нейронная сеть, способная распознавать русский жестовый язык, и на ее основе создан интерактивный онлайн-переводчик.

Главная цель инновации – обеспечить живое общение в реальном времени между людьми с нарушениями слуха и слышащими. Технология призвана преодолеть языковые барьеры, существенно упростив взаимодействие в повседневной жизни, на работе, учебе или при обращении в учреждения.

Как это будет работать?

Разработчики предлагают целый комплекс решений для разных ситуаций:

– Браузерное расширение для перевода жестового языка непосредственно на сайтах и в онлайн-сервисах;

– Мобильное приложение, обеспечивающее доступ к переводчику в любом месте;

– Десктопное приложение, интегрируемое с видеоплеерами и другим ПО на компьютерах;

– Специализированные системы для информационных терминалов в аптеках, поликлиниках, банках и МФЦ, чтобы сделать обслуживание быстрым и точным.

Уже сейчас технология показывает результаты. Чат-бот для абитуриентов НГТУ НЭТИ, созданный на базе этой нейросети, активно помогает глухим и слабослышащим абитуриентам в процессе поступления, делая его значительно доступнее.

Разработчики не сомневаются, что сделали важный шаг к созданию по-настоящему безбарьерной среды и стремятся к тому, чтобы каждый человек, независимо от особенностей слуха, мог полноценно участвовать в жизни общества, а общение было простым и понятным для всех.

Дополнительно к переводчику учёные представили первый в России видео-словарь спортивной терминологии на русском жестовом языке. Этот ресурс предназначен для тренеров, преподавателей адаптивной физкультуры и всех, кто работает над доступностью спорта для людей с нарушениями слуха.

Разработка новосибирских учёных открывает новые горизонты для социальной интеграции и в перспективе может упростить коммуникацию для десятков тысяч людей по всей стране.