Команда программистов из исследовательского центра IBM Hursley в Великобритании разработала новую систему «Say It Sign It», позволяющую переводить устную речь в язык жестов, которым пользуются глухие. Теперь люди, имеющие проблемы со слухом, могут воспользоваться услугами синхронного виртуального сурдопереводчика. Впрочем, пока система может работать только с определённым национальным видом языка жестов – английским. Однако сам факт создания подобной системы говорит о том, что в скором времени проблемы коммуникации, возникающие зачастую у слабослышащих или глухих людей, уменьшатся.
Система «Say It Sign It», или, как её ласково называют разработчики, SiSi объединяет несколько компьютерных технологий. Сначала специальный модуль распознавания речи преобразуют произнесённые одним из пользователей в микрофон слова в текст. Затем специальная программа «прогоняет» текст через программу-переводчика, которая анализирует сказанное и переводит текст в английский язык жестов, в то время как виртуальный аватар изображает переведённый фрагмент.
Существует два вида жестовых языков общения глухих – так называемый разговорный и калькирующий языки жестов.
Разговорный жестовый язык основан на системе жестов, обозначающих основные понятии и предметы, а также действия. Этот язык интернационален и знаком глухим во всё мире, однако его знаковая система недостаточно богата, а грамматика недостаточно развита для полномасштабного общения. Имена, названия и другие понятия, для которых в разговорном жестовом языке отсутствуют обозначения, передаются с помощью дактилирования – воспроизведения пальцевой азбуки, или дактилологии, играющих вспомогательную роль в разговорном общении.
Калькирующий жестовый язык используется для сурдоперевода и в других формальных ситуациях – для публичных выступлений, лекций и так далее. Символика калькирующего жестового языка, сохраняя многие знаки из международного разговорного, зависит от того естественного языка, на котором общаются в данном. Кроме того, калькирующий жестовый язык заимствует грамматику естественного для данной территории, используя для обозначения вспомогательных слов и частей слова дактилирование. Кроме того, калькирующая речь, как правило, сопровождается максимально чёткой артикуляцией слов, передаваемых в разговоре.
Пальцевая азбука также своя для каждой страны, хотя многие символы едины для естественных языков, близких по написанию той или иной буквы или произношению того или иного звука. Она может использовать как одну (например, русская или американская система) или обе ладони (пример – британская).
По материалам «Круглого стола по религиозному образованию» и Учебно-воспитательного комплекса № 1838 для глухих детей
Таким образом, как утверждают разработчики, аватар сможет появляться на экранах телевизоров, персональных компьютеров и ноутбуков, телефонов и даже дисплеев в аудитории. При этом пользователи смогут самостоятельно настроить параметры виртуального сурдопереводчика, выбрав, таким образом, как размер, так и внешний вид аватара.
По словам создателей системы, SiSi может управляться так называемым промежуточным программным сервером, который предназначен для построения корпоративных систем компьютерной телефонии, и может объединять клиентов, независимо от расположения пользовательских приложений, данных и серверов компьютерной телефонии. Таким образом, адресант и адресат смогут общаться друг с другом, находясь не только в разных зданиях, но даже в разных странах.
Как отмечают специалисты, в частности глава Отдела разработок Королевского национального института изучения болезней слуха Гидо Гибелс, система сурдоперевода от IBM пока применима только для носителей английского языка жестов.
Сейчас программисты работают над адаптацией системы под другие национальные виды языка жестов.
На сегодняшний день система распознавания речи не может предоставить возможности быстрого и свободного диалога между людьми. Проблема усугубляется тем, что языки жестов в отличие от обыкновенных национальных языков изучены недостаточно глубоко и существующие словари не всегда предоставляют корректную и современную информацию. Кроме того, виртуальные аватары не могут передать все особенности мимики и жестов, которые используют обычные сурдопереводчики.
Следует отметить, что подобные разработки велись и в России.
Правда, разработанная программа работает лишь с текстами и не позволяет пока распознавать устную речь. Кроме того, в ходе работы над продуктом специалисты также столкнулись с проблемами преобразования системы выражения понятий в естественном и жестовом языках и недостаточным объёмом словарей жестовых языков. Вместе с тем, соответствующая побуквенная азбука уже реализована в виде online-приложения.
