УДК 81.25

ПОДХОД К РЕАЛИЗАЦИИ ПЕРЕВОДА ЖЕСТОВОЙ РЕЧИ В ЭЛЕКТРОННОЙ СПРАВОЧНО-АНАЛИТИЧЕСКОЙ СИСТЕМЕ «ТОЛКОВЫЙ ЛЕКСИКОГРАФИЧЕСКИЙ СЛОВАРЬ РУССКОГО ЖЕСТОВОГО ЯЗЫКА»

Аннотация: в настоящей работе рассматривается проблема технологического обеспечения коммуникации с лицами, осуществляющими межличностное общение исключительно на русском жестовом языке без привлечения переводчиков. Приводятся элементы технологического решения существующей проблемы перевода «жест-слово», реализованной в прототипе «Электронной справочно-аналитической системы “Толковый лексикографический словарь русского жестового языка”».

Ключевые слова: русский жестовый язык, коммуникация, система, переводчик.

AN APPROACH TO THE IMPLEMENTATION OF SIGN LANGUAGE TRANSLATION IN THE ELECTRONIC REFERENCE AND ANALYTICAL SYSTEM « EXPLANATORY LEXICOGRAPHIC DICTIONARY OF THE RUSSIAN SIGN LANGUAGE»

Abstract: this paper deals with the problem of technological support of communication with persons who carry out interpersonal communication exclusively in Russian sign language without the involvement of translators. The article presents the elements of a technological solution to the existing problem of translation «gesture-word», implemented in the prototype of the «Electronic reference and analytical system» Explanatory lexicographic dictionary of the Russian sign language».

Keywords: Russian sign language, communication, system, translator.

Федеральный закон № 68 от 21.12.1994 «О защите населения и территорий от чрезвычайных ситуаций природного и техногенного характера» [1] определяет принципы защиты населения и территорий от ЧС, а также предусматривает ряд обязанностей для граждан Российской Федерации. Среди прочего, в контексте проводимого исследования стоит выделить следующие моменты в данном федеральном законе:

1) согласно п.1,2 ст. 7 ФЗ № 68, планирование и осуществление мероприятий по защите населения и территорий от ЧС проводится с учетом экономических, природных и иных характеристик, особенностей территорий и степени реальной опасности возникновения ЧС [1];

2) согласно п.3,4 ст.19 ФЗ № 68, граждане обязаны изучать основные способы защиты населения и территорий от ЧС, приемы оказания первой помощи, правила охраны жизни людей на водных объектах, правила пользования коллективными и индивидуальными средствами защиты, постоянно совершенствовать свои знания и практические навыки в указанной области. Помимо этого, граждане обязаны выполнять правила поведения при введении режима повышенной готовности или чрезвычайной ситуации [1].

Среди граждан Российской Федерации, существует значительная часть людей, имеющих полную или частичную потерю слуха. Согласно статистике, на 2018 год в России к данной категории граждан относится 13 миллионов человек [2]. Важно понимать, что данная категория граждан имеет очень серьезные коммуникативные проблемы при взаимодействии со здоровой частью населения, а также при взаимодействии с различными органами государственной власти. К примеру, в работе Ю. М. Гусева и Е. Ю. Домрачёвой [3] проиллюстрирована проблема взаимодействия представителей органов внутренних дел с лицами, имеющими отклонения по слуху.

Учитывая, что в настоящее время в Российской Федерации существует лишь около тысячи переводчиков русского жестового языка, возникает серьезная проблема относительно реализации вышеприведенных пунктов ФЗ № 68 в отношении граждан с инвалидизирующей потерей слуха, а именно:

- Существующие технологии оповещения и информирования граждан о порядке действий в условиях ЧС не могут выполнять свою целевую функцию в отношении граждан с инвалидизирующей потерей слуха;

- категория граждан с отклонениями по слуху не способна самостоятельно совершенствовать свои знания и практические навыки в вопросах ГО ЧС. В первую очередь, в виду отсутствия информационных материалов на жестовом языке и невысокого уровня образования в общем.

Таким образом, в случае чрезвычайной ситуации сотрудники подразделений, реализующие выполнение аварийно-спасательных и других неотложных работ, должны иметь специальную подготовку в части владения жестовым языком либо иметь средства коммуникации с указанной категорией граждан.

Реализация технических средств коммуникации на русском жестовом языке в настоящее время не может быть реализована по следующим причинам:

1. Существующие словари позволяют осуществлять словарный перевод только с русского на жестовый язык, технология обратного словарного перевода не реализована;

2. Схема перевода предусматривает соответствие один к одному, т. е. жесту придается только номинальное значение слова;

3. Не решена проблема многозначности слова при переводе на жестовый язык;

4. Не рассмотрена проблема многозначности жеста при переводе с жестового языка.

В целях формализации средства коммуникации с рассматриваемой категорией граждан, разработан прототип «Электронной справочно-аналитической системы “Толковый лексикографический словарь русского жестового языка”», в котором указанные проблемы обрели технологическое решение.

Технология перевода слов различных языков, как правило, основывается на базах данных соответствий набора символов колонки «А» набору символов из колонки «Б». Более сложные варианты автоматизированных переводчиков решают задачу определения множественного соответствия через контекст. При автоматизации словарного перевода на жестовый язык используется аналогичный принцип. Набор символов из колонки «А» соответствует фото или видеофайлу колонки «Б». Примеры подобных словарей приведены в работе [4].

Исходя из работы [5], жест – это пространственно-кинетическая форма выражения понятия, которую нельзя записать словами, и которая существует только в момент воспроизведения. Основная проблема реализации обратного перевода заключается в формировании запроса поиска соответствия. Если слова возможно ввести в поле символов для последующего распознавания системой, то что именно следует ввести для распознавания семантического содержания видеофайла остается вопросом. Любая система способна понимать только символы и, исходя из этого, формируется частная задача, которая заключается в разработке подхода идентификации жеста в системе.

В качестве решения, предлагается подход, основанный на киремной декомпозиции жеста (декомпозиции визуальных признаков). Такой метод позволит ничего не знающему о жестовом языке человеку определить некоторые динамические признаки, такие как: количество рук, зона воспроизведения жеста, постановка каждой из рук и т. д. Детальный анализ русского жестового языка позволил выделить 6 визуально определяемых признаков, входящих в состав жестов:

• количество рук;

• конфигурация кисти;

• локация жеста (место выполнение);

• направление движения;

• ориентация жеста (относительно тела и другой кисти);

• мимика.

Анализ каждого признака показал, что любой из них может иметь множество вариантов. Так, по количеству рук может быть либо 1 либо 2. Направление движения предусматривает все стороны пространства относительно говорящего, а так же диагональные плоскости, что в сумме дает 8 направлений. Локация жеста связывает его с местом на теле говорящего, к примеру, жест делается на уровне лба, груди, пояса и т. д. – суммарно получается 21 позиция. Ориентация жеста относительно тела и другой кисти подразумевает перпендикулярное или параллельное положение, что также дает два варианта. Что касается мимики, то на данный момент учитывается либо ее участие в жесте, либо ее отсутствие.

Такая интерпретация позволяет конкретизировать жест в системе посредством построения его формулы, то есть цифробуквенного набора строго определенного количества символов, общий вид которого представлен ниже (формула 1):

QzWxEcRvTbYn (1)

Где:

Q – признак количества рук;

z – численное значение признака Q. Соответственно z может иметь значения в зависимости от количества рук z є [1;2];

W – признак конфигурации кисти;

x – численное значение признака W. x є [1;80];

E – признак локации жеста;

c – численное значение признака E. с є [1;21];

R – признак направления движения;

v – численное значение признака R. v є [1;8];

T – признак ориентации жеста;

b – численное значение признака T. b є [1;2];

Y – признак мимики;

n – численное значение признака Y. n є [0;1];

Далее рассмотрим возможность работы такого подхода на примере. Разберем одноручный жест и сравним его с двуручным. В качестве одноручного жеста возьмем жест, обозначающий понятие «прямо» (рисунок 1) [5], в качестве двуручного жеста возьмем жест, обозначающий понятие «коридор» (Рисунок 2) [5]. Далее разберем эти жесты по параметрам признаков и сравним их формулы.

Рисунок 1 – жест, обозначающий понятие «прямо».

Признаки жеста, обозначающего понятие «прямо», имеют следующие параметры:

• количество рук – используется одна рука;

• конфигурация кисти – кисть прямая;

• локация жеста (место выполнение) – жест выполняется на уровне груди;

• направление движения – жест выполняется с движением от себя;

• ориентация жеста (относительно тела и другой кисти) – жест выполняется перпендикулярно телу;

• мимика – при выполнении жеста необходимость в мимике отсутствует.

Формула жеста, обозначающего понятие «прямо», имеет вид (формула 2):

 Q1W3E9R1T1Y0  (2)

Рисунок 2 – жест, обозначающий понятие «коридор».

Признаки жеста, обозначающего понятие «коридор», имеют следующие параметры:

• количество рук – используется две руки;

• конфигурация кисти – кисть прямая;

• локация жеста (место выполнение) – жест выполняется на уровне груди;

• направление движения – жест выполняется с движением от себя;

• ориентация жеста (относительно тела и другой кисти) – жест выполняется перпендикулярно телу;

• мимика – при выполнении жеста необходимость в мимике отсутствует.

Формула жеста, обозначающего понятие «коридор», имеет вид (формула 3):

 Q2W3E9R1T1Y0  (3)

При сравнении формулы (2) и (3) сразу становится очевидно, что они не равны. Можно сказать, что признаки являются конкретизаторами жеста, которые определяют его формулу. Таким образом, изложенный подход решает задачу конкретизации жеста в системе. В качестве системы управления предполагается использовать интерфейс, приведенный на рисунке 3.

Рисунок 3 – интерфейс ввода поиска жеста

Данный интерфейс позволяет решить задачу словарного перевода жестов русского языка на слова русского языка. Понятность интерфейса позволяют реализовать такую процедуру человеку, не имеющему какой-либо подготовки в области русского жестового языка.

Таким образом, в составе разработанного прототипа реализована система словарного перевода «слова-жест» и «жест-слова», что, по сути, несет в себе функционал, достаточный для реализации коммуникации с лицами, имеющими инвалидизирующую потерю слуха. Сама по себе система, может послужить основой для решения следующих задач:

- разработка средств и систем информирования граждан с инвалидизирующей потерей слуха о порядке действий в условиях ЧС;

- создание информационных материалов на жестовом языке, позволяющих гражданам с инвалидизирующей потерей слуха самостоятельно совершенствовать свои знания и умения в вопросах ГО и ЧС;

- разработка для подразделений АСДНР технических средств коммуникации с гражданами, имеющими инвалидизирующую потерю слуха.

Литература

1. Федеральный закон № 68 от 21.12.1994 «О защите населения и территорий от чрезвычайных ситуаций природного и техногенного характера» в редакции от 30.12.2008.

2. Томилова Т. И., Чуракова М. Д., Афанасенкова Н. В. Динамика физических качеств у детей младшего школьного возраста с нарушением слуха в процессе физической реабилитации //Международный студенческий научный вестник. – 2018. – №. 5. – С. 198–198.

3. Гусев Ю. М., Домрачёва Е. Ю. О роли русского жестового языка в служебной деятельности сотрудников полиции // ППД. 2018. № 3.

4. Харламенков А. Е. Аналитический обзор электронных on-line словарей жестовых языков: монография / А. Е. Харламенков. – Москва: РУСАЙНС, 2017. – 218 с.

5. Харламенков А. Е. Русский жестовый язык. Начала. Жестово-русский словарь: [Учебное пособие]: Русский жестовый язык. Начала / А. Е. Харламенков. – Москва: Издательство «ОнтоПринт»,. – 556 с.