Аннотация: В данной статье представлено исследование по созданию системы визуализации русского-жестового языка. Рассматривается пример кроссплатформенной технологии, с помощью которой систему визуализации можно запустить на любом устройстве. В статье описан подход к анимированию и синтеза жестов с помощью разрабатываемой системы.
Научный руководитель: Харламенков А. Е.

Введение

Появление современных информационных технологий сильно изменило жизнь всего человечества. Как и любой виток в развитии научно-технического прогресса, информационные технологии крайне положительно влияют не только на производительность труда человека, но и на качество его жизни. Не малую роль информационные технологии играют в тех сферах, где другие естественные и гуманитарные науки ранее были практически бессильны. Например, активное развитие интеллектуальных систем и робототехники совершили прорыв в области протезирования. Таких примеров в современном мире великое множество. Однако на нашей планете до сих пор сохраняется множество социальных задач, которые остаются нерешёнными. Одной из таких задач является задача обеспечения свободной коммуникации для людей с нарушениями слуха. [15, 19 21]

Согласно статье 29 пункту 4 Конституции РФ, каждый гражданин «имеет право свободно искать, получать, передавать, производить и распространять информацию любым законным способом». Большинство глухих и слабослышащих людей общаются на русском жестовом языке и, хотя, он базируется на простом русском языке, РЖЯ всё-таки является самостоятельным ввиду того, что существует в совершенно иных представлениях. Такая ситуация провоцирует трудности не только в простом общении с другими гражданами, но в получении образования и информации из СМИ, что прямым образом нарушает приведённый выше фрагмент Конституции. Глухие не получается равных право со слышащими. С федеральных каналов пропал сурдоперевод, правительство не инициализирует никаких федеральных программ по интеграции глухих в общество. В связи с ростом интенсивности информационных потоков в начале XXI века данная проблема становится всё более и более острой. Однако именно благодаря современному уровню развития ИТ можно попробовать найти решение данной проблемы. [16, 17]

Постановка задачи

Одним из важнейших шагов на пути создания такого решения является построение системы визуализации жестового перевода. В процессе разработки подобной системы был выявлен ряд сложностей и технических аскетов, решение которых является ключевым в процессе создания качественной системы визуализации. Рассмотрим их подробнее:

1. Система визуализации должна быть воспринимаемой. Это касается почти всех аспектов процесса визуализации и вполне естественно, что прежде всего требуется качественная 3D модель человека. Но важны и другие аспекты. В частности, плохой жестовый подчерк непозволителен, с другой стороны чрезмерная механичность затрудняет восприятие. И качественная анимация такого уровня качественная требует больших временных затрат, профессиональных знаний и опыта.

2. Ввиду пункта 1 было бы логично рассмотреть возможность использования систем захвата движения. Однако у данных систем можно выявить определённые минусы. В первую очередь, качественные Motion Capture системы весьма дорогие, даже если рассматривать возможность их аренды. Также, полученный с помощью системы данные всё равно придётся подвергать пост-обработке и, хотя, это во многом ускоряет процесс, всё же технологически является весьма трудной задачей и, таким образом, приходится сталкиваться с трудностями, которые обозначены в пункте 1.

3. Определённые трудности также возникают в определении структуры для хранения данных. Она должна быть гибкой и ёмкой, однако не перегруженной, что может сказаться на производительности.

В результате получилось выделить несколько основных шагов по решению обозначенных проблем. Во-первых, наиболее разумным было бы использовать наработки существующих систем, используемых в создании игр и анимационного кино. Во-вторых, весьма перспективным выглядит идея создания упрощённого редактора жестов. И в-третьих, обязательным шагом будет разработка собственного формата данных для хранения анимационной информации.

Технология анимирования

Компьютерные игры на протяжении многих лет являются одним из катализаторов прогресса в мире вычислительной техники. Именно они стали причиной появления качественной трёхмерной графики. Позднее разработанные технологии стали активно использовать в анимационном и игровом кинематографе, а также многих других сферах. Рассмотрим ряд наиболее полезных технологий, использование которых позволяет достичь впечатляющих результатов.Одной из таких технологий является скелетная анимация. Суть её заключается в том, что аниматор создаёт скелет, представляющий собой как правило древообразную структуру костей, в которой каждая последующая кость «привязана» к предыдущей, то есть повторяет за ней движения и повороты с учётом иерархии в скелете.

Рис. 22. Контроллеры инверсной кинематики в Maya

Далее каждая вершина модели «привязывается» к какой либо кости скелета. Таким образом, при движении отдельной кости двигаются и все вершины, привязанные к ней. Благодаря этому задача аниматора сильно упрощается, потому что отпадает необходимость анимировать отдельно каждую вершину модели, а достаточно лишь задавать положение и поворот костей скелета. [1]

Скелетная анимация позволяет легко смешивать различные анимационные клипы, что позволяет бороться с неестественными изгибами суставов в ходе визуализации. Одним из важнейших преимуществ данной технологии является возможность спокойно смешивать анимационные клипы, отвечающие за движение предплечья, с анимацией, отвечающей за движение кисти и пальцев.

Другой технологией, дополняющей скелетную анимацию, является инверсная кинематика, представляющая собой процесс определения параметров связанных гибких объектов, таких как кинематическая цепь, для достижения необходимой позиции, ориентации и расположения этих объектов. Инверсная кинематика является типом планирования движения и активно используется в робототехнике, трёхмерной компьютерной анимации и в разработке компьютерных игр. Она используется в основном в тех ситуациях, когда необходимо точное позиционирование гибких сочленений одного объекта относительно других объектов окружающей среды. Использование инверсной кинематики в значительной степени ускоряет процесс построения анимационных клипов, делая их одновременно с этим более естественными Рис. 22.

Наиболее широкие возможности по использованию данных технологий предоставляет сочетание из двух систем: пакета Autodesk Maya с плагином HumanIK и игрового движка Unity3D. [2-4]

Сочетание возможностей пакета Maya и движка Unity3D дают непревзойдённое сочетание качества модели, плавности анимации и высокой производительности на любом устройстве. Maya является промышленным стандартом в производстве компьютерной 3D графики. Со знанием данной программы легче всего получить высокооплачиваемую должность. Среди профессиональных 3D-художников данный пакет используется чаще других. Этот трёхмерный редактор взят на вооружение такими крупными студиями, как Pixar, WaltDisney, Dreamworks и другими. [5]

Maya позволяет пройти все этапы создания 3D – от моделирования и анимации до текстурирования, композитинга и послойного рендеринга. Этот трёхмерный редактор может моделировать физику твёрдых и мягких тел, просчитывать поведение ткани, эмулировать текучие эффекты, позволяет детально настраивать причёску персонажей, создавать сухой и мокрый мех, анимировать волосы и т. д. Визитной карточкой программы является модуль PaintEffects, который даёт возможность рисовать виртуальной кистью такие трёхмерные объекты, как цветы, трава, объёмные узоры и прочее.

Отдельно хочется отметить основные преимущества Maya:

• реалистичная анимация персонажей во время исполнения симуляции;

• использование процедурной адаптации движения и перенацеливания;

• эффективное использование анимационных данных с меньшими техническими накладными расходами.

Рис. 23. Граф анимаций в Unity

Unity – межплатформенная среда разработки компьютерных игр и приложений. Unity позволяет создавать приложения, работающие под более чем 20 различными операционными системами, включающими персональные компьютеры, игровые консоли, мобильные устройства, Интернет-приложения и другие. Основными преимуществами Unity являются наличие визуальной среды разработки, межплатформенной поддержки и модульной системы компонентов. К недостаткам относят появление сложностей при работе с многокомпонентными схемами и затруднения при подключении внешних библиотек.

На Unity написаны сотни игр, приложений и симуляций, которые охватывают множество платформ и жанров. Вместе с тем Unity используется как крупными разработчиками, так независимыми студиями.

Синтез и редактирование жеста

Рис. 24. Прототип редактора жестов

Рис. 24. Прототип редактора жестов

Очень важно, чтобы система была гибкой. Именно это и стало основной причиной включения пункта о разработке системы упрощённого редактирования жестов. В данной системе жест рассматривается с точки зрения его составляющих. На первом этапе выделяются следующие составляющие:

• конфигурация (handshape);

• ориентация ладони (orientation);

• местоположение руки (location);

• движение (movement);

• мимика (facial expression). [8-14]

Комбинирование этих составляющих процедурным путём и удобный пользовательский интерфейс дают возможность работать с системой лингвистам и переводчикам, не имеющим опыта в 3D анимировании.

Одной из ключевых сложностей стало определение необходимого формата хранения данных и переменной информации. Рассмотрим, например, дактилему «А». Можно записать позиции руки и каждого пальца в трёх координатах, а также угол поворота для каждой оси. Эта запись выглядит как простой набор координат.

Но если возникает необходимость записать информацию о дактилеме «Д», то появляется проблема, которая заключается в том, что не до конца ясно как хранить информацию о движении, ведь дактилема «Д» состоит не только из конфигурации, но и движения. Для решения данной трудности существует несколько подходов. Один из них – хранение переменной информацию в виде анимационных ключей, которые затем интерполируются для плавности движения. Другим является хранение информации в виде уравнения, например, для вращения вокруг определённой точки будет задаваться своё уравнение. Для линейного или любого нелинейного движения – свои собственные уравнения. [6]

Здесь стоит вопрос оптимизации, управляемости и человекоподобности. При использовании уравнений теряется человекоподобность, потому что движения чётко заданы уравнением, и пропадают микродвижения, которые придают жесту живость. Однако, при использовании анимирования по ключевым кадрам для движений, которые можно описать уравнением на создание качественного движения потребуется много времени, а сам анимационный клип в итоге будет занимать намного больше объёма в памяти. После детального рассмотрения этих двух подходов, было принято решение в пользу гибридной системы, в которой сложные повторяющиеся движения хранятся в виде уравнений, а простые – в виде ключей. [7]

Модель системы и прототип приложения

Рис. 25. Схема модели системы

В ходе исследований нами была разработана следующая модель системы, представленная на Рис. 25. Модель состоит из нескольких элементов. Основным является подсистема анимирования и визуализирования. Она отвечает за отображение модели и её анимацию. На входе у системы — данные для анимации, которые получаются из подсистемы подбора слов.

В подсистеме подбора слов осуществляется конструирование и подбор анимации жеста или набора жестов. Подсистема подбора слов просматривает базу данных и выбирает необходимые данные исходя из того, что запросил пользователь.

Рис. 26. Прототип системы визуализации на примере приложения для телефона

На Рис. 26 можно увидеть прототип приложения «VisualSign». Основную рабочую область занимает сама модель. Внизу имеется поле для ввода текста, а также кнопки управления воспроизведением анимации. Вверху находится меню и переход в панель редактирования жестов, прототип которой находится в разработке.

Литература

1. Unity — Руководство: Animation (анимация) [Электронный ресурс]. – Режим доступа: https://docs.unity3d.com/ru/500/Manual/class-Animation.html (дата доступа 10.03.2018).

2. Hamm M. J. Wireframing Essentials / M. J. Hamm. – Packt Publishing, 2014. – 112 с.

3. Buttussi F. Using Web3D technologies for visualization and search of signs in an international sign language dictionary / F. Buttussi, L. Chittaro, M. Coppo. – ACM Press, 2007. – P. 61.

4. Talbot K. F. The Relation between Sign Language Skill and Spatial Visualization Ability: Mental Rotation of Three-Dimensional Objects: / K. F. Talbot, R. H. Haude // Perceptual and Motor Skills. – 2016. – The Relation between Sign Language Skill and Spatial Visualization Ability

5. Watt A. 3D Games: Real-Time Rendering and Software Technology, Volume 1 (With CD-ROM) / A. Watt, F. Policarpo. – P. 2.

6. Кривонос Ю. Г. Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации / Ю. Г. Кривонос, Ю. В. Крак // Кибернетика и системный анализ.— 2011.— Т. 47, № 4.— С. 3–8.

7. Ibarria L. Dynapack: Space-time Compression of the 3D Animations of Triangle Meshes with Fixed Connectivity / L. Ibarria, J. Rossignac // Proceedings of the 2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation: SCA ’03. – Aire-la-Ville, Switzerland, Switzerland: Eurographics Association, 2003. – Dynapack. – С. 126–135.

8. Харламенков А. Е. Создание «Электронной справочно-аналитической системы “Русско-жестовый толковый словарь”» Монография / А. Е. Харламенков // Научные труды Института Непрерывного Профессионального Образования. No 7. Монографические исследования / ред. Под научн. редакцией проф. П. С. Гуревича и проф. С. В. Чернова. С. 97–186. – Москва: Издательство Института Непрерывного Профессионального Образования, 2016. – С. 89.

9. Харламенков А. Е. Аналитический обзор электронных on-line словарей жестовых языков: монография / А. Е. Харламенков. – Москва: РУСАЙНС, 2017. – 218 с.

10. Харламенков А. Е. Электронная справочно-аналитическая система «Русско-жестовый толковый словарь» / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2014. – Вып. № 3. – С. 24–43.

11. Харламенков А. Е. Русский жестовый язык. Начала : [Учебное пособие]: Русский жестовый язык. Начала / А. Е. Харламенков. – Москва: Издательство «ОнтоПринт»,. – 164 с.

12. Харламенков А. Е. Русский жестовый язык. Начала. Рабочая тетрадь : [Учебное пособие]: Русский жестовый язык. Начала / А. Е. Харламенков. – Москва: Издательство «ОнтоПринт»,. – 56 с.

13. Харламенков А. Е. Русский жестовый язык. Начала. Жестово-русский словарь : [Учебное пособие]: Русский жестовый язык. Начала / А. Е. Харламенков. – Москва: Издательство «ОнтоПринт»,. – 556 с.

14. Харламенков А. Е. Короткие слова: предлоги, частицы, союзы. Справочник переводчика русского жестового языка : [Справочное издание]: Русский жестовый язык. Начала / А. Е. Харламенков. – Москва: Издательство «ОнтоПринт»,. – 154 с.

15. Харламенков А. Е. Итоги научной работы Института Непрерывного Профессионального Образования за 2010 — 2015 годы / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2015. – Вып. № 6 (6). – С. 413–422.

16. Харламенков А. Е. Итоги издательской деятельности Института Непрерывного Профессионального Образования за 2010 — 2015 годы / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2015. – Вып. № 6 (6). – С. 423–439.

17. Харламенков А. Е. Язык и менталитет: влияние жестового языка на менталитет глухих / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2014. – Вып. № 5. – С. 191–218.

18. Харламенков А. Е. Адаптация глухих и реакция социума / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2014. – Вып. № 2. – С. 269–273.

19. Харламенков А. Е. Формирование коммуникативной компетентности у людей с нарушением слуха / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2014. – Вып. № 4. – С. 234–241.

20. Харламенков А. Е. Учебно-методическая разработка по курсу: «Основы русского жестового языка для разработчиков Жесто-мимического интерфейса “SurdoJet”» / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2015. – Вып. № 6 (6). – С. 337–366.

21. Харламенков А. Е. Методика преодоления безусловного рефлекса при постановке рук в процессе освоения дактильной и жестовой речи / А. Е. Харламенков // Научные труды Института непрерывного профессионального образования. – 2014. – Вып. № 3. – С. 44–49.

Корниенков Андрей Александрович
Магистрант Московского политехнического университета, г. Москва.
Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

Рычков Вадим Александрович
Магистрант Московского политехнического университета, г. Москва.
Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.