Лаборатория ведет исследования пользовательских интерфейсов, в которых движения объектов и людей захватываются и используются как входные управляющие команды для взаимодействия с вычислительными системами. Области исследований:
подходы к захвату, обработке, классификации, хранению и представлению кинетических данных;
механизмы генерации кинетических данных;
сценарии взаимодействия людей и вычислительных систем.
Аннотация: В данной статье представлено исследование по созданию системы визуализации русского-жестового языка. Рассматривается пример кроссплатформенной технологии, с помощью которой систему визуализации можно запустить на любом устройстве. В статье описан подход к анимированиюи синтеза жестов с помощью разрабатываемой системы. Научный руководитель: Харламенков А. Е.
Аннотация: В данной статье рассматривается возможность сжатия данных при использовании скелетной анимации. При этом используется квантование данных анимации во времени — положение, угол поворота и размер. Рассмотрено использование различных кривых и сделан вывод о результатах полученной оптимизации. Научный руководитель: Харламенков А. Е.
Жесты рук являются одним из основных средств бесконтактной связи между человеком и машинами. Существует большой интерес в управлении электронным оборудованием в хирургических кабинетах при помощи жестов для сокращения времени операций и снижения вероятности заражения. Существуют проблемы при внедрении систем распознавания жестов рук. Системы должны выполнять требования высокой точности и быстроты реакции. В этой статье мы представляем систему распознавания жестов рук на основе глубокого обучению. Глубокое обучение известно как точная модель обнаружения, но его высокая сложность не позволяет его использовать как компонент встроенной системы. Чтобы справиться с этой проблемой, мы применили некоторые изменения в структуре нашей работы для понижения уровня сложности. В результате предлагаемый метод может быть реализован в простой встроенной системе. Наши эксперименты показывают, что предлагаемая система способствует повышению точности и имеет меньшую сложность по сравнению с существующими методами.
В работе приведено описание разработанного в процессе исследования набора данных для обучения классификатора, алгоритм предварительной обработки данных, описана архитектура сверточной нейронной сети для классификации дактилем Русского жестового языка (далее РЖЯ) и приведены экспериментальные данные.