ТАБЛИЦА I Координаты зданий
VI. В ЫВОДЫ И ЗАКЛЮЧЕНИЕ
Проведенные исследования показали, что предлагае- мая технология оценки качества воздуха в городе, осно- ванная на анализе транспортных потоков города в режи- ме реального времени, трехмерном математическом мо- делировании процесса распространения загрязнений с учетом рельефа города, актуальной метеорологической информации, а также с использованием мобильных эко- метрических станций способна адекватно отражать кон- центрацию примесей.
Технология была реализована средствами языков про- граммирования C++, C# и JavaScript. Для решения раз- реженных систем уравнений в работе использовался вы- сокоэффективный решатель Intel MKL PARDISO. В ре- зультате анализа тестовых расчетов поля примесей на нескольких модельных задачах был сделан вывод об адекватности математической модели и ее численной реализации.
Выбор оптимальных средства стабилизации адвектив- ного члена уравнения требует дальнейших исследова- ний.
С
ПИСОК ЛИТЕРАТУРЫ[1] Garshick E, Laden F, Hart JE, et al. Lung cancer and elemental carbon exposure in trucking industry workers. Environ Health Perspect.
2012;120:1301–6
[2] American Cancer Society. [Электронный ресурс]. Режим доступа – http://www.cancer.org/cancer/
[3] Мосэкомониторинг. [Электронный ресурс]. Режим доступа – http://www.mosecom.ru/karta/
[4] ТИОН. [Электронный ресурс]. Режим доступа – fhttps://cityair.ru/novosibirsk/
[5] AeroState. [Электронный ресурс]. Режим доступа – https://aerostate.io/
[6] Берлянд М. Е. Современные проблемы атмосферной диффузии и загрязнения атмосферы.– Л.: Гидрометиздат, 1985. – 448 c.
[7] Соловейчик Ю. Г., Рояк М. Э., Персова М. Г. Метод конечных элементов для решения скалярных и векторных задач // Учебное пособие. – Новосибирск: НГТУ, 2007. – 896 с.
[8] Марчук Г.И. Математическое моделирование в проблеме окру- жающей среды / Г.И.Марчук. - М.: Наука, 1982. - 319 с.
[9] Самарская Е.А., Сузан Д.В., Тишкин В.Ф. Построение математиче- ской модели распространения загрязнений в атмосфере // Матем.
моделирование. 1997. Т. 9, № 11. С. 59–71.
[10] Муратова Г.В., Глушанин М.В. Исследование процессов переноса, диффузии и трансформации радиоактивных примесей, поступаю- щих в атмосферу при авариях на объектах энергетики // Вычисли- тельные технологии Т. 14, 2. –С
[11] Intel® Math Kernel Library (Intel® MKL) Sparse Solvers. [Электрон- ный ресурс]. – Режим доступа: https://software.intel.com/enus/mkl- developer-reference-c-intel-mkl-pardiso-parallel-direct-sparsesolver- interface.
[12] Электронный учебник / [Электронный ресурс]. — Режим дос- тупа: https://www.arduino.cc
Гриф Михаил Геннадьевич, профессор кафедры автоматизированных систем управления Новоси- бирского государственного технического универ- ситета. Область научных интересов – проектиро- вание систем человеко-машинного взаимодейст- вия, компьютерный сурдоперевод. Автор и соав- тор около 300 научных и учебно-методических работ.
Гриф Александр Михайлович, магистрант 1 года обучения кафедры прикладной математики Ново- сибирского государственного технического уни- верситета. Область научных интересов – конеч- ноэлементное моделирование объектов реальной природы. Автор и соавтор 10 научных работ.
121 978-1-5386-7054-5/18/$31.00 ©2018 IEEE
Перевод предложений на русский жестовый язык после снятия омонимии
Михаил Г. Гриф, Юлия С. Мануева
Новосибирский государственный технический университет, Новосибирск, Россия
Аннотация – В данной работе проведен анализ современ- ных систем компьютерного сурдоперевода. Выявлена ос- новные семантические характеристики русского языка и русского жестового языка. Рассмотрены особенности син- таксиса русского жестового языка. Определена проблема при определении значений слов при переводе с русского языка на русский жестовый язык. Для решения поставлен- ной проблемы проведены работы по разрешению лексиче- ской неоднозначности при переводе с русского «звучащего»
языка на русский жестовый язык с использованием семан- тического словаря В.А. Тузова. Для приведения полученно- го предложения в соответствие с требованиями русского жестового языка проводится изменение порядка слов в соответствии с базовым порядком жестового языка. Опи- сан алгоритм перевода, включающий в себя семантический анализ и синтаксические преобразования. Работа семанти- ческого модуля направлена на разрешение лексической многозначности для установления корректных значений слов в контексте. На этапе синтаксических преобразований проводится изменение порядка слов в предложении. В сис- теме различается 2 вида базового порядка слов: «субъект, глагол, объект» и «субъект, объект, глагол». С учетом се- мантической информации результатом работы системы является корректная последовательность жестов русского жестового языка. Таким образом, предложение с русского языка переведено на русский жестовый язык.
Ключевые слова – Русский язык, семантический анализ, перевод предложений, омонимия, русский жестовый язык.
I.
В
ВЕДЕНИЕДАННОЙ статье рассматривается проблема перево- да с русского звучащего на русский жестовый язык.
Данная проблема является актуальной в связи с большим количеством людей, имеющих ограниченные возможно- сти по слуху. Русский жестовый язык относится к спосо- бу взаимодействия за счет передачи информации с ис- пользованием мимики, движений рук и тела. Несмотря на особенность жестовых языков задействовать визуаль- но-кинетический канал передачи информации, по своим фундаментальным свойствам они имеют сходства со звучащими языками. Данное свойство позволяет отнести их к классу естественных языков и проводить анализ с использованием методов и понятий, звучащих языков [1].
В качестве государственной помощи слабослышащим гражданам предусмотрено предоставление услуг сурдо- переводчика в размере 40 часов в год. Данный объем услуг сурдопереводчика не является достаточным, таким образом приведенные меры не решают в полном объеме
проблему коммуникации людей с ограниченными воз- можностями по слуху с обществом и государственной властью. Как следствие, у слабослышащих граждан воз- никают проблемы с устройством на работу, также они сталкиваются с различными социальными, психологиче- ски и материальными трудностями. Компьютерные сис- темы перевода с русского языка на русский жестовый язык и с русского жестового языка на русский язык яв- ляются решением данной проблемы. Наибольший инте- рес к разработке систем компьютерного перевода на жестовый язык отмечается у иностранных разработчи- ков, таким образом большое количество сурдоперевод- чиков реализовано применительно к английскому языку.
К таким системам перевода на жестовый язык относятся:
система Zardoz, TEAM, ViSiCAST [2,3,4];
Подход при переводе в данных системах основан на морфологическом и синтаксическом анализе. Семанти- ческий анализ проводится только в системе Zardoz. Для повышения качества перевода необходимо учитывать и семантическую составляющую языка. В качестве приме- ра российской системы в области компьютерного сурдо- перевода является система Сурдофон, разработанная в Новосибирске [5]. Все идеи и технологии, использован- ные при разработке программного обеспечения по пере- воду на язык жестов, принадлежат российским ученым.
Разработанная система семантического анализа и син- таксических преобразований внедрена в компьютерный переводчик для улучшения качества проводимого пере- вода.
II.
П
ОСТАНОВКАЗ
АДАЧИДля решения рассмотренной проблемы проведены ра- боты по разрешению лексической неоднозначности при переводе с русского «звучащего» языка на русский жес- товый язык с использованием семантического словаря В.А. Тузова [6].
Также проводятся синтаксические преобразования с целью приведения переведенного предложения в соот- ветствии с требованиями русского жестового языка.
В следующем параграфе будет рассмотрены семанти- чески особенности исследуемых языков, синтаксические преобразования русского звучащего языка и алгоритм перевода с русского языка на русский язык жестов. Да- лее будут приведены результаты экспериментов, полу- ченные в результате разработанного модуля семантиче- ского анализа и синтаксических преобразований.
В
XIV Международная научно-техническая конференция АПЭП – 2018
122
III.
Т
ЕОРИЯA. Семантика Русского Языка и Русского Жестово- го Языка
Понятие «семантика» представляет собой значение или значения языковых единиц (слов, грамматических форм слов, фразеологизмов, словосочетаний, предложений) [7]. Смысл единицы русского языка зависит от ее соот- ношения с остальными единицами языка и от ее лекси- ческой и синтаксической сочетаемости с ними. Слова сантиметр, метр, километр являются словами одного лексического уровня единицы измерения, но различны по числовому значению [7]. Проблема разрешения лек- сической неоднозначности является одной из приоритет- ных проблем в процессе перевода с одного языка на дру- гой, ведь от правильной работы семантического модуля зависит смысл всего текста. В случае неправильного оп- ределения, смысл может быть полностью искажен. Осо- бый интерес в данном вопросе представляют омонимы и фразеологизмы.
О.С. Ахманова под омонимом характеризует пару слов или набор слов, принадлежащих тождественным фонем- ным рядам и разница между которыми семантический или грамматический характер, а в некоторых случаях одновременно как семантический, так и грамматическийp [8]. Фразеологизмы отличаются от обычных сочетаний слов тем, что общее значение фра- зеологического оборота не равно сумме отдельных зна- чений слов. Например, фразеологизм «авгиевы конюш- ни» имеет значение очень грязное место [8]. Фразеоло- гизмы имеют сложную структуру, образуются из не- скольких компонентов, не сохраняющих при этом значе- ние самостоятельных слов. Омонимы и фразеологизмы являются основной трудностью при определении значе- ния слов. От правильной обработки данных конструкций в полной мере зависит поиск соответствия слово-жест, который, в конечном счете, определяет весь процесс пе- ревода. Различия между звучащими и жестовыми языка- ми, наиболее существенно затрагивающие семантиче- ский уровень представления, обусловлены наличием в жестовых языках явления «классификаторных предика- тов». При изображении данных конструкций траектория движения руки повторяет траекторию движения объекта из описываемой ситуации, а форма руки отображает не- которые свойства данного объекта. Одна и та же форма руки может служить для обозначения целого класса объ- ектов со схожими внешними признаками. Такой знак может, например, отображать траекторию и скорость перемещения объекта, изменения его формы, ориента- ции. Количество аргументов «классификаторного преди- ката» может значительно отличаться от соответствующе- го ему предиката звучащего языка. На основании анали- за таких различий в [9] делается вывод о том, что пере- вод со звучащего языка на жестовый только на уровне синтаксиса может быть удовлетворительным лишь в том случае, если в переводимых текстах отсутствуют «клас- сификаторные предикаты».
B. Синтаксис Русского Жестового Языка
Рассмотрим синтаксические особенности русского жестового языка, которые основаны на проведенных лингвистических исследованиях [9]. Цель рассматривае- мых синтактико-семантических преобразований заклю- чается в упрощении текста на русском языке за счѐт раз- биения сложных предложений на последовательность более простых предложений. В качестве атомарной еди- ницы будем рассматривать предложение с полным при- частием. В качестве выходной информации преобразо- ваний вместо сложного входного предложения получаем набор более простых предложений. В процессе преобра- зования предложения проводятся следующая дополни- тельная обработка. Во- первых, причастие заменяется глаголом. Во-вторых, проводятся изменения порядка слов в предложении. В-третьих, повторяющиеся сущест- вительные заменяются соответствующими местоиме- ниями. Отмечается, что возможен и перевод на основе базового порядка следования жестов в предложении. В качестве примера рассмотрим программу компьютерно- го сурдоперевода русского текста на письменный разго- ворный русский жестовый язык [10]. Произвольный рус- ский текст (предложение) вводиться в программе и под- вергается морфологическому, синтаксическому и семан- тическому анализу. Затем формируется стандартная схе- ма предложения на разговорном русском жестовом язы- ке: подлежащее, определение. Обстоятельство, сказуе- мое и дополнение.
Процесс преобразования предложения заключается в разбиении на более простые предложения. Предпосыл- кой к разбиению является наличие одной или нескольких конструкций, содержащих полное причастие. При этом данные конструкции обрабатываются последовательно слева направо. После деления исходного предложения получается два упрощенных предложения с соответст- вующим глаголом вместо причастия, по которому шло разбиение. Для хранения данных используется структура двоичного дерева, в которой каждый узел хранит пред- ложение, а оба его потомка – результат разбиения.
C. Алгориитм Перевода с Русского Языка на Рус- ский Язык Жестов
Для решения поставленной задачи разработан и реали- зован алгоритм перевода с русского языка на русский язык жестов. Упрощенный алгоритм перевода представ- лен на Рис. 1. На первом этапе введенное предложение на русском языке обрабатывается системой Диалинг [11]. Основная задача первого этапа заключается в опре- делении начальных форм слов, морфологических и син- таксических характеристик, а также семантических от- ношений. Второй этап предназначен для выполнения семантического анализа предложения. На данной этапе происходит установление корректных семантических значений слов в предложении с целью устранения лек- сической многозначности. Для разрешения проблемы омонимии в модуле семантического анализа использует- ся семантический словарь В.А. Тузова [5]. Работа В.А.
Тузова «Компьютерная семантика русского языка» по-
123
священа описанию семантики только русского звучаще- го языка [6]. Однако в труде ученого не рассматривается применимость к русском жестовому языку. У других российских исследователей данная тема не вызывала интереса.
Рис. 1. Общий алгоритм перевода.
Словарная статья компьютерного семантического сло- варя содержит заголовочное слово и его толкование на семантическом языке. Большинство слов словаря имеют несколько семантических описаний. Самой многознач- ной частью речи являются предлоги, количество значе- ний для предлога «в» составляет 239. Например, семан- тическое описание для глагола «ехать «имеет вид (см.
Рис. 2). Как видно из семантического описания глагол ехать имеет две альтернативы. В отдельное значение вынесено устойчивое выражение ехать верхом.
Рис. 2. Семантическое описание глагола «ехать».
Для упрощения работы со словарем на его основе раз- работана база данных, состоящая из 13 взаимосвязанных таблиц (см. Рис. 3).
Рис. 3. Структура базы данных системы.
Модель выбора омонима представлена на Рис. 4.
Рис. 4. Модель выбора омонима.
Для определения корректного значения омонима в предложения применяется система «Диалинг», словарь В.А. Тузова и список жестов русского жестового языка [5,11]. На первом этапе, введенное предложение обраба- тывается системой «Диалинг» [11]. В качестве выходной информации из данной системы будет являться следую- щее: начальные формы слов в предложение, морфологи- ческие и синтаксические характеристики, семантические отношения. На втором этапе, был проанализирован се- мантический словарь В.А. Тузова, на основе которого была спроектирована база данных. Словарь, разработан- ный В.А. Тузовым, представляет собой текстовый доку- мент формата ―.txt‖ [5]. Для упрощения работы с семан- тическим словарем было принято решение о разработке базы данных, структура и таблицы которой будут описа- ны далее в этой главе. Словарные статьи состоят из заго- ловочного слова и его семантического описания. Для работы со словарем необходимо разбить словарную ста- тью на компоненты, с которыми в дальнейшем будет работать модуль семантического анализа. Большинство слов в словаре имеет более одного значения. На третьем этапе, в базу данных был добавлен список жестов рус- ского жестового языка. Также проведена работа по опре- делению соответствия между жестами и значениями слов в словаре. На данном этапе завершаются подгото- вительные исследования необходимые для работы моду- ля семантического анализа. На четвертом этапе, в базе данных осуществляется поиск значений слов по началь- ным формам, полученным в результате работы системы Диалинг. Затем полученные альтернативы обрабатыва- ются модулем семантического анализа. Основной этап предназначен решить проблему омонимии с использова- нием словаря В.А.Тузова. После разрешения многознач- ности на данном этапе определяются соответствующие жесты. Результатом работы модуля являются единствен- ные значения слов и соответствие слово-жест. На Рис.5 представлена модель перевода на жестовый язык.
XIV Международная научно-техническая конференция АПЭП – 2018
124
Рис. 5. Модель перевода на жестовый язык.
На вход модуля перевода поступает следующая ин- формация: исходное предложение, информация, полу- ченная в результате семантического анализа: соответст- вие слово-жест, информация, полученная системой
«Диалинг» (морфологические и синтаксические характе- ристики).
Модель перевода заключается в изменении порядка слов в предложении в соответствие с требованиями рус- ского жестового языка. Синтаксические конструкции, допустимые в жестовом языке бывают двух типов. Пер- вый тип представляет собой последовательность «субъ- ект, глагол, объект». Ко второму типу относится после- довательность «субъект, объект, глагол». С учетом се- мантической информации результатом работы системы является корректная последовательность жестов русско- го жестового языка. Таким образом, предложение с рус- ского языка переведено на русский жестовый язык.
IV.
Р
ЕЗУЛЬТАТЫЭ
КСПЕРИМЕНТОВРассмотрим примеры перевода предложений с русско- го языка на русский язык жестов в разработанной систе- ме. В качестве примеров приведем предложения, содер- жащие слова, имеющие более одного значения. В рус- ском языке омоним «лисичка» в соответствии со слова- рем В.А. Тузова имеет 2 значения: лиса (животное) и лисичка (гриб). Проанализируем корректность определе- ния семантического значения слова «лисичка» в предло- жении «Лисичка убежала в лес» (см. Рис. 6). На Рис. 6 представлен результат семантического анализа предло- жения.
Рис. 6. Семантический анализ предложения.
На Рис. 7 представлены результаты работы системы Диалинг, на которой представлены начальные формы слов, синтаксические и морфологические характеристи- ки, семантические отношения.
Рис. 7. Результат работы системы Диалинг.
На Рис. 8 представлены списки исходных и итоговых альтернатив слов в предложении.
Рис. 8. Список исходных и итоговых альтернатив слов.
На Рис. 9 представлен результат синтаксических пре- образований для базового порядка «субъект, глагол, объ- ект» и итоговое переведенное предложение.
Рис. 9. Результат работы системы с порядком «субъект, глагол, объ- ект».
На Рис. 10 представлен результат синтаксических пре- образований для базового порядка «субъект, объект, гла- гол» и итоговое переведенное предложение.
Рис. 10. Результат работы системы с порядком «субъект, объект, гла- гол».
Рассмотрим второе предложение «Жареные лисички были вкусные» (см. Рис. 11). На Рис. 11 представлен ре- зультат семантического анализа предложения.
Рис. 11. Семантический анализ предложения.
На Рис. 12 представлены результаты работы системы Диалинг, на которой представлены начальные формы слов, синтаксические и морфологические характеристи- ки, семантические отношения.
125
Рис. 12. Результат работы системы Диалинг.
На Рис. 13 представлены списки исходных и итоговых альтернатив слов в предложении.
Рис. 13. Список исходных и итоговых альтернатив слов.
На Рис. 14 представлен результат синтаксических пре- образований для базового порядка «субъект, глагол, объ- ект» и итоговое переведенное предложение.
Рис. 14. Результат работы системы с порядком «субъект, глагол, объ- ект».
На Рис. 15 представлен результат синтаксических пре- образований для базового порядка «субъект, объект, гла- гол» и итоговое переведенное предложение.
Рис. 15. Результат работы системы с порядком «субъект, объект, гла- гол».
В рассмотренных предложения показана корректность работы модуля семантического анализа и проведения синтаксических преобразований. В обоих случаях мо- дуль семантического анализа корректно определи значе- ния слова «лисичка» в контексте. В первом случае ли- сичка употреблялась в значении лиса (животное), во вто- ром случае в значении лисичка (гриб). Результат работы семантического анализа и синтаксических преобразова- ний отражен в итоговом предложении, в котором жесты распределены в корректном для жестового языка поряд- ке.
V.
О
БСУЖДЕНИЕР
ЕЗУЛЬТАТОВРазработанная система семантического анализа и пе- ревода на русский язык жестов осуществляет определе- ние значений слов в предложении, ставит в соответствие с найденными значениями жест русского жестового язы- ка и проводит синтаксические преобразования для кор- ректного отображения последовательности жестов. В дальнейшем к наиболее приоритетным направлениям разработки относятся: учет семантической составляю-
щей жестового языка (классификаторные предикаты) и синтаксические преобразования входного предложения для упрощения последующего семантического анализа.
VI.
В
ЫВОДЫ ИЗ
АКЛЮЧЕНИЕВ данной работе проведен анализ систем перевода на жестовый язык. Рассмотрены семантические особенно- сти русского звучащего языка и русского жестового язы- ка. Приведено описание синтаксических преобразований русских предложений для отображения на жесты. Также описан алгоритм перевода, включающий в себя семанти- ческий анализ и синтаксические преобразования. В ре- зультате работы системы получаем предложение на жес- товом языке, которое состоит из корректной последова- тельности жестов, полученных в результате соответствия единственным значениям слов.
С
ПИСОКЛ
ИТЕРАТУРЫ[1] Гриф М.Г. Методы и технологии компьютерного сурдоперевода:
учебное пособие. - Новосибирск: НГТУ, 2012. – 71 с.
[2] Veale T., Conway A. Cross modal comprehension in ZARDOZ an English to sign-language translation system. - Trinity. – 1994. – 326 p.
[3] Zhao L., Kipper K., Schuler W. A Machine Translation System from English to American Sign Language // Lecture Notes in Computer Science. – 2000. - Vol. 1934. - P. 54-67.
[4] Wakefield M. VisiCAST. - Milestone: Final Report. - 2002. - 97 p.
[5] Тузов В.А. Компьютерная семантика русского языка: учебное пособие – СПб: СПбГУ. 2003. 391c.
[6] Говорит и показывает: в Новосибирске изобрели электронный сурдопереводчик [Электронный ресурс]. URL:
http://sdelanounas.ru/blogs/39491//, свободный.
[7] Шаляпина З.М. Автоматический перевод: эволюция и современные тенденции // Вопросы языкознания, 1996, No.2. С. 105—117.
[8] Ахманова О.С. Словарь омонимов русского языка [Текст]: – Моск- ва: Советская энциклопедия, 1974 - 451 с.
[9] Прозорова Е.В. Российский жестовый язык как предмет лингвис- тического исследования // Вопросы языкознания. – 2007. - №1. - С.
44-61
[10] Гриф М. Г. Алгоритм перевода русского текста на русский жесто- вый язык на основе сопоставления синтаксический конструкций / М. Г. Гриф, А. А. Волынцев, М. К. Тимофеева // Сборник научных трудов Новосибирского государственного технического универси- тета. - 2014. - № 1 (75). - C. 94-104.
[11] Сокирко А. Семантические словари в автоматической обработке текста (по материалам системы Диалинг). - М., 2000. - 108 c.
Гриф Михаил Геннадьевич - родился в 1959 году, профессор кафедры Автоматизированных систем управления, Новосибирский государственный техни- ческий университет. Область научных интересов:
проектирование сложных систем, компьютерный сурдоперевод. Опубликовано около 250 научных работ. (Адрес: 630082, РФ, г. Новосибирск, ул. Дуси Ковальчук, д. 238, кв. 562, Email: grifmg@mail.ru).
Мануева Юлия Сергеевна - родилась в 1991 году, аспирант кафедры Автоматизированных систем управления, Новосибирский государственный техни- ческий университет. Область научных интересов:
компьютерный сурдопереводчик. Опубликовано 19 научных работ. (Адрес: 630087, РФ, г. Новосибирск, ул. Немировича-Данченко, д. 138, кв. 523. Email:
manueva.js@gmail.com).
XIV Международная научно-техническая конференция АПЭП – 2018
126 978-1-5386-7054-5/18/$31.00 ©2018 IEEE
Подход к фреймворку распознавания жестов Жестового языка на основе анализа
Гамбургской системы нотации
Михаил Г. Гриф
1, Алексей Л. Приходько
11
Новосибирский государственный технический университет, Новосибирск, Россия
Аннотация– Распознавание жестов жестового языка (ЖЯ) может служить полезным инструментом для исследования жестового языка. В этой статье предлагается разработка фреймворка распознавания жестов Жестового языка (ЖЯ) на основе анализа Гамбургской системы нотации с исполь- зованием данных от программной библиотеки отслежива- ния человеческого движения OpenPose. Гамбургская сис- тема нотации - это система транскрипции, разработанная для детальной лингвистической транскрипции мануаль- ных и не мануальных признаков жестов. Приведены при- меры работы с Гамбургской системы нотации. В этом фреймворке жестовое слово считается комбинировать пять общих компонентов, включая конфигурацию руки, ось, ориентацию, вращение и траекторию, а классификация жестов реализована на основе лингвистического анализа Гамбургской системы нотации. Результат этого исследова- ния будет полезен для проведения образовательной или исследовательской деятельности, связанной с ЖЯ, также связанной поставщиками программного обеспечения в об- ласти разработки более оптимальных практики и инстру- ментов для прикладных лингвистических исследований.
Ключевые слова –жестовый язык,словарь, нотация, нота- ция, распознавание жестов, Гамбургская система нотации.
I.
В
ВЕДЕНИЕСЕМИРНАЯ федерация глухих (ВФГ) является ме- ждународной неправительственной организацией, представляющей около 70 миллионов глухих людей во всем мире используют ЖЯ как свои родные языки [8]. В то же время у них ограниченные навыки чтения / письма на разговорном языке. Это ставит их в неудобное поло- жение во многих контекстах, включая образование, ра- боту, использование компьютеров и Интернета. Автома- тическое распознавание Жестового языка (АРЖЯ) может поддерживать Глухих многими способами, например, позволяя разрабатывать системы для человеко- компьютерного взаимодействия в ЖЯ и перевод между жестовым и разговорным языком. Исследование АРЖЯ обычно связано с автоматическим пониманием ручных жестов.
Фреймворк поможет разработать автоматический ана- лиз Жестового языка для облегчения исследования по лингвистике и прикладной лингвистике – возможность взаимодействовать с мобильными телефонами и другими интеллектуальными устройствами и читать из формата
видеофайла, используя жест с нашими руками и пальца- ми в трех измерениях. Много разнообразных приложе- ний: виртуальная и дополненная реальность (ВР и ДР), медицинские настройки, робототехники, электронное обучение, 3D-игры и многое другое.