Edwin Jonathan Escobedo C´

(1)

Desenvolvimento de uma Abordagem

para o Reconhecimento de Gestos

Manuais Dinˆ

amicos e Est´

aticos

Edwin Jonathan Escobedo C´

ardenas

Universidade Federal de Ouro Preto

UNIVERSIDADE FEDERAL DE OURO PRETO

Orientador: Guillermo C´amara Ch´avez

Disserta¸c˜ao submetida ao Instituto de Ciˆencias

Exatas e Biol´ogicas da Universidade Federal de

Ouro Preto para obten¸c˜ao do t´ıtulo de Mestre

em Ciˆencia da Computa¸c˜ao

(2)

(3)

Desenvolvimento de uma Abordagem

para o Reconhecimento de Gestos

Manuais Dinˆ

amicos e Est´

aticos

Edwin Jonathan Escobedo C´

ardenas

Universidade Federal de Ouro Preto

(4)

(5)

Catalogação: www.sisbin.ufop.br

E746d Escobedo Cardenas, Edwin Jonathan.

Desenvolvimento de uma abordagem para o reconhecimento de gestos manuais dinâmicos e estáticos [manuscrito] / Edwin Jonathan Escobedo Cardenas. - 2015.

114f.: il.: color; tabs.

Orientador: Prof. Dr. Guillermo Cámara Chávez.

Dissertação (Mestrado) - Universidade Federal de Ouro Preto. Instituto de Ciências Exatas e Biológicas. Departamento de Computação. Programa de Pos graduação em Ciências da Computação.

1. Reconhecimento de padrões. 2. Gestos. 3. Linguagem corporal. I. Cámara Chávez, Guillermo. II. Universidade Federal de Ouro Preto. III. Titulo.

(6)

(7)

Dedico este trabalho a minha fam´ılia, especialmente a meus pais que sempre me apoiaram na realiza¸c˜ao dos meus sonhos mostrando-me o caminho para que eu pudesse realiz´a-los. A meus amigos que sempre me apoiaram nos bons e maus momentos. Gra¸cas a todos eles eu consegui alcan¸car meus objetivos.

(8)

(9)

Desenvolvimento de uma Abordagem para o

Reconhecimento de Gestos Manuais Dinˆ

amicos e

Est´

aticos

Resumo

Durante os últimos anos, têm sido desenvolvidas diversas abordagens para o reconhe-cimento de gestos manuais, tanto estáticos como dinâmicos. Todas com o objetivo de melhorar a intera¸cão homem-computador. Muitas dessas abordagens, inicialmente baseados nas informa¸cões de intensidade, não fornecem dados suficientes para uma boa caracteriza¸cão. Devido ao avan¸co da tecnologia, novos dispositivos estão surgindo como é o caso do sensor Kinect o qual, além da informa¸cão de intensidade, provê as informa¸cões de profundidade e posi¸cões das articula¸cões do corpo. Dessa maneira, obtém-se uma maior vantagem no desenvolvimento de um modelo para reconhecimento de gestos, pois ajuda reduzindo alguns processos complexos como é o caso da segmenta¸cão e localiza¸cão da mão. Contudo as novas informa¸cões de profundidade e posi¸cão podem também ser usadas para a gera¸cão de novas caracter´ısticas e melhorar as taxas de reconhecimento. Nesta disserta¸cão apresentamos dois modelos para o reconhecimento de gestos, tanto estáticos como dinâmicos, usando as informa¸cões de intensidade e profundidade (RGB-D), além da informa¸cão das posi¸cões das principais articula¸cões do corpo.

No modelo para reconhecer gestos estáticos, usou-se a informa¸cão de profundidade, propondo um método baseado na representa¸cão da mão em uma nuvem de pontos. Logo, usando a teoria de cossenos de dire¸cão, gerou-se um vetor de Histogramas de Magnitudes Acumuladas, o qual representa as novas caracter´ısticas locais da mão. Finalmente, usando o classificador SVM (Support Vector Machine), geraram-se resultados superiores a outros modelos da literatura, sendo o melhor resultado de 99.21% de acurácia media.

(10)

Hidden Markov Models (HMM) ou Dinamyc Time Warping (DTW). Depois, geraram-se três vetores: o vetor de informa¸cão espacial VSI, o vetor de informa¸cão temporal VT I

e o vetor de mudan¸cas da posi¸cão da mão VHC, os quais representam as caracter´ısticas globais do gesto. Também, o descritor local SIFT foi usado nas imagens de intensidade e profundidade para obter caracter´ısticas das mãos. A partir dessas caracter´ısticas, foram gerados atributos de n´ıvel médio usando a técnicaBag-of-Words (BoW), gerando o vetor de caracter´ısticas locais. Esse modelo fui testado usando o classificador SVM (Support Vector Machine) usando três bases de dados diferentes, gerando resultados superiores a outros modelos da literatura em cada caso (100%, 88.38% e 98.28%).

(11)

Development of an Approach for Dynamic and Static

Manual Gesture Recognition

Abstract

During the last years, different approaches have been developed for hand gestures recog-nition, both static and dynamic. All with the goal of improving the human-computer interaction. Many of these approaches, initially based on the intensity information, do not provide sufficient data for a good characterization. Due to advancement in techno-logy, new devices are emerging such as the Kinect sensor which, in addition to intensity information, provides information and depth positions of the joints of the body. Thus, we obtain a greater advantage in developing a model for gesture recognition, it helps reduce some complex processes such as the segmentation and hand location. However the new depth and position information can also be used for new features generation and improved recognition rates. In this thesis we present two models for gesture recognition, both static and dynamic, using the intensity and depth of information (RGB-D), and the positions information of the main joints of the body.

In the model to recognize static gestures, was used the depth information, proposing a method based on hand representation in a point cloud. Thus, using the theory of direction cosines, was generated a Accumulated Magnitude Histogram vector, which represents the new hand local characteristics. Finally, using the SVM classifier (Support Vector Machine ), the results are superior results to other models in the literature, the average accuracy best result was 99.21%.

In the model for recognizing dynamic gestures, was used information from the hand positions to generate the trajectory of gesture and propose a key frames extraction

(12)

SI T I

the vector of hand position changesVHC , which represent global gesture features. Also,

the local descriptor SIfT was used in the intensity and depth images for the hands characteristics. As from these characteristics, were generated mid-level attributes using the technique Bag-of-Words (BoW), generating the local characteristics vector. This model was tested using the SVM classifier (Support Vector Machine) using three different databases, generating superior results to other published models in each case (100%, 88.38% and 98.28%).

(13)

Declara¸c˜

ao

Esta disserta¸cão é resultado de meu próprio trabalho, exceto onde referência expl´ıcita é feita ao trabalho de outros, e não foi submetida para outra qualifica¸cão nesta nem em outra universidade.

Edwin Jonathan Escobedo C´ardenas

(14)

(15)

Agradecimentos

Primeiramente agrade¸co aDeus por me amparar nos momentos dif´ıceis e por ter me dado a for¸ca para lograr com sucesso minhas metas.

Aos meus pais pelo apoio espiritual que eles me deram sempre e pela confian¸ca que me demonstraram em todo momento. A toda minha fam´ılia, por sempre acreditar em mim.

Agrade¸co ao meu orientador Guillermo Cámara Chávez e sua esposa Yudy pela opor-tunidade concedida e pelo suporte dado durante o desenvolvimento desta diserta¸cão.

Alem deles, também agrade¸co a todos meus amigos que me apoiaram ao longo destes dois anos e gostaria agradecê-lhes: Emilia Alves, Fernanda Jardim, Jorge Cristalino, Isabela Alves, Marcelo Siqueira e especialmente Lourdes Ramirez por quem guardo um enorme apre¸co e carinho. Também aos senhores Briza Cerna e Julton Ramirez, que sem-pre me apoiaram mediante suas bên¸cãos e palavras de motiva¸cão, estou muito agradecido com vocês.

Tamb´em agrade¸co a meus colegas Rensso, Edward e Karla, os ”Jovenes pulpines fiesteros, g´argolas de la noche, viajeros de la vida - REK”, pelo apoio e os conselhos prestados.

(16)

(17)

Sum´

ario

Lista de Figuras xix

Lista de Tabelas xxiii

1 Introdu¸c˜ao 1

1.1 Introdu¸c˜ao . . . 1

1.2 Motiva¸c˜ao . . . 2

1.3 Objetivos . . . 5

1.3.1 Objetivo Geral . . . 5

1.3.2 Objetivos Espec´ıficos . . . 5

1.4 Contribui¸c˜oes . . . 5

1.5 Organiza¸c˜ao . . . 7

2 Revisão Bibliográfica 9 2.1 Deteçcão e rastreamento . . . 9

2.2 Reconhecimento . . . 11

2.2.1 M´etodos para o reconhecimento de gestos est´aticos . . . 11

2.2.2 M´etodos para o reconhecimento de gestos dinˆamicos . . . 14

2.3 Considera¸c˜oes Finais . . . 17

(18)

3.1.1 Gestos Manuais . . . 20

3.2 Aquisi¸c˜ao de Dados . . . 23

3.2.1 Luvas . . . 23

3.2.2 Kinect . . . 25

3.3 Extra¸c˜ao de Caracter´ısticas . . . 27

3.3.1 Scale-Invariant Feature Transform (SIFT) . . . 27

3.3.2 Bag-of-Visual-Words . . . 30

3.4 Algoritmos de aprendizagem de maquina . . . 32

3.4.1 K-means . . . 33

3.4.2 Maquinas de Vetores de Suporte . . . 34

3.4.3 Outros m´etodos de classifica¸c˜ao . . . 36

4 Modelo Proposto 37 4.1 Modelo proposto para o Reconhecimento de Gestos Est´aticos . . . 37

4.1.1 Segmenta¸c˜ao . . . 38

4.1.2 Pr´e-Processamento . . . 39

4.1.3 Extra¸c˜ao de Caracter´ısticas . . . 40

4.2 Modelo proposto para o Reconhecimento de Gestos Dinˆamicos . . . 43

4.2.1 Captura da Informa¸c˜ao . . . 44

4.2.2 Desenho da Trajet´oria . . . 45

4.2.3 Convers˜ao em Coordenadas Esf´ericas. . . 45

4.2.4 Extra¸c˜ao dos Quadros Principais . . . 46

(19)

4.2.5 Segmenta¸c˜ao . . . 48

4.2.6 Extra¸c˜ao de Caracter´ısticas . . . 48

4.3 Reconhecimento e Valida¸c˜ao . . . 53

5 Experimentos para o Modelo de Gestos Est´aticos 55 5.1 Base de Dados . . . 55

5.2 Defini¸c˜ao de parˆametros . . . 56

5.3 Avalia¸c˜ao dos modelos . . . 57

5.4 Experimentos . . . 58

5.4.1 An´alise de Resultados . . . 59

6 Experimentos para o Modelo de Gestos Dinˆamicos 63 6.1 Base de Dados . . . 63

6.1.1 The SDUSign Database . . . 64

6.1.2 The ChaLearn 2013 Database . . . 65

6.1.3 The LIBRAS Database . . . 65

6.2 Defini¸c˜ao de parˆametros . . . 66

6.3 Avalia¸c˜ao dos modelos . . . 67

6.4 Experimentos . . . 68

6.4.1 Resultados usando a base de dados SDUSign . . . 68

6.4.2 Resultados usando a base de dados ChaLearn 2013 . . . 68

6.4.3 Resultados usando a base de dados LIBRAS . . . 70

(20)

Referˆencias Bibliogr´aficas 79

(21)

Lista de Figuras

1.1 Gr´afico das diferentes partes do corpo ou objetos usados para o reconhe-cimento de gestos. . . 3

2.1 T´ecnicas para o reconhecimento de gestos. Rautaray and Agrawal (2015) 10

3.1 Exemplos de sinais com as mesmas configura¸c˜oes da m˜ao. (Felipe and Monteiro 2007) . . . 21

3.2 Lugares onde incide a m˜ao predominante. (Felipe and Monteiro 2007) . . 21

3.3 Exemplos de sinais com e sem movimento. (Felipe and Monteiro 2007) . 22

3.4 Exemplos de sinais com diferentes orienta¸c˜oes.(Felipe and Monteiro 2007) 22

3.5 Exemplos de express˜oes faciais em diferentes sinais.(Felipe and Monteiro 2007) . . . 23

3.6 Luvas coloridas. a) Luvas usadas por (Lamberti and Camastra 2011). b)Luvas usadas por (Wang and Popovi´c 2009). . . 24

3.7 Modelos de luvas de sensores. a) CyberGlove. b) Humanglove. c) 5DT Data Glove. d) Pinch Glove. e)Didjiglove. f) Fingernail Sensor. g)

AcceleGlove. h) Upper limb garment prototype. . . 24

3.8 Inicialmente o Kinect foi desenvolvido para ser usado em jogos noXBOX

360. . . 25

3.9 Sensor Kinect e suas partes. Imagens de cor e profundidade captadas pelo dispositivo. . . 26

3.10 Pontos das articula¸c˜oes do corpo obtidos pelo Kinect. . . 26

(22)

3.12 Representa¸c˜ao de uma pirˆamide de diferencias de Gaussianas (DoG) apli-cadas em diferentes escalas para uma imagem. . . 29

3.13 Compara¸c˜ao do pixel com seus oito vizinhos e os nove vizinhos das escalas superior e inferior. . . 29

3.14 Representa¸c˜ao do funcionamento do modelo Bag-of-Visual-Words (BoW). 32

3.15 Exemplo do funcionamento do algoritmo K-means para trˆes grupos. . . . 34

3.16 Classifica¸c˜ao dos exemplos da classe 1 e 2 mediante um hiperplano. . . . 34

3.17 Representa¸c˜ao de uma fun¸c˜ao Kernel φ projetando um espa¸co de entrada

R2 a uma dimens˜ao R3 onde os dados podem ser linearmente separ´aveis. 35

4.1 Modelo proposto para o reconhecimento de gestos est´aticos. . . 38

4.2 Exemplo do processo da segmenta¸c˜ao da m˜ao. . . 39

4.3 Pré-processamento: alinhamento da mão em rela¸cão ao eixoY e sua con-versão em uma nuvem de pontos. . . 40

4.4 Representa¸c˜ao espacial dos cossenos de dire¸c˜ao. . . 41

4.5 Exemplo da gera¸c˜ao de histogramas Acumulados em duas sub-regi˜oes S1

eS2 para os gestos S e E. . . 43

4.6 Processo da gera¸c˜ao dos histogramas de Magnitudes AcumuladasHx, Hy

eHz. . . 44

4.7 Modelo Proposto para o reconhecimento de gestos dinˆamicos . . . 44

4.8 Exemplo das seis trajet´orias que representam um gesto da m˜ao . . . 45

4.9 Representa¸cão geométrica do Sistema de Coordenadas Esféricas. . . 47

4.10 Representa¸c˜ao da divis˜ao em octantes para os eixos XY e XZ. . . 47

4.11 Exemplo da extra¸cão dos quadros principais para dois v´ıdeos com o mesmo gesto. Primeiro, são escolhidos os pontos principais das trajetórias, e logo para cada ponto principal, extrai-se seu correspondente quadro principal. 49

(23)

4.12 Exemplos de segmenta¸c˜ao das m˜ao para dois gestos: justi¸ca (topo) e brilhar (base). . . 49

4.13 Exemplos de mudan¸cas da posi¸cão da mão em dois gestos: justi¸ca (direita) e brilhar (esquerda). O vector VHC é diferente para ambos sinais. Cada código binário representa uma posi¸cão do octante. . . 51

4.14 Exemplos de pontos caracter´ısticos extra´ıdos usando o descritor SIFT tanto das imagens de intensidade (no topo de cor vermelho) como nas imagens de profundidade (na base de cor amarelo). O descritor SIFT foi usado nos quadros principais de um gesto dinˆamico. . . 53

5.1 Ilustra¸c˜ao da variedade nas amostras da base de dados ASL. A matriz mostra uma imagem de cada usu´ario e de cada letra. . . 56

5.2 Ilustra¸cão da semelhan¸ca no conjunto de dados entre as diferentes classes. Todos os sinais são representados por um punho fechado, e diferem apenas pela posi¸cão do dedo polegar. . . 56

5.3 Exemplo dos sinais M, N, S, E representados no espa¸co. . . 62

6.1 Representa¸c˜ao dos 20 sinais chineses da base de dadosSDUSign . . . 64

6.2 Exemplo de um gesto manual da base de dados ChaLearn 2013 . . . 65

6.3 Exemplo de dois sinais na base LIBRAS que apresentam as duas primeiras configura¸c˜oes. . . 66

(24)

(25)

Lista de Tabelas

5.1 Resultados da classifica¸c˜ao dos sinais est´aticos usando os protocolosA eB. 59

5.2 Acur´acia e Desvio Padr˜ao (DP) obtidos para diferentes porcentagens de treino e teste. . . 60

5.3 Matriz de confusão da classifica¸cão dos 24 sinais usando o método de extra¸cão de caracter´ısticas globais imagem de profundidade. . . 61

6.1 Resultados usando a base de dados SDUSign. . . 68

6.2 Resultados usando The ChaLearn database . . . 69

6.3 Resultados e compara¸c˜ao dos trˆes experimentos usando The ChaLearn database. . . 70

6.4 Resultados gerais com a base de dados LIBRAS para diferentes valores deK. . . 71

6.5 Matriz de confus˜ao media dos 18 sinais da base de dados LIBRAS usando caracter´ısticas temporais. . . 71

6.6 Matriz de confus˜ao media dos 18 sinais da base de dados LIBRAS usando caracter´ısticas globais. . . 73

6.7 Matriz de confus˜ao media dos 18 sinais da base de dados LIBRAS usando caracter´ısticas temporais e globais. . . 73

(26)

(27)

“A tarefa não é tanto ver aquilo que ninguém viu, mas pensar o que ninguém ainda pensou sobre aquilo que todo mundo vê.”

— Arthur Schopenhauer

(28)

(29)

Cap´ıtulo 1

Introdu¸c˜

ao

Neste capitulo serão apresentadas a introdu¸cão e motiva¸cão desta disserta¸cão, alem dos objetivos propostos e as contribui¸cões atingidas.

1.1 Introdu¸c˜

ao

Nas aplica¸cões de intera¸cão humano-computador (HCI), o reconhecimento de gestos tem o potencial de fornecer uma forma natural de comunica¸cão entre os humanos e as máquinas. Mesmo assumindo a inven¸cão do mouse e do teclado como um grande progresso, ainda há situa¸cões em que tais dispositivos são inadequados para uma boa intera¸cão humano-computador (HCI) pois as interfaces de usuário (UI) precisam ser o mais intuitivas e naturais poss´ıveis. O usuário deve, idealmente, interagir com as máquinas sem a necessidade de outros dispositivos pesados (como marcadores coloridos ou luvas) ou aparelhos como controles remotos e os já mencionados mouse e teclado.

Normalmente usam-se gestos para a expressão de sentimentos e pensamentos. Os gestos são, portanto, um meio de comunica¸cão não-verbal, que vão desde a¸cões simples (apontando para objetos, por exemplo) até as mais complexas (como expressar sentimen-tos ou comunicar-se com outros). Neste sentido, os gessentimen-tos não são apenas um ornamento da linguagem falada, são também componentes essenciais do processo de gera¸cão da lin-guagem em si. Um gesto pode ser definido como um movimento f´ısico das mãos, bra¸cos, rosto e corpo com a inten¸cão de transmitir informa¸cões ou significado. Em particular, a interpreta¸cão visual de gestos manuais pode ajudar a alcan¸car a facilidade e naturali-dade desejada para HCI. Usar as mãos como um dispositivo, pode ajudar às pessoas a

(30)

comunicar-se com os computadores de uma forma mais intuitiva pois os movimentos da mão desempenham um papel importante na transmissão de informa¸cão.

Os gestos manuais podem ser estáticos e dinâmicos. Os estáticos (quando o usuário assume certa pose ou configura¸cão da mão) são definidos pela orienta¸cão e a posi¸cão da mão fixa no espa¸co. Nos dinâmicos, um gesto é representado por um conjunto de poses e configura¸cões da mão num determinado tempo. Alguns gestos também têm elementos estáticos e dinâmicos, como no caso das l´ınguas de sinais onde os gestos estáticos são representados pelas letras do alfabeto (com algumas exce¸cões) e os dinâmicos pelas palavras ou frases.

Diferentes modelos foram propostos para o reconhecimento de gestos. Para gestos estáticos são encontrados por exemplo os modelos de Bretzner et al. (2002), Gupta et al. (2012), Pugeault and Bowden (2011a), Vamplew (1996) e Feng and Yuan (2013). Quando trata-se de gestos dinâmicos, temos os modelos de Hernández-Vela et al. (2013), Rakun et al. (2013), Ramamoorthy et al. (2003), Wang, Yang, Wu, Xu and Li (2012),

etc.

Portanto, o reconhecimento de gestos pode revolucionar a forma de como usamos a tecnologia em nossas atividades diárias. Especialmente os gestos manuais, pois na área de reconhecimento, as mãos estão sendo amplamente utilizadas em compara¸cão com outras partes do corpo ou objetos (Rautaray and Agrawal 2015), como é mostrado na Figura 1.1. As aplica¸cões bem sucedidas de sistemas de gestos manuais podem ser encontradas em várias áreas de investiga¸cão e da indústria, tais como: jogos, realidade virtual, robótica, casas inteligentes e no reconhecimento das l´ınguas de sinais (Mitra and Acharya 2007, Murthy and Jadon 2009). Novos métodos nessa área, ainda estão sendo desenvolvidos, além de que novas formas de aquisi¸cão de informa¸cão estão surgindo, incentivando assim à proposta de novos descritores que procuram incrementar as taxas de reconhecimento dos métodos já propostos.

1.2 Motiva¸c˜

ao

Pesquisas em visão computacional estabeleceram a importância dos sistemas de reco-nhecimento de gestos com o propósito de melhorar a intera¸cão humano-computador (Derpanis 2004, Mitra and Acharya 2007).

(31)

Introdu¸c˜ao 3

Figura 1.1: Gr´afico das diferentes partes do corpo ou objetos usados para o reconheci-mento de gestos.

um deles focado em um tipo de informa¸c˜ao de acordo com a aquisi¸c˜ao dos dados.

• Métodos baseados em dispositivos: os quais usam sensores (mecânicos ou ópticos) ligados a uma luva que transduz as flexões dos dedos em sinais elétricos para de-terminar a postura da mão e assim poder fornecer medi¸cões precisas de seus mo-vimentos. Infelizmente, estes métodos requerem calibragem e obrigam ao usuário a transportar uma carga de cabos que estão ligados ao computador, dificultando o movimento natural das mãos do usuário e a intera¸cão dele com seu entorno. Também são muitas vezes de alto custo econômico.

• Métodos baseados em Visão Computacional: onde dispositivos de v´ıdeo são usa-dos para capturar os gestos e posteriormente detectar as mãos. São técnicas não invasivas e baseadas na forma como os seres humanos percebem informa¸cões sobre seu entorno. A Visão Computacional tem o potencial para obter uma riqueza de informa¸cões com um baixo custo, e constitui uma modalidade de deteçcão muito atraente para o desenvolvimento de reconhecimento de gestos manuais.

Portanto, a visão computacional facilita o acesso dos usuários à tecnologia sem exigir gastos adicionais e sem alterar o movimento natural da mão. Tornando-se a área que atualmente recebe a maior aten¸cão dos pesquisadores pois durante os últimos anos, têm sido desenvolvidas diversas abordagens para o reconhecimento de gestos manuais. No entanto, o desenvolvimento de um sistema de reconhecimento de gestos baseado em visão, não é uma tarefa fácil, pois exige um conjunto de restri¸cões impostas que permitam obter uma intera¸cão em tempo real mais natural. Por exemplo, o uso de fundos controlados, de roupas que cobrem todo o bra¸co, a limita¸cão da região da câmera,

(32)

tais como a invariância da ilumina¸cão ou existência de ambientes com fundo irregular em uma cena.

Outro problema no reconhecimento de gestos é a complexidade morfológica da mão, pois o elevado número de graus de liberdade da mão e dos dedos causa uma infinidade de posi¸cões a serem adotadas além das oclusões que se podem apresentar. Este é um dos aspectos mais dif´ıcil na segmenta¸cão e torna-se um problema interessante para resolver. Apresentando-se processos complexos para segmentar e rastrear as mãos.

Contudo, devido ao avan¸co da tecnologia, novos dispositivos estão surgindo como é o caso das câmeras de profundidade (Time-of-Flight - ToF) usadas nos modelos propostos por Liu and Fujimura (2004), Oprisescu et al. (2012), Uebersax et al. (2011); e do sensor

Microsoft KinectTM_{o qual proporciona novas informa¸c˜oes como os dados RGB-D, mesmo}

as posi¸cões das articula¸cões do corpo. Além de possuir uma grande vantagem a qual é essencialmente a independência de restri¸cões ambientais como a ilumina¸cão, fundos complexo, etc. Dessa maneira, podem-se reduzir alguns processos complexos como no caso da segmenta¸cão e rastreamento da mão, como foi usado nos modelos propostos por Frati and Prattichizzo (2011), Li (2012), Ren et al. (2011), entre outros.

Essa vantagem proporcionada pelo sensor KinectTM _{permite explorar os mapas de}

profundidade dos gestos e permite analisar as trajet´orias das principais partes do corpo. Assim, podem-se gerar novas caracter´ısticas globais e locais que melhorem o desempenho dos sistemas de reconhecimento de gestos. Biswas and Basu (2011), Geetha et al. (2013), Masood et al. (2014), Otiniano Rodriguez and Camara Chavez (2013), Takimoto et al. (2013), Wang, Xia, Cai, Gao and Cattani (2012), Wang, Yang, Wu, Xu and Li (2012),

etc. Aproveitam os dados do sensor KinectTM _{e apresentam novos modelos para o}

reconhecimento de gestos manuais.

(33)

Introdu¸c˜ao 5

1.3 Objetivos

Nessa seçcão, o objetivo geral e os objetivos espec´ıficos perseguidos nesta disserta¸cão serão apresentados.

1.3.1 Objetivo Geral

Objetivo geral desta pesquisa é desenvolver uma nova abordagem para o Reconhecimento de gestos manuais dinâmicos e estáticos, usando a informa¸cão espacial, de intensidade e profundidade dos gestos.

1.3.2 Objetivos Espec´ıficos

• Definir os tipos de caracter´ısticas espaciais e globais que melhor descrevam o sinal.

• Avaliar a importância da informa¸cão espacial, de intensidade e profundidade de um sinal dinâmico.

• Avaliar a importância da informa¸cão de profundidade de um sinal estático.

• Analisar a robustez de um sistema que trabalha com caracter´ısticas espaciais e globais, em compara¸c˜ao com um sistema que s´o trabalha com um tipo de carac-ter´ısticas.

• Propor um novo método de reconhecimento tanto para sinais dinâmicos como estáticos, com boa acurácia e rápido tempo de processamento.

• Avaliar e comparar os resultados obtidos com outros modelos propostos.

1.4 Contribui¸c˜

oes

Nessa disserta¸cão, são propostos dois novos métodos para o reconhecimento de gestos manuais, um para gestos estáticos e outro para gestos dinâmicos, explorando as vanta-gens das novas informa¸cões fornecidas pelo sensor de profundidade Microsoft KinectTM

.

(34)

• A primeira principal contribui¸cão desta disserta¸cão é apresentar um novo método para o reconhecimento de gestos manuais estáticos aproveitando a informa¸cão de profundidade da mão. Este método foi aceito e será publicado na XXVII Confe-rence on Graphics, Patterns and Images (SIBGRAPI) - 20151_.

• Explorar as vantagens dos dados de profundidade, como a invariância de ilu-mina¸cão para facilitar o processo de segmenta¸cão das mãos, removendo o fundo e algumas partes do corpo que não ajudam no reconhecimento.

• A representa¸cão da mão mediante uma nuvem de pontos e a gera¸cão de Histogra-mas de Magnitudes Acumuladas mediante o uso de cossenos de dire¸cão os quais representam com maior robustez as caracter´ısticas globais da mão.

• A segunda principal contribui¸cão desta disserta¸cão é apresentar um novo método para o reconhecimento de gestos dinâmicos combinando informa¸cões globais e tem-porais obtidas a partir dos dados RGB-D e das posi¸cões dos pontos das articula¸cões. Este método foi aceito e será publicado noInternational Conference on Image Pro-cessing (ICIP) - 20152_.

• A proposta de um algoritmo de extra¸cão dos quadros mais relevantes do gesto. Assim, o método desenvolvido, fica independente das varia¸cões temporais evitando o uso reiterado de técnicas invariáveis ao tempo como os Hidden Markov Model

(HMM) ou Dinamyc Time Warping (DTW). Portanto, ao reduzir o gesto para um n´umero discreto de quadros, podem-se usar e testar mais classificadores para o processo de reconhecimento.

• A conversão da trajetória em coordenadas esféricas e sua representa¸cão mediante três vetores principais: vetor de informa¸cão espacial (VSI), vetor de informa¸cão

temporal (VT I) e vetor de mudan¸cas de posi¸c˜ao (VHC).

• A busca de informa¸cão semântica a partir das informa¸cões globais das mãos nos quadros principais obtidos, gerando caracter´ısticas globais mais robustas.

• A proposta de uma nova base de dados de gestos dinâmicos correspondente à L´ıngua Brasileira de Sinais (LIBRAS), constitu´ıda por sinais desafiantes a qual será disponibilizada para ser utilizada por outros pesquisadores.

(35)

Introdu¸c˜ao 7

1.5 Organiza¸c˜

ao

(36)

(37)

Cap´ıtulo 2

Revis˜

ao Bibliogr´

afica

O reconhecimento de gestos manuais é uma área extensa dividida em duas categorias: os métodos baseados em dispositivos (uso de luvas) e os métodos baseados em visão. Como foi mencionado no capitulo anterior, os métodos baseados em dispositivos dificultam o movimento natural da mão e por tanto os métodos baseados em visão são os que apresentam uma maior pesquisa nessa área. Assim, esta diserta¸cão foi baseada em visão.

Rautaray and Agrawal (2015) apresentam as técnicas usadas para o reconhecimento de gestos manuais baseados em visão (Figura 2.1). Elas estão divididas em três fases: deteçcão, rastreamento e reconhecimento do gesto.

2.1 Detec¸c˜

ao e rastreamento

Na fase de deteçcão da mão, desenvolveram-se técnicas para localizar e segmentar as mãos. A segmenta¸cão é fundamental porque isola os dados relevantes do fundo da ima-gem antes de passá-los para as fases subsequentes de rastreamento e reconhecimento. Um grande número de métodos têm sido propostos na literatura que utilizam de vários tipos de caracter´ısticas visuais e, em muitos casos, a sua combina¸cão. Entre eles te-mos métodos baseados na cor da pele, onde sao propostos diversos espa¸cos de cor, tais como: RGB, RGB normalizado, HSV, YCrCb, YUV, etc. Kurata et al. (2001), Sigal et al. (2004), Yang et al. (1997) e Chai and Ngan (1998), apresentam diversas propostas para a deteçcão da pele usando diferentes espa¸cos de cor. Em Terrillon et al. (2000) é apresentado um estudo comparativo de diferentes modelos de análise da pele onde é

(38)

Figura 2.1: T´ecnicas para o reconhecimento de gestos. Rautaray and Agrawal (2015)

avaliando o desempenho dos mesmos. Também, desenvolveram-se métodos de deteçcão baseados na forma da mão (Argyros et al. 2006, Song and Takatsuka 2005, Yin and Xie 2003), no valor dos pixels (Cui and Weng 1996, Wu and Huang 2000), em modelos 3D (Wu and Huang 1999, Wu et al. 2001), entre outros.

(39)

Revis˜ao Bibliogr´afica 11

2.2 Reconhecimento

O objetivo geral do reconhecimento de gestos manuais é a interpreta¸cão semântica que a mão ou as mãos transmitem. As técnicas de reconhecimento de gestos manuais base-adas em visão podem ser classificbase-adas sobre dois tipos de gestos: estáticos e dinâmicos. Para detectar gestos estáticos (ou seja, posturas), um classificador geral ou um template-matcher pode ser utilizado. No entanto, os gestos dinâmicos têm um aspecto temporal e necessitam de técnicas que lidam com esta dimensão, como os Hidden Markov Mo-dels(HMM) ouDynamic Time Warping. A continua¸cão serão apresentados os trabalhos desenvolvidos para o reconhecimento de gestos estáticos e dinâmicos.

2.2.1 M´

etodos para o reconhecimento de gestos est´

aticos

Na categoria do reconhecimento de gestos estáticos, apresentam-se diferentes abordagens focadas na caracteriza¸cão do gesto as quais usam diferentes técnicas de classifica¸cão. Um dos primeiros trabalhos foi desenvolvido por Vamplew (1996), quem cria um sistema cha-mado SLARTI (Sign Language Recognition), o qual contem uma arquitetura modular que envolve múltiplas redes neurais (ANN, do ingles Artificial Neural Network) e o classificador dos K-vizinhos mais próximos para reconhecer gestos estáticos da l´ıngua de sinais australiana. A forma, a orienta¸cão, a localiza¸cão e o movimento da mão, são usadas como caracter´ısticas onde cada ANN é usada para classificar cada uma dessas ca-racter´ısticas. O classificador dosK-Vizinhos mais próximos foi usado como classificador final usando as sa´ıdas das ANNs como sua entrada. Em Stergiopoulou and Papamar-kos (2009), foi proposto um novo método baseado em um procedimento de ajuste do gesto através de uma nova redeSelf-Growing and Self-Organized Neural Gas (SGONG). Inicialmente, a região da mão é detectada através da aplica¸cão de uma técnica de seg-menta¸cão de cor com base em um processo de filtragem da cor da pele no espa¸co YCbCr. Logo, a rede SGONG é aplicada sobre a área da mão, para assim aproximar a sua forma. Com base na grelha de neurónios produzidos pela rede neural de sa´ıda, as caracter´ısticas morfológicas da palma são extra´ıdas, as quais junto com as caracter´ısticas do dedo, per-mitem a identifica¸cão do numero de dedos levantados.

(40)

da l´ıngua Arábica de sinais e Symeonidis (1996) que convertem as imagens das mãos em mascaras espaciais 3D binárias e usam um supervised feed-forward neural net based training and back propagation algorithm para classificar gestos manuais em diferentes categorias.

Além das redes neurais e suas varia¸cões, usaram-se também as Maquinas de Vetores de Suporte (SVM, do inglês Support Vector Machine). Em (Gupta et al. 2012) por exemplo, são usados filtros de Gabor para a extra¸cão de caracter´ısticas as quais são combinadas com PCA e LDA para reduzir suas dimensões gerando proje¸cões lineares. Logo uma maquina de vetores de suporte (SVM) e utilizada para a classifica¸cão obtendo boas taxas de reconhecimento. Feng and Yuan (2013) utilizam histogramas de gradien-tes orientados (HOG) para extrair caracter´ısticas dos gestos. Depois uma maquina de vetores de suporte SVM é usada para treinar esses vetores de caracter´ısticas, Na hora de fazer os testes, uma decisão é tomada utilizando as SVMs aprendidas anteriormente, e se faz a compara¸cão do mesmo gesto em diferentes condi¸cões de ilumina¸cão. Em (Bretzner et al. 2002), apresenta-se um sistema para o rastreamento e reconhecimento de posturas da mão que são representadas mediante caracter´ısticas hierarquias multi-escala em ima-gens de cor em termos de posi¸cão, escala e orienta¸cão. Em cada imagem, caracter´ısticas de cores multi-escala foram calculadas e os estados das mãos foram simultaneamente detectados e rastreados usando particle filtering. Os experimentos mostraram que o de-sempenho do sistema foi melhorado através da deteçcão de caracter´ısticas no espa¸co de cor. Esses componentes foram integrados em um protótipo de sistema em tempo real, aplicado a um problema de teste de controle de eletrônicos de consumo usando gestos manuais.

Outros m´etodos foram desenvolvidos tamb´em usando Naive Bayes Classifier ( Zi-aie et al. (2008, 2009)) e K-Nearest Neighbors ( Pizzolato et al. (2010), Rautaray and Agrawal (2010)) como classificadores.

(41)

uso destas novas tecnologias, ajuda a reduzir a complexidade dos processos de dete¸cão, segmenta¸cão e rastreamento da mão Frati and Prattichizzo (2011), Li (2012), Mo and Neumann (2006), Ren et al. (2011), além de fornecer novos conhecimentos para a gera¸cão de novas caracter´ısticas. Fazendo aos pesquisadores, focar-se principalmente na fase do reconhecimento. Entre eles temos as câmeras de profundidadeTime-of-Flight (ToF) e o sensor KinectT M da Microsoft.

Em (Liu and Fujimura 2004), é apresentado um método para o reconhecimento de gestos, utilizando uma sequência de imagens de profundidade em tempo real adquiridos por uma câmera ToF. A postura da mão e as informa¸cões de movimento são extra´ıdos a partir de um v´ıdeo é representados num espa¸co de gestos. Nesse espa¸co, mostrou-se que é poss´ıvel reconhecer os diferentes tipos de gestos. Mais tarde, Uebersax et al. (2011) desenvolveram um sistema para o reconhecimento de letras e de algumas pala-vras simples usando também uma câmera ToF. O sistema retornava a palavra descrita mais provável. Foi introduzido um algoritmo de segmenta¸cão da mão aproveitando a informa¸cão de profundidade e usaram-se três classificadores. O primeiro calculava as diferen¸cas de profundidade. O segundo calculava a media de maximiza¸cão de margem do vizinho mais próximo para detectar qual era o sinal estático e o terceiro estimava a orienta¸cão da mão para descartar erros. Depois, combinaram-se os três métodos de clas-sifica¸cão e usou-se palavras predefinidas armazenadas num dicionário para reconhecer o gesto. Em, Oprisescu et al. (2012), usou-se também uma câmera ToF e apresentou-se um algoritmo automático para reconhecimento de gestos manuais aproveitando as in-forma¸cões de profundidade e intensidade. A combina¸cão dessas inin-forma¸cões facilitou o processo de segmenta¸cão, mesmo com a presen¸ca de um fundo complexo. A classi-fica¸cão dos gestos foi baseada em uma árvore de decisão usando descri¸cões estruturais de segmentos de contorno particionados.

Outros trabalhos, usaram o sensor KinectT M como no caso de Biswas and Basu (2011) que usaram as imagens de profundidade para remover o fundo e Logo gerar um perfil da profundidade da pessoa que realizava o gesto. Alem disso, a diferen¸ca entre os quadros consecutivos gerou o perfil de movimento da pessoa o qual foi utili-zado para o reconhecimento dos gestos fazendo uso eficiente da câmera de profundidade para reconhecer com sucesso vários gestos. O sistema foi treinado usando máquinas de vetores de suporte (SVM). Pugeault and Bowden (2011b) usaram também um disposi-tivo KinectT M _{para coletar imagens de intensidade e de profundidade (dados RGB-D).}

(42)

Lan-guage - ASL). Van den Bergh and Van Gool (2011) propuseram um método baseado na concatena¸cão das imagens de intensidade e profundidade segmentadas, usando uma combina¸cão de Haar wavelets e redes neurais para 6 gestos feitos por um único usuário.

(Zhu and Wong 2012) apresentaram um método onde primeiro são extra´ıdas as carac-ter´ısticas de baixo n´ıvel (low level features) em janelas, e logo estas são combinadas por meio de descritores kernel. Esta abordagem usou apenas um pequeno número de amos-tras de treinamento (40 amosamos-tras por sinal) e as restantes foram usadas para teste. Eles fizeram dois experimentos diferentes. O primeiro foi realizado usando imagem piramidal e obtiveram 88% de acurácia. No segundo caso, a imagem piramidal não foi usada e obtiveram uma acurácia de 77%. Otiniano Rodriguez and Camara Chavez (2013) desen-volveram um sistema h´ıbrido para o reconhecimento da l´ıngua de sinais usando imagens RGB-D a partir de informa¸cões do sensor KinectT M. Primeiro segmentaram a área da mão do fundo usando o mapa de profundidade, depois e usaram também descritores Kernels para a extra¸cão de caracter´ısticas, além, o Scale-Invariant Feature Transform

(SIFT) foi usado para descrever o conte´udo da imagem RGB e finalmente a classifica¸c˜ao foi feita usando maquinas de vetores de suporte (SVM).

Porém, os trabalhos mencionados anteriormente utilizaram os dados de profundi-dade como apoio para a segmenta¸cão das mãos ou como refor¸co para a extra¸cão de caracter´ısticas. Também alguns trabalhos utilizaram descritores desenhados para traba-lhar e extrair caracter´ısticas dos dados de profundidade, mas apresentando um elevado tempo de processamento para a extra¸cão delas. Assim, surgiu a necessidade de desenvol-ver um novo método para extrair caracter´ısticas aproveitando os dados de profundidade, o qual seja simples e rápido de processar apresentando um bom desempenho no reconhe-cimento, similar o melhor que os trabalhos mencionados anteriormente. Este método foi desenvolvido e apresentado nesta disserta¸cão como primeira contribui¸cão principal.

2.2.2 M´

etodos para o reconhecimento de gestos dinˆ

amicos

Na categoria do reconhecimento de gestos dinâmicos, apresentam-se diferentes aborda-gens focadas na trajetória percorrida pelo gesto. Como foi mencionado anteriormente, os gestos dinâmicos têm um aspecto temporal e requerem de técnicas que lidam com esta dimensão para poder fazer a classifica¸cão.

Um dos classificadores mais usados s˜ao os Modelos Ocultos de Markov (HMM, do

(43)

tempo e amplitude dos gestos. Devido a esta caracter´ıstica, as HMMs aparecem como uma abordagem ideal para o reconhecer gestos que contenham informa¸cões temporais e são conhecidos por terem taxas elevadas de classifica¸cão. Em Ramamoorthy et al. (2003), por exemplo, apresentou-se um sistema para reconhecer gestos dinâmicos con-siderando aos gestos com poses de mão distintas. Nestes gestos as poses apresentavam movimento e altera¸cões discretas mas sem permitir deforma¸cões cont´ınuas da forma da mão. Foi desenvolvido um motor de reconhecimento capaz de reconhecer esses gestos apesar das varia¸cões individuais. A estratégia de reconhecimento utilizou uma com-bina¸cão de reconhecimento estático de forma (realizada por meio de análise de contorno discriminante), filtro Kalman baseado no rastreamento da mão e um esquema de carac-teriza¸cão temporal, baseado em HMM. O sistema demonstrou ser robusto para fundos complexos apresentando um bom desempenho. Em Elmezain et al. (2008), foi proposto um sistema automático para reconhecer números arábicos (0-9) baseados novamente no modelo oculto de Markov (HMM) usando caracter´ısticas dinâmicas de orienta¸cão do gesto obtidas a partir das trajetórias da mão. Kurakin et al. (2012) apresentam também um sistema em tempo real para o reconhecimento de gesto manuais dinâmicos invariante às varia¸cões da velocidade e às orienta¸cões da mão. O método foi baseado em um grafo de a¸cões que contem propriedades robustas semelhantes com um HMM padrão, mas re-quer menos dados de treinamento. Para lidar com as orienta¸cões da mão, desenvolveram uma técnica de segmenta¸cão da mão e normaliza¸cão da orienta¸cão avaliando o sistema proposto em um conjunto de dados desafiante.

Wang, Xia, Cai, Gao and Cattani (2012), apresentam um novo método baseado igual-mente em Hidden Markov Models(HMM) para o modelagem das trajetórias de gestos dinâmicos e seu reconhecimento, usando o algoritmo AdaBoost para detectar a mão do usuário. Além, de um rastreador de mãos baseado em contornos. Logo, uma B-spline

(44)

obtendo-se rapidamente e com precis˜ao, as coordenadas da posi¸c˜ao de palma, logo, usou-se um Hidden Markov Models (HMM) para o reconhecimento apresentando uma bom desempenho nos resultados experimentais.

Outras propostas, usaram o algoritmoDynamic Time Warping (DTW) para a clas-sifica¸cão de gestos dinâmicos pois este algoritmo encontra o alinhamento óptimo de dois sinais, calculando a distância entre cada par poss´ıvel de pontos em dois sinais em ter-mos de seus valores de caracter´ısticos associados. Em (Hernández-Vela et al. 2013), por exemplo, apresentou-se uma metodologia para resolver o problema da segmenta¸cão das mãos e reconhecimento dos gestos em imagens de v´ıdeo e profundidade, introduzindo um modelo Bag-of-Visual-and-Depth-Words (BoVDW) como uma extensão do modelo

Bag-of-visual-words. Também, um novo descritor de profundidade foi usado integrando um Human Gesture Recognition pipeline junto com um novo algoritmo probability-based Dynamic Time Warping (PDTW). Celebi et al. (2013), também usaram um método baseado emDynamic time warping (DTW) ponderado atribuindo pesos às articula¸cões, otimizando uma rela¸cão discriminante, demonstrando que o desempenho do método pro-posto superava a outros métodos baseados no DTW convencional. Masood et al. (2014) apresentaram um novo método para o reconhecimento doPakistani Sign Language uti-lizando o dispositivo KinectT M _{para obter a informa¸cão espacial do sinal. Os dados}

obtidos do KinectT M _{foram normalizados devido às varia¸cões de posi¸cão do usuário,}

fazendo a conversão das coordenadas cartesianas às coordenadas esféricas. Depois foi feita uma opera¸cão de casamento das caracter´ısticas com um dicionário de gestos usando novamente o algoritmo Dynamic Time Warping. Também, utilizaram-se outros classifi-cadores comoMultiple Extreme Learning Machines que foi usado por Chen and Koskela (2014) para propor um método RGB-D multi-modal. extraindo caracter´ısticas mediante o corpo e mascaras da mão nas imagens RGB e de profundidade.

(45)

igualmente a sele¸cão de um determinado numero de pontos da trajetória, combinando informa¸cão espacial e informa¸cão das imagens de intensidade usando como classificador o Random Forest. Em (Geetha et al. 2013), foi proposto um método para extrair os 25 pontos mais relevantes da trajetória de um sinal, calculando os pontos de máxima curvatura (M CP) e as distancias de cada ponto à linha do eixo de menor inercia (ALI) as quais foram consideradas como caracter´ısticas temporais. Para a extra¸cão das carac-ter´ısticas locais, calculou-se a distancia de cada dedo ao centro da mão. Dessa forma gerou-se um vetor com informa¸cão global e local do sinal. Os experimentos feitos foram divididos em três categorias: melhor caso, caso médio e pior caso, obtendo acurácias do 100%, 40% e 25% respectivamente.

No entanto, os métodos propostos por Faria and Dias (2009), Geetha et al. (2013), Rakun et al. (2013) usaram bases de dados com gestos de movimentos simples e bem feitos sem apresentar muitas varia¸cões em suas trajetórias o qual restringe e limita um pouco o a realiza¸cão de um gesto pois cada movimento apresenta ligeiras varia¸cões no ângulo de visão e perspectiva. Além, a forma de escolher os pontos representativos da trajetória foi baseada em que a trajetória é perfeita o qual não sempre acontece. Portanto, surgiu a necessidade de propor um novo método para extrair esses pontos representativos de uma forma mais precisa, diminuindo assim o tempo de processamento e contribuindo com novas caracter´ısticas temporais e globais para distinguir gestos mais desafiantes. Esse método foi desenvolvido e apresentado nesta diserta¸cão como segunda contribui¸cão principal.

2.3 Considera¸c˜

oes Finais

Neste capitulo, apresentou-se as técnicas para o reconhecimento de gestos, as quais são divididas em três fases: deteçcão, rastreamento e reconhecimento. Para cada fase, foram apresentadas as diversas abordagens desenvolvidas. Também, ressaltou-se a importância dos sensores de profundidade, os quais ajudam reduzindo a complexidade de processos prévios como no caso da deteçcão e rastreamento da mão, além de proporcionar novas informa¸cões o que facilita a intera¸cão com o usuário.

(46)

(47)

Cap´ıtulo 3

Referencial Te´

orico

Para facilitar o entendimento da descri¸cão dos métodos propostos nessa disserta¸cão, são descritos os conceitos pertinentes ao reconhecimento de gestos, gestos manuais, extra¸cão de caracter´ısticas e técnicas de aprendizagem de maquina.

3.1 Reconhecimento de Gestos

O termo Reconhecimento de gestos, refere-se coletivamente a todo o processo do se-guimento dos gestos humanos para a sua representa¸cão e conversão em comandos com significado semântico (Rautaray and Agrawal 2015).

Os gestos são expressivos, são movimentos significativos do corpo que envolvem mo-vimentos f´ısicos dos dedos, mãos, bra¸cos, cabe¸ca e face com a inten¸cão de: (i) transmitir informa¸cões significativas ou (ii) interagir com o ambiente. Um gesto pode também ser percebido pelo ambiente como uma técnica de compressão para transmitir a informa¸cão para outro lugar e ser subsequentemente reconstru´ıda pelo receptor.

Al´em disso, os gestos s˜ao frequentemente espec´ıficos para cada idioma e cultura (Mitra and Acharya 2007). Eles, genericamente, podem ser dos seguintes tipos:

1. Gestos manuais e de bra¸cos: o reconhecimento de poses da mão, l´ınguas de sinais, e aplica¸cões de entretenimento (permitindo aos usuários interagir em ambientes virtuais).

2. Gestos de faces e cabe¸ca: alguns exemplos s˜ao (a) Acenando com a cabe¸ca ou

(48)

balan¸cando-a. (b) Dire¸c˜ao do olhar. (c) Eleva¸c˜ao das sobrancelhas. (d) Abrir a boca para falar. (e) Piscando os olhos. (f) Dilatando as narinas. (g) Olhar surpreendido, de gosto, de medo, de raiva, de tristeza, de desprezo, etc.

3. Gestos do corpo: Envolvimento do movimento do corpo inteiro, como em: (a) Acom-panhamento dos movimentos de duas pessoas interagindo ao ar livre. (b) Análise dos movimentos de uma dan¸carina para gerar uma correspondência com a música e os gráficos. (c) Reconhecimento do andar humana para reabilita¸cão médica e treinamento atlético, etc.

3.1.1 Gestos Manuais

Os gestos humanos constituem tipicamente um conjunto de movimentos expressados pelo corpo, face e/ou mãos. Destes, os gestos manuais são muitas vezes os mais expressivos e os mais utilizados. Isto envolve: a) uma postura, configura¸cão estática dos dedos sem movimento da mão e b) um gesto, o movimento dinâmico da mão, com ou sem movimento dos dedos.

Esses gestos podem ser categorizados dentro da seguinte lista:

• Gesticula¸cão: movimentos espontâneos das mãos e bra¸cos, acompanhados da fala. Estes movimentos espontâneos constituem cerca do 90% dos gestos humanos.

• Linguagem como gestos: gesticula¸c˜ao integrada em uma express˜ao falada, substi-tuindo uma palavra particular ou uma frase falada.

• Pantomimas: gestos que descrevem objetos ou a¸c˜oes, acompanhados ou n˜ao da fala.

• Emblemas: sinais familiares tais como ”V”para a vit´oria, ou outros gestos”rudes”

culturais espec´ıficos.

(49)

Referencial Te´orico 21

morfemas, são chamadas de parâmetros (Felipe and Monteiro 2007). Nas l´ınguas de sinais podem ser encontrados os seguintes parâmetros:

1. Configura¸cão das mãos: são formas das mãos que podem ser da datilologia (alfabeto manual) ou outras formas executadas pela mão predominante ou ambas mãos do emissor ou sinalizado (Figura 3.1).

Figura 3.1: Exemplos de sinais com as mesmas configura¸c˜oes da m˜ao. (Felipe and Monteiro 2007)

2. Ponto de articula¸cão: é o lugar onde incide a mão predominante, podendo esta tocar alguma parte do corpo ou estar em um espa¸co neutro vertical (do meio do corpo até à cabe¸ca) e horizontal (à frente do emissor (Figura 3.2).

Figura 3.2: Lugares onde incide a m˜ao predominante. (Felipe and Monteiro 2007)

(50)

Figura 3.3: Exemplos de sinais com e sem movimento. (Felipe and Monteiro 2007)

4. Orienta¸cão: Os sinais podem ter uma dire¸cão e a inversa desta pode significar a idéia contrária. (Figura 3.4).

Figura 3.4: Exemplos de sinais com diferentes orienta¸c˜oes.(Felipe and Monteiro 2007)

(51)

Figura 3.5: Exemplos de express˜oes faciais em diferentes sinais.(Felipe and Monteiro 2007)

3.2 Aquisi¸c˜

ao de Dados

A aquisi¸cão de dados é o primeiro passo em qualquer método. Para a obten¸cão da informa¸cão dos gestos manuais, existem diversos dispositivos que podem ser utilizados e ajudam na obten¸cão dos dados como é no caso de luvas e sensores de profundidade, entre eles o sensor KinectTM _.

3.2.1 Luvas

Os primeiros sistemas baseados em luvas foram desenhados na década de 1970 e, desde então, têm sido propostos uma série de desenhos diferentes. Eles surgiram como apoio para as câmeras simples que são dispositivos básicos na obten¸cão de imagens de cor. Estas podem ser coloridas e/ou com sensores.

No caso de luvas coloridas, Lamberti and Camastra (2011) apresentam um desenho de luvas para um sistema de reconhecimento de gestos manuais em tempo real e Wang and Popović (2009), propõem outro desenho de luvas para uma aplica¸cão de seguimento de mãos em tempo real. A Figura 3.6, mostra os desenhos de luvas coloridas propostos anteriormente.

(52)

AcceleGlove e Upper limb garment prototype. Na Figura 3.7, se mostram os modelos mencionados anteriormente.

Figura 3.6: Luvas coloridas. a) Luvas usadas por (Lamberti and Camastra 2011). b)Luvas usadas por (Wang and Popovi´c 2009).

(53)

3.2.2 Kinect

O KinectTM _{´e um sensor RGB-D o qual proporciona imagens de cor e profundidade}

sincronizadas. Foi inicialmente usado como um dispositivo de entrada pela Microsoft

para a consola de jogos Xbox 360TM _{(Figura 3.8). Possui um algoritmo de captura de}

movimento humano 3D que permite intera¸cões entre usuários e um jogo sem a neces-sidade de gamepads ou de outros dispositivos de intera¸cão, pois em vez disso, o sensor reconhece os gestos do usuário e comandos de voz (Han et al. 2013).

Figura 3.8: Inicialmente o Kinect foi desenvolvido para ser usado em jogos no XBOX

360.

A chave para o reconhecimento de gestos é a câmera de profundidade do dispositivo que consiste em um projetor de laser infravermelho e uma câmera de v´ıdeo infravermelha montada dentro da barra do sensor. A barra do sensor também possui uma câmera de v´ıdeo de cor que fornece os dados de intensidade (RGB câmera) (Figura 3.9). Também contém um conjunto de quatro microfones e está ligado a uma base motorizada que permite para a barra do sensor ser inclinada para cima e para baixo. Além desta in-forma¸cão, também fornece informa¸cão das articula¸cões do corpo. São vinte pontos de articula¸cão e podem ser vistos em detalhe na Figura 3.10. A tecnologia foi desenvolvida por PrimeSence e é descrito em detalhe nas suas patentes ((Dutta 2012)).

(54)

humano-Figura 3.9: Sensor Kinect e suas partes. Imagens de cor e profundidade captadas pelo dispositivo.

Figura 3.10: Pontos das articula¸c˜oes do corpo obtidos pelo Kinect.

computador. Com esse fim, o 1◦ _{de Fevereiro do 2012,} _Microsoft _{lan¸cou o Kit de}

Desen-volvimento de Software Kinect (Kinect Software Development Kit-SDK) para Windows1

(Zhang 2012).

A Figura 3.11, ilustra uma taxonomia estruturada indicando o tipo de problemas de visão que podem ser resolvidas ou melhoradas por meio do sensor Kinect. Mais especifi-camente, os tópicos analisados incluem reconhecimento e acompanhamento de objetos, análise de atividades humanas, reconhecimento de gestos manuais e mapeamento 3D. A ampla diversidade de tópicos mostra claramente o impacto potencial do Kinect no

(55)

campo da vis˜ao computacional.

Figura 3.11: Taxonomia do tipo de problemas de vis˜ao que podem ser resolvidas ou melhoradas por meio do sensor Kinect.

3.3 Extra¸c˜

ao de Caracter´ısticas

A extra¸cão e sele¸cão de caracter´ısticas é um passo muito importante para o processo de reconhecimento. A tarefa básica da extra¸cão e sele¸cão de caracter´ısticas é encon-trar um grupo de caracter´ısticas importantes, as quais devem representar da melhor forma poss´ıvel a imagem em questão para utiliza-las durante a etapa da classifica¸cão. A continua¸cão definiremos os descritores usados em nosso modelo.

3.3.1 Scale-Invariant Feature Transform (SIFT)

Um dos métodos para extrair pontos invariantes, amplamente utilizado na literatura é o algoritmo SIFT (Scale-Invariant Feature Transform). SIFT é um método proposto por Lowe (1999) utilizado em visão computacional para detectar e descrever caracter´ısticas locais em imagens. SIFT extrai caracter´ısticas invariantes à escala, rota¸cão e, em certa medida, invariantes à mudan¸ca de ilumina¸cão e as diferentes vistas de um objeto ou de uma cena, gerando caracter´ısticas com uma elevada probabilidade de ser casadas corretamente.

(56)

computacional. Com a apari¸c˜ao do SIFT, este minimizou o custo de extrair as carac-ter´ısticas usando uma abordagem de filtragem em cascata, aplicando opera¸c˜oes custosas somente nos pontos locais que passam um teste inicial.

O algoritmo consiste de quatro etapas distintas para extrair as caracter´ısticas de uma imagem:

• Constru¸cão de um espa¸co de escala: O primeiro passo para detectar os pontos de interesse de uma imagem é identificar as localiza¸cões e escalas que se repetem continuamente ao usar diferentes vistas do mesmo objeto. Para detectar essas localiza¸cões, procuram-se caracter´ısticas estáveis em todas as escalas. Para isso, utiliza-se uma fun¸cão continua conhecida como espa¸co de escala. O espa¸co de escala se define como uma fun¸cão L(x, y, σ) obtida depois de aplicar a fun¸cão Gaussiana G(x,y,σ) com a imagem I(x, y), onde

G(x, y, σ) = 1 2πσ2e

−(x2_+y2_)/2σ2

. (3.1)

Para que a deteçcão dos pontos seja eficaz, o algoritmo utiliza a diferencia de Gaussianas (DoG) na imagem. Essa diferencia pode ser obtida das diferencias entre duas escalas vizinhas separadas pelo um fator K constante. A Figura 3.12, mostra um exemplo do exposto anteriormente. A fun¸cão de deteçcão é determinada da seguinte forma:

D(x, y, σ) = (G(x, y, kσ)−G(x, y, σ))∗I(x, y) =L(x, y, kσ)−L(x, y, σ). (3.2)

(57)

Figura 3.12: Representa¸c˜ao de uma pirˆamide de diferencias de Gaussianas (DoG) apli-cadas em diferentes escalas para uma imagem.

em imagens com baixa resolu¸cão. Para isso, são descartados os pontos extremos mediante uma limiariza¸cão.

Figura 3.13: Compara¸c˜ao do pixel com seus oito vizinhos e os nove vizinhos das escalas superior e inferior.

Como a fun¸cão diferencia de Gaussianas (DoG) retorna muitos pontos de interesse nas bordas e esquinas dos objetos, eles são eliminados para manter a estabilidade dos pontos. Para isso, são calculadas duas gradientes no ponto de interesse. Ambas perpendiculares entre si. A imagem em torno do ponto de interesse pode ser: 1. Uma região plana, se os dois gradientes são pequenos. 2. Uma borda, se um gradiente é grande e o outro é pequeno. 3. Uma quina, se ambos os gradientes são grandes. As quinas são ótimas candidatas para serem pontos de interesse, portanto, valores elevados de gradientes são procurados, sendo rejeitados aqueles pontos de interesse que não possuem essa caracter´ıstica.

(58)

pon-tos sens´ıveis ao ru´ıdo, os que estão localizados nas bordas dos objepon-tos, é atribu´ıda uma orienta¸cão para cada ponto caracter´ıstico.

Para cada imagem L(x, y) com uma determinada escala, calcula-se a magnitude do gradiente m(x, y) e a orienta¸c˜ao θ(x, y) usando as diferen¸cas entres pixels:

m(x, y) =p(L(x+ 1, y)−L(x−1, y))2_{+ (}_L₍_{x, y}_{+ 1)}₋_L₍_{x, y}₋₁₎₎2_, _(3.3)

θ(x, y) = arctanL(x, y+ 1)−L(x, y−1)

L(x+ 1, y)−L(x−1, y). (3.4)

• Calculo do descritor dos pontos de interesse: Depois de obter para cada ponto de interesse uma localiza¸cão, orienta¸cão e escala. O seguinte passo será calcular um descritor para as regiões locais da imagem. Para obter o descritor de cada ponto, calculam-se as magnitudes e orienta¸cões dos vizinhos do ponto. Depois disso, para garantir a invariância a orienta¸cão, as coordenadas do descritor e as orienta¸cões do gradiente são rodados em rela¸cão à orienta¸cão extra´ıda anteriormente.

Todo esse processo, da como resultado, uma serie de pontos caracter´ısticos esparsos, cada um deles com um descritor final de 128 componentes, os quais são invariantes à transla¸cão, escala, orienta¸cão e parcialmente à mudan¸cas de ilumina¸cão.

3.3.2 Bag-of-Visual-Words

Bag-of-Visual-Words (BoW) é um método amplamente utilizado na área de recupera¸cão de informa¸cão na parte de categoriza¸cão de textos. Nesta categoriza¸cão, o documento é tratado como um histograma onde o número de ocorrências de cada palavra é contado (Mukherjee et al. 2014). Na visão computacional, um conceito semelhante é utilizado, onde uma imagem é representada por um histograma que conta o número de ocorrências de certas caracter´ısticas multidimensionais (pontos SIFT, numero de quinas, cores,etc).

Sivic and Zisserman (2003) usaram por primeira vez o modeloBag-of-Visual-Words

(59)

que pertencem a um conjunto de vetores de caracter´ısticas chamado vocabul´ario visual oucodebook.

Para implementar o modelo BoW aplicado em visão computacional requerem-se as se-guintes etapas: identifica¸cão das caracter´ısticas, gera¸cão do vocabulário visual e gera¸cão do histograma de palavras visuais.

• Identifica¸cão de caracter´ısticas: antes de gerar o vocabulário visual, é preciso ex-trair uma série de caracter´ısticas de baixo n´ıvel de todas as imagens. Essas ca-racter´ısticas também chamadas de pontos caracter´ısticos ou pontos de interesse caracterizam as imagens. Os detectores dos pontos de interesse tentam encontrar caracter´ısticas como bordas, quinas, cor,etc. Após a deteçcão das caracter´ısticas, cada imagem é representada por meio de suas caracter´ısticas locais. Os métodos de representa¸cão, descrevem essas caracter´ısticas como vetores numéricos, chamados descritores de caracter´ısticas. O descritor deve ter a capacidade de lidar com: a intensidade, rota¸cão, escala e outras varia¸cões. Entre os descritores locais, temos, por exemplo, o SIFT e SURF (Speeded Up Robust Features).

• Gera¸cão do vocabulário visual: Uma vez caracterizadas todas as imagens, é gerado o denominado dicionário ou vocabulário visual das caracter´ısticas. Este voca-bulário é chamado decodebook e serve para descrever as imagens usando o mesmo número de caracter´ısticas, agrupando-as em um mesmo grupo chamado “cluster”. Cada elemento que representa a cada grupo é de chamado de codeword. A cons-tru¸cão de umcodebook pode ser feito de várias maneiras. Tipicamente, os métodos mais comumente usados para a gera¸cão de clusters são algoritmos de agrupamento como oK-means.

• Gera¸cão do histograma de palavras visuais: Após da gera¸cão do vocabulário vi-sual, um histograma de palavras visuais e criado contando as ocorrências de cada

codeword. Essas ocorrˆencias s˜ao organizadas em um vetor. Onde cada vetor re-presenta as caracter´ısticas para uma imagem.

Na Figura 3.14 ´e apresentada uma representa¸c˜ao geral do funcionamento do modelo

(60)

Figura 3.14: Representa¸c˜ao do funcionamento do modelo Bag-of-Visual-Words (BoW).

3.4 Algoritmos de aprendizagem de maquina

(61)

3.4.1 K

-means

O algoritmo de agrupamento K-means (também chamado de K-Médias), proposto por MacQueen et al. (1967), é um método que tem como objetivo a parti¸cão de um conjunto de N observa¸cões em K grupos (ou clusters) onde cada observa¸cão corresponde ao grupo mais próximo. É um método muito utilizado e provavelmente é o algoritmo de agrupamento mais conhecido.

O objetivo do algoritmo K-means é fornecer uma classifica¸cão automática sem a necessidade de supervisão, isto é, sem nenhuma pré-classifica¸cão existente. Por causa disso, o K-means é considerado, como um algoritmo não supervisionado.

Para simplificar, o algoritmo funciona em cinco passos principais:

1. Escolher os valores para os K centr´oides iniciais: neste passo, se escolhem arbi-trariamente K pontos como os centros iniciais para cada grupo ou cluster.

2. Gera¸cão da matriz de distâncias: neste passo, calcula-se a distância entre cada ponto e os centróides. Aqui, acontece a parte com maior processamento devido ao numero de cálculos a se realizar, pois terão que ser calculadas N×K distâncias.

3. Agrupar os pontos de acordo com a sua distância: nessa parte, os pontos são agru-pados em rela¸cão aos centróides, distribuindo-os ao grupo com quem possuem a menor distancia (maior similaridade). No caso que nenhum ponto seja incorporado a um grupo diferente de onde ele estava, o algoritmo termina.

4. Calcular os novos centróides para cada grupo: após agrupar todos os pontos, os valores das coordenadas dos centróides são recalculados pela média de cada atri-buto de todos os pontos que pertencem a esse cluster, procura-se encontrar uma parti¸cão melhor do que a gerada arbitrariamente.

5. Repetir até a convergência: Repetir iterativamente desde o passo 2 até que os grupos convirjam. Isto é, refinando os grupos até que não existam mais altera¸cões neles.

(62)

Figura 3.15: Exemplo do funcionamento do algoritmo K-means para trˆes grupos.

3.4.2 Maquinas de Vetores de Suporte

As Maquinas de Vetores de Suporte (Support Vector Machines - SVM) são usadas na literatura na fase de classifica¸cão dos dados de treinamento, porem é importante para o usuário conhecer a teoria e o funcionamento dos SVMs.

As SVMs representam as caracter´ısticas do conjunto de dados de entrada como pontos em um espa¸co dimensional (Cortes and Vapnik 1995). Então, é tra¸cado um hiperplano (ou fronteira de decisão) que separa os pontos através de margens associadas (linhas paralelas) que determinam a qual lado ou classe cada ponto pertence, esse processo é chamado de separa¸cão ou classifica¸cão linear. Os pontos no limite encontrados sobre ou bem próximos as margens entre as classes, são chamados de vetores de suporte. Um exemplo pode ser visualizado na Figura 3.16, cujos pontos correspondem às classes 1 e 2 e estão distribu´ıdos no espa¸co de caracter´ısticas.

(63)

O objetivo é encontrar o hiperplano de separa¸cão ótima que minimiza o erro de classifica¸cão e generaliza os novos pontos ainda não conhecidos do conjunto de teste, maximizando a distância entre as margens e os pontos de cada classe. Quando os dados não são linearmente separáveis, o hiperplano com margem máxima não pode ser encontrado. Em tais casos, utiliza-se uma fun¸cão Kernel que calcula os vetores de suporte para cada ponto, e os projeta a um espa¸co de dimensões superiores, onde os dados se tornam linearmente separáveis. A Figura 3.17 mostra um exemplo de uma fun¸cão

Kernel φ, que projeta dados do espa¸coR2 a uma dimensãoR3 para poder encontrar um hiperplano de separa¸cão. É por isso, que uma importante caracter´ıstica do classificador SVM é que permite a classifica¸cão não linear sem requerer explicitamente um algoritmo não-linear.

Os Kernels mais comuns são: linear, polinomial, Radial Basis Function (RBF), distância χ2 e triangular. Além de escolher o tipo de Kernel também e importante normalizar os dados. Recomenda-se escalar cada atributo para o intervalo [-1,1] ou [0,1].

As SVMs têm sido aplicadas com sucesso em muitos problemas da vida real e em diversas áreas como: deteçcão e reconhecimento de faces, reconhecimento de objetos, re-conhecimento de caracteres manuscritos, rere-conhecimento de voz, categoriza¸cão de texto,

etc. (Byun and Lee 2003)

Figura 3.17: Representa¸c˜ao de uma fun¸c˜ao Kernel φ projetando um espa¸co de entrada

(64)

3.4.3 Outros m´

etodos de classifica¸c˜

ao

Enquanto o reconhecimento de gestos estáticos geralmente pode ser realizado através de modelos de matching, reconhecimento de padrões standard, redes neurais, etc. O problema de reconhecimento de gestos dinâmicos envolve o uso de técnicas como Hid-den Markov model, Dynamic time warping, Time delay neural networks, Finite state machine,etc.

3.5 Considera¸c˜

oes Finais

Este cap´ıtulo descreveu os conceitos pertinentes para o entendimento da disserta¸cão apresentada. Foi definido o conceito de reconhecimento de gestos, analisando particu-larmente o tipo de gestos manuais, onde se apresentaram as categorias desses gestos fazendo ênfase nas l´ınguas de sinais. Também, foram apresentados os tipos de dispositi-vos mais usados na aquisi¸cão de dados dos gestos manuais: as luvas e o sensor KinectTM

o qual provê tanto a informa¸cão RGB-D como a informa¸cão das posi¸cões das articula¸cões do corpo. Logo, explicou-se as defini¸cões dos métodos usados para a extra¸cão de carac-ter´ısticas locais e gera¸cão de palavras visuais. Também foi explicado o algoritmo de agrupamento K-means e o algoritmo de classifica¸cão SVM.