Encontrar bases de sinais para uso da comunidade científica em Visão Com- putacional, especificamente para o reconhecimento de gestos e mais especificamente de sinais é, ainda, um desafio. Como as aplicações e ferramentas disponíveis são bastante diversas, torna-se realmente um desafio construir uma base de vídeos que possuam características padronizadas de luminosidade, fundo, distância, cor de pele, resolução da imagem, posição de câmeras de captura de movimentos, dentre outras e que, desta forma, possam ser utilizadas para treinamento em diversas situações. Chunli, Wen e Jiyong (2002), Dias, Souza e Pistori (2006) e Cooper e Bowden (2007) apresentam estudos sobre as especificidades na criação de bases de gestos e pro- duzem algumas bases em língua de sinais. Escalera et al. (2013) visualizaram es- tas dificuldades e vêm, desde 2011, promovendo ações de coleta e padronização de grande quantidade de dados, de forma interativa e online, para gestos manuais em geral. Eles utilizam como câmera o sensor RGB-D Kinect e o software de simulação matemática Matlab para operação e gravação dos vídeos. Os desafios destas ações vão desde a documentação dos sinais em dicionários de acordo com a comunidade
Capítulo 3. Criação da base de sinais 64
que se pretende gravar até a padronização das ferramentas utilizadas para a grava- ção dos sinais. Questões acerca da representatividade dos sinais na língua em que se insere a comunidade são as mais diversas possíveis e algumas delas são discutidas em (SCHEMER, 2003), em (JOHNSTON, 2003) e em (CLEVE, 2003).
Diante destas dificuldades em encontrar uma base de sinais brasileira e que fosse constituída com os sinais que analisamos e com as ferramentas que dispomos, decidiu-se por construir uma base de sinais própria, com o cuidado de especificá- la de tal forma que adicionar outros sinais e outros sinalizadores a ela seja possível seguindo estas especificações. Portanto, a base aqui utilizada é um protótipo que vem sendo melhorado ao longo dos anos de desenvolvimento desta pesquisa.
Decidiu-se pela utilização de sinais que representem os 34 morfemas molecu- lares propostos nos trabalhos apresentados em (CAPOVILLA; RAPHAEL; MAURíCIO, 2012a; CAPOVILLA; RAPHAEL; MAURíCIO, 2012b). Um único sinal foi escolhido de cada um dos agrupamentos de morfemas moleculares. Temos, desta forma, os 34 si- nais descritos na Figura 8, cada um representante de agrupamentos de morfemas em Língua Brasileira de Sinais e representando diversos outros sinais devido à sua simi- laridade apresentada em (CAPOVILLA; RAPHAEL; MAURíCIO, 2012a; CAPOVILLA; RAPHAEL; MAURíCIO, 2012b). Como não há, até o presente momento, uma base de dados com estes sinais, a opção pela criação nossa própria base de sinais mostrou-se adequada. Cada um dos 34 sinais foi gravado cinco vezes por um único sinalizador. Ao se estabelecer um único sinalizador, o estudo concentra-se em reconhecer as di- ferenças entre os sinais e não entre a forma como cada sinalizador os realiza.
Os 34 sinais foram gravados utilizando como câmera o sensor RGB-D Kinect em conjunto com o software NuiCaptureAnalyze e três importantes requisitos foram estabelecidos para a criação da base de dados. São eles:
1. cada vídeo deve conter o espaço do sinal, que é realizado, necessariamente, acima dos quadris. Assim, posições relativas às pernas não foram gravadas, uma vez que estas não compõem nossa região de interesse;
2. a distância do sinalizador ao sensor deve ser suficiente para capturar os movi- mentos dos braços;
3. a gravação dos vídeos de intensidade, vídeos de profundidade, vídeos do esque- leto e das informações de posição de partes do corpo deve acontecer de forma simultânea.
A distância utilizada entre o sinalizador e o sensor Kinect, baseando-se nestas diretrizes, foi de 1,9 metros (6,2 pés). Este valor está em acordo com a faixa de dis-
Capítulo 3. Criação da base de sinais 65
tância de gravação do sensor, que está entre 0,8 metros (2,6 pés) e 3,5 metros (11 pés).
Utilizando estas ferramentas e obedecendo a estas especificações, foram gra- vados cinco vídeos para cada amostra de cada um dos 34 sinais. Um arquivo em formato Matlab, MathWorks (2012), contendo os valores em milímetros, das distân- cias (x,y,z) de cada ponto detectado do corpo ao sensor, para cada um dos vídeos gravados, é gerado.
A Figura 12 apresenta um esquemático da gravação do sinal “Comemorar” utilizando-se estas ferramentas. Em (a), vê-se um quadro colorido no formato RGB do vídeo gravado; em (b) um quadro de profundidade do vídeo de profundidade; em (c) um quadro do esqueleto do vídeo do esqueleto. A taxa de gravação dos vídeos é de 30 quadros por segundo e tanto o vídeo em RGB, o vídeo da profundidade e o vídeo do esqueleto foram gravados em formato AVI (formato de áudio e vídeo da Microsoft).
Figura 12: Formatos dos vídeos gravados para o sinal “Comemorar” utilizando o soft- ware nuiCaptureAnalyze operando o sensor Kinect: (a) Intensidade, (b) Profundidade e (c) Posição.
3.4 Considerações finais
Diante da grande quantidade de ferramentas integradas para criação de siste- mas em Visão Computacional, diversas escolhas foram realizadas na criação de uma base de dados com sinais em Libras que fosse capaz de representar um conjunto de
Capítulo 3. Criação da base de sinais 66
sinais da língua. A questão da comercialização e baixo custo do sensor Kinect fez com que ele fosse utilizado, em conjunto com o software nuiCaptureAnalyze para a gravação dos sinais escolhidos.
Combinações diferentes de ferramentas levam à necessidade de construção de outras bases de sinais, pois a parametrização pode ser diferente, alterando brilho, distância ao sensor e formato de dados disponibilizado para utilização.
Assim, a construção de uma base de sinais como realizada neste trabalho for- nece diretrizes gerais para futuras bases gravadas com sensores RGB-D mais moder- nos ou com características diferentes, mantendo-se as especificações aqui descritas.
67
4 Sumarização de vídeos
A sumarização é um problema recorrente em processamento de vídeos, uma vez que estes são, em geral, arquivos que contém grande quantidade de informação digital. A principal função da sumarização consiste em reduzir o tamanho dos vídeos com o mínimo de perda de informação contida nestes. Após uma breve discussão so- bre técnicas aplicadas a redução de vídeos com diferentes finalidades, a abordagem realizada neste trabalho para reduzir as informações redundantes nos vídeos grava- dos para os sinais é detalhada e discutida. Ao final do capítulo, a detecção da região de interesse para este trabalho realizada a partir dos vídeos já sumarizados, tem seu algoritmo descrito.
4.1 Introdução
A sumarização de vídeo pode ser definida como o problema de encontrar-se uma sequência de quadros em um vídeo (com ou sem informação de áudio) que represente, da melhor forma possível e para a aplicação em questão, o conteúdo deste vídeo de forma concisa. A partir do vídeo reduzido deve ser possível procurar e recuperar informações tanto para vídeos com grandes sequências quanto para vídeos com sequências menores.
Dadas as diversas aplicações que se beneficiam diretamente da compactação resultante de uma sumarização, existe uma grande dificuldade em se padronizar as técnicas utilizadas, pois vídeos de diferentes gêneros (documentários, esportivos, fil- mes) solicitam diferentes técnicas que eliminem redundâncias em seus quadros. Isto deve-se ao fato de apresentarem dinâmicas bastante próprias. Portanto, a padroni- zação nem sempre é possível, ou mesmo recomendável, uma vez que as técnicas de sumarização devem respeitar as características do vídeo e da forma como este é manipulado.
Esta diversidade de técnicas aplicadas em redução de vídeos aparece na grande variedade de pesquisas existentes. O método proposto em (MENDI; CLEMENTE; BAY- RAK, 2013) baseia-se na estimação de uma métrica calculada por dois algoritmos de fluxo óptico distintos e é implementado para vídeos esportivos. Os métodos de De- composição do Valor Singular (Single Value Decomposition), Simplificação das Curvas (Curve Simplification) e Modelo de Grafos (Graph Model) realizam sumarização con- forme os trabalhos disponíveis em (GONG; LIU, 2000), em (DEMENTHON; KOBLA;
Capítulo 4. Sumarização de vídeos 68
DOERMANN, 1998) e em (NGO; MA; ZHANG, 2005), respectivamente.
Grande parte das técnicas de sumarização exige algum nível de adaptação de parâmetros. Isto pode dar-se de forma automática, como em (REN; JIANG; FENG, 2010) e em (EJAZ; TARIQ; BAIK, 2012) ou de forma interativa com usuários, como em (ELLOUZE; BOUJEMAA; ALIMI, 2010). A avaliação visual como métrica para valida- ção de métodos também é bastante utilizada nestes casos. Nos trabalhos de Gianluigi e Raimondo (2006) e Ma et al. (2002), Ma et al. (2005) a avaliação visual é realizada tanto diretamente, como no primeiro caso, quanto por meio do desenvolvimento de um chamado Modelo de Atenção ao Usuário, nos trabalhos seguintes.
A abordagem da sumarização como um problema clássico de otimização Min- Max pelos autores em (LI; SCHUSTER; KATSAGGELOS, 2005) e em (DOULAMIS; DOULAMIS; KOLLIAS, 2000) e de Algoritmos Evolucionários em (ELLOUZE; BOUJE- MAA; ALIMI, 2010) mostram a possibilidade da utilização tanto de técnicas típicas de otimização quanto de técnicas inovadoras na solução deste problema.
Nesta tese nosso objeto de trabalho são os sinais, cada um deles gravado em vídeos. A necessidade da redução destes vídeos colocou-se inicialmente para a eliminação da redundância entre quadros e consequente aumento das distinções entre os vídeos de acordo com as características extraídas. Como consequência da redução de quadros nos vídeos dos sinais, a aplicação das técnicas para extrair as características de cada sinal tornou-se mais eficiente também em termos de tempo computacional de processamento.