Segmentação e posturas

Para este teste foi utilizado um conjunto de 16 gestos, com a mesma postura inicial e final, usando todas as posturas mostradas na Figura 2 para a mão direita, exceto a sétima, e orientação igual a zero, ou seja, usando a mesma orientação indicada na figura. Pediu-se aos usuários que simplesmente realizassem as dezesseis posturas na ordem que desejassem para verificar sua percepção qualitativa da qualidade do reconhecimento.

Este teste foi o que foi realizado no maior número de ambientes e com o maior número de usuários, oito no total, dentre eles três do sexo feminino, dois com tom de pele parda e três de descendência asiática. Buscou-se essa variedade de usuários para verificar o efeito de diferenças de tom de pele e do formato da mão na segmentação e no reconhecimento de posturas e não houve diferença perceptível no reconhecimento de posturas entre nenhum dos usuários, com uma exceção. Para um usuário em particular, no ambiente com as piores condições de iluminação e fundo, o polegar da mão direita era consistentemente separado da mão na

segmentação, impossibilitando o reconhecimento de diversas posturas. Não foi possível determinar a causa desse problema.

Se não houve variação perceptível em função dos usuários, o reconhecimento se mostrou drasticamente afetado pelo ambiente usado nos testes. Foram utilizados três ambientes e duas câmeras diferentes em cada um, ambas permitindo desativar o controle de exposição mas não o white balance, mas a escolha da câmera também não afetou os resultados. O primeiro ambiente tem um fundo com cor uniforme, branca e brilhante. Além disso, tinha fontes de luz muito intensas. No segundo o fundo contém diversos objetos, alguns brancos e inclusive estantes de madeira com regiões de tom bastante similar a tons de pele, mas a iluminação é suave. O terceiro ambiente é o pior caso. Não conta com nenhuma região branca, o que desestabiliza o algoritmo de white balance das câmeras, é quase que inteiramente pintado em tons de pele (a diferença entre o tom do ambiente e o da pele de um dos usuários, por exemplo, é de 1,7%) e tem muitas fontes de luz muito fortes que não só causam uma série de reflexos especulares na pele como também efeitos de bloom entre os dedos.

Os resultados destes testes são somente qualitativos, visto que a análise quantitativa das taxas de erros envolveria classificar manualmente as posturas em cada quadro de vídeos dos testes (e nem todos estes testes foram gravados) para comparação com as posturas reconhecidas. Além disso, logo no início dos testes percebeu-se que uma análise quantitativa simples das taxas de erros, nesse caso, é de pouca utilidade para avaliar o uso do sistema em interação, visto que muitos erros detectados durante os testes, mas que ocorrem somente por um ou dois quadros e principalmente durante transições entre posturas, são percebidos raramente pelos usuários e tem pouco ou nenhum impacto na interação.

O reconhecimento de postura teve seu melhor desempenho no segundo ambiente, indicando que a iluminação suave é mais importante que um fundo uniforme para a estratégia de segmentação utilizada. Neste ambiente, houve um usuário que não percebeu nenhum erro no reconhecimento, ainda que uma análise do teste gravado mostre diversos quadros em que a postura não foi reconhecida devido a problemas visíveis de segmentação e quadros de reconhecimento de falsos positivos durante a transição entre duas posturas, mas esses erros em geral ocorreram em quadros individuais separados. Os outros três usuários que fizeram o teste neste ambiente perceberam "piscadas" na imagem como erros na

segmentação e no reconhecimento, mas classificaram esses erros como "existentes mas praticamente imperceptíveis".

No primeiro ambiente os erros de segmentação e reconhecimento foram mais perceptíveis e três dos quatro usuários que realizaram os testes neste ambiente se queixaram da necessidade de ajustar a postura para que "a imagem da mão aparecesse inteira na tela". Na verdade estavam ajustando a posição da mão para reduzir as reflexões especulares na pele das intensas fontes de luz. Ainda assim, e principalmente com esses ajustes permitidos pelo feedback, todos os usuários classificaram o reconhecimento como "correto na maior parte do tempo" e estimaram que, em média, o reconhecimento ocorreu corretamente em 80% a 90% do tempo do teste (estimativa provavelmente pouco precisa já que, como no caso anterior, diversos erros de reconhecimento ocorreram durante somente um ou poucos quadros, tornando sua percepção difícil).

Os resultados no terceiro ambiente foram bem menos positivos. Três dos cinco usuários conseguiram, após um certo tempo de experimentação, encontrar posições em que nem o fundo nem as fontes de luz prejudicavam muito o reconhecimento, mas ainda assim classificaram o reconhecimento como "correto em mais da metade do tempo". Dois estimaram que o reconhecimento estava correto entre 70% e 80% das vezes enquanto o terceiro estimou entre 60% e 70%. Para os outros dois usuários, no entanto, o reconhecimento foi classificado como "correto em menos da metade do tempo" e não foi estimada uma porcentagem de acerto do algoritmo. Um deles tinha seu polegar consistentemente separado da mão pela segmentação.

Principalmente no terceiro ambiente, pode-se perceber ainda que, com uma das duas câmeras usadas nos testes, em alguns casos uma região ao redor deles aparece destacada do fundo, como uma "aura" (que pode ser vista na Figura 8), mesmo quando com os objetos de interesse suficientemente longe das fontes de iluminação e do fundo para não modificar sua aparência. Isso provavelmente se deve a correções locais feitas pela câmera. Essa região inclusive cresce em direção aos cantos da imagem caso a mão se aproxime deles.

Três dos oito usuários comentaram ainda que as posturas com a palma voltada para a câmera são mais fáceis e rápidas de realizar "corretamente", pois consomem menos tempo e esforço que alinhar o lado da mão com a direção de visualização da câmera.

A Figura 14 mostra uma tela do aplicativo para um dos usuários realizando o teste no primeiro ambiente.

Figura 14 - Teste interativo para posturas