A Tab. 15 mostra em até quatro etapas o comando gestual criado por cada participante para iniciar a aplicação. Abaixo das ilustrações descrevemos o comando gestual seguido de sua formalização sintática com base na gramática desenvolvida.
Tab. 15 Formalização sintática dos comandos gestuais de iniciar aplicação
U1
Descrição: Bater palmas duas vezes
JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)] + JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)]
U2
Descrição: Fazer um círculo no sentido horário
MOVE(HAND_RIGHT, CIRCLE 360°y CLOCKWISE)
U3
Descrição: Manter as duas mãos para frente por 1segundo MAINTAIN (HAND_RIGHT, FRONT, MAX_1s) * MAINTAIN (HAND_LEFT, FRONT, MAX_1s)
U4
Descrição: Bater palmas uma vez
JOIN[MOVE(HAND_RIGHT, FRONT)* MOVE(HAND_LEFT, FRONT)]
U5
Descrição: Fazer um semicírculo no sentido horário
MOVE(HAND_RIGHT, CIRCLE 180°y CLOCKWISE)
U6
Descrição: Fazer o V com os dedos
U7
Descrição: Permanecer com a mão direita para frente por 2 segundos MAINTAIN (HAND_RIGHT, FRONT, MAX_2s)
U8
Descrição: Passar a mão no cabelo
JOIN[MOVE (HAND_RIGHT, BACK) * MAINTAIN (HEAD, UP)]
U9
Descrição: Rotacionar os dedos no sentindo horário e fechar a mão MOVE(HAND_RIGHT[FINGER 1-5], FRONT, CIRCLE 360°y) * JOIN[MAINTAIN (HAND_RIGHT[FINGER 1-5], FRONT, MAX_1s)]
U10
Descrição: Permanecer com a mão direita para frente por 2 segundos MAINTAIN (HAND_RIGHT, FRONT, MAX_2s)
7.5 Discussão
Através do experimento melhorias na definição dos comandos gestuais já definidos podem ser realizados como no aprimoramento do clique e um estudo em como permitir que o usuário pudesse interagir com uma mão apenas.
Este experimento foi de fundamental importância tanto para a aplicação quanto e principalmente para um melhor entendimento da interação gestual do usuário. Embora dado as formalidades da realização do experimento possa ter interferido nos resultados obtidos.
Durante a construção de uma interface gestual, seus desenvolvedores estarão, provavelmente, continuamente experimentando os gestos definidos. Entretanto, naturalmente estes desenvolvedores se adaptam a esses gestos, seja pela experiência com a aplicação ou pelo conhecimento da especificação dos seus gestos. Ao observar o uso dos gestos por usuários em potencial é possível compreender de que forma eles entendem e realizam estes gestos, assim como as dificuldades encontradas por eles.
A maior ou menor formalidade desses experimentos pode também influenciar nos dados obtidos. Ao assumir uma maior formalidade, os desenvolvedores se colocam em uma postura diferente para observar com mais atenção àquilo que os usuários realizam e tentar entender o porquê desse comportamento e como solucionar as dificuldades encontradas. A construção de um roteiro para essas atividades pode também ajudar tanto a refletir sobre as características do sistema, quanto a direcionar os “testes” para aquilo que se deseja saber – os possíveis problemas do sistema ou funcionalidades que precisam de validação.
Embora tenha sido possível formalizar sintaticamente os dez comandos gestuais de iniciar a aplicação, com o Sensor Kinect ainda não é possível fazer todos os reconhecimentos. O comando gestual definido pelos participantes U6 e U9 envolve a especificação dos dedos das mãos em seu comando, impossibilitando dessa forma sua implementação na aplicação.
7.6 Conclusão
Um melhor entendimento da interação gestual é a maior contribuição deste trabalho que podem auxiliar desenvolvedores a definirem seus comandos gestuais levando em consideração a forma como os usuários tem a concepção sobre os gestos.
Além disso, através dos resultados é nítido o interesse por aplicações residenciais e quais são os objetos de interação mais desejados para os usuários. Como trabalho futuro desejava-se realizar o experimento em um ambiente doméstico real. Dessa forma, seria possível observar o comportamento dos usuários e do sistema no contexto de uso planejado.
Capítulo 8
8
Considerações Finais
Neste capítulo, apresentamos um resumo de cada capítulo anterior aqui apresentado, apontando sua importância e relevância para a pesquisa como um todo, como também os resultados alcançados. Relacionamos ainda cada capítulo com os objetivos específicos desta pesquisa.
8.1 Trabalho Realizado
Esta pesquisa explora a literatura da área de aplicações residenciais com interação gestual revelando alguns aspectos relacionados à IHC que são tratados de maneira restrita as dimensões socio-técnicas e as especificidades do contexto residencial. No qual ultrapassa os contextos padrões de desenvolvimento para imergir no ambiente de relações emocionais e de construção familiar dos usuários.
O processo de desenvolvimento desta pesquisa aborda a concepção da interação gestual inicialmente através da construção de um framework para discursão de desafios da área de forma integrada sob as dimensões: pessoas, modo de interação e domótica. Posteriormente uma análise mais aprofundada e restritiva ao domínio brasileiro foi realizada com a utilização da Semiótica Organizacional. Clarificando melhor as preocupações e revelando por vez um conjunto de oportunidades e desafios estruturados pelo artefato da Escada Semiótica em relação às interfaces gestuais.
A heterogeneidade de perfis que marca esse contexto fazendo o tema diversidade uma preocupação importante no desenvolvimento dessas aplicações. Desta forma, apresentamos também recomendações para a diversidade que embasam/inspiram o design inclusivo de sistemas interativos residenciais baseados em gestos. Juntamente com uma visualização gráfica mais representativa, norteada pelas habilidades físicas, perceptivas e cognitivas, que visam melhor representar a diversidade em questão para desenvolvedores.
Porém como desenvolvimento de aplicações que usufruem da interação gestual necessitam de meios tecnológicos que auxiliem no desenvolvimento das soluções, percebemos que a utilização de tecnologias que auxiliam o reconhecimento gestual também restringe os comandos gestuais da aplicação, não extrapolando os gestos padrões fornecidos por essas tecnologias. Assim sendo, abstraímos a interação gestual através de sua formalização descrita de forma sintática através de blocos de construção que produzem uma gramática do tipo EBNF. Uma formalização semântica também é abordada sob o ponto de vista da aplicação residencial, juntos as suas ações e/ou serviços oferecidos na aplicação. Adicionalmente, analisamos as combinações e relações da interação gestual formalizada sintaticamente na geração de um conjunto de métricas baseada em recomendações para as aplicações residenciais, na qual toda a descrição é proveniente da formalização sintática preestabelecida.
Para uma melhor análise da concepção dos usuários quanto a interação gestual desenvolvemos uma aplicação intitulada de Hands in Home. No qual suas etapas de desenvolvimento forma focadas, sobretudo, na interação gestual utilizando o mecanismo de abstração previamente definido. Descrevemos as reflexões, dificuldades, problemas, soluções e lições aprendidas com o desenvolvimento deste sistema através de quatro etapas: tecnologia, funcionalidades, interface e interação.
Por último, realizamos um experimento com dez participantes para melhor entender a interação gestual. O experimento foi conduzido através de quatro etapas que possibilitaram a extração de informações quantitativas e qualitativas sobre a interação. Além disso, foi possível verificar a cobertura da formalização sintática desenvolvida para comandos gestuais definidos pelos próprios participantes. Nesta etapa final do trabalho, identificamos também situações que ocorreram durante do experimento no ambito da concepção gestual dos participantes e também tecnológicos.
8.2 Meta reflexão
Após a realização desta pesquisa é importante destacar também algumas de suas limitações que foram identificadas no decorrer de sua elaboração e em discussões após sua conclusão.
Apesar de termos pesquisado uma vasta quantidade de artigos referentes a aplicações residenciais com interação gestual e a partir de sua análise ter destacado desafios. Eles não são exaustivos e outros como idade e diversidade física surgiram, assim como outro podem surgir, mas que o framework proposto enfatiza a preocupação desejada de que nas três dimensões cada desafio seja discutido. Da mesma forma isso ocorre nas recomendações e métricas.
Um ponto fortemente debatido foi a importância de analisar a interação antes do efetivo desenvolvimento da aplicação. Mencionado diversas vezes durante o texto. O capítulo de
desenvolvimento da aplicação Hands in Home parece a priori ser controverso ao que várias vezes é debatido na pesquisa. No entanto, é importante deixar claro que seu desenvolvimento, ainda em fase de aprimoramento, foi realizado para melhor entender a interação e os comandos “padrão” de interação com a aplicação. Para posteriormente dar continuidade no seu desenvolvimento e integração com demais aplicações para que os seus serviços ofertados sejam executados de forma real no ambiente residencial.
O experimento sendo realizado fora do ambiente residencial, com pessoas analisando seu comportamento e várias câmeras puderam ter alguma influência nos resultados, não invalidando o experimento, mas inibindo o comportamento e a elaboração dos comandos gestuais definidos pelos participantes. Que poderiam sentar, deitar e também ter a interferência de outras pessoas na casa.
Outra lição aprendida é que a interação gestual é complexa e muito ainda temos que estudar e definir, ainda mais, diretrizes para seu desenvolvimento. Mesmo com a formalização para o desenvolvimento, que tornou as modificações e ajustes dos comandos gestuais muito mais rápido e prático, devido a pouca disponibilidade de códigos fonte e equipamentos para obter um bom reconhecimento gestual, a prática da pesquisa até então fica comprometida pelo grande esforço de um reconhecimento eficiente. Que mesmo utilizando técnica como Mágico de Oz para apenas a análise da interação, como vimos, pode interferir nos resultados desejados da pesquisa.
8.3 Resultados
Através das contribuições citadas neste trabalho apresentamos os resultados da pesquisa:
Capítulo 2: Esse capítulo responde os objetivos específicos – Identificar as limitações atuais das aplicações residenciais e estruturar os desafios sob a ótica de IHC e Investigar o cenário de desenvolvimento de aplicações residenciais.
Resultado: Correia, A.C.C., Miranda, L.C., Hornung, H.H.: Gesture-based
Interaction in Domotic Environments: State of the Art and HCI Framework Inspired by the Diversity. In: 14th IFIP TC 13 International Conference on Human-Computer Interaction, pp. 300–317. Springer (2013)
Capítulo 3: Visa responder o objetivo específico – Investigar o cenário brasileiro para o desenvolvimento de aplicações residenciais.
Capítulo 4: Visa responder o objetivo específico – Identificar características para um desenvolvimento mais “humanizado” dos comandos gestuais utilizados nas aplicações residenciais.
Resultado: Correia, A.C.C., Miranda, L.C., Hornung, H.H., Marciano, J.N.:
Recommendations for Gesture-based Residential Interactive Systems Inspired by Diversity. In: 16th International Conference on Human-Computer Interaction, in press, Springer (2014)
Capítulo 5: Visa responder os objetivos específicos – Caracterizar os movimentos gestuais sob uma estrutura formal de construção sistemática de comandos gestuais para as aplicações residenciais e Identificar métricas quantitativas baseadas na estrutura formal da interação gestual.
Resultado: Correia, A.C.C., Brizolara, P.L.S., Miranda, L.C., Marciano, J.N.:
Syntactic/Semantic Formalizations and Metrics of Residential Applications based on Gestural Interface. In: 16th International Conference on Human-Computer Interaction, in press, Springer (2014)
Capítulo 6: Visa responder os objetivos específicos – Projetar uma aplicação residencial baseada na estrutura formal da interação gestual e Implementar uma aplicação residencial.
Capítulo 7: Visa responder o último objetivo específico – Analisar a interação gestual através de um experimento.