desenvolvimento e/ou teste em aplicativos m´oveis. Por ser um grupo de pesquisa em contexto computacional, estes participantes possuem um conhecimento mais espec´ıfico sobre o que ´e contexto.
No primeiro piloto, coletamos o feedback do participante relativo `as perguntas do Question´ario Online e da apresenta¸c˜ao dos conceitos envolvidos no estudo emp´ırico. Al´em disso, tivemos diversos problemas na configura¸c˜ao do ambiente do estudo emp´ırico, desde quest˜oes relativas `a instala¸c˜ao do Java (para execu¸c˜ao da IDE Eclipse) at´e problemas no emulador Android. A partir deste primeiro retorno, ajustamos o Question´ario Online para o formato final, ajustamos alguns pontos da apresenta¸c˜ao e tamb´em criamos um pacote para execu¸c˜ao das ferramentas com poucos passos. Neste primeiro piloto n˜ao realizamos nem a execu¸c˜ao da ferramenta nem a coleta dos dados.
No segundo piloto, conseguimos realizar o estudo emp´ırico completo em todas as suas etapas. No entanto, verificamos que algumas perguntas da entrevista precisariam ser modificadas. Al´em disso, verificamos que faltou um guia com o passo a passo do m´etodo para sua execu¸c˜ao pelo participante. Com estes retornos, ajustamos as perguntas da entrevista para o formato final e criamos o guia de uso do m´etodo, o qual est´a no Anexo C. Este guia, que foi impresso, cont´em uma explica¸c˜ao geral da finalidade do estudo emp´ırico, procedimentos pr´e-estudo, verifica¸c˜ao do ambiente de instala¸c˜ao, al´em do passo a passo a ser seguido na execu¸c˜ao do estudo emp´ırico.
No terceiro piloto, n˜ao conseguimos instalar o ambiente na m´aquina do participante. Neste caso cedemos uma m´aquina para a execu¸c˜ao do mesmo pelo participante. O par- ticipante ainda mencionou que o formul´ario de consentimento estava inadequado e que precisava ser refeito. Al´em disso, a apresenta¸c˜ao precisou de ajustes pois n˜ao abarcava de forma did´atica os conceitos. Com este retorno e com os problemas que ocorreram, re- alizamos as seguintes adequa¸c˜oes: Ajuste no pacote de instala¸c˜ao para conter tudo o que ´e necess´ario para a execu¸c˜ao da ferramenta implementada; Reformula¸c˜ao do formul´ario de consentimento; e ajustes na apresenta¸c˜ao dos conceitos.
Durante os 3 estudos piloto a ferramenta implementada foi de fato testada, e os participantes descobriram erros e apontaram melhorias simples a serem aplicadas, como o uso de m´ascaras em campos de data e num´ericos. Em nenhum dos 3 estudos piloto realizamos as etapas p´os-entrevista, como a an´alise dos dados obtidos. Ap´os a realiza¸c˜ao do terceiro piloto os documentos presentes no Anexo C chegaram ao seu estado final.
Os participantes desta etapa n˜ao foram convidados a participar do estudo emp´ırico propriamente dito, assim como o restante das pessoas que pertencem ao grupo CEMan- TIKA, pois desejamos evitar o enviesamento na avalia¸c˜ao da proposta apresentada neste trabalho, a qual j´a havia sido apresentada aos integrantes do referido grupo de pesquisa.
4.3 TAREFAS
A primeira tarefa compreende o preenchimento do question´ario online enviado para o participante. As quest˜oes do question´ario est˜ao dispostas conforme a Tabela 4.2. As quest˜oes entre Q1 e Q5 servem para identificar de maneira geral o participante. As quest˜oes Q6 e Q7 qualificam a experiˆencia do participante no processo de desenvolvimento de aplicativos m´oveis. O restante das quest˜oes verificam como o participante encara os
problemas existentes na ´area teste em aplicativos m´oveis.
Tabela 4.2 Question´ario online para caracterizar perfil do participante
# Quest˜ao
Q01 Informe seu nome
Q02 Informe sua data de nascimento Q03 Informe seu e-mail
Q04 Qual a sua forma¸c˜ao acadˆemica? Q05 Sexo
Q06 Quanto tempo de experiˆencia na ´area de desenvolvimento/teste de aplicativos m´oveis vocˆe tem?
Q07 Vocˆe j´a participou de quais etapas no processo de desenvolvimento de aplica- tivos m´oveis?
Q08 Vocˆe j´a utilizou modelos de representa¸c˜ao de contexto no desenvolvimento de aplicativos m´oveis? Se sim, estes modelos foram utilizados na etapa de testes? Q09 Vocˆe utiliza alguma ferramenta para testar aplicativos m´oveis? Quais?
Q10 Vocˆe utiliza alguma t´ecnica ou ferramenta para gerar dados de entrada para sensores em aplicativos m´oveis? Quais?
Q11 Vocˆe j´a utilizou alguma estrat´egia para investigar padr˜oes de defeitos em sen- sores (Ex de t´ecnica: checklists de poss´ıveis problemas em sensores)?
Ap´os responder ao question´ario online, o participante, j´a no ambiente de execu¸c˜ao do estudo emp´ırico, assiste `a apresenta¸c˜ao dos conceitos envolvidos, das ferramentas que ser˜ao utilizadas e dos objetivos que a proposta visa alcan¸car. Esta apresenta¸c˜ao tem dura¸c˜ao aproximada de 30 minutos.
Ap´os isto, realizamos um treinamento de aproximadamente 30-40 minutos, onde ex- ploramos os artefatos relacionados `a aplica¸c˜ao utilizada como alvo dos testes: Persona- lUploadManager. Apresentamos ent˜ao os artefatos de requisitos e de projeto conceitual e comportamental de contexto desta aplica¸c˜ao. Estes artefatos foram gerados anteri- ormente dentro da ferramenta CEManTIKA CASE. Ap´os a navega¸c˜ao dos artefatos, iniciamos a exposi¸c˜ao da etapa de elabora¸c˜ao de casos de teste. Ap´os a elabora¸c˜ao e exporta¸c˜ao dos casos de teste, realizamos uma execu¸c˜ao que revele um defeito e ent˜ao orientamos a forma de preencher o formul´ario de defeitos.
Ap´os o treinamento solicitamos a execu¸c˜ao do estudo emp´ırico pelos participantes, aplicando assim o m´etodo de gera¸c˜ao de casos de teste no aplicativo NoCamInMeeting. Ao fim de 60 minutos encerramos a execu¸c˜ao do estudo emp´ırico e recolhemos os dados como os casos de teste gerados e os formul´arios de defeitos encontrados.
Logo ap´os a execu¸c˜ao do estudo emp´ırico realizamos as entrevistas, ou ent˜ao as agen- damos de acordo com a disponibilidade do participante. A entrevista em quest˜ao ´e composta por 10 perguntas abertas, as quais est˜ao listadas na Tabela 4.3. As perguntas seguem este formato mais livre para que a entrevista consiga captar informa¸c˜oes que n˜ao seriam obtidas com uso de perguntas de escopo bem delimitado, como observado em (Seaman, 1999). Este tipo de pergunta num estudo qualitativo evita que o entrevistador