Ameaças a Validade

Consequentemente, para essa determinada população, uma quantidade de amostras e consequentemente de respostas válidas necessárias para que os dados possam ser considerados suficientemente satisfatórios é de 32 respostas. Considerando esse contexto, foram enviados cerca de 1450 convites para empresas distintas, tendo um retorno de 68 respostas válidas, número acima dos 32 necessários para que nesse contexto a amostra possa ser considerada significante.

3.2.3

Ameaças a Validade

Como já citado na Seção 3.2.3, há um série de considerações que precisam ser feitas em relação as possíveis ameaças a validade do questionário para poder garantir que o questionário mede o que se propõe a medir. Uma das ameaças a validade está relacionada ao viés do pesquisador, além disso é preciso garantir a coerência das perguntas evitando ambiguidade e imprecisão das mesmas, bem como avaliar se o tipo das respostas (binária, ordinal, nominal), e no caso de questões fechadas, se são adequadas as perguntas elaboradas. Para tanto foram utilizadas duas estratégias. Primeiro, após a elaboração de um questionário, o mesmo foi submetido a especialistas da área de pesquisas de engenharia de software empírica e manutenibilidade de software para uma primeira validação. Após essa primeira validação e feitos eventuais ajustes que foram necessários, o questionário ajustado foi utilizado em um teste piloto com uma amostra menor da população (um pequeno grupo de empresas) como uma segunda forma de validação. Neste teste piloto a entrevista foi uma tarefa importante pois ajudou a identificar características da população e a elaborar as perguntas que seriam adicionadas no questionário. Além disso foi realizado um levantamento de pesquisas similares já realizadas, testadas e validadas para verificar e ajudar a validar o instrumento proposto.

Adicionalmente, outra ameaça esta relacionada a validade de conclusão, ou seja, a possíveis conclusões errôneas retiradas dos resultados. Foram adotadas estratégias para mitigar essa ameaça nas duas etapas da pesquisa, tanto pra análise das entrevista como do questionário online. Na análise da primeira etapa usamos o software proprietário Nvivo (NVIVO, 2015). Este software é uma plataforma para análise de dados não estruturados, que provê uma interface para melhor acesso a grande conjunto de dados. Além disso, foram observados os conceitos sugeridos por DYBA; KITCHENHAM; JORGENSEN (2004, 2005) para análise de dados através das teorias de engenharia de software baseada em evidência. Por fim, para a segunda etapa, além dos cuidados previamente mencionados, foram utilizados métodos estatísticos como Alfa de Cronbach e correlação de Spearmana, para ajudar a verificar a integridade e consistência das respostas, bem como averiguar possíveis correlações entre elas.

3.2. DESIGN DA PESQUISA 35 Quanto à validade externa, a principal ameaça está relacionada ao tamanho da amostra utilizada neste trabalho. No entanto, com auxílio de trabalhos semelhante a está pesquisa (GROVES et al., 2009; ARRUDA; FILHO, 2014), foi possível utilizar de métodos estatísticos, como na Equação 3.1, para poder prever a necessidade quanto ao tamanho da amostra e assim estabelecer esforço para alcançar a meta necessária.

Por fim, a ameaça à validade interna relacionada aos problemas que podem surgir com os participantes do estudo, em relação a entrevistas ou respostas irrelevante que possam levar a erros sistemáticos na pesquisa sem que o pesquisa possa tomar conhecimento. Para evitar qualquer problema advindo da falta de conhecimento ou experiência dos participantes três medidas foram tomada: elaboração de carta convites, elaboração de termo de confiabilidade, e inclusão de todas informações a cerca do estudo conduzido no questionário. Primeiro, com relação as cartas convites, elas permitiam explicar previamente o contexto da pesquisa tanto no caso da entrevista Apêndice D, como no questionário online Apêndice E, ajudando assim as empresas a se organizarem e alocarem as pessoas realmente relacionadas ao assunto. Adicionalmente, quanto ao termo de confiabilidade B, também presente tanto na entrevista quanto no questionário, permitia com que os participantes ficassem mais confortáveis a responder todas as perguntas. Por fim, o próprio questionário possuía informações sobre o contexto da pesquisa, e conceitos abordados (manutenção, métricas e ferramentas), informações que os participantes precisariam para responder as perguntas caso tivessem alguma dúvida.

36 36 36

4

Resultados e Discussão

Este capítulo discute os resultados encontrados com a execução do projeto de pesquisa aqui proposto. Na Seção 4.1 é abordada a forma como as respostas do questionário foram validadas para posterior análise. Já na Seção 4.2 são discutidos os resultados obtidos com a aplicação da entrevista e questionário online. Por fim, na Seção 4.3 é apresentado um resumo geral procurando associar os resultados encontrados com as perguntas de pesquisa.

4.1

Validação das Respostas

Antes de ser executada qualquer análise, os resultados obtidos foram validados. Portanto, considerando os tipos de perguntas e respostas adotadas no questionário do Survey aplicado, foi necessário avaliar qual método necessário utilizar para validar tais questões. Esse tipo de validação foi importante para garantir a consistência das respostas e a confiabilidade delas em relação a realidade. Neste contexto, foi proposta a utilização do coeficiente alfa de Cronbach como forma de avaliar a confiabilidade das respostas desse questionário.

O coeficiente Alfa de Cronbach (α) foi descrito em 1951 por Lee J.Cronbach (CRON- BACH, 1951) e é uma forma bastante comum para estimar a confiabilidade do tipo de consistência interna de uma escala, ou seja, a magnitude com que os itens estão correlacionados entre si e com o resultado geral da pesquisa (HORA; MONTEIRO; ARICA, 2010). Em termos de confiabilidade os valores de α variam de 0,0 a 1,0 e quanto mais próximo de 1,0, maior a confiabilidade entre os indicadores (HORA; MONTEIRO; ARICA, 2010). O alfa de Cronbach é definido pela equação abaixo.

α =  K K− 1  .      1 − k ∑ i=1 S2_i S_t2        4.1 onde,

Kcorresponde ao número de itens do questionário; S2_i corresponde a variância de cada item;

4.2. ANÁLISE DOS RESULTADOS 37