Este capítulo apresenta todo o detalhamento da metodologia utilizada para se realizar a pesquisa com as empresas sobre o seu ciclo de desenvolvimento de software, como foi construído o formulário de pesquisa, a fase piloto de validação do questionário e a fase oficial de coleta de dados.
3.1 Delineamento da pesquisa
Esta pesquisa se baseou em um estudo da documentação citada na revisão de literatura, sobre a importância da automação de testes em DevOps, bem como a melhoria contínua nos processos e obtenção de qualidade na entrega do produto de software. Foi utilizada também a pesquisa exploratória com o objetivo de proporcionar familiaridade com o tema da pesquisa envolvendo o levantamento bibliográfico necessário para melhor compreensão sobre a automação de testes em DevOps, melhoria contínua e as melhores práticas adotadas para obtenção de qualidade e entregas eficientes e eficazes junto aos clientes.
O método para realização do estudo fundamentou-se através da abordagem quantitativa baseando-se no exame das informações de forma intuitiva. A obtenção das informações foi feita baseada num determinado grupo de pessoas, com um método conhecido como pesquisa Survey. Segundo Gil (2010) apud Klein et. al (2015), este tipo de método tem o aspecto pela interrogação direta dos respondentes, cujo comportamento, opinião ou características se desejam conhecer com a pesquisa.
Para permitir identificar os atuais cenários que as organizações possuem frente aos processos de realização de testes dos softwares e mensuração de qualidade e nível de satisfação dos clientes, foi realizada uma pesquisa através de questionário / formulário divulgado através do envio de e-mail e mensagens, para os perfis voltados ao desenvolvimento de software, tais como diretores, gerentes, coordenadores e analistas totalizando 46 entrevistados. Pelo fato dos profissionais gestores serem de áreas de disciplinas diferentes como QA, testes, desenvolvimento, requisitos, infra, dentre outras, o formulário de pesquisa foi desenvolvido pelos próprios autores, baseados em suas experiências profissionais e de outras vivências, de forma genérica
a fim de atender a todo esses perfis, para que fosse possível responder o mais naturalmente possível, porém de forma direcionada para contribuir com informações relevantes para o tema foco deste trabalho.
Buscando uma melhor interação e agilidade na coleta de dados, foi realizada por meio eletrônico na ferramenta TypeForm, esta ferramenta permite a criação de formulários de pesquisa altamente legíveis e fácil relação humano-sistema. Para a análise dos dados foram feitas interpretações dos resultados através do adequado tratamento das respostas coletadas no formulário permitindo confrontar as informações e gerar as estatísticas e diante dos resultados obtidos, propor melhores práticas de automação de testes, metodologias, softwares, segurança, permitindo caracterizar o nível de maturidade das organizações em relação ao tema da importância da automação de testes em DevOps.
As atividades executadas para desenvolvimento desta pesquisa estão listadas abaixo, em sua ordem de execução:
1. Revisão bibliográfica: revisão dos conceitos de métodos ágeis, testes automatizados e DevOps.
2. Instrumento de pesquisa: elaboração do questionário e validação em piloto com especialistas.
3. Coleta de dados: divulgação do questionário para o público alvo de gestores e monitoramento das respostas;
4. Análise dos dados: confiabilidade, validade e resultados. 5. Conclusão: considerações, limitações e sugestões futuras.
3.2 Instrumento de pesquisa
Conforme Apêndice A o questionário criado na ferramenta TypeForm [typeform.com] foi dividido em dois tópicos principais agrupando as perguntas, onde:
● Inicialmente, ao acessar o formulário, foi apresentado uma imagem que representa o ciclo do DevOps juntamente com algumas orientações gerais aos entrevistados que iniciaram a utilizar o questionário;
● No primeiro tópico foram apresentados um grupo de 5 perguntas relativas aos dados gerais da empresa onde o entrevistado trabalha, todas objetivas com respostas pré-definidas;
● No segundo tópico até o final do questionário, foram apresentadas 20 perguntas que envolvem dados específicos sobre o desenvolvimento de software da empresa em que o mesmo atua e seus modelos de gestão, métodos e papéis utilizados e envolvidos nas atividades de testes do software produzido. Dessas perguntas, 19 são objetivas com respostas pré-definidas, sendo duas delas com escala (de baixa à alta 0 a 6), e ao final, uma questão aberta para que o entrevistado pudesse compartilhar sua experiência com testes de software e a forma de trabalho que sua equipe gerencia os projetos de desenvolvimento e operações.
3.3 Piloto do instrumento da pesquisa
Antes de iniciar a coleta de dados, o questionário passou por uma validação piloto, para isso, o tipo de validação utilizada foi a Validade Aparente ou de Face, onde é realizado um pré-teste com um grupo restrito a fim de se verificar se as questões apresentadas estão claras e adequadas na visão dos entrevistados. Isso possibilita que sejam feitas melhorias no instrumento de pesquisa, antes de sua aplicação (KLEIN et. al, 2015). A validação piloto foi feita da seguinte forma:
● Validação: 10 especialistas (gestores e analistas da área de desenvolvimento de software) foram convidados a validar o questionário entre os dias 23 de março de 2018 a 26 de março de 2018;
● Foi inserida uma questão aberta no final do questionário piloto para que o convidado pudesse apresentar sua percepção a respeito das perguntas e das variáveis apresentadas;
Com base nessas percepções, foram feitos os seguintes ajustes no questionário: (i) alterações no convite; (ii) alterações nas orientações gerais; (iii) alterações na descrição de variáveis das perguntas; (iv) alterações em variáveis de respostas pré- definidas; (v) alteração da ordem de apresentação de algumas perguntas; (vi) alteração na lógica de algumas respostas para evitar que estas fossem deixadas em branco ou fossem parcialmente respondidas. Após realizados os ajustes no
questionário, a versão final foi divulgada e a coleta oficial foi iniciada, conforme detalhado no tópico 4.