A importância do estudo empírico na Engenharia de Software, segundo Custódio (2008), é a criação de uma base confiável de conhecimento, utilizada na redução de dúvidas quanto à adoção de metodologias, teorias e ferramentas adequadas para resolução de problemas.
Existem metodologias específicas que auxiliam na condução de experimentos na área de Engenharia de Software. Dentre elas destacam-se quatro métodos relevantes, que são (Travassos, Gurov, Amaral, 2002):
• Método Científico. Observa o mundo, sugere o modelo ou a teoria de comportamento, mede e analisa, verifica as hipóteses do modelo ou da teoria;
• Método de Engenharia. Observa as soluções existentes, sugere as soluções mais adequadas, desenvolve, mede e analisa, e repete até que nenhuma melhoria adicional seja possível;
• Método Experimental. Sugere o modelo, desenvolve o método qualitativo e/ou quantitativo, aplica um experimento, mede e analisa, avalia o modelo e repete o processo;
• Método Analítico. Sugere uma teoria formal, desenvolve a teoria, deriva os resultados e, se possível, compara-as com as observações empíricas.
Travassos, Gurov, Amaral (2002) supõe que o método mais apropriado para a área de Engenharia de Software seja o método experimental, pois considera a proposição e avaliação do modelo com estudos experimentais. Entretanto, os autores também ressaltam que experimentos não provam nada. Eles apenas verificam a previsão teórica de encontro com a realidade.
Nas subseções seguintes serão apresentados os principais elementos de uma experimentação, os princípios da organização de um estudo empírico, os principais tipos de estudos e o processo de realização do experimento.
4.1 Elementos de uma Experimentação
Os principais elementos de uma experimentação são:
• Variáveis. Há dois tipos de variáveis. Variáveis independentes são as entradas do processo experimental, elas são manipuladas e apresentam a causa que poderá afetar o resultado do experimento. O valor de um fator se denomina tratamento. As variáveis dependentes são variáveis que podem ser medidas ou registradas e são as saídas do processo experimental, indicando o efeito que é causado pelos fatores do experimento. O valor de variáveis dependentes se denomina resultado (Custódio, 2008);
• Objetos. O objeto é uma ferramenta usada para verificar o relacionamento causa-efeito numa teoria. Os objetos, juntamente com o sistema de medição e diretrizes da execução do experimento, compõem a instrumentação do experimento;
• Participantes. Os participantes são os indivíduos que foram selecionados para participar do experimento. Para que o experimento tenha validade, os participantes devem constituir uma amostra significativa da população. • Contexto. É composto das condições em que o experimento está sendo
executado (Travassos, Gurov, Amaral, 2002);
o Alunos ou Profissionais. Define a equipe que vai executar o experimento;
o Problema de sala de aula ou Problema real. Mostra a extensão do problema que está sendo estudado;
o Específico ou Geral. Mostra se os resultados do experimento são válidos para um contexto particular ou para o domínio da Engenharia de Software inteiro;
• Hipóteses. A hipótese nula (H0) é a principal. Mostra que não há relacionamento entre a causa e o efeito. Se a hipótese nula for rejeitada, hipóteses alternativas (H1) são aceitas;
• Tipo do projeto. É o projeto de estudo que determina como o estudo será conduzido. O projeto define qual a relação dos participantes com o
experimento, para que se possa alocar os objetos e aplicar sobre eles, o tratamento necessário. Assim define-se o teste experimental ou trial;
• Medição. É a parte central do experimento. É o mapeamento do mundo experimental para o mundo formal (Travassos, Gurov, Amaral, 2002). De acordo com Custódio (2008), o principal objetivo da medição é aumentar a compreensão do processo e do produto, controlá-los definindo antecipadamente as atividades corretivas e identificar as possíveis áreas de melhorias;
• Validade. É necessário garantir que os resultados obtidos em um experimento sejam válidos. Isso acontece quando os resultados são válidos para a população a qual tendem a ser generalizados. São quatros os tipos de validade dos resultados de um experimento (Travassos, Gurov, Amaral, 2002):
o Validade de conclusão. Está relacionado com a escolha do teste estatístico, o tamanho do conjunto de participantes, a confiabilidade das medidas e a confiabilidade da implementação dos tratamentos;
o Validade interna. Define se o relacionamento entre o tratamento e os resultados é casual, e não é o resultado da influência de outro fator que não é controlado ou mesmo não foi medido;
o Validade de construção. Verifica se o tratamento reflete a causa e o resultado reflete o efeito. Considera o relacionamento entre a teoria e a observação;
o Validade externa. Considera a interação do tratamento com as pessoas, o lugar e o tempo. Define as condições que limitam a habilidade de generalizar os resultados de um experimento para a prática industrial.
4.2 Princípios da Organização de um Estudo Empírico
Segundo Travassos, Gurov, Amaral (2002), tanto a experimentação na Engenharia de Software quanto à experimentação em geral, presumem um conjunto de princípios que devem ser considerados. Esses princípios são:
• Aleatoriedade. É utilizada para evitar o efeito de algum fator que de alguma outra maneira possa estar presente, e selecionar os participantes que sejam representativos para a população do experimento;
• Agrupamento. É utilizado para eliminar algum efeito indesejado durante a comparação dos tratamentos. Após o agrupamento, o efeito é indiferente e pode ser eliminado da consideração aumentando assim, a precisão do experimento;
• Balanceamento. É utilizado para garantir que todos os tratamentos tenham o mesmo número de participante. Isto simplifica e melhora a análise estatística dos dados experimentais;
• Repetição. É utilizada para garantir que variáveis imprevistas não estão afetando os resultados e assegura que não há nenhuma confusão entre dois efeitos. Objetivos de Experimentos Tratamento Resultado Observação Causa Efeito Teoria Variável Independente Variável Dependente Construção Causa - Efeito Construção Tratamento - Resultado Objetivos de Experimentos
4.3 Tipos de Estudos Empíricos
A classificação dos experimentos está relacionada aos conceitos de estratégias empíricas. As características usadas para diferenciar as estratégias são o controle de execução e medição, facilidade de repetição e custo e risco da investigação.
As principais estratégias experimentais são:
• Survey. É uma pesquisa que permite a obtenção de dados ou informações sobre características, ações e opiniões de um determinado grupo representando uma população, por meio de um instrumento de pesquisa (geralmente um questionário). Seus objetivos são expostos de forma descritiva determinando atributos ou características; explanatória explicando o porquê de determinadas escolhas e explorativa investigando mais profundamente o assunto abordado;
• Estudo de caso. É um estudo usado no monitoramento de projetos ou atividades com a finalidade de observar características específicas e estabelecer relacionamento entre elas;
• Experimento. É usado quando se pretende ter controle total sobre a situação, manipulando seu ambiente, por esse motivo geralmente é realizado em laboratório. É apropriado para confirmação de teorias, exploração de relacionamentos, validação de medidas, entre outros;
A Tabela 3 mostra de forma resumida, uma comparação entre os três tipos de estudos empíricos citados.
Tabela 3: Comparação dos Estudos Empíricos (Wohlin, Runenson, et. al., 2000).
Fator Survey Estudo de Caso Experimento
Controle da Execução Nenhum Nenhum Possui
Controle da Medição Nenhum Possui Possui
Controle da Investigação Baixo Médio Alto
4.4 Processo de Realização do Experimento
Para garantir que o experimento forneça resultados válidos, ele deve ser organizado, controlado e acompanhado, e, por esse motivo, metodologias de organização foram elaboradas.
Com o objetivo de obter melhoria constante, a metodologia Paradigma da Melhoria da Qualidade (QIP – Quality Improvement Paradigm). Essa metodologia, representada na Figura 10, define seis passos que compõem um ciclo que se inicia com a caracterização do processo de negócio e a definição dos objetivos básicos. Em seguida são estabelecidos objetivos quantitativos e com base nesses objetivos, o processo da melhoria é escolhido. Sobre as informações de feedback colhidas, é feita a análise das práticas atuais, identifica-se o problema e propõe-se a melhoria futura. Finalmente toda informação é empacotada para utilização. Definição do Processo de Melhoria Execução Definição dos Objetivos Análise Empacotamento Caracterização