Esta seção contém a metodologia proposta para definir e realizar os experimentos deste trabalho. Essa metodologia não é exclusiva para este trabalho, ela pode ser utilizada para experimentos relacionados à engenharia de software.
Um experimento é um procedimento técnico de pesquisa que tem um objeto de estudo para o qual são definidas variáveis a serem observadas. Essas variáveis são fatores identificados e manipulados e é presumido que o ambiente possa controlar as outras variáveis e o escopo de interesse (WOHLIN et al., 2000).
Experimentos, também referidos como estudos empíricos (PERRY; PORTER; VOTTA, 2000) ou pesquisa empírica (KITCHENHAM et al., 2002), têm sido utilizados em engenharia de software para verificar e avaliar conhecimentos novos (WOHLIN et al., 2000). Wohlin et al. (2000) citam os métodos experimental, científico, de engenharia e analítico como relevantes para a condução de experimentos em engenharia de software.
Um método experimental sugere um modelo, desenvolve um método para avaliá-lo, realiza um experimento, coleta dados, analisa os dados e avalia o modelo (WOHLIN et al., 2000). Um experimento, que pode ser realizado em laboratório, possibilita definir as variáveis a serem observadas e as controladas pelo ambiente.
O paradigma de melhoria da qualidade, proposto por Basili et al. em 1985 (BASILI; CALDIERA; ROMBACH, 1994), é um modelo de metodologia de experimentação. Essa metodologia é o resultado da aplicação do método científico para o problema da melhoria da qualidade do software e é baseada no ciclo PDCA. Nessa metodologia são definidos seis passos que compõem um ciclo de melhoria do processo: caracterizar, definir os objetivos, escolher os processos, executar os processos, analisar os resultados e registrar.
132
A metodologia proposta nesta seção contém procedimentos que compreendem a definição e a realização de um experimento e são elaborados com base em Wohlin et al. (2000), Perry, Porter e Votta (2000), Kitchenham et al. (2002), Basili (1996), Biolchini, et al. (2007) e Basili, Caldiera e Rombach (1994). Esses procedimentos estão descritos a seguir e são agrupados em: elaboração do experimento, elaboração do objeto de estudo, coleta de dados, análise dos dados coletados e apresentação dos resultados e das conclusões.
a) Elaboração do experimento. A elaboração do experimento inclui a apresentação do experimento, o contexto para realizá-lo, a definição dos seus objetivos, das suas variáveis e dos instrumentos de coleta de dados a serem utilizados.
A apresentação do experimento contém o escopo e a abrangência do experimento, visando auxiliar na definição do seu contexto, variáveis e objetivos.
O contexto se refere à caracterização do ambiente e às condições de realização do experimento, incluindo as restrições, os participantes, a definição e o preparo da infra- estrutura. Neste trabalho, a infra-estrutura se refere aos recursos para a definição e a operação das fábricas de software em um ambiente de laboratório didático de ensino.
Os objetivos estão relacionados ao que se pretende com o experimento, considerando os objetivos, a hipótese e as contribuições da pesquisa a que o experimento se refere. Para este trabalho, avaliar uma hipótese de pesquisa significa encontrar argumentos que possibilitem confirmá-la, confirmá-la com restrições ou refutá-la. Essa avaliação define a contribuição da proposta da pesquisa em relação ao objeto de estudo do experimento. Verificar uma hipótese significa confirmar argumentos para sustentá-la ou refutá-la.
As variáveis podem assumir valores ou aspectos diferentes e representam o que será avaliado, verificado e observado por meio do experimento. Quanto à forma de medição, as variáveis são quantitativas ou qualitativas. Os valores das variáveis quantitativas são representados em números e das variáveis qualitativas são descrições textuais que podem representar categorias ou atributos.
Os instrumentos de coleta de dados são as formas de obter os dados de um experimento. Esses instrumentos são elaborados considerando os objetivos e as variáveis definidos para o experimento e o ambiente e as condições de realização do experimento. Questionário, observação e entrevista são tipos de instrumentos de coleta de dados.
b) Elaboração do objeto de estudo do experimento. O objeto de estudo define o que será avaliado, observado, verificado com a realização do experimento. Neste trabalho, o objeto de estudo é a arquitetura operacional cujos modelos são utilizados na realização de um projeto de desenvolvimento de software.
133
c) Coleta de dados. Dados podem ser coletados antes, durantes e após a realização do experimento. A coleta de dados é realizada por meio de instrumentos de coleta de dados definidos para o experimento. O uso de vários instrumentos de coleta de dados e em momentos distintos da realização do experimento proporciona maior abrangência e diversidade de dados coletados. Facilitando, assim, a análise dos dados e a elaboração dos resultados e das conclusões do experimento.
d) Análise dos dados coletados. Para a análise dos dados propõe-se um procedimento para ser utilizado com cada instrumento de coleta de dados. Esse procedimento considera as variáveis e os objetivos definidos para o experimento e inclui os seguintes passos:
• Relacionar objetivos do experimento com o instrumento de coleta de dados.
• Relacionar variáveis definidas para o experimento com o instrumento de coleta de dados.
• Definir as formas de verificação das variáveis e dos objetivos do experimento, podendo ser incluída a faixa de resultados esperados.
• Coletar os dados com o uso do instrumento de coleta de dados.
• Analisar os dados obtidos, considerando os objetivos e as variáveis definidos para o experimento e o contexto de realização do experimento.
e) Apresentação dos resultados e das conclusões. Os resultados se referem aos dados apresentados como obtidos, os dados obtidos apresentados com a exclusão dos considerados adversos ao contexto e aos objetivos do experimento e os dados apresentados após análise. As conclusões são elaboradas considerando a análise dos dados em relação aos objetivos e ao contexto do experimento.
As próximas seções contêm a utilização dessas etapas para definir e realizar os experimentos para avaliar a arquitetura de processo e a integração de fábricas de software.