Definição

Analisar: o apoio fornecido pelo formato de integração IMM

Com o propósito de: comparar com o apoio fornecido pelo formato CM

Com respeito ao: tempo total gasto e a quantidade de erros cometidos durante a realização da integração

Do ponto de vista: do desenvolvedor

No contexto de: alunos de pós-graduação em Ciência da Computação da Universidade Federal de São Carlos.

6.2.1.1 Objetos de Estudo

6.2 Experimento de Utilização do IMM 82

6.2.1.2 Objetivo

O objetivo é comparar o apoio fornecido pelo o formato de integração IMM com o fornecido pelo formato CM. O formato IMM proposto neste trabalho, tem como enfoque representar os indícios de ITs presentes no código fonte de um software.

O CM é o formato do arquivo gerado pela ferramenta ConcernMapper, o qual já estava integrada a SourceMiner. Neste experimento optou-se por utilizar uma versão adaptada desse formato, sendo que algumas regras de conversão dos formatos Java para o formato CM foram omitidas dos participantes. Essa ação foi tomada para não sobrecarregar os participantes com as particularidades desse formato.

6.2.1.3 Enfoque Quantitativo

O enfoque quantitativo analisa o tempo total gasto e os erros cometidos por um participante para realizar a integração entre as ferramentas ComSCId e SourceMiner utilizando o formato IMM e o CM.

6.2.1.4 Perspectiva

O experimento foi realizado sob a perspectiva do desenvolvedor que deseja integrar sua ferramenta de MIT com uma ferramenta de visualização de software.

6.2.1.5 Contexto

O experimento foi realizado por alunos de pós-graduação em Ciência da Computação da Universidade Federal de São Carlos, que concordaram em participar do experimento ao assina- rem um termo de consentimento análogo ao do Apêndice C.

6.2.2 Planejamento

Esse experimento foi planejado de forma a responder a duas questões de pesquisa: Q1: “A utilização do IMM diminui a quantidade de tempo necessária para realizar a integração de uma ferramenta de MIT com uma de visualização de software?” e; Q2: “A utilização do IMM diminui a quantidade de erros cometidos na geração do arquivo de integração?”.

Todos os participantes realizaram a integração da ferramenta ComSCId com a SourceMi- ner por meio do formato IMM e CM, realizando somente as atividades de conversão dos dados,

6.2 Experimento de Utilização do IMM 83

com a disponibilização prévia das funções para escrita dos arquivos. Para responder a primeira questão foi medida a quantidade de tempo total utilizada pelo participante para finalizar a con- versão dos dados. Para responder a segunda questão, os arquivos de integração gerados foram analisados de forma a quantificar o número de erros existente em sua estrutura e informações. Erros de estrutura são referentes à forma como os dados devem ser apresentados, como por exemplo, em um arquivo XML deve ter seu cabeçalho e a abertura e fechamento de suas tags. Já erros de informação são aqueles cujos dados do arquivo não foram corretamente convertidos. 6.2.2.1 Seleção do contexto

O experimento foi realizado com dez alunos de pós-graduação em Ciência da Computação, em Laboratório de Ensino do Departamento de Computação da Universidade Federal de São Carlos (UFSCar), no segundo semestre de 2013. Todos os participantes possuíam conhecimento prévio de Orientação a Objetos e da linguagem de programação Java.

6.2.2.2 Formulação das Hipóteses

As questões de pesquisa foram formuladas da seguinte forma:

• Q1, Hipótese Nula (H0): considerando os formatos IMM e CM, não há diferença signifi- cativa entre o tempo total necessário para integrar as ferramentas de MIT e de visualização de software;

H0: µIMM= µCM

• Q1, Hipótese Alternativa (H1): o tempo necessário para realizar a integração utilizando o formato IMM é significativamente menor que o tempo necessário para realizar a integra- ção utilizando o formato CM.

H1: µIMM< µCM

• Q2, Hipótese Nula (H0): não há diferença significativa entre a quantidade de erros pre- sentes no conteúdo dos arquivos IMM e CM gerados durante a integração;

6.2 Experimento de Utilização do IMM 84

• Q2, Hipótese Alternativa (H1): a quantidade de erros no conteúdo do arquivo IMM é significantemente menor que a quantidade de erros no conteúdo do arquivo CM.

H1: µIMM< µCM

6.2.2.3 Seleção das Variáveis

As variáveis dependentes consideradas neste experimento foram: “tempo necessário para realizar a análise” e “número de erros existente no conteúdo dos arquivos IMM e CM gerados”. As variáveis independentes consideradas foram:

• Aplicações: todo participante teve que integrar a ferramenta ComSCId com a Source- Miner. A ComSCId é uma ferramenta de MIT, que utiliza a técnica de mineração de análise por tipos e texto. A SourceMiner é uma ferramenta de visualização permite sua integração tanto por IMM quanto por CM;

• Ambiente de Desenvolvimento: Eclipse 3.6.2 (Eclipse Foundation, 2013);

• Tecnologias: Java version 7.

6.2.2.4 Seleção dos Participantes

Os participantes foram selecionados por meio de uma amostragem não probabilística e por conveniência, ou seja, não é conhecida a probabilidade correspondente dos elementos de toda a população em relação a essa amostra.

6.2.2.5 Projeto do Experimento

Os participantes não foram divididos em grupos, sendo que todos os participantes reali- zaram a integração por meio do IMM e depois por meio do CM. Optou-se por não dividir os participantes em grupos, pois havia somente duas atividade a realizar, sendo integrar a ComS- CId e a SourceMiner utilizando o formato IMM e o CM.

6.2.2.6 Projeto dos Tipos

O experimento foi estruturado de acordo com o projeto “um fator com dois tratamentos pareados” (WOHLIN et al., 2000). O fator desse experimento refere-se à maneira como o IMM

6.2 Experimento de Utilização do IMM 85

foi utilizado para integrar a ComSCId e a SourceMiner. Os tratamentos referem-se ao apoio oferecido pelo IMM comparado ao oferecido pelo CM.

6.2.2.7 Instrumentação

Todos os materiais necessários para a realização do experimento foram previamente en- tregues aos participantes. Esse material era composto por: i) formulário para coletar dados experimentais (Apêndice A), neste caso, tempo necessário para realizar a integração; ii) dia- grama de classes do IMM e; iii) descritivo das regras de criação de um arquivo CM (Apêndice B).