3.2
Vis˜ao Geral do Protocolo e dos Processos Empregados
Para a realizac¸˜ao do mapeamento sistem´atico descrito neste cap´ıtulo, seguiu-se o processo proposto por Ferrari e Maldonado (2008) em seu estudo, que ´e a adaptac¸˜ao de um processo proposto inicialmente por Biolchini et al. (2005). O processo original de Biolchini et al. (2005), especificamente as fases de execuc¸˜ao e s´ıntese dos resultados, pode ser descrito nos seguintes passos: realiza-se uma selec¸˜ao preliminar que visita partes espec´ıficas dos estudos prim´arios - por exemplo t´ıtulo, resumo e palavras-chave - com o objetivo de verificar se esses estudos recuperados pelas buscas nos reposit´orios s˜ao potencialmente relevantes para serem analisados na selec¸˜ao final. Na selec¸˜ao final o pesquisador realiza uma leitura completa do estudo prim´ario e decide, de acordo com os crit´erios de inclus˜ao e exclus˜ao, pela inserc¸˜ao ou n˜ao do estudo para extrac¸˜ao dos dados. Finalizada a selec¸˜ao final ´e realizada ent˜ao a extrac¸˜ao dos dados dos estudos, que s˜ao armazenados em formul´arios espec´ıficos para cada pesquisa. Durante todo esse processo ´e realizada a atividade de documentac¸˜ao para permitir uma futura auditabilidade e replicabilidade do processo.
No processo adaptado por Ferrari e Maldonado (2008), ilustrado na Figura 3.1, tem-se uma preocupac¸˜ao maior nas atividades Planejamento da Atualizac¸ ˜ao, Filtragem dos Re- sultados e Combinac¸˜ao dos Resultados. Essas atividades visam viabilizar n˜ao somente a realizac¸˜ao de um Mapeamento Sistem´atico original, mas tamb´em a atualizac¸˜ao e a replicac¸˜ao de estudos existentes. Esse apoio ´e obtido, por exemplo, com o ajuste dos crit´erios de selec¸˜ao, com a criac¸˜ao de filtros para reduzir a sobreposic¸˜ao durante a selec¸˜ao preliminar e com a mesclagem dos dados extra´ıdos do conjunto de dados original.
Legenda:
1. [protocolo não aprovado] 2. [protocolo aprovado] 3. [execução não aprovada] 4. [execução aprovada] Execução Análise dos Resultados
Planejamento da atualização Execução das buscas Filtragem dos resultados Seleção preliminar Avaliação dos estudos Seleção final Combinação dos resultados Extração de dados e síntese Empacotamento 1 2 3 4
Figura 3.1: Processo para a realizac¸˜ao do Mapeamento Sistem´atico, adaptado do trabalho de Fer- rari e Maldonado (2008).
No Mapeamento Sistem´atico descrito neste cap´ıtulo, definiu-se no protocolo apenas um objetivo principal: identificar abordagens (te´oricas ou experimentais) para reduzir os custos de
3.2 Vis˜ao Geral do Protocolo e dos Processos Empregados 42
aplicac¸˜ao do teste de mutac¸˜ao. Para atingir esse objetivo, uma quest˜ao de pesquisa prim´aria e duas quest˜oes secund´arias foram investigadas. S˜ao elas:
• QP1: Quais abordagens s˜ao utilizadas para a reduc¸˜ao de custos em teste de mutac¸˜ao?
• QS1: Quais os tipos de objetos s˜ao abordados nos estudos que investigam reduc¸˜ao de custos em testes de mutac¸˜ao?
• QS2: Quais os operadores de mutac¸˜ao s˜ao identificados para compor um conjunto de operadores essenciais?
3.2.1
Crit´erios de Inclus˜ao e Exclus˜ao
Para apoiar a selec¸˜ao objetiva de estudos prim´arios, foram definidos e aplicados os seguintes crit´erios de inclus˜ao (IC) e exclus˜ao (EC) nos estudos:
• IC1: O estudo aborda uma estrat´egia de reduc¸˜ao de custo para teste de mutac¸˜ao.
• EC1: O estudo n˜ao aborda uma estrat´egia de reduc¸˜ao de custos para teste de mutac¸˜ao, ape- sar de o estudo poder ser caracterizado como um estudo relacionado a teste de mutac¸˜ao.
• EC2: O estudo, apesar de abordar a reduc¸˜ao de custos para teste de mutac¸˜ao, n˜ao est´a dispon´ıvel para download.
3.2.2
String de Busca
Para obter sucesso em um mapeamento sistem´atico, ´e fundamental definir uma boa string de busca que consiga recuperar eficientemente os estudos prim´arios de interesse. Embora cada base de dados contenha a sua pr´opria sintaxe para construc¸˜ao das strings, foi constru´ıda uma string gen´erica utilizando-se como base a sintaxe empregada nas strings da m´aquina de busca do reposit´orio ScienceDirect1, por ser uma sintaxe mais amig´avel dentre todas as bases escolhidas para realizac¸˜ao das buscas. A string gen´erica definida foi a seguinte:
“TITLE-ABS-KEY(“mutation testing” OR “mutation analysis” OR “mutant analy- sis”) AND TITLE-ABS-KEY(“cost reduction” OR “sufficient operator” OR “suf- ficient mutation” OR “constrained mutation” OR “selective mutation” OR “weak mutation” OR “random selection” OR “random mutation” OR “random mutants”)” 1http://www.sciencedirect.com/ acessado em 13/05/2014
3.2 Vis˜ao Geral do Protocolo e dos Processos Empregados 43
3.2.3
Fontes de Estudos Selecionadas e Resultados
As bases de dados escolhidas para o Mapeamento Sistem´atico trabalho foram: ACM Digital
Library,2IEEE explore,3ScienceDirect, Springer Link,4Wiley Online Library. 5 Essas bases foram escolhidas por se tratarem de reposit´orios de referˆencia para a divulgac¸˜ao de pesquisas relacionadas ao t´opico de pequisa deste trabalho.
Esse mapeamento trata-se de uma atualizac¸˜ao de um mapeamento realizado anteriormente, no per´ıodo de Novembro de 2012 a Fevereiro de 2013, o qual foi apresentado na dissertac¸˜ao de qualificac¸˜ao do pr´oprio autor deste estudo. A atualizac¸˜ao desse mapeamento foi realizada no per´ıodo de Maio de 2014 a Junho de 2014. Os resultados obtidos com a aplicac¸˜ao da string gen´erica no mapeamento anterior e na atualizac¸˜ao deste mapeamento s˜ao denominados “Estu- dos Ant” e “Estudos Novos” respectivamente e s˜ao apresentados nos t´opicos a seguir.
• Busca nos Reposit´orios: Para a primeira busca nas bases de dados, utilizando a string gen´erica definida, foram retornados os resultados mostrados na Tabela 3.1. Na tabela, est˜ao ordenados o nome das bases de dados e a quantidade de estudos recuperados de cada uma delas.
Tabela 3.1: Quantidade de estudos retornados por cada base de dados
Base de Dados #Estudos Ant. #Estudos Novos
ACM 7 1 IEEExplore 25 4 ScienceDirect 7 0 SpringerLink 4 1 Wiley 198 - Total 241 6
• Pr´e-selec¸˜ao: Na Tabela 3.2 s˜ao apresentados os resultados referentes `a etapa de pr´e- selec¸˜ao dos artigos, com o n´umero de estudos aceitos, rejeitados e duplicados por base de dado. Essa etapa consistiu na an´alise do t´ıtulo, resumo e palavras-chaves de cada estudo. Em alguns casos considerados inconclusivos, foi feita uma an´alise da introduc¸˜ao e conclus˜ao de cada artigo.
• Selec¸˜ao Final: Na selec¸˜ao final formou-se um conjunto de 23 estudos para compor o mapeamento sistem´atico. Observa-se que dois dos estudos da etapa de pr´e-selec¸˜ao foram
2http://dl.acm.org/ acessado em 13/05/2014
3http://ieeexplore.ieee.org/Xplore/home.jsp acessado em 13/05/2014 4http://link.springer.com/ acessado em 13/05/2014