Revisões sistemáticas da literatura (método aplicado aos estudos 1 e 2)

Desde que foi introduzido por Kitchenham (2004) como abordagem baseada em evidências para consolidação de pesquisas na área de TI, o método de revisões sistemáticas da literatura (systematic literature reviews – SLR) tem se tornado gradativamente reconhecido na área (Bellini et al., 2008; Kitchenham & Brereton, 2013; Staples & Niazi, 2007; Zhang et al., 2011) e a qualidade de artigos publicados em anais de eventos tem aumentado, à medida que pesquisadores passam a adotar orientações/guidelines de elaboração de SLRs (Kitchenham et al., 2010).

SLRs se prestam a encontrar, avaliar criticamente e agregar todos os artigos relevantes de pesquisa que tratam de tema específico, com o intuito de apresentar evidências lastreadas em conhecimento científico acumulado. O método foi originalmente desenvolvido e aplicado na área médica e, sendo rigoroso, auditável e menos passível de viés de pesquisa, tem sido empregado em diversas outras áreas como ciências sociais, ciências sociais aplicadas, ciências políticas, TI e áreas diversas da saúde (Kitchenham et al., 2009a; 2009b).

Para que uma revisão de literatura seja considerada SLR, requer-se a definição e documentação prévias de um protocolo que especifique as questões de pesquisa e os procedimentos a serem utilizados para execução da revisão contendo, adicionalmente, (a) definição e documentação da estratégia de busca a adotar para encontrar o máximo possível de artigos relevantes na literatura, (b) descrição explícita dos critérios de inclusão e exclusão de artigos, (c) descrição dos mecanismos de avaliação da qualidade de cada artigo e (d) descrição dos processos de análise cruzada (inter-rater), envolvendo múltiplos pesquisadores independentes, de modo a reduzir vieses de pesquisa de um único pesquisador (Kitchenham, 2004; Staples & Niazi, 2007). Revisões informais de literatura, por outro lado, podem ser caracterizadas por não definirem questões de

pesquisa, por não definirem o processo de busca e por não definirem o processo de extração de dados (Kitchenham et al., 2009b).

As SLRs tidas como convencionais, ou meta-análises, são possíveis quando há volume suficiente de estudos primários que permitam a extração de estimativas quantitativas das diferenças entre resultados de estudos distintos. Esse tipo de SLR permite a elaboração de questões de pesquisa específicas como “a técnica x é mais efetiva que a técnica y para...?”. Embora se afirme que a área de TI ainda não apresenta volume suficiente de estudos primários específicos que permitam meta-análises consistentes (Kitchenham et al., 2010), essa afirmação parece tentar generalizar limitações pontuais para toda a área de TI. Sabe-se, por exemplo, que investigações sobre temas como aceitação da tecnologia, alinhamento estratégico ou valor da TI possuem densidade estatística para subsidiar estudos do tipo meta-análise.

Estudos de mapeamento (mapping studies) representam uma modalidade alternativa de elaboração de SLRs. Esse tipo de SLR trata de questões gerais mais do que questões específicas sobre resultados de pesquisa. Geralmente se empregam estudos de mapeamento quando se quer obter respostas a questões do tipo “o que se sabe sobre <determinado tema>?” (Kitchenham et al., 2009a). Não obstante, estudos de mapeamento apresentam, frequentemente, mais questões de pesquisa que SLRs convencionais e, geralmente, envolvem também mais estudos primários (Kitchenham et al., 2011).

Os resultados de estudos de mapeamento podem ser muito úteis ao compartilhar a consolidação de conhecimentos acumulados numa área e ao evitar que cada pesquisador tenha que realizar sua própria revisão desde o início. Um bom estudo de mapeamento pode prover um ponto de partida comum para diversos pesquisadores (Budgen et al., 2008; Kitchenham et al., 2009b), desde que observem a qualidade em termos de completude e rigor (Kitchenham et al., 2011).

Avaliações sobre a abrangência da busca indicam que estudos do tipo “literatura cinza” podem ser suprimidos, caso se pretenda considerar apenas artigos de boa qualidade na SLR. Ou seja, a remoção de literatura cinza pode ser considerada como ação equivalente à remoção de artigos de relativa baixa qualidade. Cabe a ressalva quanto a estudos de mapeamento, nos quais ampla abrangência de pesquisa pode ser importante para o critério de completude (Kitchenham et al., 2009a, pág. 344). Nesses casos, se completude é um critério relevante na SLR, recomenda-se a inclusão das referências a estudos primários citados nos artigos encontrados, inclusive contato com

pesquisadores-autores daqueles estudos primários, se necessário (Kitchenham et al., 2009a).

De maneira geral, as críticas mais comuns sobre SLRs de todos os tipos dizem respeito (a) ao excessivo consumo de tempo, (b) à inadequação das bibliotecas digitais em TI para pesquisas bibliográficas amplas e (c) à dificuldade em avaliar a qualidade de estudos empíricos de diferentes tipos (Kitchenham & Brereton, 2013). Críticas comuns a estudos do tipo mapeamento se devem à frequência com que não avaliam a qualidade dos estudos primários considerados (Kitchenham et al., 2010) e à não apresentação de todos os estudos primários identificados (Kitchenham et al., 2011).

O planejamento de qualquer SLR requer definição da estratégia de seleção das fontes primárias, de onde se extrairão os estudos primários a analisar. Na medicina, SLRs são tradicionalmente conduzidas com base em buscas automatizadas (broad automated searches) sobre bases indexadoras fortemente estabelecidas na área (Staples & Niazi, 2007). Já em estudos de TI, há um mix entre buscas automatizadas e buscas manuais direcionadas (targeted manual searches), restritas a bibliotecas digitais específicas e a um conjunto de periódicos e anais de eventos (Kitchenham et al., 2009a). Buscas manuais direcionadas também são conhecidas como método de análise de citações ou método bola-de-neve (snowballing) (Kitchenham & Brereton, 2013).

Buscas automatizadas permitem a seleção de mais artigos, se comparada às buscas manuais. No entanto, os artigos podem ser de baixa qualidade e a operação pode ser onerosa em relação ao consumo de tempo – elaboração das strings de busca, aplicação de diferentes strings de busca adequadas a cada mecanismo automatizado, identificação e remoção de redundâncias etc. A opção por buscas manuais pode ser justificada se (a) há intenção de inclusão apenas de artigos de boa qualidade ou se (b) há intenção de avaliação de tendências metodológicas de pesquisa (Kitchenham et al., 2009a; Staples & Niazi, 2007).

A elaboração de strings de busca deve levar em consideração o equilíbrio entre sensibilidade e precisão. Sensibilidade, para um determinado tópico, é definido como a proporção de estudos relevantes recuperados quando se busca o tópico, enquanto precisão é definido como a proporção de estudos recuperados que podem ser considerados relevantes (Zhang et al., 2011).

O equilíbrio perfeito entre sensibilidade (relevância de todos os artigos obtidos) e precisão (todos os artigos obtidos compõem a relevância do tópico) estabeleceria o gold standard em TI. Considerando-se a dificuldade de estabelecimento de um gold

standard na área, introduz-se o conceito de quasi-gold standard, que toma por base análises textuais de títulos, palavras-chave e resumos de artigos de relevância reconhecida na área (Zhang et al., 2011). Os quasi-gold standard podem ser usados para ajudar a construir strings de busca apropriadas (Kitchenham et al., 2010; Zhang et al., 2011).

Para identificação do conjunto de bibliotecas digitais a pesquisar em TI, usando busca automatizada, recomenda-se que se considerem bases de dados como as do Institute of Electrical and Electronics Engineers (IEEE) ou Association for Computing Machinery (ACM), que asseguram uma boa cobertura de periódicos e conferências, e, pelo menos dois indexadores como SCOPUS e Web of Science (Kitchenham & Brereton, 2013).

Recomendações atualizadas para realização de estudos de mapeamento, incluem: (a) evitar a elaboração de strings de busca complexas, baseadas em questões de pesquisa estruturadas; (b) adotar a abordagem quasi-gold standard e integrar buscas automatizadas e manuais; (c) adotar ferramentas de análise de texto para avaliar a consistência das decisões de inclusão/exclusão e categorizações; (d) tornar opcional a adoção de um pesquisador específico para extração de dados e outro para verificação de dados; (e) incluir mais informações sobre o processo de síntese de dados, especialmente quando estudos primários são de natureza qualitativa; (f) descrever com maior precisão possível os procedimentos adotados em estudos de mapeamento; (g) descrever os procedimentos de exclusão de estudos primários; (h) manter registros dos procedimentos realizados durante o estudo; (i) Mencionar o uso de estratégias baseadas em análise de citações, como bola-de-neve; (j) incluir o máximo possível de detalhes da elaboração dos protocolos; e (k) incluir referências checklists específicos da área de TI (Kitchenham & Brereton, 2013).