Proposta de uso de engenharia do conhecimento para revisão sistemática

(1)

PROPOSTA DE USO DE ENGENHARIA DO CONHECIMENTO

PARA REVISÃO SISTEMÁTICA

Dissertação submetida ao Programa de

Pós-Graduação

em

Engenharia

e

Gestão

do

Conhecimento

da

Universidade

Federal

de

Santa

Catarina para a obtenção do Grau de

Mestre em Engenharia e Gestão do

Conhecimento.

Orientador: Prof. Dr. Rogério Cid

Bastos

Coorientadora: Prof.

a

Dr.

a

Lia Caetano

Bastos

Florianópolis

2018

(2)

Ficha de identificação da obra elaborada pelo autor

através do Programa de Geração Automática da Biblioteca Universitária

da UFSC.

(3)

Vinícius Bossle Fagundes

PROPOSTA DE USO DE ENGENHARIA DO CONHECIMENTO

PARA REVISÃO SISTEMÁTICA

Esta Dissertação foi julgada adequada para obtenção do Título de

“Mestre em Engenharia e Gestão do Conhecimento”, e aprovada em sua

forma final pelo Programa de Pós-Graduação em Engenharia e Gestão

do Conhecimento da Universidade Federal de Santa Catarina.

Florianópolis, 29 de março de 2018.

Prof.ª Gertrudes Aparecida Dandolini, Dr.ª

Coordenadora do Curso

Banca Examinadora:

______________________________

Prof. Rogério Cid Bastos, Dr.

Orientador

Universidade Federal de Santa

Catarina

______________________________

Prof. Fernando Álvaro Ostuni

Gauthier, Dr.

Universidade Federal de Santa

Catarina

______________________________

Prof. Antônio Pereira Cândido, Dr.

Instituto Federal de Santa Catarina

______________________________

Prof.

a

Lia Caetano Bastos, Dr.

a

Coorientadora

Universidade Federal de Santa

Catarina

______________________________

Prof.

a

Patrícia de Sá Freire, Dr.

a

Universidade Federal de Santa

Catarina

______________________________

Prof.

a

Graziela De Luca Canto, Dr.

a

Universidade Federal de Santa

Catarina

(4)

(5)

Este trabalho é dedicado à minha amada esposa Carolina

e aos meus amados filhos Marina e Davi.

(6)

(7)

AGRADECIMENTOS

Este trabalho é o resultado de muito esforço e dedicação, e não

seria realizado sem a colaboração de diversas pessoas. Sou eternamente

grato a todas elas.

Agradeço a Deus pelo seu amor incondicional e irrestrito.

Agradeço a minha esposa Carolina e meus filhos Marina e

Davi, pela compreensão nos momentos de ausência, pelo apoio nos

momentos de dificuldade, e pelo companheirismo do início ao fim dessa

jornada.

Agradeço aos meus pais Geraldo e Vera, e aos meus irmãos

Rodrigo e Geraldo, pelos ensinamentos que me trouxeram até aqui.

Agradeço a meu orientador Prof. Dr. Rogério Cid Bastos, por

nunca ter desistido de mim, incluindo os momentos que eu mesmo já

havia desistido.

Agradeço a minha co-orientadora, Prof.ª Dr.ª Lia Caetano

Bastos, aos demais membros da banca pelas contribuições, em especial a

Prof.ª Dr.ª Graziela De Luca Canto, por ter me apresentado o mundo da

Revisão Sistemática.

Agradeço aos amigos Silvia Bentancourt e Cleverson Tabajara

pelo apoio incondicional.

Agradeço aos meus sócios Eduardo Gomes e Leonardo

Carpeggiani, e a todos os colaboradores da iBRIDGE, pelo apoio e

suporte nos momentos de ausência.

Agradeço a todos os professores do Programa de

Pós-Graduação em Engenharia e Gestão do Conhecimento, pelos

ensinamentos e direcionamentos durante toda a minha jornada.

(8)

(9)

RESUMO

O conhecimento se expande a cada dia e uma forma de evidenciar seu

avanço é pela revisão sistemática de literatura. Consiste em um processo

formal, repetitivo e documentado para identificar, avaliar e analisar

literatura relevante para um tópico, questão ou fenômeno específico. Por

tratar-se de um processo complexo, trabalhoso e sujeito a erros, esta

dissertação buscou identificar ferramentas de Engenharia do

Conhecimento que pudessem auxiliar na realização deste processo com

mais confiabilidade e eficiência. Após levantar na literatura os principais

problemas e necessidades apontados pelos autores, buscou-se sistemas e

ferramentas disponíveis e se elaborou um modelo conceitual de sistema

baseado em conhecimento para apoio ao processo de revisão sistemática

de literatura, mais precisamente na fase de condução da revisão, na

etapa de identificação da pesquisa, fornecendo o recurso de busca

integrada de literatura. Um protótipo foi desenvolvido e aplicado,

apresentando um aumento na eficiência de 16% quando comparado ao

procedimento manual. Sugere-se ampliar a solução para envolver as

demais fases da revisão sistemática da literatura.

Palavras-chave: Revisão Sistemática de Literatura. Engenharia do

Conhecimento. Ferramenta de Apoio. Seleção de Estudos. Busca

Integrada.

(10)

(11)

ABSTRACT

Knowledge expands every day and one way to evidence its progress is

by systematic literature review. It consists of a formal, repetitive and

documented process to identify, evaluate and analyze relevant literature

for a specific topic, issue, or phenomenon. Because this is a complex,

labor-intensive and error-prone process, this dissertation sought to

identify Knowledge Engineering tools that could assist in this process

with greater reliability and efficiency. After raising the main problems

and needs pointed out by the authors, we searched for available systems

and tools and developed a conceptual model of knowledge-based system

to support the process of systematic literature review, more precisely in

the conduction phase of the review, in the identification stage of the

research, providing the integrated literature search facility. A prototype

was developed and applied, presenting an efficiency increase of 16%

when compared to the manual procedure. It is suggested to extend the

solution to involve the other phases of the systematic review of the

literature.

Keywords: Systematic Literature Review. Knowledge Engineering,

(12)

(13)

LISTA DE FIGURAS

Figura 1 - Aplicação das técnicas de Engenharia do Conhecimento ...50

Figura 2 - Tela de busca da ferramenta Metta ...58

Figura 3- Tela de resultados da ferramenta Metta ...59

Figura 4 - Tela de busca da ferramenta REviewER ...59

Figura 5- Tela de resultados da ferramenta REviewER ...60

Figura 6 - Etapas para o desenvolvimento do trabalho ...61

Figura 7 - Etapas da fase de condução de uma revisão sistemática ...65

Figura 8 - Sequência de passos para a realização de uma consulta em bases de

dados ...66

Figura 9 - Etapa da Preparação ...68

Figura 10 - Etapa da Coleta ...70

Figura 11 - Etapa da Consolidação ...72

Figura 12 - Etapa da Exportação...73

Figura 13 - Modelo Conceitual ...74

Figura 14 - Etapa de Preparação ...80

Figura 15 - Informações exportadas da base de dados Scopus ...82

Figura 16 - Informações exportadas da base de dados Web of Science ...82

Figura 17 - Ontologia de Knouf ...84

Figura 18 - Ontologias SPAR ...85

Figura 19 - Etapa de Coleta ...88

Figura 20 - Etapa de Consolidação ...94

Figura 21 - Etapa de Exportação...97

Figura 22 - Sistema Completo ...98

Figura 23- Tela inicial do Protótipo ...100

Figura 24- Tela da Etapa de Expansão do Protótipo ...102

Figura 25 - Etapa da Coleta do Protótipo...103

(14)

(15)

LISTA DE QUADROS

Quadro 1 - Agrupamento de aspectos e funcionalidades nos grupos de

discussão ...40

Quadro 2- Matriz de Análise dos artigos ...53

Quadro 3 - Decisões tomadas na etapa da Preparação ...79

Quadro 4 - Análise comparativa de ontologias ...86

Quadro 5 - Decisões tomadas na etapa da Coleta ...87

Quadro 6 - Análise comparativas dos artigos de Marshall ...92

Quadro 7 - Decisões tomadas na etapa da Consolidação ...93

(16)

(17)

LISTA DE TABELAS

Tabela 1 - Resultado da votação nos grupos de discussão ...41

Tabela 2 - Comparação entre os estudos de Hassler et al. e Marshal et al. ...42

Tabela 3 - Dados resultantes da segunda etapa do sistema (Coleta) ...102

(18)

(19)

SUMÁRIO

1 INTRODUÇÃO ... 21

1.1 OBJETIVOS ... 23

1.1.1 Objetivo Geral ... 23

1.1.2 Objetivos Específicos ... 23

1.2 JUSTIFICATIVA ... 23

1.3 ADERÊNCIA AO PROGRAMA DE PÓS-GRADUAÇÃO

EM ENGENHARIA E GESTÃO DO CONHECIMENTO

(EGC) ... 24

1.4 DELIMITAÇÃO DO TRABALHO ... 25

1.5 CARACTERIZAÇÃO DA PESQUISA ... 25

1.6 ESTRUTURA DO TRABALHO ... 26

2 REVISÃO DA LITERATURA ... 29

2.1 REVISÃO SISTEMÁTICA DE LITERATURA (RSL) .... 29

2.2 PRÁTICAS DE REVISÃO SISTEMÁTICA ... 38

2.3 ENGENHARIA DO CONHECIMENTO (EC) ... 44

2.4 FERRAMENTAS DE ENGENHARIA DO

CONHECIMENTO E A REVISÃO SISTEMÁTICA DE

LITERATURA ... 50

3 PROCEDIMENTOS METODOLÓGICOS ... 61

3.1 ETAPA DE REVISÃO BIBLIOGRÁFICA ... 62

3.2 ETAPA DE DESENVOLVIMENTO DO MODELO ... 63

3.3 ETAPA DE VALIDAÇÃO DO MODELO ... 63

3.4 ETAPA DA ANÁLISE E DISCUSSÕES ... 63

3.5 ETAPA DAS CONSIDERAÇÕES FINAIS ... 63

4 DESENVOLVIMENTO DO MODELO ... 65

4.1 DESCRIÇÃO DO MODELO CONCEITUAL ... 67

4.1.1 Preparação ... 67

4.1.2 Coleta ... 68

(20)

CONCEITUAL ... 75

4.2.1 Preparação ... 76

4.2.2 Coleta ... 80

4.2.3 Consolidação ... 88

4.2.4 Exportação ... 94

5 VALIDAÇÃO DO MODELO ... 99

6 ANÁLISE E DISCUSSÃO DOS RESULTADOS ...107

7 CONSIDERAÇÕES FINAIS ...109

7.1 RESULTADOS ALCANÇADOS ...109

7.2 RECOMENDAÇÕES FUTURAS ...110

REFERÊNCIAS ...111

APÊNDICE A - Detalhes da Revisão Sistemática de Literatura ...123

(21)

1 INTRODUÇÃO

A empresa Google, que notadamente é uma referência no

processo de buscas na web, tem como lema para a seção acadêmica:

“Sobre ombros de gigantes”. Expressão esta originalmente atribuída a

Bernardo de Chartres (1070-1130), tendo seu uso mais conhecido

relacionado a Isaac Newton (1643-1727), refere-se à possibilidade de se

enxergar mais longe, por estar erguido por gigantes. Reforça a ideia que

o conhecimento novo surge a partir de outros já existentes e aceitos

como verdadeiros. Assim, o avanço do conhecimento é propiciado por

conhecimento anterior.

Kuhn (2001) entende a evolução, ou revolução, do conhecimento

a partir de paradigmas. Estes são evidências científicas universais que

por um certo tempo “fornecem problemas e soluções modelares para

uma comunidade” científica (KHUN, 2001, p.13). Para ele, enquanto

novos estudos confirmem o conhecimento passado, o paradigma

dominante continua válido. Caso contrário, pode haver indício de

surgimento de novo paradigma, o emergente. Assim, através de

evoluções de paradigmas dominantes ou revoluções ocasionadas pelo

paradigma emergente, o conhecimento evolui. Consequentemente,

estudar o que já se sabe é fundamental para o progresso científico.

A forma de se evidenciar até onde o conhecimento avançou é

pelo levantamento e análise de estudos existentes sobre um determinado

assunto ou área de conhecimento. Um procedimento que permite

acompanhar a evolução de um tema ao longo do tempo é a revisão de

literatura.

Os processos de revisão de literatura ocorrem faz muito tempo, há

relatos de estudos no século XVIII (LIND

1

, 1753 apud GARCÍA

ADEVA et al., 2014). Mas sua prática se evidencia a partir da segunda

metade do século XX com o crescimento dos estudos na área da saúde

(SHONJANIA; BERO, 2001

2

apud GARCÍA ADEVA et al., 2014).

1

LIND, James. A treatise of the scurvy. In three parts. Containing an inquiry

into the nature, causes and cure, of that disease. Together with a critical and

chronological view of what has been published on the subject. Edinburgh:

Kincaid & Donaldson, 1753.

2

SHONJANIA, Kaveh G.; BERO, Lisa A. Taking advantage of the explosion

of systematic reviews: an eficiente MEDLINE search strategy. Effective

Clinical Practice, v. 4, n. 4, p. 157-162, 2001.

(22)

Ainda na área da saúde, García Adeva et al. (2014) levanta uma

questão apontada por Bastian et al., (2010

3

, GARCÍA ADEVA et al.,

2014) onde destaca que a produção de ensaios clínicos nesse período foi

muito maior que a de revisões sistemáticas, que é uma forma particular

de revisão de literatura. Segundo o autor, isso aconteceu porque o

processo de criação de uma Revisão Sistemática é muito mais complexo

e trabalhoso.

Kitchenham e Charters (2007) apresentam a Revisão Sistemática

de Literatura, ou simplesmente revisão sistemática, como um processo

formal, repetitivo e documentado para identificar, avaliar e analisar

literatura relevante para um tópico, questão ou fenômeno específico.

Entre seus objetivos está a apresentação de resultados sem viés e a

identificação de lacunas nas pesquisas.

Hassler et al. (2016) identificaram que o tempo despendido, o

processo manual, e a falta de ferramentas adequadas são elementos

críticos apontados pelos autores de Revisão Sistemática de Literatura.

A evolução tecnológica, juntamente com a Internet, possibilitou

um incremento no compartilhamento do conhecimento. Por meio de

bases de dados on-line, este compartilhamento passou a existir com mais

agilidade e eficiência. Em função disso, muitas revisões sistemáticas

podem não apresentar qualidade adequada ou tornam-se desatualizadas

rapidamente (KRISTIANSEN, 2008; SHOJANIA et al., 2007), no

entanto, a utilização de tecnologias configura-se como solução para

enfrentar tais desafios (RATHBONE; HOFFMANN; GASZIOU, 2015).

Mas também, o excesso de informação e a complexidade nos

processos de revisão de literatura, dificultam a seleção daquilo que serve

para embasar novos conhecimentos. Se por um lado as tecnologias de

informação e comunicação (TIC) permitiram acessar descobertas em

lugares diversos e, por vezes, distantes elas também poderão ser

utilizadas na seleção dos documentos.

Por sua vez, a Engenharia do Conhecimento (EC) pode

potencializar os resultados das revisões, recuperando conhecimento de

forma automatizada. Ao tornar o processo mais ágil contribui poupando

tempo do pesquisador e custos para a instituição de pesquisa, resultando

em maior eficiência.

Assim, este trabalho busca responder à seguinte questão:

3

BASTIAN, Hilda; GLASZIOU, Paul; CHALMERS, Iain. Seventy-five trials

and eleven systematic reviews a day: how will we ever keep up? PLoS Med, v.

7, n. 9, 2010.

(23)

Como a Engenharia e Gestão do Conhecimento pode contribuir

no processo de Revisão Sistemática de Literatura?

1.1 OBJETIVOS

A partir da questão de pesquisa, os objetivos do trabalho foram

estabelecidos.

1.1.1 Objetivo Geral

Propor um modelo de Sistema Baseado em Conhecimento para

apoio ao processo de Revisão Sistemática de Literatura.

1.1.2 Objetivos Específicos

● Levantar modelos de processos de Revisão Sistemática de

Literatura;

● Identificar as dificuldades apresentadas no processo de

Revisão Sistemática de Literatura;

● Identificar os modelos de Sistemas Baseados em

Conhecimento existentes para apoio ao processo de revisão

sistemática;

● Pesquisar os instrumentos da Engenharia e Gestão do

Conhecimento aplicáveis ao processo de Revisão Sistemática

de Literatura que atenuem as dificuldades identificadas;

● Desenvolver um modelo de Sistema Baseado em

Conhecimento para apoio ao processo de Revisão Sistemática

de Literatura, considerando os instrumentos identificados.

1.2 JUSTIFICATIVA

A justificativa desta pesquisa está alicerçada na importância das

revisões de literatura para o desenvolvimento do conhecimento

científico. Espera-se que o modelo de sistema baseado em conhecimento

permita que as revisões sistemáticas possam ser feitas de forma mais

ágil e confiável.

Niederauer (2002) observou que a atividade científica se tem

desenvolvido de forma cada vez mais sistemática e num crescente

volume de recursos investidos. Ele destaca ainda a criação de

mecanismos de monitoramento e avaliação de resultados. Portanto,

(24)

tornar os processos de revisão de literatura mais rápidos e efetivos pode

encurtar prazos de retorno para esse tipo de investimento.

Um estudo realizado por Imtiaz, Bano, Ikram, Niazi no ano de

2013 identificou que entre os anos de 2005 e 2011 foram realizadas 174

revisões sistemáticas na área de engenharia de software. Isto é um

exemplo do crescimento na utilização de métodos formais de

levantamento de literatura em outras áreas do conhecimento, além das

tradicionais áreas de saúde e ciências sociais.

Mas os estudos realizados por Hassler, Carver, Hale, Al-Zubidy

(2016) e os de Marshall, Brereton e Kitchenham (2014 e 2015)

salientam que os processos de revisão sistemática apresentam diversas

deficiências e que grande parte delas não é atendida, ou é atendida de

forma parcial, por ferramentas existentes. Por esse motivo, estes autores

sugerem como trabalhos futuros a melhora das ferramentas existentes ou

desenvolvimento de novas ferramentas de apoio ao processo de revisão

sistemática.

Sendo assim, a presente dissertação pretende contribuir nesse

sentido. Possibilitando a realização de processos de Revisão Sistemática

de Literatura de forma mais eficiente, ágil e confiável.

1.3 ADERÊNCIA AO PROGRAMA DE PÓS-GRADUAÇÃO EM

ENGENHARIA E GESTÃO DO CONHECIMENTO (EGC)

No repositório de teses e dissertações do Programa de

Pós-graduação em Engenharia e Gestão do Conhecimento (EGC) foram

identificados alguns trabalhos que têm aspectos comuns a este estudo.

A tese “Modelo de Sistema Baseado em Conhecimento para

Apoiar Processos de Tomada de Decisão em Ciência e Tecnologia”, de

Divino Ignácio Ribeiro Junior (2010), utiliza a Engenharia do

Conhecimento para evidenciar (extrair) conhecimento.

A dissertação “Uso da Web de Dados como Fonte de Informação

no Processo de Inteligência Competitiva Setorial”, de Leandro dal

Pizzol (2014), propõe um modelo composto por tarefas estruturadas de

identificação, seleção e classificação da informação com o objetivo de

facilitar a recuperação de conhecimento e exploração de novas fontes.

A dissertação “Modelo de Sistema de Conhecimento para Gestão

de Listas de Espera para Cirurgias no Sistema Único de Saúde”, de

Maico Oliveira Buss (2015), apresenta um modelo tecnológico de

suporte para tomadas de decisão no gerenciamento de listas de espera

para tratamento cirúrgico no sistema público de saúde.

(25)

A dissertação “Governo Eletrônico na Segurança Pública:

Construção de um Sistema Nacional de Conhecimento”, de Edson Rosa

Gomes da Silva (2009), utiliza metodologias de extração e explicitação

de conhecimento para apoiar processos intensivos em conhecimento.

A tese “Modelo de Conhecimento para Mapeamento de

Instrumentos da Gestão do Conhecimento e de Agentes Computacionais

da Engenharia do Conhecimento Baseado em Ontologias”, de Sandro

Rauntebrg (2009), por meio de instrumentos de Engenharia do

Conhecimento apoia a Gestão do Conhecimento no sentido de organizar,

formalizar e compartilhar conhecimento já estabelecido, assim como

também, criar conhecimento novo.

A tese “Framework Baseado em Conhecimento para Análise de

Rede de Colaboração Científica”, de Andréa Sabedra Bordin (2015),

trata da comunicação científica e apresenta um conjunto de artefatos de

representação de conhecimento em módulos reutilizáveis.

A presente dissertação situa-se no âmbito da Engenharia do

Conhecimento, especialmente no desenvolvimento de modelos para

Sistemas Baseados em Conhecimento. O estudo transita pela

identificação, seleção e classificação de informação; explicitação,

organização, formalização, extração, criação e compartilhamento de

conhecimento; suporte a tomadas de decisão e instrumentos

reutilizáveis.

1.4 DELIMITAÇÃO DO TRABALHO

Engenharia do Conhecimento possui um escopo de aplicação

vasto e, em função disso, também são numerosas as ferramentas que

utiliza. Neste trabalho se desenvolveu um modelo conceitual para o

processo de Revisão Sistemática da Literatura com uso de tecnologias

de Engenharia do Conhecimento. Porém, o protótipo foi desenvolvido

para as fases de busca dos estudos de forma integrada em diferentes

bases de dados, para a coleta dos estudos e sua consolidação. Sendo

assim, o resultado é um conjunto de documentos que atendem aos

requisitos da pesquisa.

1.5 CARACTERIZAÇÃO DA PESQUISA

Estre trabalho consiste em uma pesquisa de natureza científica,

pois busca avançar o conhecimento existente, aplicada, pois apresenta

uma aplicação prática, buscando solução de um problema específico e

(26)

gerando conhecimento, e qualitativa, não utilizando análises estatísticas

e possuindo uma maior preocupação com o processo (LAKATOS;

MARCONI, 2003; GIL, 2010; VIANNA, 2017).

Quanto aos objetivos, consiste em uma pesquisa exploratória,

pois se aprofunda o conhecimento inicial sobre o tema estudado,

propositiva, pois propõe um modelo para resolução do problema

identificado e descritiva por associar variáveis em busca de uma nova

visão para o problema (LAKATOS; MARCONI, 2003; GIL, 2010;

VIANNA, 2017).

1.6 ESTRUTURA DO TRABALHO

O trabalho está estruturado em sete seções, sendo eles: (i)

Introdução,

(ii)

Revisão

de

Literatura,

(iii)

Procedimentos

Metodológicos, (iv) Desenvolvimento do Modelo, (v) Validação do

Modelo, (vi) Análise e Discussão dos Resultados, e (vii) Considerações

Finais.

A primeira seção contempla a Introdução, onde é abordada a

contextualização, os objetivos, a justificativa, a aderência ao Programa

de Pós-graduação em Engenharia e Gestão do Conhecimento (EGC) da

Universidade Federal de Santa Catarina (UFSC), a delimitação e a

caracterização da pesquisa.

A segunda seção corresponde à Revisão de Literatura, trazendo

os assuntos pertinentes ao desenvolvimento do trabalho. Neste ponto é

apresentado o processo de Revisão Sistemática de Literatura como

tópico de estudo, onde constam conceitos, metodologias, recomendações

e desafios do processo. Outro assunto destacado é a Engenharia do

Conhecimento, apresentando sua origem, objetivos, aplicações, utilidade

e ferramentas para os diferentes estágios do ciclo de conhecimento. Na

sequência são expostas com maior profundidade as ferramentas de

Engenharia do Conhecimento que podem ser aplicadas como apoio ao

processo de Revisão Sistemática de Literatura bem como são analisados

os modelos de Sistemas Baseados em Conhecimento aplicados ao

processo de Revisão Sistemática de Literatura existentes. Finaliza com

uma síntese.

A terceira seção aborda os Procedimentos Metodológicos, onde

se expõe o delineamento da pesquisa e são descritas as etapas e

atividades desenvolvidas para atingir os objetivos da dissertação,

explicitando cada decisão tomada para o desenvolvimento do modelo

proposto.

(27)

A quarta seção aborda o Desenvolvimento do Modelo, trazendo o

modelo conceitual, seu funcionamento e as ferramentas aplicadas em

cada etapa. Para desenvolver a seção foram realizadas pesquisas

complementares visando identificar referências bibliográficas ausentes

na segunda seção, mas pertinentes ao desenvolvimento da pesquisa.

A quinta seção aborda a Validação do Modelo, para isso é refeita

a revisão de literatura realizada na segunda seção a partir de um

protótipo implementado do modelo de Sistema Baseado em

Conhecimento proposto.

A sexta seção consiste na Análise e Discussão dos resultados,

onde é realizada uma análise dos resultados obtidos na quinta seção em

comparação com os resultados obtidos na segunda seção, confrontando a

revisão de literatura feita de forma manual e a feita de forma

automatizada.

A sétima seção aborda a Conclusão, trazendo as considerações

finais, reafirmando os resultados da pesquisa e apresentando os

trabalhos futuros.

Além disso, são referenciadas as fontes citadas e apresentado em

apêndices a estratégias de busca e o relatório final dos estudos utilizados

na revisão com suas respectivas análises.

(28)

(29)

2 REVISÃO DA LITERATURA

Nesta seção são apresentados os temas pertinentes ao trabalho

que serviram de alicerce para a dissertação. Inicialmente se aborda o

processo de Revisão Sistemática de Literatura e em seguida a

Engenharia do Conhecimento. Por fim apresenta uma ligação entre os

temas identificando como a Engenharia do Conhecimento pode auxiliar

no processo de Revisão Sistemática de Literatura.

2.1 REVISÃO SISTEMÁTICA DE LITERATURA (RSL)

A ciência acadêmica é decorrente de uma sistematização de

conhecimentos que contém proposições encadeadas logicamente acerca

de fenômenos que se deseja estudar (LAKATOS; MARCONI, 2003).

Quando um investigador científico inicia seus estudos, recorre a

investigações anteriores sobre o tema desejado a fim de direcionar suas

ações e incrementar o conhecimento previamente existente. Reunir

pesquisa, consolidar e resumir informações são atividades essenciais de

uma revisão de literatura.

Retomando a definição de Kitchenham e Charters (2007)

apresentada na Introdução, é importante destacar o formalismo que

envolve o processo de Revisão Sistemática de Literatura. Tal

formalismo decorre da necessidade de criação de uma documentação

clara, possibilitando a identificação, avaliação e analise da literatura

relevante para um tópico, questão ou fenômeno específico. Assim como

a busca por resultados sem viés e a identificação de lacunas nas

pesquisas.

Whittemore e Knafl (2005) consideram a revisão sistemática

como uma metodologia composta por procedimentos que iniciam com

estratégias de busca de produção científica específica até a apresentação

da análise do material selecionado sobre o tema.

Um estudo realizado por Cordeiro et al. (2007) apresentou uma

série de fatos históricos relevantes ao processo de Revisão Sistemática

de Literatura, contemplando a linha de evolução do mesmo:

 Em 1904, o matemático britânico Karl Pearson apresentou um

estudo utilizando as primeiras técnicas formais para

combinação de resultados;

(30)

 Em 1955, foi publicada no Journal of American Medical

Association a primeira revisão sistemática de literatura na área

da saúde;

 Em 1976, surgiu o termo meta-análise em um artigo da revista

Educational Research, até então algumas publicações

utilizavam métodos estatísticos na combinação de resultados,

mas sem referência ao termo;

 Em 1990, a publicação do livro Effective Care During

Pregnancy and Childbirth demonstrou a consolidação das

meta-análises na área da saúde;

 Em 1993, foi criada a Cochrane Collaboration, uma

organização internacional sem fins lucrativos cujo objetivo é

preparar, manter e disseminar revisões sistemáticas na área da

saúde. Ela possui o nome do pesquisador inglês Archie

Cochrane (1909-1988).

O crescimento da busca pelo estado da arte proporcionou a

evolução dos métodos de investigação científica. Em um estudo

realizado por Grant e Booth, (2009) foram identificados 14 tipos de

revisão, são eles:

1) Revisão crítica: visa demonstrar que o autor pesquisou

extensivamente a literatura e avaliou de forma crítica sua

qualidade. Vai além de uma mera descrição dos artigos

identificados, inclui o grau de análise e inovação. O resultado

geralmente consiste em uma hipótese ou modelo, e não

necessariamente uma resposta;

2) Revisão de literatura / narrativa: descreve os materiais

publicados que fornecem um exame da literatura recente ou

atual, podendo abranger uma ampla variedade de assuntos,

em vários níveis de profundidade e abrangência. Geralmente

envolve algum processo de identificação de materiais

passíveis de inclusão, podendo ser formal ou não, para logo

sintetiza-los em forma textual, tabular ou gráfica, e

posteriormente realizar análises de contribuição ou valor;

3) Mapeamento de revisão: desenvolvido pelo EPPI-Center,

visa mapear a literatura existente sobre um determinado

tópico identificando lacunas na pesquisa e direcionar novas

revisões ou pesquisas primárias;

(31)

4) Meta-análise: consiste na utilização de estatística na

combinação dos resultados quantitativos dos estudos a fim de

fornecer resultados mais precisos. Embora muitas revisões

sistemáticas apresentem resultados sem uma meta-análise,

uma boa revisão sistemática é fundamental para a realização

de uma meta-análise da literatura, inclusive baseada em

estudos com características semelhantes;

5) Revisão de métodos mistos: consiste na utilização da

combinação de outros métodos ou componentes deles em

uma revisão bibliográfica. Geralmente um deles é uma

revisão sistemática, combinando métodos com mais eficácia

na área quantitativa e um método com ênfase na análise

qualitativa;

6) Visão geral: consiste em um termo genérico aplicado a

qualquer resumo de literatura que tenta pesquisar e descrever

suas características. Desta forma pode ser utilizado para

descrever diferentes tipos de revisão de literatura, com

diferentes graus de sistematicidade;

7) Revisão sistemática qualitativa: consiste em um método para

integrar ou comparar resultados de estudos qualitativos,

resultando em uma nova teoria, uma narrativa abrangente,

uma

generalização

mais

ampla

ou

uma

tradução

interpretativa. Ele não tem uma visão agregativa no sentido

de somar estudos, como uma meta-análise, mas em uma

forma interpretativa ao ampliar a compreensão de um

fenômeno particular. Neste caso os resultados dos estudos

primários são resumidos e não combinados por meio da

estatística;

8) Revisão rápida: consiste não necessariamente em um

método, mas na aplicação de métodos de revisão sistemática

na analise de pesquisas já existentes com cronogramas curtos

e bem definidos;

9) Revisão de escopo: consiste em uma avaliação preliminar do

potencial tamanho e escopo da literatura disponível para

pesquisa. Busca identificar a natureza e a extensão das

evidências de pesquisa;

10) Revisão do estado da arte: consiste em um subtipo da revisão

de literatura que tende a abordar assuntos mais atuais

buscando oferecer uma nova perspectiva sobre uma questão

ou destacando uma área que precisa de mais pesquisas;

(32)

11) Revisão sistemática: o tipo de revisão mais conhecido,

consiste na realização de uma busca, avaliação e sintetização

dos elementos de pesquisa de forma sistemática, utilizando

diretrizes bem definidas, com métodos transparentes e

passíveis de reprodução por outros pesquisadores;

12) Busca sistemática e revisão: consiste na combinação dos

pontos fortes da revisão critica com um processo de pesquisa

mais abrangente, normalmente abordando questões mais

amplas e apresentando uma síntese das melhores evidencias;

13) Revisão sistematizada: consiste na utilização de forma

parcial de elementos da revisão sistemática em uma revisão

de literatura, desta forma, deixando de reivindicar o resultado

como sendo uma revisão sistemática;

14) Revisão guarda-chuva: consiste em uma compilação de

várias revisões sistemáticas sobre um assunto abrangente,

fornecendo um documento consolidado, acessível e

utilizável, tratando de um assunto específico.

Ainda nesse mesmo estudo, Grant e Booth, (2009) destacam que

os mais utilizados, segundo Whittemore e Knafl, (2005), são a revisão

sistemática e meta análise em pesquisas quantitativas, e revisão

integrativa e revisão narrativa em pesquisas qualitativas.

Considerando a revisão sistemática, Moher et al. (2009)

entendem que uma revisão sistemática é uma revisão de bibliografia que

parte de uma pergunta formulada de forma clara, utiliza métodos

sistemáticos e explícitos para identificar, selecionar e avaliar

criticamente pesquisas relevantes, e coletar e analisar dados desses

estudos que são incluídos na revisão. Métodos estatísticos (meta-análise)

podem ou não serem utilizados para analisar e resumir os resultados dos

estudos. Portanto, meta-análise se refere ao uso de técnicas estatísticas

em uma revisão sistemática para integrar os resultados dos estudos

(MOHER; LIBERATI; TETZLAFF; ALTMAN, 2009).

No mesmo trabalho, observou-se que as revisões sistemáticas e

meta-análises se tornaram ferramentas importantíssimas na construção

do conhecimento, principalmente na área da saúde. A partir delas, os

profissionais da saúde podem manter-se atualizados em suas áreas, bem

como conseguem utilizar tais estudos como pontos de partida para suas

atividades (MOHER et al., 2009).

Outras áreas também utilizam desta ferramenta de pesquisa, como

já mencionado, a área de engenharia de software vem apresentando um

(33)

crescimento substancial na utilização de métodos formais de revisão de

literatura (IMTIAZ; BANO; IKRAM; NIAZI, 2013)

O número de trabalhos de revisões sistemáticas vem crescendo

nos últimos anos, e isso evidenciou problemas de qualidade da

informação. Pois ao comparar esses estudos verifica-se muita diferença

entre a qualidade das referências, a clareza dos relatos e a qualidade dos

resultados encontrados (MOHER et al., 2009).

Outros fatores também são apontados como críticos no processo

de revisão sistemática, são eles: realização manual e sem suporte;

instrumentos deficientes; estratégias de busca inadequadas; além da

qualidade dos artigos em si (HASSLER; CARVER; HALE; ZUBIDY,

2016).

Ao ser capaz de fornecer uma síntese confiável das evidencias

cientificas disponíveis sobre um determinado tópico, as revisões

sistemáticas combinam com o princípio que a ciência é cumulativa.

Diversas entidades voltadas à pesquisa tem um trabalho específico com

o propósito de promover a acessibilidade das revisões sistemáticas e

evidencias que as sustentam.

A Cochrane é uma delas, se não a principal delas. Trata-se de

uma organização internacional cujo principal objetivo é dar suporte a

tomada de decisão com base em informação na área da saúde. Possui

uma iniciativa diferenciada no apoio aos autores de revisões sistemáticas

chamado Cochrane Handbook, que consiste em um guia completo para

realização de revisões sistemáticas (HIGGINS; GREEN, 2011).

Segundo o Cochrane Handbook (HIGGINS; GREEN, 2011), uma

revisão sistemática busca reunir todas as evidencias que se enquadram

em critérios pré-definidos de elegibilidade, buscando responder uma

pergunta especifica, e para isso utiliza métodos explícitos e sistemáticos

com o objetivo de reduzir o viés e fornecer resultados confiáveis. Sendo

assim suas principais características são:

 Possuir claramente um conjunto de objetivos com critérios

pré-definidos de elegibilidade;

 Utilizar uma metodologia explicita e reproduzível;

 Realizar uma busca sistemática a fim de identificar todos os

estudos que atendam os critérios de elegibilidade;

 Realizar uma avaliação de validade dos resultados dos estudos

incluídos, por exemplo, através do risco de viés;

 Apresentar de forma sistemática e sintética as características e

descobertas dos estudos incluídos.

(34)

No Cochrane Handbook (HIGGINS; GREEN, 2011), o processo

de revisão sistemática é descrito em sete etapas, sendo elas:



Definição da pergunta: nesta etapa é construída a pergunta

que a pesquisa deseja responder. Uma revisão clara e focada

começa com uma pergunta bem estruturada, ela é

apresentada de forma ampla com seus objetivos e de forma

detalhada com seus critérios de inclusão e exclusão de

estudos. A pergunta deve especificar a população

(participantes), tipos de intervenções (e comparações) e tipos

de resultados de interesse;



Busca dos estudos: nesta etapa são definidos os estudos que

farão parte da pesquisa. Uma revisão sistemática é tão boa

quanto os dados nos quais ela é baseada, isto é, os estudos

primários, e para garantir um escopo mais amplo de pesquisa,

é necessária uma pesquisa completa. Desta forma, a definição

correta dos termos de pesquisa, da estratégia de busca e a

escolha das bases de dados é fundamental;



Seleção de estudos e coleta de dados: nesta etapa são eleitos

os estudos potenciais (com base nos critérios de inclusão e

exclusão pré-definidos). Esta verificação deve ser realizada

por pelo menos dois pesquisadores, e casos de desacordo são

definidos em conjunto ou por um terceiro pesquisador. As

inclusões e exclusões devem ser documentadas e

apresentadas em um diagrama resumo ao final da etapa;



Avaliação do risco de viés nos estudos incluídos: nesta etapa

é realizada uma avaliação da validade dos estudos incluídos

considerando o risco de viés em seus resultados, isto é, o

risco de superestimar ou subestimar o verdadeiro efeito da

intervenção. A Cochrane recomenda o uso de uma

ferramenta específica chamada RevMan, desenvolvida por

eles, para avaliar o risco de viés de cada estudo.



Análise de dados e realização de meta-análise: nesta etapa

são analisados os dados e a determinação da possibilidade de

se realizar uma meta-análise dos dados analisados. O

principal fator que determina essa questão é a semelhança e

consistência da forma com que os relatos foram medidos. Por

mais que o protocolo da revisão seja construído com base na

pergunta de pesquisa e nos resultados de interesse, somente

nesta etapa se saberá os tipos exatos de dados coletados;

(35)



Apresentação dos resultados: nesta etapa são apresentados os

resultados em forma de relatório. O mesmo deve conter os

estudos incluídos, suas descobertas e deve ser sistemático e

claro, preferencialmente com tabelas e figuras. O resumo de

uma revisão deve ser direcionado principalmente aos

tomadores de decisão, transmitindo descobertas em um estilo

direto e de fácil compreensão;



Interpretação dos resultados: nesta etapa os resultados são

avaliados e interpretados utilizando a abordagem GRADE

(Grading Recommendation Assessment, Delevopment and

Evaluation), onde cada resultado é avaliado separadamente

de acordo com quatro níveis de qualidade (alta, moderada,

baixa e muito baixa).

Por sua vez, Kitchenham e Charters (2007) agrupam as etapas de

uma revisão sistemática em três grandes fases: planejamento da revisão;

condução da revisão; e divulgação dos resultados.

Na fase de planejamento da revisão sistemática são

desenvolvidas as seguintes etapas (KITCHENHAM; CHARTERS,

2007):

 Identificação de necessidade da revisão sistemática: é preciso

identificar se esta revisão sistemática é realmente necessária,

isto é, visitar as revisões sistemáticas realizadas anteriormente

para saber se as perguntas que se pretende responder já não

foram respondidas. Para isso são aplicados quatro

questionamentos;

 Especificação das perguntas de pesquisa: esta é a etapa mais

importante de uma revisão sistemática, pois é ela que vai

direcionar todo o trabalho, todas as etapas de execução serão

realizadas buscando responder estas perguntas;

 Desenvolvimento de um protocolo de revisão: o protocolo de

revisão é um documento que especifica todos os métodos que

serão utilizados na revisão sistemática e serve como referência

durante todo o processo. Um dos seus objetivos é reduzir o

viés da pesquisa com base na expectativa dos pesquisadores e

geralmente são submetidos e revisados por pares. Nele são

detalhadas as perguntas de pesquisas, as bases de dados a

serem pesquisadas, as estratégias de busca, os critérios de

(36)

seleção, os critérios de inclusão e exclusão, as estratégias de

seleção, extração de dados e disseminação dos resultados;

 Avaliação do protocolo de revisão: como o protocolo de

revisão é um elemento crítico do processo de revisão

sistemática, é fundamental a avaliação do mesmo, muitas

vezes por pesquisadores independentes, a fim de identificar se

as definições propostas no protocolo são capazes de atender às

perguntas de pesquisa que a revisão sistemática busca

responder.

Devido à relevância do protocolo de revisão, Kitchenham e

Charters (2007) salientam a importância da participação de todos os

autores da revisão sistemática na sua construção. É comum que durante

o seu desenvolvimento ocorra um refinamento cíclico do mesmo,

inclusive afetando questões já definidas em etapas anteriores como uma

ou mais perguntas de pesquisa.

O resultado final da fase de planejamento é o protocolo de revisão

devidamente aprovado, e, com ele, é possível passar para a fase de

condução da revisão sistemática.

Na fase de condução da revisão sistemática são desenvolvidas

as seguintes etapas (KITCHENHAM; CHARTERS, 2007):

 Identificação da pesquisa: com base nas estratégias de busca e

bases de dados definidos no protocolo de revisão, é nesta

etapa que são identificados os estudos pertinentes à revisão

sistemática em desenvolvimento. Muitas vezes essa busca

necessita de ajustes e refinamentos, e cada ação tomada

precisa ser documentada e justificada pois um dos princípios

deste processo é que o mesmo seja transparente e replicável.

Os resultados desta busca devem ser armazenados para

posterior analise ou revisão;

 Seleção dos estudos primários: após a identificação dos

estudos primários potencialmente relevantes, é realizada uma

verificação se os mesmos são efetivamente relevantes à

pesquisa, para isso utilizam-se os critérios de seleção listados

no protocolo de revisão. Esta etapa pode ser realizada em

múltiplos estágios, inicialmente os critérios sendo aplicados

de forma mais liberal, com base no título e resumo, e

posteriormente com base no texto completo. Esta análise pode

ser realizada por mais de um pesquisador e havendo

(37)

discordância, os dois precisam entrar em acordo a respeito,

podendo inclusive haver intervenção de outro pesquisador.

Além disso, todas as inclusões e exclusões devem ser

documentadas e reportadas no relatório final;

 Avaliação da qualidade dos estudos: esta etapa é considerada

complementar à seleção de estudos pois possibilita a expansão

dos critérios de inclusão e exclusão a fim de identificar

diferenças na qualidade dos trabalhos e resultados dos

estudos. Geralmente baseados em checklists chamados de

instrumentos de qualidade, avaliam pontos específicos dos

estudos selecionados. Um fato importante é que estes

instrumentos de qualidade podem tanto auxiliar na etapa de

seleção de estudos quanto na análise e síntese dos dados,

dependendo da forma como foi concebido no protocolo de

revisão.

 Extração de dados: nesta etapa é realizada a coleta de dados

dos estudos selecionados a partir de formulários de extração

de dados. Estes formulários devem ser projetados durante a

criação do protocolo de revisão, mas são passíveis de ajuste,

desde que não comprometam o viés da pesquisa. Eles

precisam abordar todas as perguntas de pesquisa. Geralmente

são contemplados com valores numéricos ou conjunto de

valores de forma que possibilite a realização de meta-análise

dos resultados. Outra questão importante é que estes

formulários sejam preenchidos por mais de um pesquisador e

quando ocorrer divergência de informações, busque-se o

consenso. Outro fato é que, se algum estudo não contemplar

todas questões do formulário, é permitido o preenchimento

destas informações a partir de consulta aos autores do estudo

primário. Todas estas questões devem ser devidamente

documentadas para revisão e analises futuras.

 Síntese dos dados: esta etapa abrange a classificação e resumo

dos resultados dos estudos primários incluídos. A síntese pode

ser descritiva, demonstrando os resultados tabulados de forma

narrativa, privilegiando a comparação. Costuma ser

complementada apresentando os resultados em forma de

tabela, é chamada de meta-análise quando inclui signos

numéricos ou binários e uso de técnicas de estatística. Pode

ser qualitativa, quando envolve resultados descritos em

linguagem natural e precisam ser tabulados. Em alguns casos

(38)

esta síntese pode ser combinada. Todas as informações desta

etapa também devem ser documentadas para revisão e analises

futuras.

A fase final de uma revisão sistemática consiste na divulgação

dos

resultados,

esta

fase

contempla

as

seguintes

etapas

(KITCHENHAM; CHARTERS, 2007):

 Especificação da estratégia de divulgação: é fundamental

divulgar de forma eficaz os resultados de uma revisão

sistemática, por isto a maioria das recomendações prevê esta

etapa, afinal, se o objetivo de uma revisão sistemática é

influenciar outras pesquisas, a mesma precisa ser divulgada de

forma eficaz.

 Formatação do relatório da revisão sistemática: geralmente

uma revisão sistemática é reportada em dois formatos, um

relatório técnico, ou uma seção de uma tese de doutorado; e

um periódico ou documento em conferência, neste segundo

caso, geralmente menor em virtude da limitação de tamanho.

 Avaliação do relatório da revisão sistemática: é importante a

realização de uma avaliação do relatório da revisão

sistemática por pesquisadores e especialistas a fim de validar

o processo e os resultados.

Kitchenham e Charters (2007) apontam ainda que é fundamental

manter um registro detalhado de todo o processo e das decisões tomadas

ao longo da revisão, principalmente no que diz respeito aos desvios do

protocolo de revisão.

Kitchenham e Charters (2007) relatam que o processo de revisão

sistemática é composto por diversas etapas e que, apesar dos autores

divergirem em relação a quantidade e ordem, eles verificaram que a

grande maioria dessas etapas é comum, inclusive em diferentes áreas

como saúde e ciências sociais.

2.2 PRÁTICAS DE REVISÃO SISTEMÁTICA

Mesmo sendo um dos métodos mais utilizados para revisão de

literatura, a processo revisão sistemática de literatura possui alguns

pontos críticos, costumeiramente apresentada pelos seus autores.

(39)

Para Hassler et al. (2016), o tempo despendido para o trabalho é

um fator crítico no processo, pois na maioria das vezes é feito de forma

manual e sem suporte de uma ferramenta adequada. Outras dificuldades

apontadas são as estratégias de busca e instrumentos inadequados, além

da qualidade dos artigos e problemas na coleta e análise de dados.

Outro ponto apresentado é que em várias situações, por ser um

processo altamente trabalhoso, estas revisões sistemáticas se tornam

desatualizadas rapidamente (KRISTIANSEN, 2008; SHOJANIA et al.,

2007).

Para Rathbone, Hoffmann e Gasziu (2015) o uso de tecnologia

pode ser uma saída para enfrentar tais desafios. Em contrapartida, Zhong

(2017) aponta que independente da tecnologia ou ferramenta utilizada, a

má construção de um protocolo e a má condução do processo poderá

comprometer o resultado. Além disso, o uso de uma ferramenta

inadequada aumenta o esforço para realização do processo pois em

vários momentos será necessário repetir uma ou mais etapas

(HASSLER; CARVER; KRAFT; HALE, 2014).

Nos últimos anos, diversos estudos buscaram levantar quais as

principais dificuldades encontradas no processo de revisão sistemática e

identificar se estas demandas são de alguma forma supridas por

ferramentas tecnológicas existentes.

Em um estudo publicado em 2016, Hassler, Carver, Hale e

Al-Zubidy relatam um experimento realizado em forma de workshop com

vários autores de revisão sistemática, com diferentes níveis de

experiência. Eles participaram de grupos nominais buscando levantar

efetivamente quais eram as necessidades, qual o grau de importância

para cada uma delas e se de alguma forma as mesmas são atendidas,

mesmo que parcialmente, por alguma ferramenta tecnológica

previamente conhecida pelos participantes.

A pesquisa de Hassler, Carver, Hale e Al-Zubidy (2016) seguiu

alguns passos. Primeiramente os autores apresentaram ideias de

funcionalidades para uma ferramenta de apoio ao processo de revisão

sistemática, nesta etapa surgiram 91 sugestões, em seguida os autores

discutiram a respeito e surgiram mais 6 ideias, totalizando 97 ideias de

funcionalidades. Em um passo seguinte estas ideias foram consolidadas

em funcionalidades de ferramenta, resultando em 28 funcionalidades

agrupadas em 6 aspectos do processo de revisão sistemática. Estes

aspectos e funcionalidades são sintetizados no Quadro 1, a seguir.

(40)

Quadro 1 - Agrupamento de aspectos e funcionalidades nos grupos de discussão

Aspecto

Funcionalidade

Protocolo Geral (PG)



Colaboração



Compartilhamento de dados



Manutenção de dados



Rastreabilidade



Desenvolvimento e validação



Automação de tarefas



Estimativa de tempo e recurso



Expansividade

Motivação e Perguntas de

Pesquisa (MP)



Modelos

Busca e Seleção (BS)



Busca integrada



Seleção de estudos



Busca semântica



Armazenamento de estudos



Exportação de referências



Colaboração

Avaliação

de

Qualidade

(AQ)



Padronização do processo



Avaliação de qualidade

Extração de Dados (ED)



Programação de métodos e dados



Gerenciamento técnico



Colaboração



Controle da execução

Análise e Apresentação (AA)



Análise automatizada



Análise estatística



Visualização



Validação



Expansividade



Colaboração



Indexação

Fonte: Adaptado de Hassler, Carver, Hale, Al-Zubidy (2016)

No passo seguinte, os autores votaram em cada uma das

funcionalidades que eles achavam importante, cada autor possuía seis

votos e poderia dispor conforme achasse conveniente. O resultado desta

votação está disponível na Tabela 1.

(41)

Analisando os resultados da votação, a funcionalidade primeira

colocada foi a busca integrada, no aspecto de busca e seleção,

considerando a habilidade da ferramenta de consultar diversas bases de

dados de forma centralizada, a segunda colocada foi a colaboração, no

aspecto protocolo geral, e a terceira colocada foi a rastreabilidade, no

aspecto protocolo geral.

Um fato interessante é que a colaboração está presente nos

aspectos protocolo geral, busca e seleção, extração de dados e analise e

apresentação. Caso estes votos fossem todos somados, esta

funcionalidade seria a primeira colocada. De qualquer forma, esta

alteração precisaria ser feita na etapa de ideia, e provavelmente a

discussão alteraria a votação.

Tabela 1 - Resultado da votação nos grupos de discussão

Funcionalidade

Votos (%)

BS - Busca integrada

PG - Colaboração

PG - Rastreabilidade

BS - Seleção de estudos

PG - Manutenção de dados

AQ - Avaliação de qualidade

AA - Análise automatizada

BS - Busca semântica

BS - Armazenamento de estudos

ED - Programação de métodos e dados

AA - Visualização

PG - Automação de tarefas

BS - Colaboração

ED - Gerenciamento técnico

ED - Colaboração

AQ - Padronização do processo

AA - Validação

PG - Compartilhamento de dados

AA - Análise estatística

MP - Modelos

AA - Expansividade

PG - Desenvolvimento e validação

PG - Estimativa de tempo e recurso

PG - Expansividade

11,5

10,7

9,2

6,9

6,1

5,3

4,6

3,8

3,1

2,3

2,2

0,8

0,0

(42)

Funcionalidade

Votos (%)

BS - Exportação de referências

ED - Controle da execução

AA - Colaboração

AA - Indexação

0,0

Fonte: Adaptado de Hassler, Carver, Hale, Al-Zubidy (2016)

Entre a realização do workshop realizado por Hassler, Carver,

Hale, Al-Zubidy (2016), que permitiu o levantamento de dados, e a

publicação dos resultados, surgiram dois trabalhos extremamente

relevantes ao tema estudado. No primeiro Marshall e coautores

realizaram um levantamento sobre as ferramentas de suporte ao

processo de revisão sistemática (MARSHALL; BRERETON;

KITCHENHAM, 2014), no segundo foram realizadas entrevistas com

autores de revisões sistemáticas em diversos domínios buscando saber

quais as funcionalidades de ferramentas mais desejadas (MARSHALL;

BRERETON; KITCHENHAM, 2015).

Apesar dos trabalhos utilizar métricas e nomenclaturas diferentes,

Hassler, Carver, Hale e Al-Zubidy (2016) realizaram uma análise

comparativa para identificar concordâncias e discordâncias. Os

resultados dessa análise estão na Tabela 2.

Mesmo havendo um pouco de dificuldade na determinação da

equivalência entre algumas funcionalidades, como no caso da

rastreabilidade que nos estudos de Marshall et al. não foi tratado como

uma funcionalidade específica, houve bastante concordância entre as

funcionalidades reportadas pelos autores, inclusive quanto à questão das

prioridades, com algumas exceções.

Um fato curioso é que a colaboração, que ficou em segundo lugar

na ordem de prioridades no primeiro levantamento de Hassler et al.,

durante o workshop, e seria a primeira se não fosse citada em mais de

um aspecto de forma separada, foi considerada como fundamental nos

estudos de Marshall et al. Já a busca integrada que foi a primeira

colocada no workshop, foi considerada como muito desejada, mas não

fundamental nos trabalhos de Marshall e colaboradores.

Tabela 2 - Comparação entre os estudos de Hassler et al. e Marshal et al.

Hassler et al.

Marshall et al.

Funcionalidade

Votos (%)

Funcionalidade

Entrevista Autor

Total Menor Maior

1 BS - Busca integrada 11,5 9,8

12,2

Processo de busca

4 - MD

4 – MD

2 BS - Seleção de

6,9

9,8

5,6

Seleção de estudos

4 - MD

4 – MD

(43)

Hassler et al.

Marshall et al.

Funcionalidade

Votos (%)

Funcionalidade

Entrevista Autor

Total Menor Maior

estudos

3 PG - Manutenção de

dados

6,1

7,3

5,6

Reuso de dados de

projetos passados

4 - MD

4 – MD

4 AA - Análise

estatística

2,3

4,9

1,1

Meta-análise

Análise textual

4 - MD

2 - I

2 – I

5 AA - Validação

3,1

2,4

3,3

Relatório de

validação

1 - SN

2 – I

6 PG - Colaboração

10,7 4,9

13,3

Múltiplos usuários

5 - O

7 AQ - Avaliação de

qualidade

5,3

2,4

6,7

Avaliação de

qualidade

4 - MD

8 AA - Análise

automatizada

5,3

9,8

3,3

Análise automatizada 4 - MD

4 - MD

9 BS - Armazenamento

de estudos

3,8

2,4

3,3

Gerenciamento de

documentos

5 - O

10 ED - Programação de

métodos e dados

3,8

4,9

3,3

Extração de dados

5 - O

4 - MD

11 PG - Desenvolvimento

e validação

0,8

0,0

1,1

Desenvolvimento do

protocolo

Validação do

protocolo

4 - MD

3 - D

5 - O (Obrigatório); 4 - MD (Muito desejado); 3 - D (Desejado); 2 - I (Interessante); 1 - SN