Uma Abordagem Visual para Auxiliar a Revisão da Seleção de
Estudos Primários na Revisão Sistemática
Katia R. Felizardo1, Gabriel F. Andery1, José Carlos Maldonado1, Rosane Minghim1
1Instituto de Ciências Matemáticas e de Computação (ICMC) - Universidade de São Paulo
Caixa Postal: 668 – 13560-970 – São Carlos – SP – Brazil
{katiarf,gfandery,jcmaldon,rminghim}@icmc.usp.br
Abstract. This paper presents an approach that uses Visual Text Mining (VTM) techniques and associated tool to support the reliability of inclusion and exclu-sion deciexclu-sions in the conduction stage of a systematic review. The approach has been applied to real systematic reviews and the results showed that the use of visualization is an additional component and it can assist the reviewer to decide that relevant studies were not deleted.
Resumo. Este artigo apresenta uma abordagem que faz uso de técnicas de Mi-neração Visual de Texto (Visual Text Mining - VTM) e ferramenta associada para apoiar a revisão da seleção de estudos primários na etapa de Execução da revisão sistemática. A abordagem foi aplicada em revisões sistemáticas reais e os resultados mostraram que o uso da visualização é um componente adicio-nal e pode auxiliar o revisor na decisão de garantir que estudos relevantes não foram eliminados.
1. Introdução
A comunidade de Engenharia de Software tem adotado revisões sistemáticas como uma forma de reunir dados de diferentes estudos experimentais para caracterizar uma dada tecnologia.
A revisão sistemática é uma maneira de avaliar e interpretar toda pesquisa re-levante e disponível sobre uma questão de pesquisa específica, tópico ou fenômeno de interesse, fazendo uso de uma metodologia de revisão que seja confiável, rigorosa e que permita auditagem [Kitchenham 2004].
O processo de condução da revisão sistemática, adaptado para a Engenharia de Software, foi sugerido por Biolchini et al. [2005] e baseado nas diretrizes iniciais propos-tas por Kitchenham [2004]. O processo envolve três etapas, o Planejamento da revisão, a Execução e a Análise dos Resultados [Biolchini et al. 2005].
Durante a etapa de Planejamento é identificada a necessidade de uma nova revi-são sistemática, os objetivos da pesquisa revi-são definidos e é criado o protocolo, que contém itens como a seleção de fontes, métodos de busca e palavras-chave, critérios de inclusão, exclusão e qualidade dos estudos primários [Biolchini et al. 2005]. Experimentos con-trolados, estudos de caso e surveys são exemplos de estudos primários, que atuam como fonte de informação para as revisões sistemáticas, ou seja, os estudos experimentais é que levantam os dados que são agrupados e sumarizados pelas revisões sistemáticas, que são os estudos secundários [Kitchenham 2004, Sjøberg et al. 2007].
A etapa de Execução tem como objetivo a obtenção e análise dos estudos primá-rios. Assim, os estudos são identificados, coletados e organizados em uma lista. Então os critérios de inclusão e exclusão definidos no protocolo são aplicados nos estudos da lista em duas etapas, inicialmente por meio da leitura do título, resumo e conclusões, seguido pela leitura do texto completo. Os resultados dessa análise são registrados, sendo que a lista dos estudos deve ser reavaliada para garantir que não foram eliminados estudos re-levantes (Revisão da Seleção). Ao final dessa atividade, as informações são extraídas dos estudos identificados como incluídos.
Por fim, é na etapa de Análise dos Resultados que os resultados dos estudos primá-rios que atendem ao propósito da revisão são sintetizados. Essa síntese pode ser descritiva, mas um sumário quantitativo obtido por meio de um cálculo estatístico pode complemen-tar a descrição [Kitchenham 2004].
Como mencionado anteriormente, a atividade de Revisão da Seleção procura evi-tar a eliminação de estudos relevantes, o que pode prejudicar consideravelmente o re-sultado final da revisão, uma vez que exclui informações que deveriam ser avaliadas e sintetizadas na etapa de Análise dos Resultados. Este artigo tem como objetivo propor uma abordagem que faz uso combinado de técnicas de Visual Text Mining (VTM) para auxiliar a Revisão da Seleção dos estudos primários, oferecendo as seguintes contribui-ções: (i) Revisão sistemática com dois ou mais revisores: A abordagem proposta auxilia na discussão das divergências entre revisores, oferecendo outros recursos para apoiar a tomada de decisão; e (ii) Revisão sistemática individual: A abordagem proposta pode sugerir indícios sobre quais artigos devem ser revistos, tanto para inclusão, quanto para exclusão, sem se basear em uma escolha aleatória.
Este artigo está organizado da seguinte forma: na Seção 2 são apresentados os trabalhos relacionados; na Seção 3 a abordagem é descrita, juntamente com a sua aplica-ção em revisões sistemáticas reais e os resultados obtidos. Por fim, na Seaplica-ção 4 estão as conclusões e os trabalhos futuros.
2. Trabalhos Relacionados
Pesquisas relacionadas ao contexto mencionado foram desenvolvidas por Malheiros et al. [Malheiros et al. 2007], que sugeriram estratégias de VTM para apoiar a seleção de estu-dos primários. Os autores compararam o desempenho de revisores ao realizar a seleção dos estudos efetuando apenas a leitura dos seus resumos com o desempenho ao utilizar as estratégias sugeridas com o apoio de uma ferramenta de VTM denominada Projection Explorer (PEx)[Paulovich and Minghim 2006].
Assim como o trabalho de Malheiros et al. [2007], este trabalho também faz uso de técnicas de VTM e da PEx para apoiar o processo de revisão sistemática, no entanto, enquanto o objetivo do primeiro é utilizar essas técnicas para realizar a seleção dos estu-dos, a proposta deste trabalho é utilizá-las para revisar a seleção. Além disso, as técnicas de VTM utilizadas nesses dois trabalhos são diferentes.
Não foram identificadas outras pesquisas que utilizam técnicas de VTM com o mesmo objetivo deste trabalho.
3. Abordagem Proposta e Aplicação em Situações Reais
A Projection Explorer - PEx [Paulovich and Minghim 2006] é uma plataforma genérica de visualização de código aberto. A ferramenta disponibiliza diversas facilidades para manipulação de textos e exploração de uma coleção de documentos com o uso de téc-nicas de VTM. De forma resumida, tem-se que a ferramenta faz uso do modelo espaço vetorial para estruturar, comparar e calcular as distâncias entre os documentos. As dis-tâncias calculadas são utilizadas por técnicas de projeções multidimensionais para gerar um mapa de documentos, ou seja, uma representação gráfica da coleção de textos. Nesse mapa, cada ponto (círculo), definido no espaço bidimensional representa um texto. Uma vez gerada a visualização, a principal ideia é a possibilidade do usuário interagir com o resultado, permitindo-lhe explorar, compreender e extrair informações relevantes dos dados.
Nas Figuras 1(a) e 1(b) estão representados dois mapas de documentos gerados pela PEx. Esses mapas representam os estudos primários analisados em duas revisões sis-temáticas. Essas e as outras revisões utilizadas neste artigo são do domínio de Engenharia de Software.
(a) Revisão sistemática 1 (b) Revisão sistemática 2
Figura 1. Mapas de documentos gerados com a PEx
A diferença de cor entre os pontos identifica a classe (incluído ou excluído) a qual cada estudo pertence. Essas classes foram definidas com base na aplicação (por um especialista no domínio de cada revisão) da estratégia tradicional de seleção de estudos primários, leitura dos resumos ou textos completos e aplicação dos critérios de inclusão, exclusão e qualidade. Nos mapas, os pontos vermelhos identificam os estudos excluídos da revisão, e os azuis, os incluídos. Na revisão sistemática 1, representada na Figura 1(a), foram incluídos 40 estudos e excluídos 77, já na revisão sistemática 2, representada na Figura 1(b), foram incluídos 33 estudos e excluídos 205.
Partindo da criação e exploração visual de um mapa de documentos, a estratégia sugerida aqui para revisar a seleção dos estudos primários analisados pode ser resumida em dois passos principais: (1) primeiro, um algoritmo de clustering é aplicado sobre o mapa de documentos compondo grupos de documentos altamente relacionados (simila-res) – para tal o algoritmo k-means [MacQueen 1967] foi empregado; (2) então, os agru-pamentos resultantes são analisados, em termos dos documentos incluídos e excluídos
que os formam, a fim de encontrar inconsistências. Nessa análise, as possíveis configura-ções que um agrupamento pode alcançar, e as possíveis consequências para o processo de reavaliação são:
• Situação (a): Cluster Puro – todos os documentos possuem a mesma classifica-ção (todos incluídos ou todos excluídos). Esse caso não desperta inicialmente a necessidade de uma reavaliação;
• Situação (b): Cluster Misto – documentos com classificação diferente. Esses ca-sos são alertas ao revisor e os estudos ali agrupados, principalmente os que pos-suem classificação divergente da maioria, devem ser reavaliados seguindo o mé-todo tradicional; e
• Situação (c): Ponto Isolado – esses casos também são alertas ao revisor, sendo que o estudo isolado, se classificado como incluído, deve ser reavaliado uma vez que não possui semelhança com nenhum outro estudo.
Os mesmos mapas das Figuras 1(a) e 1(b) estão reproduzidos nas Figuras 2(a) e 2(b) respectivamente, porém com a identificação dos clusters e das situações que devem ser detectadas segundo a abordagem descrita anteriormente.
(a) Revisão sistemática 1 (b) Revisão sistemática 2
Figura 2. Identificação das situações (a), (b) e (c)
Exemplos de clusters puros estão identificados na Figura 2(a) pelas marcações (a). Exemplos de clusters mistos estão identificados na Figura 2(b) pelas marcações (b). Por fim, um exemplo de ponto isolado está identificado na Figura 2(b) pela marcação (c). A avaliação dos clusters pode ser refinada com o apoio de recursos baseados em conteúdo ou citação, descritos na sequência, e que podem ser utilizados individualmente ou de forma combinada.
3.1. Recursos Baseados em Conteúdo
Os documentos (pontos) contidos no mapa gerado pela PEx são posicionados de acordo com a similaridade entre seus conteúdos, conforme explicado anteriormente. A ferra-menta também possui funcionalidades para modificar os atributos visuais dos pontos, por exemplo, a cor, de modo a refletir propriedades dos objetos. Dessa forma, dois recursos baseados nessas funcionalidades podem ser utilizados para apoiar a análise visual dos clusters.
3.1.1. Histórico das Exclusões
O primeiro recurso prevê a criação de mapas de documentos baseados em conteúdo, con-tendo os estudos coletados e analisados na revisão sistemática, destacando por meio de cores o histórico das exclusões, ou seja, os estudos que foram excluídos nas diferentes etapas da seleção.
O mapa da Figura 3(a) representa o resultado da fase de Execução da revisão sis-temática 3, contendo 49 estudos primários, 38 excluídos da revisão (pontos vermelhos) e 11 incluídos (pontos azuis). Na Figura 3(b) o mesmo mapa de documentos da Figura 3(a) é reapresentado, mas agora colorido de acordo com o histórico das inclusões e exclu-sões. Os 16 pontos vermelhos representam estudos excluídos da revisão na primeira etapa (apenas com a leitura do resumo); os 22 pontos verdes, os incluídos na primeira etapa da seleção, porém excluídos na segunda (leitura completa do artigo); e os 11 pontos azuis, os incluídos. Assim, pontos verdes e vermelhos, 38 no total, são documentos excluídos e os azuis, documentos incluídos. No caso específico da revisão sistemática 3 foi mantido contato com os revisores, que disponibilizaram o histórico, o que não ocorreu com os demais exemplos utilizados neste artigo, retirados de publicações na literatura.
(a) Sem histórico (b) Com histórico
Figura 3. Mapas de documentos referentes à revisão sistemática 3
Com a coloração por histórico é possível a formação de quatro tipos de clusters mistos: (i) verdes e vermelhos; (ii) azuis e verdes; (iii) azuis e vermelhos; e (iv) azuis, verdes e vermelhos.
Estudos em verde em conjunto com estudos em vermelho, apesar de mistos na representação por histórico, equivalem a clusters puros (todos excluídos) e, portanto, não precisam ser reavaliados.
Estudos em azul (incluídos) em conjunto com estudos em verde ou vermelho (ex-cluídos) formam clusters mistos nas duas representações, com ou sem o uso do recurso de histórico. Entretanto, considerando que os pontos azuis e verdes foram avaliados na segunda etapa pela leitura integral do texto, apenas os clusters contendo pontos azuis e vermelhos despertam a necessidade de reavaliação, pois representam estudos excluídos já na primeira etapa, apenas com a leitura do resumo, similares à estudos incluídos, lidos na íntegra. Por fim, clusters que contêm as três cores também devem ser reavaliados, pois configuram a mesma situação mencionada anteriormente, ou seja, pontos vermelhos
similares à azuis.
Vale destacar que sem o uso do histórico todos os clusters mistos deveriam ser reavaliados. Os mapas e o recurso de histórico foram considerados, na opinião dos es-pecialistas, um mecanismo importante para embasar a decisão inicialmente tomada (e mantida) de incluir ou excluir um determinado estudo primário da revisão.
3.1.2. Classificação da Qualidade dos Estudos
O segundo recurso é similar ao primeiro, mas ao invés de colorir o mapa com base no his-tórico, o mesmo é colorido de acordo com a qualidade definida e atribuída pelos revisores para cada um dos estudos incluídos. A revisão sistemática 4 foi formatada para apresentar a aplicação desse recurso.
(a) Excluídos e incluídos (b) Classificação de qualidade
Figura 4. Mapas de documentos referentes à revisão sistemática 4
Nessa revisão a qualidade atribuída pelos revisores refletiu o conteúdo da maio-ria dos artigos, o que é possível observar na concentração de artigos de maior qualidade (Q1 a Q3, em uma escala de 1, maior qualidade, a 7, menor qualidade) no canto superior do mapa (todos incluídos). No entanto, não é possível afirmar que estudos com poucos detalhes na escrita são de baixa qualidade, isto porque não se pode assumir que algo não reportado não tenha sido feito [Kitchenham et al. 2007]. Uma situação interessante foi o caso destacado como (1) na Figura 4(b), ou seja, um artigo excluído (vermelho) similar a um incluído de qualidade Q7. Nesse caso, duas situações são possíveis e devem ser ava-liadas: (i) o estudo de qualidade Q7 omitiu detalhes e, portanto, mais informações devem ser obtidas com os autores desse artigo para assegurar a sua inclusão; (ii) o estudo pos-sui informações suficientes e, portanto, sua inclusão é questionável. Assim, fica evidente que os critérios de qualidade proveram mais detalhes do que apenas os fornecidos pelos critérios de inclusão e exclusão.
3.2. Recurso Baseado em Rede de Citações
Como mencionado anteriormente o conteúdo dos estudos primários pode não refletir a sua qualidade. Assim, é possível utilizar outras opções para visualizar esses estudos, de
modo a complementar o que somente o conteúdo não revela. A rede de citações é uma dessas opções.
A forma mais comum de representar visualmente as redes de citações (redes complexas) é por meio de grafos, que são formados por um conjunto de vértices e arestas, os quais representam os objetos e as relações entre eles, respectivamente [Andery et al. 2009]. Nesse caso, os estudos primários (vértices ou pontos) e suas re-ferências bibliográficas (arestas).
Através dessa visualização é possível identificar, por exemplo, estudos que não estão conectados aos demais, ou seja, não compartilham referências. Esses estudos, que estão isolados em termos de referências, merecem atenção por parte dos especialistas (re-visores). Outro caso que merece destaque são as referências de estudos incluídos com muitas conexões. Isso porque buscas por estudos usando bibliotecas digitais e palavras-chave podem não ser suficientes para uma revisão sistemática completa. Outras fontes devem ser pesquisadas, incluindo as listas de referência dos estudos revisados e classifi-cados como incluídos [Kitchenham et al. 2007].
Exemplificações de redes de citações estão ilustradas na sequência, com outros conjuntos de revisões sistemáticas. As Figuras 5(a) e 5(b) representam as redes de citações das revisões 5 e 6, respectivamente. Essas redes também foram geradas pela ferramenta PEx, que foi adaptada por Andery et al. [2009] para permitir esse tipo de visualização. Os pontos vermelhos representam artigos excluídos; os azuis, os incluídos; e os cinzas, artigos referenciados.
(a) Revisão sistemática 5 (b) Revisão sistemática 6
Figura 5. Redes de citações das revisões 5 e 6
Foi possível visualizar na rede de citações da Figura 5(a) que a maioria dos arti-gos incluídos (localizados na região central) compartilham as mesmas referências, assim como os excluídos (localizados na região à esquerda, acima). Os estudos isolados foram todos classificados como excluídos. Vale destacar que o “ponto azul” localizado no canto inferior direito, se observado com detalhe, não é um único ponto isolado, mas dois pon-tos que compartilham exatamente as mesmas referências, não citadas em nenhum outro estudo.
Situações críticas e que merecem ser reavaliadas foram percebidas na rede de citações correspondente à revisão sistemática 6 (Figura 5(b)). Uma delas é a presença de
estudos incluídos totalmente isolados do restante (pontos azuis conectados apenas com suas respectivas referências), que totalizam 10 ocorrências.
Um recurso adicional que pode ser utilizado é a técnica de coordenação por igual-dade. Essa técnica cria um relacionamento direto entre os mesmos documentos contidos em diferentes visualizações. Dessa forma, quando um estudo primário ou um conjunto de estudos é selecionado no mapa de documentos, os mesmos objetos são destacados na rede de citações (ou vice-versa).
Na Figura 6 está ilustrado o uso da estratégia de coordenação por igualdade para a revisão sistemática 5, sendo que na Figura 6(a) está apresentado o mapa de documentos dessa revisão sistemática e na Figura 6(b) a sua respectiva rede de citações. Os mesmos documentos selecionados no mapa da Figura 6(a) (pontos destacados à esquerda, acima) estão ressaltados na rede de citações da Figura 6(b) (ao centro). Os documentos (pontos) destacados permanecem com suas opacidades originais e os demais, não selecionados, ficam semi-transparentes. A utilização da coordenação permitiu visualizar que os estudos incluídos e localizados no mesmo cluster, além de similares em termos de conteúdo, são citados entre si.
(a) Mapa de documentos (b) Rede de citações
Figura 6. Coordenação: mapa e rede de citações da revisão sistemática 5
(a) Mapa de documentos (b) Rede de citações
O uso da técnica de coordenação por igualdade permitiu identificar que o artigo incluído que não possui nenhuma referência na revisão sistemática 6 (ponto azul mais abaixo na Figura 5(b)) é similar a vários outros estudos excluídos da revisão. A Figura 7 apresenta esse cenário, sendo que na Figura 7(a) está exibido o mapa de documentos dessa revisão sistemática e na Figura 7(b) a sua respectiva rede de citações.
A Figura 8 apresenta outro exemplo de coordenação por igualdade da revisão 6. Essa coordenação revelou que um estudo que foi incluído, mas que aparece isolado no mapa de documentos, ou seja, sem similaridade com os demais estudos (Figura 8(a), ponto mais à direita), na verdade possui muitas referências em comum com outro estudo também incluído (Figura 8(a), ponto azul ao centro). Esses dois estudos estão destacados na rede de citações da Figura 8(b).
(a) Mapa de documentos (b) Rede de citações
Figura 8. Coordenação 2: mapa e rede de citações da revisão sistemática 6
4. Resultados Obtidos e Trabalhos Futuros
A abordagem sugerida disponibiliza mecanismos de interação que possibilitam ao revisor uma melhor compreensão dos estudos primários analisados em uma revisão sistemática.
Utilizando a abordagem, é possível combinar diferentes técnicas de VTM para apoiar o revisor na tarefa de reavaliar os estudos primários, tanto as baseadas em conteúdo (classificação por histórico e qualidade) como em redes de citações (coordenação por igualdade), todas disponibilizadas na PEx.
A abordagem é uma combinação de recursos para convalidar ou alertar sobre a decisão de incluir ou excluir um estudo primário da revisão sistemática e, principalmente, garantir que não foram eliminados estudos relevantes.
Os resultados obtidos com a aplicação das técnicas de VTM demonstraram que as mesmas fornecem subsídios para facilitar a solução de divergências entre os revisores, quando a revisão é executada em conjunto. A visualização pode confirmar a decisão de um dos revisores, por exemplo, incluir um estudo de classificação divergente, caso o mesmo seja similar a vários estudos incluídos, ou que possua muitas referências em comum com outros também incluídos.
aleatória dos artigos a serem reavaliados, sendo essa escolha baseada em critérios de similaridade e citações, ou seja, em informações sólidas contidas no conjunto de estudos, porém não reveladas sem o auxílio visual.
Um dos formatos de entrada aceito pela PEx é o próprio conjunto de documentos em formato de texto. Por isso, se os estudos estiverem armazenados em qualquer outro formato, é necessária a conversão, uma tarefa a mais ao processo de revisão, que já é moroso, sendo essa uma limitação quanto à utilização da abordagem.
Como trabalho futuro, pretende-se automatizar a conversão dos estudos primários para o formato de entrada da PEx. Além disso, deverá ser investigado o uso de me-didas de importância de vértice em redes complexas (redes de citações), como grau de centralidade (degree centrality), grau de proximidade (closeness centrality) e grau de in-termediação (betweenness centrality), de modo a fornecer informações adicionais para o revisor embasar as suas escolhas, uma vez que essas medidas permitem identificar o grau importância de um vértice dentro da rede. Essas medidas serão implementadas na PEx e será avaliado o uso das mesmas para apoiar as atividades de seleção e revisão dos estudos primários.
Referências
Andery, G. F., Lopes, A. A., and Minghim, R. (2009). Exploração visual multidimen-sional de redes sociais. In 2nd International Workshop on Web and Text Intelligence (WTI’09), pages 1–9, São Carlos.
Biolchini, J., Mian, P. G., Natali, A. C., and Travassos, G. H. (2005). Systematic re-view in software engineering: Relevance and utility. Technical Report RT-ES 679/05, PESC/COPPE/UFRJ.
Kitchenham, B. (2004). Procedures for performing systematic reviews. Technical Report TR/SE-0401, Keele University and NICTA.
Kitchenham, B. A., Mendes, E., and Travassos, G. H. (2007). Cross versus within-company cost estimation studies: A systematic review. IEEE Transactions on Software Engineering, 33(5):316–329.
MacQueen, J. B. (1967). Some methods for classification and analysis of multivariate observations. In Cam, L. M. L. and Neyman, J., editors, Proceedings of the fifth Berke-ley Symposium on Mathematical Statistics and Probability, volume 1, pages 281–297. University of California Press.
Malheiros, V., Höhn, E. N., Pinho, R., Mendonca, M., and Maldonado, J. (2007). A visual text mining approach for systematic reviews. In Proceedings of the First International Symposium on Empirical Software Engineering and Measurement (ESEM’07), pages 245–254, Washington, DC, USA. IEEE Computer Society.
Paulovich, F. and Minghim, R. (2006). Text map explorer: a tool to create and explore do-cument maps. In Proceedings of the conference on Information Visualization (IV’06), pages 245–251, Washington, DC, USA. IEEE Computer Society.
Sjøberg, D. I. K., Dybå, T., and Jørgensen, M. (2007). The future of empirical methods in software engineering research. In Briand, L. and Wolf, A., editors, Future of Software Engineering (FOSE’07), pages 358–378. IEEE Computer Society.
