Síntese quantitativa

Ao contrário das revisões qualitativas, que possuem diversas técnicas para a síntese de resultados, em revisões quantitativas a técnica de síntese predominante é a meta-análise. (MORANDI; CAMARGO, 2015). A meta-análise foi proposta por Glass (1976) e refere-se a análise estatística de um conjunto de estudos primários, com o intuito de integrar os resultados. A primeira aplicação da meta-análise foi realizada por Karl Pearson, em 1904. Pearson utilizou coeficientes de correlação para determinar o tamanho do efeito da inoculação contra a varíola para a sobrevivência dos pacientes. (ROSENTHAL; DIMATTEO, 2001).

A definição realizada por Glass é ampla e abrange as técnicas utilizadas para a síntese de pesquisa quantitativa, como a técnica contagem de votos. Em virtude disso, Koricheva e Gurevitch (2017) definiram o conceito de meta-análise de maneira mais restrita, como um conjunto de técnicas estatísticas para sintetizar os tamanhos de efeito em diferentes conjuntos de resultados homogêneos, originados de estudos primários. É caracterizada pelos meta-analistas como uma revisão subjetiva, baseada em princípios idiossincráticos sobre questões-chave, com o intuito de chegar a conclusões gerais sobre um determinado tema. (PILLEMER, 1984).

Uma meta-análise é mais do que simplesmente uma média dos resultados dos estudos primários. (THOMAS; HARDEN; NEWMAN, 2012). É utilizada para analisar as principais tendências e as variações entre os estudos e, ao mesmo tempo, corrigir o erro e o viés em um corpo de pesquisa. Os resultados dos estudos primários geralmente são convertidos em uma métrica comum, denominada como tamanho do efeito, que permite a combinação dos resultados de estudos que utilizaram diferentes

medidas do mesmo construto ou que relataram os resultados de maneiras diferentes. (LITTELL; CORCORAN; PILLAI, 2008).

O tamanho do efeito pode ser considerado como um resumo dos resultados de cada estudo, acompanhado de alguma estimativa da precisão dessa estatística, geralmente seu erro padrão. Em um experimento que compara o impacto de uma intervenção entre dois grupos distintos, o tamanho do efeito será uma métrica que quantifica a diferença entre os dois grupos e em qual direção. Em contrapartida, o erro estima a replicabilidade do efeito entre as amostras. (THOMAS; HARDEN; NEWMAN, 2012). Um tamanho do efeito inclui informações sobre a magnitude de um efeito de interesse em cada estudo. (KORICHEVA; GUREVITCH, 2017).

O cálculo do tamanho do efeito para cada estudo pode ser considerado como a etapa mais difícil e demorada de uma meta-análise. Dependendo dos objetivos que sustentam a meta-análise, alguns estudos são mais importantes do que outros e este princípio é quantificado por meio da atribuição de pesos para cada pesquisa. Desta maneira, estudos mais relevantes para atender o objetivo da pesquisa devem receber pesos maiores do que os estudos menos relevantes. (THOMAS; HARDEN; NEWMAN, 2012). É importante destacar que as técnicas estatísticas utilizadas na meta-análise buscam derivar uma medida de magnitude do efeito do tratamento, ao invés de testar a significância do efeito para estudos individuais. (CENTER; SKIBA; CASEY, 1985). Assim, a meta-análise objetiva estimar o efeito médio entre os estudos. (LITTELL; CORCORAN; PILLAI, 2008).

A maioria das métricas de tamanho de efeito se enquadra em três categorias principais: binários, médias e coeficientes de correlação. Existem diversas maneiras de calcular e expressar o tamanho do efeito dentro de cada uma dessas categorias, conforme exibe a Figura 34. (LITTELL; CORCORAN; PILLAI, 2008).

Figura 34 – Principais métricas de tamanho do efeito

Fonte: Elaborado pela autora, baseado em Littel, Corcoran e Pillai (2008).

A escolha das métricas de tamanho do efeito é influenciada pelo formato dos dados dos resultados a serem combinados. Pesquisas que testam efeitos de intervenção e outros tipos de inferências causais, geralmente relatam diferenças por meio de proporções ou pontuações médias. Pesquisas que avaliam relações entre variáveis sem inferir direções causais, usualmente relatarão medidas de associação, como correlações. (LITTELL; CORCORAN; PILLAI, 2008).

Após o cálculo do tamanho do efeito em diferentes medidas de resultados, é necessário quantificar a variação existente dentro de cada tamanho do efeito. Essa variação, denominada como heterogeneidade, pode ser resultado somente do erro de

amostragem ou por variações adicionais. (LITTELL; CORCORAN; PILLAI, 2008). A heterogeneidade, é uma análise estatística de quão heterogêneos são os tamanhos de efeito na análise. (THOMAS; HARDEN; NEWMAN, 2012). A avalição apropriada da heterogeneidade é fundamental devido à natureza dos estudos analisados, que podem apresentar populações muito diferentes. (SUTTON et al., 1999).

Existem diversos testes estatísticos para determinar a heterogeneidade de tamanhos de efeito. A estatística Q é um teste de heterogeneidade com uma distribuição . Neste teste são considerados os graus de liberdade (df) da análise, que se referem à quantidade de tamanhos de efeito (N), menos um. (LITTELL; CORCORAN; PILLAI, 2008). Quando Q é maior que df, o teste de heterogeneidade será positivo, ou seja, os estudos são heterogêneos. Quando Q é igual ou menor que df, a heterogeneidade não será significativa. (THOMAS; HARDEN; NEWMAN, 2012).

Outro teste estatístico para determinar a heterogeneidade é estimar . O parâmetro é definido como a variância dos verdadeiros tamanhos do efeito. Ou seja, em uma amostra relativamente elevada de estudos, sendo cada estudo infinitamente elevado e a estimativa de cada estudo fosse o efeito verdadeiro, a variância desses efeitos corresponderia ao . (BORENSTEIN et al., 2009).

Contudo, o teste de quantifica o desvio na mesma escala do índice do tamanho do efeito. Para os casos em que a heterogeneidade precisa ser avaliada, independente da escala, é possível estimar a heterogeneidade por meio do . (BORENSTEIN et al., 2009). O é uma porcentagem que quantifica a heterogeneidade que é resultante das diferenças entre os estudos, em vez de erro aleatório. (THOMAS; HARDEN; NEWMAN, 2012). O pode ser considerado como a razão entre o excesso de dispersão e a dispersão total. Contudo, é adequado analisar o como a quantificação da inconsistência entre os resultados dos estudos e não como uma medida da variação real entre os verdadeiros efeitos. (BORENSTEIN et al., 2009).

A análise da heterogeneidade entre os estudos não substitui a análise dos pesquisadores, que devem avaliar se é apropriado ou não combinar os estudos estatisticamente. (THOMAS; HARDEN; NEWMAN, 2012). Contudo, caso os testes estatísticos evidenciem que os estudos são heterogêneos, existem métodos meta- analíticos para combiná-los, como modelos de efeitos aleatórios, análise de moderador ou não estimar o efeito global da síntese. (LITTELL; CORCORAN; PILLAI,

2008). No entanto, nenhum consenso foi alcançado sobre a melhor estratégia para lidar com a heterogeneidade e, desta maneira, pesquisas são necessárias para a investigação sobre o efeito da utilização de diferentes escalas de mensuração na heterogeneidade e a exploração da avaliação da qualidade do estudo como uma explicação da heterogeneidade. (SUTTON et al., 1999).

Um dos objetivos da meta-análise é estimar efeitos médios e, os modelos de efeito fixo e de efeitos aleatórios, são as duas principais abordagens utilizadas para esta finalidade. (LITTELL; CORCORAN; PILLAI, 2008). A utilização do modelo de efeito fixo não é adequada quando há heterogeneidade estatisticamente significativa, pois o pressuposto deste modelo é que todos os estudos compartilham o mesmo efeito verdadeiro. Em contrapartida, o modelo de efeito aleatório seria adequado para este caso, pois pressupõe que cada estudo seja representativo de sua própria população de estudos. (THOMAS; HARDEN; NEWMAN, 2012).

Os modelos de efeitos fixos baseiam-se no pressuposto de que todos os estudos se originam de uma mesma população e produzem estimativas de um tamanho de efeito verdadeiro. Desta maneira, considera-se que todos os fatores que poderiam influenciar um tamanho do efeito, são os mesmos em todos os estudos e, portanto, o tamanho do efeito verdadeiro é o mesmo. (BORENSTEIN et al., 2009). É esperado que a variação entre os estudos seja devida ao erro de amostragem e assim, pode ser ignorado. Neste modelo, os pesos são atribuídos aos estudos considerando a variância dentro da pesquisa, por meio da utilização da variância inversa, de modo que as estimativas mais precisas recebam um peso maior do que as estimativas menos precisas. (LITTELL; CORCORAN; PILLAI, 2008).

Os modelos de efeitos aleatórios baseiam-se no pressuposto de que o efeito verdadeiro pode variar entre amostras e estudos. Ou seja, a magnitude do efeito pode ser maior ou menor em virtude das variabilidades entre os estudos, como idade, intensidade e tempo da intervenção, localização, design do estudo e assim por diante. (LITTELL; CORCORAN; PILLAI, 2008). Nestes modelos, considera-se que os estudos são amostras aleatórias da distribuição de efeitos e o efeito global estima a média dessa distribuição de efeitos verdadeiros. (BORENSTEIN et al., 2009). Diferente do modelo de efeito fixo, no modelo de efeito aleatório os pesos são atribuídos aos estudos considerando ambas as fontes de variância: a variância inversa do estudo e uma medida de variância entre os estudos. (LITTELL; CORCORAN; PILLAI, 2008).

O resultado de uma meta-análise é usualmente exposto em um “forest-plot”, conforme mostra a Figura 35. O forest-plot combina as informações necessárias para análise dos resultados de uma meta-análise.

Figura 35 – Exemplo do resultado de meta-análise expresso em um “forest-plot”

Fonte: Adaptado de Sterne et al. (2019, p. 20).

Cada linha representa um estudo incluído na análise. O tamanho da linha corresponde ao intervalo de confiança e a área do quadrado disposto em cada linha representa o tamanho do efeito estimado no estudo primário. O tamanho do quadrado corresponde ao peso atribuído ao estudo, ou seja, quanto maior o tamanho do quadrado, maior o peso do estudo. O valor zero indica “nenhum efeito” e, os estudos cujos intervalos de confiança interceptam a linha de não efeito, são considerados como estatisticamente não significativos. O efeito médio, que é o objetivo da meta- análise, é representado por um losango, também chamado de diamante. (THOMAS; HARDEN; NEWMAN, 2012).

Uma contribuição da meta-análise é a identificação de lacunas na literatura, que precisam ser preenchidas com a realização de novas pesquisas. (KORICHEVA; GUREVITCH, 2017). A utilização da meta-análise para a síntese de resultados quantitativos apresenta diversas vantagens. Primeiramente, a meta-análise possibilita a identificação de questões que não foram abordadas nos estudos primários. Assim, é possível analisar todas as variabilidades que influenciam nos resultados dos estudos. (LITTELL; CORCORAN; PILLAI, 2008). Além disso, os procedimentos quantitativos da meta-análise tratam alguns dos desafios introduzidos pelas múltiplas respostas possíveis à uma determinada questão de pesquisa. (ROSENTHAL;

DIMATTEO, 2001). Por meio de uma síntese geral e, combinando os resultados de vários estudos, a meta-análise aumenta a precisão dos resultados encontrados. (LITTELL; CORCORAN; PILLAI, 2008). Além da estimativa de tamanhos de efeitos precisos, por meio dos procedimentos estatísticos, a meta-análise possibilita a correção de vieses em estudos. Com isso, é possível que os pesquisadores identifiquem e corrijam as inconsistências encontradas, resultantes de pressupostos metodológicos diferentes. (WEED, 2008).

É possível encontrar na literatura técnicas alternativas à meta-análise, como contagem de votos ou sumarização temática. (KORICHEVA; GUREVITCH, 2017; MORANDI; CAMARGO, 2015). A sumarização temática objetiva quantificar os resultados de uma maneira objetiva, quantificando as pesquisas que apresentaram resultados positivos e estatisticamente significativos, as pesquisas que apresentaram resultados negativos e estatisticamente significativos e as que apresentaram resultados inconclusivos. Essas informações são utilizadas para responder à questão de pesquisa. (THOMAS; HARDEN; NEWMAN, 2012).

A contagem de votos é utilizada para evidenciar quantos estudos produziram resultados significativos e quantos não. (BORENSTEIN et al., 2009). Na contagem de votos, o pesquisador simplesmente classifica os estudos em três categorias: estudos com resultados positivos significativos, estudos com resultados negativos significativos e estudos com resultados não significativos. A categoria que contém mais estudos é “declarada como vencedora”. (COOPER; HEDGES; VALENTINE, 2009).

A contagem de votos foi desacreditada em alguns campos de pesquisa, pois seus resultados são estatisticamente tendenciosos e muitas vezes enganosos. Mais importante, não fornecem as informações mais necessárias e relevantes na síntese dos resultados de diferentes estudos. (KORICHEVA; GUREVITCH, 2017).

A contagem de votos pode resultar em uma conclusão errada sobre o resultado geral entre os estudos. Como a técnica baseia-se na significância estatística dos resultados da pesquisa, possui reduzido poder para efeitos de magnitude relativamente pequena

.

No entanto, a técnica contagem de votos pode ser válida quando todos os estudos incluídos, com garantia de qualidade, mostram um efeito positivo ou negativo em uma mesma direção. (HIGGINS; GREEN, 2011). Ocasionalmente, as meta- análises utilizam a contagem de votos para comparar o volume de estudos positivos

com o volume de estudos negativos. A contagem de votos limita-se a responder à pergunta simples "existe alguma evidência de um efeito?". Para realizar a contagem de votos adequadamente, o volume de estudos que mostram danos deve ser comparado ao volume que mostra benefícios, independentemente da significância estatística ou do tamanho de seus resultados. (COOPER; HEDGES; VALENTINE, 2009).

Isto posto, é possível evidenciar que apesar de ser considerada como inadequada em alguns campos de pesquisa, a técnica contagem de votos pode ser aplicada quando o objetivo da pesquisa é caracterizar um fenômeno, por meio da identificação de evidências de um efeito. Desta maneira, a técnica necessita de aprimoramento metodológico, como a inclusão de procedimentos sistemáticos para a seleção dos estudos primários e de técnicas estatísticas para a síntese dos resultados. No próximo capítulo são apresentados os procedimentos identificados para revisão, análise e síntese da literatura, por meio da RSL desta pesquisa.

4 ANÁLISE DOS PROCEDIMENTOS DE REVISÃO, ANÁLISE E SÍNTESE DA LITERATURA

A seguir são descritos os procedimentos encontrados na literatura para revisão, análise e síntese do conhecimento científico e tecnológico. O objetivo deste capítulo é analisar criticamente os procedimentos, avaliando seus pontos fortes e fracos. Para finalizar, é realizada uma análise comparativa entre os procedimentos, bem como as possíveis contribuições desta pesquisa.