Procedimento de seleção dos estudos

O protocolo de revisão sistemática, como temos vindo a explanar. Está dividido em fases. Começa pela definição da pergunta de investigação, segue-se a definição dos critérios de inclusão e exclusão, a estratégia de pesquisa, sendo a última fase a determinação do procedimento de seleção dos estudos resultantes para separar os relevantes dos irrelevantes. A definição deste procedimento e os métodos utilizados reduzem o viés e o erro (Bettany-Saltikov, 2010b; Higgins e Deeks, 2011).

De acordo com Bettany-Saltikov (2010b), o procedimento de seleção dos estudos na revisão sistemática está divido em três etapas: a primeira é a seleção de estudos pela aplicação dos critérios de inclusão e exclusão; a segunda, onde se procede à avaliação

52

da qualidade dos estudos selecionados; e a última etapa é onde se extraí a informação de cada um dos estudos.

Assim, a primeira etapa consiste na remoção dos artigos irrelevantes (Togerson, 2003 citado por Bettany-Saltikov, 2010b). Segundo Bettany-Saltikov e McSherry (2016), esta etapa subdivide-se em duas outras. Na primeira "sub-etapa", procede-se à análise dos títulos e dos resumos de cada artigo, à aplicação dos critérios de inclusão e exclusão pré-estabelecidos aquando do planeamento do protocolo, resultando na exclusão e/ou inclusão de artigos, estes últimos denominados artigos pré-selecionados ou de indecisão. A segunda "sub-etapa" consiste na leitura integral dos artigos pré- selecionados e dos artigos indecisos. Neste processo, é útil e vantajoso o uso de um formulário de acordo com os critérios de seleção definidos para facilitar a seleção de estudos (Bettany-Saltikov e McSherry, 2016). Este processo deve ser realizado por dois investigadores de modo a aumentar a validade dos resultados (Torgerson, 2003, Petticrew e Roberts, 2006 citados por Bettany-Saltikov, 2010b).

Seguindo estas orientações, foi possível então proceder-se à primeira etapa da seleção dos estudos para a revisão. Elaborou-se uma matriz de seleção de estudos (ANEXO I) que foi utilizada pelos dois revisores para filtrar os artigos relevantes dos irrelevantes. Os dois revisores deram início à análise dos títulos dos artigos e dos resumos, resultando numa primeira divisão entre artigos relevantes e não relevantes e artigos que levantavam dúvidas quanto à sua inclusão ou exclusão. Posteriormente, realizou-se a leitura integral dos artigos que passaram na análise inicial.

Alguns dos artigos selecionados estavam disponíveis em plataformas digitais. Não obstante, foi necessário entrar em contacto com editoras de jornais científicos devido ao facto de certos artigos não estarem em plataformas digitais online, como foi o caso do

Journal of the Medical Association of Thailand. Quando não se logrou obter resposta

das editoras deu-se conhecimento ao orientador.

Também foram consultados jornais científicos, disponíveis na Biblioteca do Royal

53

Os resultados da seleção foram então comparados e quando havia discordância entre os revisores recorreu-se à opinião de um terceiro de forma a decidir sobre a inclusão ou exclusão do artigo que tinha motivado o desacordo.

A segunda etapa do procedimento de seleção dos estudos consiste no processo de avaliação da qualidade dos artigos, fundamental no processo de escolha da melhor literatura disponível. É uma das características que distingue uma revisão sistemática de uma revisão narrativa (Bettany-Saltikov, 2010b; Bettany-Saltikov e McSherry, 2016). No contexto das revisões sistemáticas da literatura, a qualidade dos estudos quantitativos refere-se à avaliação da metodologia quanto à validade interna e externa (Bettany-Saltikov e McSherry, 2016). Segundo Verhagen et al. (2001, citado por Olivo

et al., 2008), a validade interna é referente à diminuição do viés através do desenho do

estudo, da conduta e da análise, enquanto a validade externa está relacionada com a generalização dos resultados e com a análise estatística da pesquisa primária.

A avaliação da qualidade de estudos qualitativos está associada com a autenticidade e a confiabilidade (Bettany-Saltikov e McSherry, 2016).

A avaliação da qualidade dos estudos é fundamental, uma vez que permite a averiguação de como as diferenças de qualidade podem explicar as diferenças dos resultados do estudo. Essa avaliação orienta a interpretação dos resultados e o seu valor para a prática (Bettany-Saltikov, 2010b).

Poja et al. (2005) afirmaram que a abordagem de avaliação de qualidade de estudos primários é heterogénea mas reflete falta de consenso. Olivo et al. (2008) concluíram que a maioria das escalas utilizadas para a avaliação da qualidade metodológica de estudos randomizados controlados não respeitam os padrões metodológicos durante o seu desenvolvimento, e não haviam sido testadas quanto à sua validade e confiabilidade nas áreas em que haviam sido aplicadas. Os autores aconselham que a aplicação destas escalas deve ser ponderada.

Existem diferentes instrumentos que podem ser aplicados para avaliação da qualidade metodológica dos estudos, como foi explorado por Olivo et al. (2008) para estudos randomizados, e por Reeves et al. (2011) para estudos não randomizados. Segundo

54

Bettany-Saltikov e McSherry (2016), a utilização de escalas de avaliação de qualidade reconhecidas facilita o trabalho do revisor, já que não é necessário desenvolver uma escala ou ferramenta desde o início. A análise dos diferentes instrumentos que podem ser aplicados para esta avaliação, como foi o caso do Newcastle-Ottawa Scale, concluiu que nenhum dos instrumentos reunia todos os critérios relevantes para estabelecer a qualidade dos estudos metodológicos. Deste modo, foram criadas duas Grelhas de Avaliação Metodológica (ANEXO II) que foram adaptadas de dois formulários já existentes. Estas grelhas para além de permitirem a análise da qualidade metodológica, facilitaram também a extração de informação dos estudos selecionados. A grelha de avaliação metodológica de estudos quantitativos baseou-se no instrumento de Law et al. (1998a e 1998b) adaptada conforme os parâmetros sugeridos por Caldwell, Henshaw e Taylor (2005) e (2011). Para os estudos qualitativos a grelha foi baseada no instrumento desenvolvido por Letts et al. (2007a e 2007b), com os critérios definidos por Caldwell, Henshaw e Taylor (2005) e (2011).

Segundo Bettany-Saltikov e McSherry (2016), é fundamental atribuir uma cotação às perguntas que compõe a grelha de avaliação da qualidade para que se possa proceder a uma avaliação holística da qualidade do estudo. Tendo em conta este pressuposto, foi criada uma matriz composta com os parâmetros que foram considerados mais importantes para a avaliação da qualidade metodológica dos estudos selecionados (ANEXO III). Utilizaram-se valores binários para facilitar o cálculo da qualidade da metodologia. Assim, o valor 1 foi atribuído às respostas “Sim” e “Não se aplica”, e o 0 às respostas “Não” e “Não descrito”. O resultado total obtido através da soma das cotações dos critérios selecionados variou entre 0 e 17 pontos. Valores entre 0 e 5 foram considerados como estudos de fraca qualidade, entre 6 e 11 como qualidade moderada e elevada qualidade quando os valores atingidos foram entre 12 e 17 pontos.

Na elaboração desta classificação, os critérios de contaminação, amostra representativa da população e generalização dos resultados, não foram considerados devido à falta de informação nos artigos.

A última fase deste procedimento é o processo de extração de dados, que é, possivelmente, o aspeto mais moroso desta metodologia (Bettany-Saltikov, 2010b). Bettany-Saltikov e McSherry (2016) defendem que é essencial a utilização de

55

formulários para reunir e extrair os dados necessários para responder à pergunta de investigação de forma a padronizar e promover a validade e a confiabilidade do processo. Higgins e Deeks (2011) aconselham à realização de um pré-teste para verificar se os formulários têm utilidade. Para a extração dos dados dos artigos selecionados de uma forma padronizada foi criado um quadro (ANEXO IV). Este quadro foi submetido a um pré-teste para verificar a sua aplicabilidade, não tendo sido necessário realizar ajustes.

A extração de dados foi então realizada pelo investigador de forma independente, tendo sido confirmada posteriormente por um revisor.