Análise de dados

No estudo de confiabilidade, a concordância intra e interexaminadores foram avaliadas para os valores dos índices e para cada um dos seus subcomponentes separadamente, utilizando análises adequadas para cada tipo de variável.

As variáveis quantitativas ou de escala de intervalo tiveram a sua concordância avaliada através da abordagem gráfica de Bland-Altman e pelo ICC. Já as variáveis qualitativas categóricas ordinais foram avaliadas pela estatística kappa ponderada com ponderação quadrática, para variáveis com mais de cinco categorias, e ponderação linear para variáveis com cinco ou menos categorias. As variáveis categóricas dicotômicas foram avaliadas pela estatística kappa simples.

A abordagem de Bland-Altman tem a finalidade de elucidar os tipos de erros e as causas das discordâncias dentro de cada par de medidas realizadas num mesmo objeto. As diferenças dos valores atribuídos a cada par de modelos pelos examinadores foram traçadas num gráfico de dispersão contra as médias desses mesmos valores. As diferenças traçadas contra as médias de cada par de modelos permitem visualizar a distribuição do erro aleatório e localizar os casos específicos para cada valor do erro. As médias das diferenças representam o erro sistemático em relação à diferença zero (concordância absoluta). Foram calculados limites de confiança de 95% para avaliar a precisão do erro sistemático estimado e limites de concordância de 95% para avaliar a distribuição provável dos erros aleatórios em torno do valor médio. Os pressupostos da distribuição normal do erro aleatório e da independência do mesmo em relação às médias foram verificados e as correções para o cálculo dos limites de concordância implementadas, quando indicadas.

Os coeficientes de concordância para os valores dos índices e para os seus componentes, obtidos a partir dos testes ICC e kappa, respectivamente, tiveram seus resultados acompanhados por seus limites inferiores do intervalo de confiança de 95%.

Esse limite inferior do intervalo de confiança é o menor resultado possível para o coeficiente, a partir do qual será avaliada a significância clínica.

Para avaliar os níveis de concordância, foi utilizada a escala proposta por Fleiss (1981) e modificada por Cicchetti (1992; 2001), dada a sua equivalência na avaliação dos níveis de concordância, tanto para o modelo de sensibilidade e especificidade quanto para os coeficientes de concordância.

Os níveis de concordância foram codificados em cores para facilitar a sua visualização (QUADRO 1).

QUADRO 1

Significância clínica para valores de kappa, ICC e concordância observada

Valores de kappa (κ^s), kappa ponderado (κw)

ou ICC (rI)

Valores de concordância observada (%)

Níveis de Significância Clínica ou Prática

< 0,40 < 70 Pobre

0,40 a 0,59 70 a 79 Razoável

0,60 a 0,74 80 a 89 Boa

0,75 a 1,00 90 a 100 Excelente

FONTE - CICCHETTI (2001) p. 697.

Os valores dos índices, atribuídos pelo pesquisador aos modelos, foram comparados com o padrão-ouro. Foram avaliadas a especificidade, a sensibilidade e a acurácia. Os valores preditivos positivos e negativos foram calculados a partir dos valores de sensibilidade e especificidade dos índices e da prevalência da necessidade de tratamento ortodôntico na população local.

Novos pontos de corte foram obtidos para cada índice, ajustados para os valores de sensibilidade e especificidade. A razão de verossimilhança positiva foi calculada para os dois índices, utilizando os pontos de corte originais recomendados pelos autores e os pontos de corte ajustados. Suas respectivas sensibilidade, especificidade, valores e preditivos positivos e negativos foram comparados de forma a estabelecer qual o ponto de corte mais adequado para utilização em levantamentos epidemiológicos. As comparações entre os índices foram realizadas utilizando-se os pontos de corte mais adequados.

A acurácia de cada um dos índices foi avaliada através da análise da curva ROC e os seus desempenhos foram comparados através da verificação da significância estatística da diferença entre as áreas das duas curvas ROC pelo método não paramétrico proposto por DeLong et al. (1988).

Foi testada a confiabilidade para os especialistas do painel e para o pesquisador.

A concordância interexaminadores, por amostragem, em vinte combinações de pares de especialistas definidos aleatoriamente, e a concordância intra-examinadores para os vinte especialistas, foram verificadas por meio da estatística kappa ponderada. A confiabilidade intra-examinador do pesquisador para os valores dos índices foi testada através do ICC e da abordagem gráfica de Bland-Altman.

Todos os valores medidos foram tabulados em planilha eletrônica³ para fins de análise estatística. Os dados digitados foram conferidos com as fichas originais com auxílio de um programa leitor de texto digital⁴. Os cálculos foram realizados na própria planilha ou em programa estatístico⁵.

Os seguintes cálculos e gráficos foram realizados em planilha eletrônica:

a) valores de ICC e seus limites inferiores do intervalo de confiança de 95%;

b) diferenças, médias, média das diferenças, intervalos de confiança de 95% da média das diferenças, limites de concordância de 95%;

c) gráficos de Bland-Altman;

d) razões de verossimilhança;

e) valores preditivos positivos e negativos.

Os cálculos e gráficos abaixo foram realizados em programa estatístico:

a) correlação de Spearman;

b) regressão linear simples;

c) valores de curtose e distorção;

d) histogramas da distribuição dos erros;

e) cálculos e gráficos da abordagem de Bland-Altman;

f) valores de sensibilidade e especificidade;

g) áreas sob a curva ROC e o gráfico da curva ROC;

h) comparação da diferença entre duas curvas ROC.

4 Free Natural Reader: software livre. Disponível em: <http://www.naturalreaders.com/>. Acesso em 26 nov. 2005.

5 STATA^®/SE for Windows^®. Versão 8.0. College Station, Texas, 2003. Disponível em: <http://www.stata.com>.