Avaliação dos resultados: O índice Kappa de Cohen Estimativa de concordância

Robert Spitzer tem um curriculum que se mescla com as soluções encontradas pela APA para resolver as questões de baixa confiabilidade dos diagnósticos. Formou-se em medicina em 1957 e, após um período de formação na Universidade de Columbia, foi qualificado psicanalista e ingressou no Instituto Psiquiátrico de Nova York, após período de treinamento (BENTALL, 2004). Após esse período, obteve uma bolsa de pesquisa para este mesmo instituto, onde travou contato com pesquisadores em epidemiologia e estatística, alguns com formação em psicologia. Esta trajetória forneceu a Spitzer condições de conduzir junto a outros nomes importantes da psiquiatria americana como Jean Endicott e Joseph Fleiss, no Comitê de Nomenclatura e Estatística da APA, as estratégias para solucionar os problemas de confiabilidade e da validade do manual como um todo.

Já dissemos que uma das estratégias usadas para tratar da validade no DSM foi a que denominamos de validade postergada, que consiste em transferir para a versão seguinte do manual a resolução das inconsistências e imprecisões da versão precedente. Um recuo estratégico, na perspectiva da leitura crítica, permite situar o DSM como um autômaton, um encadeamento discursivo que se propõe racional, em relação êxtima35 com o sujeito que pretende expurgar. Assim, a atenção da pesquisa deve considerar os desenvolvimentos e ocorrências que se movimentam nos intervalos entre as versões do manual para verificação dessa lógica paradoxal. A exclusão do sujeito é a condição de seu retorno, de sua presença residual no cálculo matemático da ciência.

Na década de 60, em revisão dos estudos de confiabilidade publicados, os pesquisadores concluíram que a variedade de métodos estatísticos dificultou a interpretação de seus resultados. “Ainda que os métodos estatísticos fornecessem informações sobre a confiabilidade eles não seriam inteiramente comparáveis”, inviabilizando a avaliação da coerência entre as categorias diagnósticas (KIRK & KUTCHINS, 1998, p. 77).

35 _{O termo extimidade, cunhado por Lacan, pode ser entendido como uma relação de exterioridade íntima entre} dois termos, como o sujeito e o objeto, por exemplo. Entretanto, esta relação é inversa à matriz cartesiana que orienta a ciência normal. Ao contrário da polarização entre sujeito e objeto, na extimidade há uma subversão entre os termos tomados numa dialética entre o sujeito e o Outro, fundamentada na falta e no desejo inconsciente, o que não permite uma separação tão nítida entre o sujeito e o objeto como o pressuposto pela ciência. “O douto que faz ciência é também um sujeito ele próprio [...] isto por si só justifica que se fale de um sujeito da ciência” (LACAN, 1960, p. 808). Assim, não se trata de uma questão da unidade do sujeito constituída pela neutralidade do pesquisador ou do clínico como propõe a ciência, mas de uma divisão da própria ciência que concerne ao douto que a produz e, por sua vez, ignora que o objeto in effigie orienta sua percepção.

Em 1967, Spitzer, Fleiss, Cohen & Endicott publicaram um artigo intitulado “Quantificação do acordo no diagnóstico psiquiátrico”36, que propunha o uso de um índice para ajuste da concordância entre os resultados de pesquisa - o coeficiente Kappa de Cohen. Criado para aplicação em outros campos acadêmicos, em psiquiatria ele traria a vantagem de sua destinação inicial como retificador das taxas de confiabilidade. Na época, Spitzer e Fleiss revisaram os seis melhores estudos de confiabilidade conhecidos, entre os quais o Projeto US- UK, a que nos referimos no primeiro capítulo. Em todos, foram apurados níveis modestos de concordância diagnóstica em razão dos diferentes modelos de formação psiquiátrica entre os avaliadores e da aplicação de métodos estatísticos diferentes. Esta percepção, se por um lado revelava a face precária do diagnóstico, por outro realçava a necessidade de uniformizar a fórmula estatística. Vários métodos estatísticos não consideravam a possibilidade de concordância devida ao acaso, o que inviabilizava seu uso segundo os interesses psiquiátricos de então. É interessante observar a eficiência dos pesquisadores em situar na incidência do acaso, o esgotamento das possibilidades de validar a psiquiatria como uma ciência, quando o ponto de identidade entre ambas é o ideal de precisão. Daí o descarte de metodologias que não permitissem intervir exatamente nesse ponto, a contingência.

Outro aspecto é a constatação de que a própria lógica dicotômica dos protocolos de entrevista, baseados em respostas tipo sim e não, favorecem mais as atribuições casuais. Um exemplo seria tomar uma situação hipotética onde dois clínicos atribuíssem diagnósticos aos integrantes de um grupo de pacientes que não conhecessem. Os diagnósticos seriam dados jogando uma moeda para se decidir, por cara ou coroa, quantas pessoas teriam transtornos mentais. A probabilidade indica que há 50% de chance de os diagnósticos coincidirem por acaso e a distribuição dos diagnósticos indica que 50% de cada lado dividiriam os pacientes entre portadores e não-portadores de transtorno mental. Nesse caso, a concordância não resultaria da competência profissional; estaria mais relacionada à capacidade de discriminar as condições do diagnóstico em cada um dos casos. Desse modo o problema da validade acabaria se dissociando da confiabilidade.

A questão do cálculo da confiabilidade relaciona-se com epidemiologia, sendo um ponto de interrogação da pesquisa sobre diagnóstico por causa da questão da prevalência. A prevalência implica a pesquisa em sua validade e pela necessidade de gestão administrativa e clínica dos transtornos ao partir do pressuposto de validade de seus conceitos. Conceitos estes

que geram os diagnósticos e que, portanto, devem ser confiáveis. A princípio, a prevalência não questiona se os critérios são válidos, mas pode explicitar contradições nas atribuições entre os estudos. Todavia, é um problema conhecido, em epidemiologia, a concordância devida ao acaso nos estudos que envolvem questionários que demandam respostas do tipo sim e não:

Quando uma característica dicotômica é avaliada (por exemplo, ter ou não esquizofrenia), a homogeneidade da população é determinada pela proporção de sujeitos que possuem a característica. Em estudos epidemiológicos, essa proporção é chamada prevalência da doença e em estudos clínicos ela tem sido chamada de taxa-base [...]. Uma população com heterogeneidade máxima tem uma taxa-base de cinqüenta por cento. À medida que a taxa se aproxima de 0 por cento ou cem por cento, a população torna-se mais homogênea e o mesmo número de discordâncias diagnósticas pode ter uma influência maior sobre o coeficiente de confiabilidade diagnóstica. Assim, a confiabilidade de um critério diagnóstico para uma população clínica pode ser diferente da encontrada na aplicação do mesmo critério a uma amostra de pessoas da comunidade [...] o problema não era medir a confiabilidade de diagnósticos em populações com baixa prevalência e sim o coeficiente preferencial usado na medida, o (K) já que pode variar com a sensibilidade, a especificidade e a taxa base da doença simultaneamente. (MENEZES E NASCIMENTO, 2000, p. 25).

Porém, foram simultaneamente a inconsistência nas taxas de concordância e a necessidade de se apurar a prevalência dos transtornos na população que levaram Spitzer e seus colaboradores a proporem o coeficiente Kappa como um exemplo de fórmula capaz de abolir a incidência do acaso nas pesquisas. Sua fórmula é a seguinte: k=(po-pc)/(1-pc), onde po é a proporção de acordo observado, pc o acordo atingido por acaso e o denominador 1, indica a concordância perfeita (MENEZES E NASCIMENTO, 2000, p. 24). As medidas para avaliação dos resultados considerariam taxas que variam de 0 (concordância devida ao acaso) a 1(índice máximo de concordância) com o índice 0,7 sendo considerado como média aceitável.

Mais do que analisar matematicamente a fórmula e os exemplos encontrados na literatura, para o presente trabalho torna-se importante frisar que, para corrigir uma questão de concordância sobre um diagnóstico (acontecimento corriqueiro entre clínicos); foi preciso transformar a concordância quantificada em uma porcentagem e corrigir, por intermédio de uma taxa estatística, sem nenhuma relação com a clínica, a parcela aleatória da medida (KIRK & KUTCHINS, 1998, p. 82).

Desse modo, mesmo a dificuldade dos demais clínicos em compreender os cálculos estatísticos propiciaria um efeito cientificizante, a partir da necessidade de sua decifração por especialistas em epidemiologia, estatística e pesquisa em psiquiatria. A vantagem residiria em consolidar uma posição de conhecimento não abordável ou compreensível nem pelos clínicos

em seus postos de atuação, nem pelo grande público; uma vez que não há registros de orientações técnicas sobre como compreender a transformação de problemas clínicos em dados estatísticos, nem como interpretá-los.

As nuances entre diagnósticos levaram os pesquisadores a introduzir uma variação do Kappa, denominado Kappa ponderado, que era aplicado para especificar discordâncias entre os clínicos e reconhecer ao mesmo tempo os acordos parciais, o que levou a um entendimento de que alguns desacordos seriam preferíveis a outros. Por exemplo,

Um transtorno que admitisse três categorias: nenhum transtorno, transtorno de ansiedade e transtorno esquizofrênico, o Kappa ponderado reconheceria um acordo parcial entre o primeiro clínico diagnosticando transtorno de ansiedade e o segundo um transtorno esquizofrênico, mais que julgar os diagnósticos antinômicos. Na hipótese de dois clínicos diagnosticarem um transtorno e estando em desacordo sobre a natureza do transtorno deveríamos reconhecer em seu julgamento certa confiabilidade. (KIRK & KUTCHINS, 1998, p. 82).

Posteriormente, para melhorar a precisão dos cálculos do Kappa, um programa de informática chamado FORTRAN IV para IBM 7094 foi apresentado para operar com os Kappa ponderados ou não. Vários autores chamaram a atenção para o fato de a discussão e propostas para resolver o problema da confiabilidade e abolir o acaso dos resultados de pesquisa afetarem ou mesmo diminuírem a validade dos diagnósticos do DSM.