Acurácia como métrica de Avaliação de
Modelos de Classificação
Deize de Souza Soares1, Henrique Tomaz do Amaral Silva2
1. Bacharel em Enfermagem, Especialista em Gestão em Enfermagem, Universidade Aberta do Brasil, Universidade Federal de São Paulo - UNIFESP, São Paulo (SP), Brasil.
2. Professor Doutor. Universidade Aberta do Brasil, Universidade Federal de São Paulo - UNIFESP, São Paulo (SP), Brasil.
Resumo
A precisão nas informações fornecidas por um sistema de apoio à decisão médica é crucial para o diagnóstico correto de uma doença, contribuindo, também, para o rápido início do tratamento. Isso se dá em razão da medicina baseada em evidência apresentar falhas na métrica aplicada no método de diagnóstico, não considerando a especificidade de acertos negativos e a sensibilidade de acertos positivos. O objetivo desse estudo foi verificar como a acurácia é utilizada na métrica de avaliação de sistemas de diagnóstico. A pesquisa é bibliográfica, com abordagem qualitativa dos dados. Quanto aos fins, é exploratória. O estudo é observacional, e a revisão é do tipo integrativa de literatura, com análise descritiva. A validação clínica de diagnósticos de enfermagem é realizada através de medidas de acurácia de suas características definidoras. A acurácia em sistemas de diagnóstico inteligentes está relacionada ao grau de acerto dos resultados obtidos em determinado exame.
Descritores: Diagnóstico, Métodos, Decisão, Confiabilidade dos dados, Validação
de programas de computador.
Introdução
A acurácia das interpretações das respostas humanas é muito importante porque tais interpretações fundamentam a seleção das intervenções, que, por sua vez, contribuem para que se possa obter resultados desejáveis. A relevância é mais bem compreendida ao se considerar, por exemplo, que interpretações de baixa acurácia podem levar à omissão de cuidados, causando, assim, prejuízos ao paciente(1).
Os SAD são sistemas informações que são destinados a melhorar a tomada de decisão clínica. Neles, as características individuais de cada paciente são
combinadas em uma base de conhecimento informatizada, gerando, por meio de algoritmos, as recomendações específicas para o seu estado clínico. São vários os modos de apoio à decisão, abrangendo inclusive alertas de valores críticos, bem como sugestões para questões variadas de cuidado. Em todos eles, porém, a acurácia revela-se como imprescindível(2).
O alcance de diagnósticos acurados encontra relação direta com a existência de uma associação válida entre os sintomas e sinais manifestados pelo paciente com o diagnóstico identificado(3). Desse modo, as características definidoras são consideradas acuradas quando são capazes de refletir o estado real de saúde do paciente(4).
Diante desse contexto, formulou-se a seguinte pergunta de pesquisa para ser respondida nesse artigo: Como explicar o que é acurácia em sistemas de diagnóstico inteligentes?
O objetivo geral é verificar como a acurácia é utilizada como métrica de avaliação em sistemas de diagnóstico.
Sobre a justificativa para elaboração desse artigo, tem-se que se trata de tema relevante tanto para os profissionais da saúde como para a sociedade de um modo geral. Já para a sociedade de um modo geral também apresenta a sua importância ao se considerar que, sendo a saúde um direito fundamental a todos garantido pela Constituição Federal de 1988, nada mais justo do que contar com um diagnóstico preciso da doença, que possibilite atuar em direção ao tratamento e à cura, com minimização dos desconfortos causados pelo mal que acomete.
Método
A pesquisa é, quanto aos meios, do tipo bibliográfica, com abordagem qualitativa dos dados. Quanto aos fins, ela é exploratória. O tipo de estudo utilizado é o observacional, e a revisão é do tipo integrativa de literatura, com o uso de análise descritiva.
A determinação dos estudos incluídos na pesquisa foi realizada feita a partir da identificação de questões relevantes sobre a temática analisada, bem como sobre informações a serem extraídas de cada um dos estudos selecionados. Desse modo, os critérios de inclusão estipulados foram os seguintes: somente artigos; data de publicação e indexação de 2001 a 2016; idioma português; acesso livre ao texto completo; localizados por meio da busca efetiva pela informação dos descritores;
relacionados ao tema e problema objeto dessa pesquisa. Já os critérios de exclusão utilizados foram os seguintes: monografias, teses e dissertações, tendo em vista que a realização de uma busca sistemática das mesmas não teria viabilidade, logisticamente falando; artigos publicados e indexados em período anterior a 2001; outro idioma que não o português; sem acesso livre ao texto completo; sem relação com o tema e problema objeto dessa pesquisa.
Os descritores utilizados foram extraídos da base da BVS de Descritores em Ciências da Saúde (DeCS): Diagnóstico, Métodos, Decisão, Confiabilidade dos dados, Validação de programas de computador. O operador lógico utilizado foi o “and”, e as bases de dados consultadas foram a Medline, o Lilacs e o Scielo.
Resultados
Os artigos selecionados para esse estudo, de acordo com os critérios estabelecidos, estão descritos na Tabela 1.
Tabela 1 – Artigos localizados nas bases de dados LILACS (2001-2016), MEDLINE (2001-2016) e
SCIELO (2001-2016) sobre a acurácia como métrica de avaliação de classificação de resultados.
Título do
Artigo/Referência Objetivo Resultados
Construção de instrumento para avaliar a acurácia diagnóstica(1)
Relatar o desenvolvimento da Escala de Acurácia de Diagnóstico de Enfermagem (EADE), um instrumento para avaliar a acurácia de diagnósticos de enfermagem a partir de dados escritos da
avaliação do paciente, e apresentar a EADE para testes e refinamento
As respostas de 12 enfermeiros especialistas à aplicação da EADE aos diagnósticos de 5 casos escritos permitiram identificar valores para cada item e estimar a validade e confiabilidade da EADE
Avaliação da qualidade dos dados de Sistema de Controle de Exames Laboratoriais (SISCEL) como fonte de identificação de casos de AIDS em crianças(2)
Avaliar a qualidade dos dados do SISCEL como fonte de identificação de casos de AIDS em crianças
O sistema tem acurácia satisfatória, seus dados são comparáveis e estão
disponíveis aos profissionais de vigilância epidemiológica. O VPP do sistema, para fins de VE, mostrou-se num limiar crítico para a utilização direta desses dados no cálculo de indicadores epidemiológicos (50,0%). A sua utilização como ferramenta para diminuição da
subnotificação deve considerar apenas os casos com evidência laboratorial do HIV, o que vai melhorar o VPP do sistema e consequentemente a sua qualidade para fins de vigilância epidemiológica
Aplicação de contornos ativos para a segmentação de nódulos em imagens de ultrassonografia da mama(3)
Verificar a exatidão dos limites demarcados pela segmentação automática
Os resultados obtidos com os valores médios revelaram taxas de
aproximadamente 92% na acurácia, 73% em sensibilidade e 94% referente ao valor preditivo positivo
Acurácia diagnóstica das características definidoras do diagnóstico volume de líquidos excessivo de pacientes em hemodiálise(4)
Avaliar a acurácia das características definidoras do diagnóstico de enfermagem volume de líquidos excessivo da NANDA Internacional, em pacientes submetidos à hemodiálise
O indicador mais sensível foi o edema e os mais específicos foram congestão pulmonar, ruídos respiratórios adventícios e agitação
Revisão sistemática da acurácia dos testes diagnósticos: uma revisão narrativa(5)
Realizar uma revisão narrativa sobre revisão sistemática da acurácia dos testes diagnósticos
A utilização das revisões sistemáticas sobre acurácia diagnóstica pelo médico tem de considerar a integração da acurácia do teste com o ganho esperado quando é utilizado na prática clínica, comparando o desempenho dos testes com sua utilização dentro de um cenário clínico. A metodologia das revisões sistemáticas de testes diagnósticos é ulterior àquela empregada nas revisões sistemáticas das intervenções
terapêuticas. Observa-se grande heterogeneidade nos desenhos dos estudos de teste diagnóstico, o que dificulta muito a síntese – metanálise – dos seus resultados. Para contornar esse problema, existem atualmente normas, exigidas pelos principais periódicos, para a submissão de um manuscrito sobre teste diagnóstico
Acurácia do diagnóstico de enfermagem dor aguda em crianças hospitalizadas(6)
Verificar a acurácia do diagnóstico de enfermagem Dor Aguda em crianças hospitalizadas antes e após a implementação da avaliação sistematizada da dor por meio da Escala de Acurácia de Diagnósticos de Enfermagem (EADE)
A amostra constitui-se de 549 prontuários, 228 (41,5%), no período pré, e
321(58,5%) no período pós. Cinquenta por cento das crianças tinham entre 4 e 5 anos de idade. No período
pré-intervenção Dor Aguda ocorreu em 12,7% das internações, aumentando
significativamente para 19% no período pós (P<0,001). No período pré e pós-implementação da avaliação da dor, houve aumento na categoria acurácia Moderada; em contrapartida, a categoria Alta apresentou uma queda de
aproximadamente 10%. Percentuais menores de variação ocorreram para as categorias Nula e Baixa. Essas diferenças apresentaram-se com uma tendência à diferença entre as categorias e período avaliado, P=0,05. Quando comparadas as quatro unidades entre si, observa-se diferença significativa na categoria Moderada/Alta entre a UTI e as unidades de internação
Discussão
O estabelecimento da acurácia diagnóstica é imprescindível para subsidiar a tomada de decisões na área da saúde, apresentando, também, relevância para a escolha dos testes de rastreamento na população, bem como para fornecer indicação de prognóstico para o paciente, ou predizer o curso de terapias diversas4.
De acordo com Matos(1), a validação clínica dos diagnósticos de enfermagem é feita por meio de medidas de acurácia de suas características definidoras. Partindo de tais medidas, são identificadas quais características, dentre um conjunto de características, podem predizer com maior exatidão a ocorrência de um diagnóstico investigado. Também Paz(2) sustentam que as características definidoras servem
para diferenciar indivíduos que tem diagnóstico de enfermagem dos que não tem, estabelecendo, com isso, maior fidedignidade na escolha diagnóstica.
A relevância de investigações sobre a temática é logo percebida ao se considerar que, de acordo com Oliveira(5), a incerteza paira sobre o julgamento diagnóstico do enfermeiro, já que a interpretação das respostas humanas revelam impressões subjetivas, fazendo com que a inferência precisa e correta torne-se um desafio complexo. Além da incerteza, conforme Marcomini(3), o fato de alguns diagnósticos de enfermagem possuírem características definidoras idênticas também pode gerar confusão no momento da inferência diagnóstica acerca do quantitativo suficiente de características apto a indicar a existência de um diagnóstico. Em complementação, cite-se Predebon(6), segundo quem, embora os estudos que procurem verificar a acurácia no estabelecimento de diagnósticos de enfermagem sejam fundamentais para a legitimação da escolha de um determinado diagnóstico, o tema é pouco explorado na temática dos diagnósticos.
Segundo Fernandes(4), a acurácia é calculada por meio da seguinte fórmula: (VP+VN)/(VP+VN+FP+FN), onde VP = verdadeiros positivos, FN = falso negativos, FP = falso positivos e VN = verdadeiros negativos. De acordo com Predebon(6), de um modo geral, o sentido de acurácia guarda relação com a proporção de predições corretas, sem considerar o que é positivo ou negativo. É, resumidamente, a capacidade do método de acertar o diagnóstico. Contudo, há que se ressaltar que ela é um elemento isolado da análise, que se mostra como indicador de proporção de predições corretas, mas que não é suficiente para a avaliação necessária.
Os SAD (Sistemas de Apoio à Decisão) são sistemas de informação destinados a melhorar a tomada de decisão clínica. O seu modo de funcionamento combina características individuais dos pacientes, e os algoritmos geram recomendações específicas para cada paciente em particular(4). Desse modo, conforme Oliveira et al(5), na métrica de avaliação de sistemas de diagnóstico, a acurácia é utilizada para fortalecer o raciocínio clínico. Para tanto, segundo o autor, existem métodos que são utilizados para gerar um diagnóstico mais acurado, como, por exemplo, a lógica fuzzy, que tem aplicação no desenvolvimento de programas computacionais para este fim, que envolvem incerteza e imprecisão(5).
Conclusões
A precisão nas informações fornecidas por um sistema de apoio à decisão médica é crucial para o diagnóstico correto de uma doença, contribuindo, também, para o rápido início do tratamento. Isso se dá em razão da medicina baseada em evidências apresentar falhas na métrica aplicada no método de diagnóstico, não considerando a especificidade de acertos negativos e a sensibilidade de acertos positivos. Não obstante tal relevância, são poucos os estudos existentes sobre a acurácia na temática “diagnóstico”, o que enseja a realização de novas pesquisas na área.
Referências
1. Matos FG de; Cruz D de ALM de. Construção de instrumento para avaliar a acurácia diagnóstica. Rev Esc Enferm USP. 2009; 43(Esp):1088-1097.
2. Paz LC, Luiza VL, Dhalia C de B. Avaliação da qualidade dos dados de Sistema de Controle de Exames Laboratoriais (SISCEL) como fonte de identificação de casos de AIDS em crianças. Cad. Saúde Colet. 2010; 18(1):33-43.
3. Marcomini KD, Schiabel H, Verçosa LB. Aplicação de contornos ativos para a segmentação de nódulos em imagens de ultrassonografia da mama. Revista Brasileira de Física Médica. 2012; 6(2):103-107.
4. Fernandes MICD; Bispo M de M, Leite EMD, Lopes MV de O, Silva VM da, Lira ALB de C. Acurácia diagnóstica das características definidoras do diagnóstico volume de líquidos excessivo de pacientes em hemodiálise. Rev. Latino-Am. Enfermagem. 2015 nov-dez; 23(6):1057-1064.
5. Oliveira GM de, Camargo FT, Gonçalves EC, Duarte CVN, Guimarães CA. Revisão sistemática da acurácia dos testes diagnósticos: uma revisão narrativa. Rev. Col. Bras. Cir. [Internet]. 2010 Apr [cited 2016 Oct 31]; 37(2):153-156. 6. Predebon CM. Acurácia do diagnóstico de enfermagem dor aguda em crianças
hospitalizadas. [Mestrado]. Porto Alegre: Universidade Federal do Rio Grande do Sul; 2011.
