Descoberta de Conhecimento em Prontuários Eletrônicos

Descoberta de Conhecimento em Prontuários Eletrônicos

Stanley Loh

, Maurício Almeida Gameiro

, Fábio Leite Gastal

, José

Palazzo M. de Oliveira

1

Universidade Católica de Pelotas (UCPEL) – Escola de Informática

2

Universidade Luterana do Brasil (ULBRA) – Faculdade de Informática

3

Universidade Federal do Rio Grande do Sul (UFRGS) - Instituto de Informática

4

Clínica Olivé Leite, Pelotas – RS

5

Universidade Católica de Pelotas (UCPEL) – Escola de Medicina

6

Agência Nacional de Vigilância Sanitária (ANVISA) – Gerência Geral de Medicamentos Genéricos

Resumo. Este trabalho apresenta uma estratégia para descoberta de conhecimento em

prontuários eletrônicos. Os prontuários contêm informações textuais sobre os pacientes. O fundamento é identificar características dos pacientes nos textos, para depois realizar análises estatísticas sobre as características extraídas. Isto permite explorar o conhecimento disponível em textos para aquisição de conhecimento novo ou para validação do conhecimento contido nos prontuários. Experimentos de descoberta de conhecimento foram realizados com prontuários de uma clínica psiquiátrica. A validação da estratégia consistiu em embutir o conhecimento descoberto num sistema automatizado de apoio à decisão e depois avaliar a margem de erro deste sistema para classificação de novos casos.

Palavras-chave: análise de textos, prontuários eletrônicos, descoberta de conhecimento. Abstract: This work presents an approach for knowledge discovery from electronic medical

records. Medical records have textual information about patients. The hypothesis is that software tools can extract patient’s characteristics analyzing the texts and after that identify statistical patterns. The benefit is to explore the knowledge available in textual records in order to find new knowledge or to validate the knowledge codified in the records. Knowledge discovery experiments were carried out with medical records of a psychiatric hospital. For evaluating the approach, the discovered knowledge was embedded in an automated system whose goal was to find the diagnosis of new cases.

Key-words: text analysis, electronic medical records, knowledge discovery.

Introdução

Com o crescente uso de computadores na área de saúde, como em hospitais e clínicas, cada vez mais informações estão sendo armazenadas em meios eletrônicos. Um desafio especial é manter todas as informações do paciente em um prontuário eletrônico. Tal prontuário pode auxiliar na tomada de decisões e no melhor controle do tratamento de pacientes. Além disto, o conjunto de informações disponíveis nos prontuários pode ser analisado para a descoberta de conhecimento novo ou validação de informações.

Uma dificuldade para este tipo de análise é que boa parte das informações em um prontuário aparece de forma textual. Isto não chega a ser anormal, já que 80% das informações de uma organização estão contidas em textos (TAN, 1999).

Na área de Informática, há estudos de técnicas e ferramentas para Descoberta de Conhecimento em Textos (Knowledge Discovery in Texts - KDT). Tais técnicas e ferramentas permitem analisar textos e descobrir conhecimento novo que encontra-se implícito (FELDMAN & DAGAN, 1995). Este trabalho apresenta uma estratégia para análise qualitativa e quantitativa de conhecimento contido em prontuários

eletrônicos de uma clínica psiquiátrica. Os prontuários contêm informações sobre os pacientes internados (laudos de internação e evoluções) e são escritos em textos livres por profissionais da área de saúde (médicos, psicólogos, enfermeiros, etc.). A análise qualitativa permite identificar sobre o que os textos tratam. No caso dos prontuários, podem ser identificadas características dos pacientes ou o que estes mencionaram durante a entrevista de avaliação inicial. Já a análise quantitativa permite identificar padrões estatísticos sobre estas características, de acordo com grupos de pacientes (por exemplo, divididos por tipo de diagnóstico).

A hipótese deste trabalho é que a aplicação de ferramentas de software, mais especificamente de KDT, sobre prontuários textuais permite extrair conhecimentos sobre doenças, padrões de preenchimento dos prontuários, comportamento dos pacientes, perfil, entre outros. Neste artigo, é discutida a aplicação da estratégia na área de psiquiatria. A avaliação da qualidade da estratégia foi feita através da incorporação do conhecimento descoberto em um sistema automático para apoio à decisão. O rendimento satisfatório deste sistema no diagnóstico de novos casos confirma a hipótese inicial.

Estratégia para Descoberta de

Conhecimento

A estratégia para descoberta de conhecimento é dividida em duas etapas. Primeiro é feita uma análise qualitativa dos textos contidos nos prontuários eletrônicos, procurando identificar conceitos do mundo real, ou seja, que temas são mencionados nos textos. A segunda etapa realiza a análise quantitativa sobre os conceitos identificados, para extrair padrões estatísticos.

O fundamento básico é aplicar técnicas estatísticas sobre conceitos extraídos de textos, ao invés de trabalhar diretamente com as palavras dos textos. Palavras podem gerar problemas de ambigüidade devido ao uso de sinônimos, de termos polisêmicos (com mais de um significado) e de variações léxicas (gênero, número e conjugações verbais). Conceitos representam melhor que palavras os objetos, eventos, sentimentos, ações, etc. do mundo real. Entretanto, como os textos

não possuem explicitamente conceitos, mas sim palavras (SOWA, 2000), a extração de conceitos deve ser feita analisando-se o conjunto todo de termos presentes no texto.

Nas seções a seguir, estas etapas são descritas em maiores detalhes. Os métodos computacionais utilizados são discutidos em LOH et al. (2001).

Análise Qualitativa

O objetivo desta etapa é identificar os conceitos presentes nos textos. Este é um processo semi-automático, ou seja, é realizado por pessoas com auxílio de ferramentas de software.

É necessário definir os conceitos relevantes e as regras para sua identificação no texto.

A definição de um conceito deve ser feita através de uma ou mais regras, nas quais devem ser indicados termos positivos e termos negativos. Para um conceito estar presente numa frase, todos os termos positivos devem estar presentes na frase e nenhum termo negativo pode aparecer. Se uma das regras for verdadeira para a frase sendo analisada, então o conceito está presente na frase e, conseqüentemente, no texto. Por exemplo, o conceito “alcoolismo” pode ser definido em parte pelas regras (o símbolo “–” indica um termo negativo):

(i) álcool –nega (ii) hálito etílico

O termo negativo “nega” aparece para eliminar frases como “o paciente nega uso de álcool”.

Análise Quantitativa

Esta etapa aplica técnicas estatísticas sobre os conceitos identificados na etapa anterior. Duas técnicas específicas estão sendo usadas nesta estratégia: a análise de distribuição e a técnica associativa.

A técnica de análise de distribuição verifica a freqüência com que ocorrem os conceitos num conjunto de textos (pode ser a coleção toda ou parte dela). O resultado é uma lista de conceitos e suas freqüências. Isto permite analisar que temas são mais dominantes e quais aparecem menos. Também é possível comparar uma lista com outra (por exemplo, listas de duas sub-coleções diferentes). Assim, podem ser encontrados temas comuns em duas coleções ou temas exclusivos e também disparidades ou similaridades nas freqüências dos conceitos.

Já a técnica associativa descobre relações ou associações entre conceitos. Isto funciona como uma probabilidade condicional, permitindo predizer a presença de um conceito em função da presença de outro.

Os resultados são expressos na forma de regras do tipo X è Y (onde X pode ser um ou mais conceitos e Y somente um conceito). A regra significa que “se X está presente em um texto, então Y também está presente com um certo grau de certeza”.

O grau de certeza é dado por valores de confiança (confidence) e suporte (support). De acordo com a analogia proposta por LIN et al. (1998), a interpretação do grau de confiança (confidence) para uma regra associativa do tipo X è Y é a proporção de textos que possuem X e Y em relação ao número de textos que possuem somente X. Da mesma forma, o suporte da mesma regra (support) é interpretado como o número de textos onde X e Y estão presentes (ou a proporção em relação à coleção toda).

Experimentos e resultados

Experimentos foram realizados aplicando a estratégia de descoberta sobre prontuários eletrônicos da Clínica Psiquiátrica Olivé Leite. Foram utilizados os laudos de internação dos pacientes da clínica. Estes laudos contêm textos escritos em linguagem natural livre pelos médicos a partir de informações colhidas na entrevista de internação do paciente. O laudo procura especificar a histórica pregressa do paciente, seu comportamento social e familiar, seus hábitos e os sintomas e sinais identificados pelo médico durante a entrevista. Na entrevista, também pode participar algum familiar ou a pessoa que acompanha o paciente. Neste caso, o laudo ainda contém impressões destas pessoas sobre o paciente.

Foram coletados 400 prontuários, correspondendo a internações feitas na clínica durante aproximadamente 4 meses. Cada prontuário é referente a um único paciente. A coleção foi dividida em duas partes, com 200 textos cada. A primeira parte foi usada para descoberta de conhecimento (coleção de treino) e a segunda sub-coleção foi utilizada para avaliação do conhecimento descoberto, através do sistema automatizado de apoio à decisão (coleção de teste).

Para cada prontuário havia associado um diagnóstico, para representar o transtorno mental ou comportamental do paciente, o qual foi definido por um médico da clínica em um processo real e prévio de diagnóstico. Entretanto, a indicação do diagnóstico não estava explicitamente expressa no texto. A classificação usada para o diagnóstico segue a Classificação Internacional de Doenças, décima revisão (CID-10), conforme o CENTRO BRASILEIRO DE CLASSIFICAÇÃO DE DOENÇAS (1989). Foram usadas somente as classes de primeiro nível do CID-10, as quais correspondem aos diagnósticos mais freqüentes na clínica estudada, a saber:

a) esquizofrenia,

b) transtornos mentais orgânicos, c) transtornos do humor (afetivos) e d) transtornos mentais e

comportamentais devidos ao uso de substância psicoativa.

Os conceitos foram selecionados e definidos a partir do CID-10, o qual foi refinado com termos extraídos de dicionários técnicos. Além disto, foi necessário ampliar o conjunto de termos para identificação dos conceitos, uma vez que termos muito específicos do local eram usados. Por exemplo, o conceito “alcoolismo” poderia aparecer em frases como “o paciente faz uso de destilados”. Neste caso, ferramentas automatizadas de análise léxica puderam auxiliar na identificação dos termos usados pelos profissionais do local para descrição de sintomas e sinais.

As definições finais dos conceitos e das regras de extração foram validadas por profissionais da área. Foram selecionados 65 conceitos referentes a características do paciente e 32 conceitos referentes a remédios.

Primeiro, a coleção de treino foi dividida em 4 sub-coleções, correspondendo aos 4 grandes grupos de diagnóstico (esquizofrenia, transtornos orgânicos, afetivos e devidos a substâncias). Cada sub-coleção continha os textos referentes aos laudos de internação de pacientes com o determinado diagnóstico associado. Depois, foi feita a descoberta de conhecimento (análises qualitativa e quantitativa) sobre cada sub-coleção de textos (etapa de treino), resultando em listas de distribuição de conceitos e associações entre conceitos. Este resultados foram tomados para representar as características

dos pacientes de cada grupo de diagnóstico.

Para validação do conhecimento descoberto, foram feitas as seguintes avaliações:

- o grau de acerto na identificação dos conceitos foi avaliado; e

- o conhecimento descoberto foi avaliado indiretamente, sendo embutido num sistema automatizado de apoio à decisão e este sendo avaliado por seus resultados.

O sistema automatizado é um classificador que associa um diagnóstico a textos da coleção de teste, analisando os conceitos presentes no texto. Neste processo de classificação, o sistema automatizado deveria identificar características (conceitos) nos textos e compará-las com as que descrevem cada grupo de diagnóstico.

A extração dos conceitos foi feita da mesma maneira que na etapa de descoberta do conhecimento (sobre a coleção de treino).

Os resultados foram medidos utilizando os graus de abrangência (recall) e precisão (precision). O grau de abrangência (ABR) é calculado pelo número de textos corretamente associados a uma classe dividido pelo número de textos que realmente pertencem à classe. Já a precisão (PR) é o número de textos corretamente associados a uma classe dividido pelo número de textos que foram associados à mesma classe (LEWIS, 1991). Admitindo que ambas as medidas são igualmente importantes, utilizou-se ainda a medida F-measure, calculada por

2 * PR * ABR / (PR + ABR) conforme LEWIS & GALE (1994).

Uma vez que havia 4 classes, foram também utilizadas as medidas de microaveraging e macroaveraging (LEWIS, 1991) para se obter o resultado geral de cada método para a coleção toda. Microaveraging considera a coleção toda como uma única classe e então avalia os graus de abrangência e precisão sem distinção de classes. Já a medida de Macroaveraging primeiro calcula a precisão e abrangência em cada classe e então extrai os valores médios para a coleção toda.

Para comparação dos resultados finais, uma medida adicional foi usada para encontrar o melhor desempenho: a média

entre os valores de Microaveraging F-measure e Macroaveraging F-F-measure.

Avaliação da Identificação de

Conceitos

Especialistas do domínio analisaram 50 textos extraídos da coleção de teste, tomados como amostra representativa desta coleção. Os especialistas indicaram os conceitos específicos, relativos às características dos pacientes, que apareciam em cada texto. Não foram avaliados todos os conceitos, mas somente os 12 mais complexos. Os demais conceitos foram considerados simples por terem descrições simples.

A média entre Microaveraging F-measure e Macroaveraging F-measure resultou no valor de 91%, ou seja, a identificação dos conceitos pela estratégia obteve uma margem de erro menor que 10%.

Avaliação do Conhecimento

Descoberto

Diferentes métodos foram avaliados para caracterizar cada grupo de diagnóstico. Lembrando que os resultados da descoberta de conhecimento (etapa de treino) eram, para cada grupo de diagnóstico, uma lista de conceitos e suas freqüências e as associações entre conceitos, diferentes combinações destes conceitos poderiam ser usadas para caracterizar os pacientes da classe.

A seguir são descritos os métodos avaliados e apresentados os valores resultantes para a média entre

Microaveraging F-measure e

Macroaveraging F-measure:

a) utilizando todos os conceitos de cada lista para caracterizar cada classe de diagnóstico è 0,44;

b) usando apenas os conceitos menos freqüentes (probabilidade < 50%) de cada lista è 0,62;

c) usando pares de conceitos presentes nas associações è 0,51;

d) usando pares de conceitos presentes nas associações, mas somente os pares exclusivos de cada classe è 0,57;

e) usando todos os conceitos de cada lista mais os pares de conceitos extraídos das associações è 0,52.

O método que utiliza somente conceitos exclusivos de cada lista não foi avaliado por não terem sido encontrados conceitos exclusivos (todos os conceitos apareciam em mais de um grupo de diagnóstico).

O melhor método de caracterização obteve uma média de 62% de acertos (uma margem de erro próxima de 38%).

Apresentando estes resultados para os médicos especialistas que participaram do experimento, eles consideraram os resultados numéricos satisfatórios, uma vez que desempenhos maiores que 60% são melhores que algumas decisões de especialistas humanos.

Conclusões

Este trabalho apresentou uma estratégia para descoberta de conhecimento em prontuários eletrônicos. Como os prontuários contêm informações em formato textual, a estratégia utiliza ferramentas de software, mais especificamente de KDT, para realizar análises qualitativa e quantitativa dos textos.

A estratégia identifica padrões estatísticos sobre conceitos identificados nos textos. Conceitos referem-se a “coisas” do mundo que foram mencionadas nos textos. Na análise dos prontuários, os conceitos representavam características dos pacientes da clínica psiquiátrica.

Nos experimentos realizados, os textos foram separados por diagnóstico. Isto permitiu identificar características dos grupos de pacientes, ou seja, o perfil dos pacientes de cada diagnóstico.

Uma das vantagens da estratégia é minimizar o esforço humano para codificar e depois analisar informações em textos. Assim, as pessoas podem gerar textos livres, sem preocupações com formatos ou estilos de linguagem, e estes podem depois serem analisados com auxílio de ferramentas automatizadas.

Os resultados das avaliações demonstraram que a estratégia é viável para extrair conhecimento confiável de coleções textuais. Uma margem de erro de 38% no sistema automatizado utilizado para teste confirma que o conhecimento descoberto (e embutido no sistema) era de qualidade e condizente com a realidade.

O trabalho também demonstrou ser importante registrar informações sobre pacientes em prontuários eletrônicos. Com auxílio de ferramentas de KDT, é possível descobrir conhecimento implícito nos textos. Nos experimentos realizados, foi possível descobrir conhecimento sobre diagnósticos. Este conhecimento apresentava-se na forma de distribuições e associações de características presentes em pacientes com determinado diagnóstico. Também foi possível identificar o perfil dos pacientes da Clínica estudada. Tais descobertas permitem avaliar as decisões tomadas e podem suportar decisões futuras.

Entre os planos para o futuro está o estudo de técnicas de seqüência de tempo, as quais analisam conceitos em coleções contendo textos em seqüência. Desta forma, espera-se descobrir conhecimento sobre a internação dos pacientes analisando os laudos de evolução contidos no prontuário eletrônico. A hipótese é que deve haver padrões nas seqüências de conceitos de uma evolução para outra, durante a internação do paciente.

Agradecimentos

A Clínica Psiquiátrica Olivé Leite de Pelotas, RS, desenvolve pesquisas com o apoio do Fundo de Incentivo ao Desenvolvimento do Ensino e da Pesquisa em Saúde (FIDEPS, Ministério da Saúde).

Referências Bibliográficas

CENTRO BRASILEIRO DE CLASSIFICAÇÃO DE DOENÇAS - Centro Colaborador da OMS para a Classificação de Doenças em Português (1989), Classificação Internacional de Doenças e de Problemas Relacionados a Saúde. 10. ver. São Paulo: EDUSP. Feldman, Ronen & Dagan, Ido. (1995),

“Knowledge discovery in textual databases (KDT)”, Proceedings of the International Conference on Knowledge Discovery, Montreal, 1995.

Lewis, David D. (1991), “Evaluating text categorization”, Proceedings of the Speech and Natural Language Workshop, Asilomar, p.312-318, 1991.

Lewis, David D. & Gale, William A. (1994), “A sequential algorithm for training text classifiers”, Proceedings of the ACM-SIGIR Conference on Research and Development in Information Retrieval, Dublin, p.3-12, 1994.

Lin, Shian-Hua et al. (1998), “Extracting classification knowledge of Internet documents with mining term associations: a semantic approach”, Proceedings of the ACM-SIGIR Conference on Research and Development in Information Retrieval, 1998.

Loh, Stanley; Moreira, José P. M. ; Gastal, Fábio L. (2001). "Knowledge discovery in textual documentation: qualitative and quantitative analyses". Journal of Documentation, v.57, n.5, Setembro, pp.577-590.

Sowa, John F. (2000) Knowledge representation: logical, philosophical, and computational foundations.

Pacific Grove: Brooks/Cole Publishing Co., 2000.

Tan, Ah-Hwee. (2001), “Text mining: the state of the art and the challenges”, Proceedings of the Pacific-Asia Workshop on Knowledge Discovery from Advanced Databases, Beijing, p.65-70, 1999.

Contatos

Os autores podem ser contatados pelos seguintes endereços de e-mails:

Stanley Loh:

sloh@terra.com.br Maurício Almeida Gameiro:

magam@uol.com.br Fábio Leite Gastal:

flgastal@atlas.ucpel.tche.br José Palazzo M. de Oliveira: