Extracção Automática de Terminologia

(1)

Extrac

ç

_ç

ão Autom

_{ão Autom}

á

_á

tica

_tica

de Terminologia

Uma breve abordagem

Lu

Luíís Sarmentos Sarmento Simp

Simpóósio Doutoral da Linguatecasio Doutoral da Linguateca Lisboa, 6 de Maio de 2005 Lisboa, 6 de Maio de 2005

(2)

Resumo

O que

é

Terminologia (11)

Para que serve a

Terminolgia

(3)

Como Extrair

Terminolgia

(14)

–

V

á

rios m

é

todos

Um caso particular (14)

–

Corp

ógrafo

ó

grafo

(3)

Motiva

ç

_ç

ão para a EAT

_{ão para a EAT}

Os “

Os

“

termos

”

são uma parte essencial da

comunica

ção de dom

ç

ão de dom

í

nio especí

nio espec

í

fico

Identificaç

Identifica

ção

ão é

é

fundamental para:

–

– AnáAnálise / Compreensãolise / Compreensão –

– GeraGeração ção –

– TraduTraduççãoão

Constante aumento da informa

ç

ão dispon

í

vel de

dom

domí

ínio espec

nio especí

í

fico (DE)

A Extrac

ç

ão Autom

á

tica de Terminologia (EAT)

torna

(4)

“

Termos

_Termos

”

_”

O que são os

“

termos

”

?

Primeiro vamos alterar a nossa pr

ó

pria

terminologia

–

“

termo

”

Æ

Unidade Terminol

ó

gica : UT

Evitar confusões com a terminologia

usada em IR

–

(5)

Unidades Terminol

ó

_ó

gicas

_gicas

O que é

O que

é

uma UT?

–

– Questão complexa e controversaQuestão complexa e controversa

Mas poderemos dizer:

–

– Uma UT Uma UT éé uma etiqueta linguuma etiqueta linguíística para um conceito:stica para um conceito:

DomíDomínio nio ÆÆ Conceito –Conceito – UTUT

Visão clá

Visão cl

ássica do Conhecimento:

ssica do Conhecimento:

–

– Estruturado, dividido em domíEstruturado, dividido em domínio, redes conceptuaisnio, redes conceptuais

Na prá

Na pr

ática as estrutura de conhecimento são

tica as estrutura de conhecimento são

–

– dinâmicas, dependentes da perspectiva e da utilizaçdinâmicas, dependentes da perspectiva e da utilizaçãoão

Mas podemos ficar com esta ideia:

–

(6)

Unidades Terminol

ó

_ó

gicas

_gicas

UT dividem

-

se em:

–

Simples / 1 palavra

““rede”rede”, , ”c”céélulalula”, ”, ““sistemasistema””

Normalmente genéNormalmente genéricas e ambricas e ambííguas, atguas, atéé em domem domínios ínios

fechados fechados

–

Compostas / multi

-

palavra

““rede neuronalrede neuronal”” / “/ “ccéélula eucarilula eucarióóticatica””, , ““sistema de sistema de

bombagem de

bombagem de águaágua””

Normalmente não ambíNormalmente não ambíguas num determinado guas num determinado

dom

(7)

Unidades Terminol

ó

_ó

gicas

_gicas

Mais terminologia sobre

UT

’

s

.

UT

’

s

são habitualmente formadas:

–

por uma

cabe

_cabe

ç

a

termo muito gentermo muito genérico: érico: ““rederede”, ”, “c“céélulalula”,”,”á”ácidocido””

termo secundtermo secundário: ário: ““sistemasistema””, , ““processoprocesso”, ”, ““estruturaestrutura””

–

Um

grupo modificador

ou

grupo de argumentos

Adjectivo, nome ou Adjectivo, nome ou outra UToutra UT

–

– [[Sistema de [Sistema de [gestão de [gestão de [bases de dadosbases de dados]]]]]]

–

Certas UT formam-

Certas UT formam

-

se por aglutina

ç

ão mas em

português são raras ou s

ó

ocorrem em certos

dom

(8)

Quanto

à

_à

Morfologia

_Morfologia

É

difí

dif

í

cil descrever a morfologia dos termos.

Grande dependência do dom

í

nio:

–

– Vantagens e desvantagens na identificaVantagens e desvantagens na identificaçção ão

Exemplos:

–

– QuíQuímica/farmmica/farmácia/medicina destacamácia/medicina destacam-se pela sua -se pela sua excentricidade:

excentricidade:

“3“3--44--benzoterminolaninabenzoterminolanina”” ou “ou “TerminologiteTerminologite aguda”aguda”

–

– Nas engenharias e ciências tecnolóNas engenharias e ciências tecnológicas são mais variados gicas são mais variados mas

mas ““bem comportadosbem comportados””::

““Sistema terminolSistema terminolóógicogico”” ou ou ““extractor de extractor de UTUT’’ss””

–

– Direito/geografia fazem parte do lDireito/geografia fazem parte do lééxico corrente:xico corrente:

(9)

Quanto

à

_à

Sintaxe

_Sintaxe

Normalmente consideram

-

se UT apenas sintagmas

nominais

H

á

v

á

rias estruturas sint

ácticas frequentes

á

cticas frequentes

–

– N: redeN: rede –

– NA: rede neuronalNA: rede neuronal –

– NpN: rede de telefone, ciclo de NpN: rede de telefone, ciclo de KrebsKrebs (EN!!)(EN!!) –

– NpNpNANpNpNA: Sistema de reencaminhamento de Chamadas : Sistema de reencaminhamento de Chamadas Autom

Automáticoático

V

á

rias possibilidades de

–

– Introduzir modificadores ou argumentosIntroduzir modificadores ou argumentos –

– Compor novas UT por variaçCompor novas UT por variação:ão:

(10)

Quanto

à

_à

Sintaxe

_Sintaxe

H

á

quem considere Verbos como UT v

á

lidas

–

mas essa não

é

a visão dominante.

Normalmente as formas verbais resultam da

transforma

ç

ão morfol

ó

gica N

Æ

V

da UT:

Reencaminhamento de chamadas Reencaminhamento de chamadas

Æ

Æ reencaminhar (“reencaminhar (“asas””|mod|mod)* chamadas)* chamadas

Por tudo isto, a detec

ç

ão de variantes

é

uma

(11)

Recursos Terminol

ó

_ó

gicos

_gicos

Onde armazenamos a Terminologia?

–

Tesauros: UMLS/

Tesauros

: UMLS/MeSH

MeSH

UTUT’’ss + certas rela+ certas relaçções tradicionaisões tradicionais

–

Ontologias (?)

UTUT’’ss + certas rela+ certas relaçções especões especííficasficas

–

Gloss

ários

á

rios

UTUT’’ss e suas definie suas definiççõesões

–

Bases de Dados Terminoló

Bases de Dados Terminol

ógicas

gicas

Guardam as UT, equivalentes de Guardam as UT, equivalentes de TradTrad., Exemplos de ., Exemplos de

Utiliza

Utilizaçção, contextos / colocaão, contextos / colocaçções, ões, InfInf. . adminstrativa, adminstrativa, etc

(12)

Recursos Terminol

ó

_ó

gicos

_gicos

Apesar de ser uma representa

ç

ão lexical de

um determinado conceito. uma UT não

um determinado conceito. uma UT não é

é

guardada sozinha, mas sim:

–

Em contexto

–

Relacionada com outras UT

–

Relacionada com equivalentes noutros idiomas

–

Tal como os pr

óprios conceitos

ó

prios conceitos

Uma UT não tem valor isoladamente

–

Vale essencialmente pelas rela

ções que

ç

ões que

estabelece

(13)

Recursos Terminol

ó

_ó

gicos

_gicos

Visão de Engenharia do Conhecimento

–

– A UT como ponto de partida para a criaA UT como ponto de partida para a criaçção de um recurso ão de um recurso de conhecimento...

de conhecimento... –

– ... e não s... e não sóó apenas chegada!apenas chegada!

A UT como “

A UT como

“

n

ó”

de uma “

de uma

“

rede”

rede

”

–

– poliedro irregular e instpoliedro irregular e instáável de uma região semântica vel de uma região semântica dinâmica e subjectiva

dinâmica e subjectiva

Recursos gerados para determinados fins:

–

– Um recurso terminolóUm recurso terminológico não gico não éé uma representaçuma representação final e ão final e ú

última do conhecimento (se ltima do conhecimento (se éé que isso existe)que isso existe) –

(14)

Exemplos da utiliza

ç

ão de UT

Em Recolha de informa

ç

ão (

D.Esp

.?)

–

– IndexaçIndexação (ão (““indexaindexaçção controlada/conceptualão controlada/conceptual””):):

Se a UT Se a UT éé uma uma “representa“representaçção lexical”ão lexical” de um conceitode um conceito

Então pode ser uma representaEntão pode ser uma representaçção mais fiel e compacta de ão mais fiel e compacta de

um documento um documento

–

– Processamento de Expressões de PesquisaProcessamento de Expressões de Pesquisa

TesaurosTesauros para expansão / compactaçpara expansão / compactaçãoão

SubstituiSubstituição de uma UT por hiperção de uma UT por hiperóónimo/conimo/co--hiphipóónimonimo

–

– OrdenaçOrdenação de resultados: ão de resultados:

UT podem indicar com razoáUT podem indicar com razoável precisão (?) o nvel precisão (?) o nível de ível de

especializa

especializaçção do documento: poucos exemplosão do documento: poucos exemplos

–

– AuxíAuxílio lio àà naveganavegação e pesquisa de informação e pesquisa de informaçção!ão!

O utilizador pode “O utilizador pode “verver”” os Termos “os Termos “relevantesrelevantes”” e tentar e tentar

reescrever a sua

(15)

Exemplos da utiliza

ç

ão de UT

Trad

. Assistida e Autom

á

tica:

–

Para um tradutor humano uma das maiores

dificuldades

dificuldades é

é

a tradu

ção de UT:

ç

ão de UT:

Reflectem o conhecimento do domReflectem o conhecimento do domínio que o tradutor ínio que o tradutor

(humano/autom

(humano/automático) não tem!ático) não tem!

Saber a Terminologia e as equivalências éSaber a Terminologia e as equivalências é fundamental fundamental

(normalmente pergunta

(normalmente pergunta--se ao especialista)se ao especialista)

–

Traduç

Tradu

ção autom

ão automá

ática as UT (Baseada Regras):

tica as UT (Baseada Regras):

Importantes na AnáImportantes na Análiselise

Transferência não éTransferência não é normalmente ambínormalmente ambígua (gua (D.EspD.Esp))

(16)

Mais exemplos da utiliza

ç

ão de UT

Tarefas que envolvam:Tarefas que envolvam:

–

– anáanálise rigorosa do textolise rigorosa do texto –

– Necessidade de manter grande fidelidade semânticaNecessidade de manter grande fidelidade semântica

SumarizaSumarizaçção automão automááticatica

...

Em quase todas as aplicaçEm quase todas as aplicações em que EM são importantes:ões em que EM são importantes:

–

– ShallowShallow-parsing-parsing / Chunking/ Chunking/melhoramento /melhoramento “dinâmico“dinâmico”” de parsersde parsers –

– QAQA –

– Reconhecimento de vozReconhecimento de voz

LegendadorLegendador automautomááticotico

– – ...

Ou seja, tarefas em que seja crOu seja, tarefas em que seja crítico assegurar que certas ítico assegurar que certas

unidades lexicais (neste caso

unidades lexicais (neste caso UTUT’’s) não sejam segmentadas e s) não sejam segmentadas e sejam correctamente analisadas!

(17)

Extrac

ç

_ç

ão de Terminologia

_{ão de Terminologia}

Tarefa 1:

–

dado um texto num idioma:

Identificar as UTIdentificar as UT

Identificar possIdentificar possíveis variaíveis variaççõesões

Identificar possIdentificar possííveis relaveis relaçções entre ões entre UTUT’’ss

Aquisi

ç

ão de Terminologia:

–

Se não h

á

base terminol

ó

gica pr

é

via

–

Normalmente

é

desta que falamos

Enriquecimento de Terminologia

–

(18)

Extrac

ç

_ç

ão de Terminologia

_{ão de Terminologia}

Tarefa 2:

–

Tarefa 1 em textos de v

á

rias l

í

nguas

–

Obter terminologia alinhada

–

Normalmente textos compar

á

veis

–

Sub

-

problema

de EBMT?

Vamos focar:

–

(19)

V

á

_á

rias aproxima

_{rias aproxima}

ç

_ç

ões

_ões

H

á

v

á

rias aproxima

ç

ões:

–

Gramaticais

CaracterCaracterísticas morfolísticas morfolóógicasgicas

sequências POSsequências POS

–

M

é

todos estat

í

sticos

Coesão lexicalCoesão lexical

Desvio relativo Desvio relativo àà normanorma

–

H

í

bridas

CombinaCombinações mções múúltiplasltiplas

(20)

V

á

_á

rias aproxima

_{rias aproxima}

ç

_ç

ões

_ões

Todas estas aproxima

ç

ões:

–

utilizam intui

ç

ões e descri

ç

ões lingu

í

sticas

mais ou menos apuradas

–

têm requisitos de

“

pr

é

-

processamento

”

muito diferentes

–

Podem ou não prever retorno de um

operador humano:

H

á

vá

v

ários sistemas semi

rios sistemas semi

-

autom

á

ticos que

funcionam interactivamente

(21)

Que tipo de evidência

procurar?

As UT são Unidades Lexicais internamente

coesas e com forte influência contextual.

Na sua detecç

Na sua detec

ç

ão/exclusão podemos:

–

Procurar evidências internas:

morfologia / sintaxe morfologia / sintaxe

–

Procurar evidências externas:

Contextos descriminatóContextos descriminatórios / colocaçrios / colocações ões

–

Combinar ambas as aproximaç

Combinar ambas as aproxima

ções

ões

““boundaryboundary rules”rules”, exclusões internas, exclusões internas

Podem prever a possibilidade de variaç

Podem prever a possibilidade de varia

ç

ões

morfo

(22)

Aproxima

ç

_ç

ões Gramaticais

_{ões Gramaticais}

Ideias

base /

Intui

ç

ões

:

–

As UT

obedecem a uma gram

á

tica

Normalmente

SN

EX:

N

(A

(

A|P

|P N

N

)+

–

– SistemaSistema de gestãode gestão de basede base de dadosde dados

–

– RedeRede neuronalneuronal –

– AparelhoAparelho de golgide golgi

–

Os

contextos

tamb

é

m

possuem

uma

gram

á

tica

(23)

Aproxima

ç

_ç

ões Gramaticais

_{ões Gramaticais}

Mais

Ideias

base /

Intui

ç

ões

:

–

Identificar

UT

variantes

sabendo

o conjunto

o

conjunto

de

regras

que

levam

à

sua

forma

ç

ão

:

–

Parte

de um conjunto

de um

conjunto

de UT base e

aplica

regras

de

composi

ção

ç

ão

->

-

>

gram

á

tica

generativa

–

Pode

utilizar

/

necessitar

de

retorno

humano

ou

uma

base de

conhecimento

inicial

.

–

EX:

T (T (AA|P)T)+|P)T)+

RegrasRegras de de ““analogiaanalogia””: :

–

(24)

Aproxima

ç

_ç

ões Gramaticais

_{ões Gramaticais}

Vantagens

:

–

Boa

precisão

–

Normalmente

robustos

Desvantagens:

Desvantagens

:

–

complexidade

de

implementa

ç

ão

–

necessitam

de

bastante

pr

é

-

processamento

–

Dificuldade

de

porte

para outras

para

outras

lí

l

í

nguas

–

Incapazes

de

detectar

algo

que

não

tenha

sido

previsto

(25)

Aproxima

ç

_ç

ões Gramaticais

_{ões Gramaticais}

Sistemas

que

exploram

a

Morfologia

!

Ideias

base /

Intui

ç

ões

:

–

Procurar

sequências

de palavras

de

palavras,

, que

que

possuem

uma

determinada

forma:

SufixosSufixos: “: “proto*proto*””

PrefixosPrefixos: “: “**zoide”zoide”

Raizes: Raizes: ““sistemasistema””

Podem

també

tamb

é

m

usar

alguma

evidência

externa

simples:

–

Ex:

Palavra

é

artigo?

artigo

?

(26)

Aproxima

ç

_ç

ões Gramaticais

_{ões Gramaticais}

Vantagens:

Vantagens

:

–

– Boa Boa precisãoprecisão emem domdomííniosnios ““fechadosfechados””. . EgEg: : QuQuíímicamica –

– DentroDentro de um domde um domíínionio, , podempodem ser ser facilmentefacilmente portadosportados para

para llíínguasnguas prpróóximasximas ((cognatoscognatos))

Desvantagens

:

–

– SSóó sãosão aplicaplicááveisveis emem certoscertos domdomííniosnios.. –

– NecessitamNecessitam de um investimentode um investimento de estudode estudo linguílinguísticostico porpor cada

cada domdomíínionio –

– NãoNão sãosão portáportáveisveis de domde domíínionio parapara domdomínioínio –

– IncapazesIncapazes de detectarde detectar algoalgo queque nãonão tenhatenha sidosido previstoprevisto nana “

“gramgramáticaática””

(27)

Aproxima

ç

ões Estat

í

sticas

Sistemas que exploram informa

ç

ão estatí

ão estat

í

stica:

–

– normalmente sobre o lnormalmente sobre o lééxico mas pode haver lematizaxico mas pode haver lematizaççãoão

Ideias base / Intui

ções:

ç

ões:

1.

1. As UT são unidades lexicais que pertencem a um As UT são unidades lexicais que pertencem a um determinado dom

determinado domíínio, logo podem ser consideradas nio, logo podem ser consideradas estatisticamente desviantes das unidades obtidas num estatisticamente desviantes das unidades obtidas num

“

“corpus padrão de linguagem comumcorpus padrão de linguagem comum””

Coeficiente de Coeficiente de DiceDice sobre o N-sobre o N-Gramas extraGramas extraíídosdos

2.

2. As UT são unidades lexicais coesas: os seus constituintes As UT são unidades lexicais coesas: os seus constituintes co

co-ocorrem com frequências muito acima do -ocorrem com frequências muito acima do ““normal”normal”

InformaçInformação Múão Mútuatua

(28)

Aproxima

ç

ões Estat

í

sticas

Vantagens:

–

– PortáPortáveis entre lveis entre líínguasnguas –

– FáFáceis de programarceis de programar –

– RáRápidos (?)pidos (?)

Desvantagens:

–

– Muito ruidosos Muito ruidosos

Muita influência de fenóMuita influência de fenómenos lingumenos linguíísticos recorrentes e de sticos recorrentes e de

marcas de estilo marcas de estilo

(2) pode obter todas as colocaç(2) pode obter todas as colocações, que não são UT!ões, que não são UT!

–

– Na prNa prática, ática, éé difídifícil implementar:cil implementar:

Afinal, o que éAfinal, o que é um corpus padrão de linguagem geral?um corpus padrão de linguagem geral?

São uma boa aproximaç

São uma boa aproxima

ção quando não se tem

ão quando não se tem

alternativas que usam mais conhecimento expl

(29)

Aproxima

ç

_ç

ões H

_{ões H}

í

_í

bridas

_bridas

Ideias base / Intui

ç

ões:

–

– Os méOs métodos anteriores parecem ser bons para lidar com todos anteriores parecem ser bons para lidar com certas caracter

certas caracteríísticas do problema sticas do problema –– mas não com todas!mas não com todas! –

– Tentar combinaTentar combinações que mantenham as vantagens de ções que mantenham as vantagens de todos, e não as desvantagens

todos, e não as desvantagens

Estes mé

Estes m

étodos são baseados normalmente em

todos são baseados normalmente em

heur

heurí

í

sticas que são verificadas num dado contexto

aplicacional

Podem levar a bons resultados mas normalmente:

–

– não têm uma boa fundamentaçnão têm uma boa fundamentação teão teóóricarica –

– podem requerer muita afinaçpodem requerer muita afinação manualão manual –

– podem ser dependentes de um dado contexto/pressuposto podem ser dependentes de um dado contexto/pressuposto não generaliz

(30)

Aproxima

ç

_ç

ões H

_{ões H}

í

_í

bridas

_bridas

Pode ser praticamente tudo!

Um caso concreto: o Corp

ó

grafo

–

Alguma sintaxe

Regras de descriRegras de descriçção (ou melhor de eliminaão (ou melhor de eliminaçção)ão)

AnAnáálise de contextos prlise de contextos próóximos (palavra anterior)ximos (palavra anterior)

–

Alguma

“

morfologia

”

:

SingularizaSingularizaçção para melhorar convergênciaão para melhorar convergência

–

Alguma estat

í

stica

As UT seleccionadas ocorrem com uma frequência As UT seleccionadas ocorrem com uma frequência

m

(31)

O Corp

ó

_ó

grafo

_grafo

–

_–

o contexto

_{o contexto}

O contexto em que se realizam as tarefas de

extrac

ção

ç

ão é

é

sempre importante!

Corpó

Corp

ógrafo: m

grafo: m

é

todo orientado para pesquisas semi

-

-autom

automá

áticas em v

ticas em vá

ários idiomas!

rios idiomas!

É

o primeiro passo para a constru

ç

ão de

gloss

á

rios/tesauros:

–

– Permite a posterior extracçPermite a posterior extracção de definião de definiçõesções –

– Permite a posterior identificaçPermite a posterior identificação de relaão de relaçõesções –

– UT’UT’ss funcionam como pontos de fixafuncionam como pontos de fixação do PLSção do PLS

NÃO foi ainda devidamente testado nem

comparado!!

(32)

O Corp

ó

_ó

grafo

_grafo

A explicaç

A explica

ç

ão do mé

ão do m

étodo ir

todo irá

á

ser feita mostrando o

percurso de desenvolvimento realmente seguido

Permitir

á

compreender melhor o seu funcionamento

e assim:

–

– Ser criticado/melhoradoSer criticado/melhorado –

– Inspirar sistemas melhores/alternativosInspirar sistemas melhores/alternativos

Por razões de reaproveitamento de dados os

exemplos apresentados são em inglês

–

– embora os resultados para português sejam equivalentes embora os resultados para português sejam equivalentes ou

ou superioressuperiores..

(33)

Uma aproxima

ç

_ç

ão muito

_{ão muito}

simples

Compilar N

Compilar

N-

-gramas

gramas

do corpus

Perguntar ao utilizador se são UT

Recolher os exemplos validados

Vantagens:

–

– Não são necessáNão são necessários recursos lingurios recursos linguíísticossticos –

– Não necessita de prNão necessita de pré-é-processamentoprocessamento –

– RáRápido e portpido e portáável entre lvel entre línguasínguas

Desvantagens

–

– Demasiado ruidosoDemasiado ruidoso –

– Os utilizadores consideram inadequadoOs utilizadores consideram inadequado –

(34)

Exemplo

do corpus

Neurodemo

_Neurodemo

N N--gramgram ## F (%)F (%) of the of the 332332 1.1371.137 in the in the 243243 0.8320.832 to the to the 121121 0.4140.414 the cell the cell 118118 0.4040.404 from the from the 7171 0.2430.243 the brain the brain 6565 0.2220.222 nervous system nervous system 6565 0.2220.222 on the on the 5959 0.2020.202 and the and the 5252 0.1780.178 of a of a 5151 0.1740.174 the neuron the neuron 4848 0.1640.164 the axon the axon 4646 0.1570.157 cell body cell body 4646 0.1570.157 is the is the 4242 0.1430.143 by the by the 4040 0.1370.137

Dom

í

nio

:

neurologia

–

Textos

tirados

da web

(

(pdf

pdf

, word, html)

–

6

6 idiomas

idiomas

(PT,EN,FR,ES,IT,DE)

–

Sec

ç

ão

EM: 29192

à

ts

.

Muito ruidoso : apenas 2 UT em 15 n-grams!

(35)

Como

melhorar

os

resultados

?

Vantagens: os resultados tão maus que podem ser

facilmente melhorados.

Pod

í

amos criar regras sint

ácticas e morfol

á

cticas e morfoló

ógicas

gicas

acerca das UT e seleccionar apenas

N

-

gramas

que

as respeitem

Contudo, como vimos,

é

muito dif

í

cil dizer o que

é

uma UT, e podemos ter de recorrer a algum pr

uma UT, e podemos ter de recorrer a algum pré

é

-

-processamento: muito complicado

processamento: muito complicado…

…

Mas

é

muito mais f

á

cil dizer:

–

– o que o que éé que NÃO que NÃO ÉÉ uma UT!uma UT!

–

(36)

Excluindo N

-

_-

Gramas

_Gramas

Definir 3 listas de á

Definir 3 listas de

átomos para exclusão de

tomos para exclusão de N

N-

-gramas

gramas

–

Lista dos

não

-

in

í

cios

àtàt. que não podem iniciar UT. que não podem iniciar UT’’ss

–

Lista dos

não

-

fins

àtàt. que não podem terminar UT. que não podem terminar UT’’ss

–

Lista dos não

Lista dos

não-

-

inclu

ídos

í

dos

àtàt. que não podem estar incluí. que não podem estar incluídos em dos em UTUT’’ss

Encontrar

N

-

gramas

que respeitem estas restri

ç

ões

Por razões de redundância, as UT devem:

–

– aparecer no topo da lista dos aparecer no topo da lista dos NN-gramas-gramas seleccionados.seleccionados.

(37)

E o

que

_que

são

_são

estas

_estas

listas

_listas

?

_?

A maioria

A

maioria

dos elementos

dos

elementos

destas

listas

são

–

– preposipreposiççõesões –

– pronomespronomes –

– pontuapontuaççãoão –

– certascertas palavraspalavras muitomuito frequentesfrequentes

Facilmente

compiladas

por

“

tentativa

-

e

-

erro

”

Muito

está

est

áveis

veis

entre

domí

dom

í

nios

–

– HipóHipótesetese atéaté agora vagora váálidalida –

– AlteradasAlteradas facilmentefacilmente se necessse necessááriorio

(38)

Restri

ç

_ç

ões

_ões

simples (top 20)

_{simples (top 20)}

N

N--gram (2208 found)gram (2208 found) ## F (%)F (%)

central nervous system

central nervous system 1616 0.0540.054 peripheral nervous system

peripheral nervous system 88 0.0270.027 integral membrane proteins

integral membrane proteins 88 0.0270.027 nuclear pore complexes

nuclear pore complexes 55 0.0170.017 name of glial

name of glial 55 0.0170.017 signaling between nerve

signaling between nerve 55 0.0170.017 pattern of activity pattern of activity 55 0.0170.017 nodes of ranvier nodes of ranvier 44 0.0130.013 synthesis of proteins synthesis of proteins 44 0.0130.013 induction of ltp/ltd induction of ltp/ltd 44 0.0130.013 evoked nt secretion evoked nt secretion 33 0.0100.010 can be divided can be divided 33 0.0100.010 primary visual cortex

primary visual cortex 33 0.0100.010 nmda receptor activation

nmda receptor activation 33 0.0100.010 –

–the messengersthe messengers 33 0.0100.010 action potential will

action potential will 33 0.0100.010 rate of transmission

rate of transmission 33 0.0100.010 primary cell walls

primary cell walls 33 0.0100.010 complexes of integral

complexes of integral 33 0.0100.010

N

nervous system nervous system 6565 0.2220.222 cell body cell body 4646 0.1570.157 electrical activity electrical activity 3939 0.1330.133 nerve cells nerve cells 3737 0.1260.126 spinal cord spinal cord 3434 0.1160.116 action potential action potential 3232 0.1090.109 glial cells glial cells 2929 0.0990.099 synaptic cleft synaptic cleft 2020 0.0680.068 plasma membrane plasma membrane 1616 0.0540.054 central nervous central nervous 1616 0.0540.054 action potentials action potentials 1414 0.0470.047 schwann cells schwann cells 1414 0.0470.047 membrane proteins membrane proteins 1313 0.0440.044 nerve fibers nerve fibers 13 13 0.0440.044 endoplasmic reticulum endoplasmic reticulum 1313 0.0440.044 nervous systems nervous systems 1212 0.0410.041 developing circuits developing circuits 1212 0.0410.041 amino acids amino acids 1212 0.0410.041 myelin sheath myelin sheath 1212 0.0410.041

(39)

Restri

ç

_ç

ões

_ões

Simples

_Simples

Aumentamos a precisão (no topo)

–

Reduzimos o esfor

ç

o de valida

ç

ão:

–

~ 100 termos/

hr

Ainda temos alguns problemas:

1.

1. Algumas palavras frequentes/homóAlgumas palavras frequentes/homógrafas ainda grafas ainda

trazem muitos candidatos falsos (

trazem muitos candidatos falsos (ex: ex: ““cancan”)”)

2.

2. Ocorrências divididas entre o Plural/SingularOcorrências divididas entre o Plural/Singular

3.

3. Termos encapsulados são ainda difíTermos encapsulados são ainda difíceis de separarceis de separar

–

– “nervous“nervous system”system” e “e “central central nervousnervous systemsystem””

4.

(40)

Mais

restri

_restri

ç

_ç

ões

_ões

…

_…

Objectivo: melhorar a precisão e resolver

alguns

dos problemas anteriores (1 & 2)

Se

“

obrigarmos

”

a que os N

-

Gramas sejam

SN, então a singulariza

ç

ão

é

trivial em

v

á

rias l

í

nguas

Vamos impor 1 nova restri

ç

ão: os N

-

Gramas

têm de ser precedidos por certas palavras

–

Ex

:

“

a

”

,

“

the

”

,

“

one

”

,

“

as

”

,

etc

.

–

É

f

ácil impor restri

á

cil impor restriç

ções para

ões para

“

PT”

PT

”

,

“

ES”

ES

”

,

”

FR”

FR

”

,

“

IT

”

–

(41)

Mais

restri

_restri

ç

_ç

ões

_ões

:

_:

resultados

_resultados

N

central nervous system

central nervous system 1515 0.051 0.051 peripheral nervous system

peripheral nervous system 99 0.030 0.030 node of

node of ranvierranvier 66 0.0200.020 integral membrane protein

integral membrane protein 66 0.020 0.020 synthesis of proteins

synthesis of proteins 44 0.013 0.013 nuclear pore complex

nuclear pore complex 44 0.013 0.013 induction of

induction of ltpltp/ltd/ltd 44 0.013 0.013 primary visual cortex

primary visual cortex 33 0.010 0.010 energy of

energy of atpatp 33 0.010 0.010 development of neural

development of neural 33 0.010 0.010 rate of transmission

rate of transmission 33 0.010 0.010 activation of

activation of nmdanmda 22 0.006 0.006 evoked

evoked ntntsecretionsecretion 22 0.006 0.006 refinement of neural

refinement of neural 22 0.006 0.006 xenopus

xenopusretinotectalretinotectalsystemsystem 22 0.006 0.006 induction of

induction of ltpltp 22 0.006 0.006 activity

activity--induced synaptic modificationinduced synaptic modification 22 0.006 0.006 cytochrome

cytochromeb geneb gene 22 0.006 0.006 activity

activity--dependent synaptic dependent synaptic 22 0.006 0.006

N

cell body cell body 4646 0.157 0.157 nervous system nervous system 3535 0.119 0.119 spinal cord spinal cord 3131 0.106 0.106 action potential action potential 3030 0.102 0.102 nerve cell nerve cell 2626 0.089 0.089 electrical activity electrical activity 2222 0.075 0.075 synaptic cleft synaptic cleft 2020 0.068 0.068 plasma membrane plasma membrane 1616 0.054 0.054 glial

glialcellcell 1616 0.054 0.054 central nervous central nervous 1515 0.051 0.051 myelin sheath myelin sheath 1212 0.041 0.041 developing circuit developing circuit 1111 0.037 0.037 neural circuit neural circuit 1010 0.034 0.034 peripheral nervous peripheral nervous 99 0.030 0.030 protein synthesis protein synthesis 99 0.030 0.030 endoplasmic reticulum endoplasmic reticulum 88 0.027 0.027 human brain human brain 88 0.027 0.027 respiratory chain respiratory chain 77 0.023 0.023 schwann

(42)

Qual

é

_é

a

_a

melhoria

_melhoria

?

_?

Aumento da precisão

–

Torna

-se mais f

-

se mais fá

á

cil o processo de valida

ção!

ç

ão!

Formas Plural/Singular convergiram

F

á

cil de implementar

“

Multilingue

”

Muito rá

Muito r

ápido: como h

pido: como há

á

exclusão de muitos

N

-

Gramas, a ordena

ç

ão

é

r

á

pida!

–

(43)

Problemas por resolver

Valor Abrangência: ainda desconhecido!

–

Precisamos de fazer testes!

Problema do encapsulamento dos termos.

Como resolver?

–

Simples: tentar primeiro achar N-

Simples: tentar primeiro achar N

-Gramas

Gramas

maiores e partir s

ó

depois para o menores.

–

Custo: CPU

…

Problemas das variantes morfol

ó

gicas:

–

Seria necess

á

rio implementar regras de

transforma

ção de equivalentes

ç

ão de equivalentes

–

(44)

O

M

_M

é

_é

todo

_todo

do Corp

_{do Corp}

ó

_ó

grafo

_grafo

Algoritmo h

í

brido simples:

–

F

á

cil de implementar

–

Simples para utilizadores compreenderem

–

Execu

ç

ão em tempo linear

-

O(kN

)

–

É

possí

poss

í

vel alterar as restri

ç

ões para

adaptar a certos dom

í

nios

–

Pode ser portado para v

á

rios idiomas

–

Ainda melhor

á

vel, sem demasiado

trabalho

(45)

Extrac

ç

_ç

ão de Terminologia

_{ão de Terminologia}

Conclusões:

1.

1. Terminologia Terminologia éé algo muito dinâmicoalgo muito dinâmico 2.

2. Terminologia tem grande potencial aplicacional embora Terminologia tem grande potencial aplicacional embora não tenha sido poss

não tenha sido possíível ainda explorar tudo com vel ainda explorar tudo com sucesso.

sucesso. 3.

3. A ExtracA Extracçção de Terminologia ão de Terminologia éé por isso por isso úútil, mas til, mas éé tamb

tambéém uma tarefa dependente de um contextom uma tarefa dependente de um contexto 4.

4. Têm sido propostos vTêm sido propostos váários mrios méétodos que possuem todos que possuem caracter

características mais adaptadas a certos contextos. ísticas mais adaptadas a certos contextos. Baseados em:

Extracção Automática de Terminologia

Extrac

Extrac

ç

ç

ão Autom

ão Autom

á

á

tica

tica

de Terminologia

de Terminologia

Uma breve abordagem

Uma breve abordagem

Resumo

Resumo





O que

O que

é

é

Terminologia (11)

Terminologia (11)





Para que serve a

Para que serve a

Terminolgia

Terminolgia

(3)

(3)





Como Extrair

Como Extrair

Terminolgia

Terminolgia

(14)

(14)

–

–

V

V

á

á

rios m

rios m

é

é

todos

todos





Um caso particular (14)

Um caso particular (14)

–

–

Corp

Corp

ógrafo

ó

grafo



Motiva

Motiva

ç

ç

ão para a EAT

ão para a EAT

Os “

Os

“

termos

termos

”

”

são uma parte essencial da

são uma parte essencial da

_ç

_{ão Autom}

_á

_tica

_ç

_{ão para a EAT}

_Termos

_”