Segundo HAREM, ReRelEM e LAMPADA 2.0

Segundo HAREM,

Segundo HAREM,

ReRelEM

_ReRelEM

e LAMPADA 2.0

e LAMPADA 2.0

Cl

Clááudia Freitasudia Freitas

Linguateca

Linguateca//PUCPUC--RioRio

PUC‐Rio 20/04/2010

HAREM

Avaliação e Reconhecimento de

Entidades Mencionadas

avaliação conjunta:

“modelo de avaliação em que vários grupos

comparam, com base num conjunto de tarefas

consensuais, o progresso dos seus sistemas

numa dada área, usando para isso um

conjunto de recursos

conjunto de recursos

comum e uma métrica

‰

EM em contexto

3

O acordo político foi obtido durante a Presidência Alemã, tendo cabido a

<CATEG="ORGANIZACAO">Portugal</EM> concluir o processo de revisão.

Regressou então a <CATEG="LOCAL">Portugal</EM>, onde iniciou meteórica carreira...

«o problema do PSD é começar a ter só um

<CATEG="ABSTRACCAO">Portugal</EM> ou dois dentro de si»

<CATEG="PESSOA">Portugal</EM> perdeu com a Suíça por 2-0

A radiação de origem cósmica, prevista pelo <CATEG="ABSTRACCAO">

Big Bang </EM>, seria descoberta em 1964...

... pelo qual tem início a expansão das galáxias que os cosmologistas descrevem como uma explosão, ou seja, o

<CATEG="ACONTECIMENTO"> Big Bang </EM>.

HAREM

HAREM

Caracter

Caracter

í

í

sticas principais (Santos, 2007b)

sticas principais (Santos, 2007b)

I. Modelo semântico

I. Modelo semântico

Æ

Æ

NE classificadas em contexto

NE classificadas em contexto

A morte

A morte é é reportada no reportada no Diário de Notícias do dia do dia

('

('The The death death is is announced announced in Diin Diáário de Notrio de Notíícias')cias')

A diferen

A diferençça entre o a entre o ´´Jornal de NotJornal de Notííciascias´´ e o e o ´´Diário de Notícias’ ’ ('

('The The difference difference between between Jornal de NotJornal de Notíícias cias and and DiDiáário de Notrio de Notíícias')cias')

O seu pai era funcion

O seu pai era funcionáário prio púúblico do Ministblico do Ministéério da Justirio da Justiçça e cra e críítico musical do tico musical do

´

´Diário de Notícias´´

('

('His His father father was was an an employee employee of of the the Ministry Ministry of of the the Justice Justice and and a a music music reviewer

reviewer for Difor Diáário de Notrio de Notíícias')cias') …

… foi fotografado pelo foi fotografado pelo Diário de Notícias (DN) a fumar uma cigarrilha(DN) a fumar uma cigarrilha... ...

('had a picture taken by

('had a picture taken by DiDiáário rio de de NotNotíícias cias smoking a cigarette')smoking a cigarette')

Æ LOCAL VIRTUAL COMSOC / place

Æ COISA CLASSE / thing

Æ ORGANIZACAO EMPRESA/ org

Æ PESSOA GRUPOMEMBRO / person

Caracter

Caracter

í

í

sticas principais (Santos, 2007b)

sticas principais (Santos, 2007b)

I. Modelo semântico

I. Modelo semântico

Æ Uma EM pode receber simultaneamente mais de uma

classificação

Mais de 32 mil pessoas poderiam morrer se uma pandemia de gripe aviária atingisse

<CATEG="PESSOA|LOCAL" TIPO="POVO|HUMANO">Portugal</EM>

Assim aceitam sacramentos do <CATEG="ABSTRACCAO|OBRA"

TIPO="IDEIA|PLANO">Evangelho </EM>: o Santo Batismo, através do qual....

O carácter diferente da <CATEG="ABSTRACCAO|ACONTECIMENTO "

TIPO="IDEIA|EFEMERIDE">Reforma Inglesa </EM> deve-se ao facto de ter

sido promovida pelas necessidades políticas de Henrique VIII.

Caracter

Caracter

í

í

sticas principais (Santos, 2007b)

sticas principais (Santos, 2007b)

II. Vagueza

II. Vagueza

A <CATEG=“PESSOA|ORGANIZACAO“

TIPO=“GRUPOIND|ADMINISTRACAO"> Administração Bush </EM>

Æ

Æ

Initial

Initial

corpus

corpus

-

-

based

based

approach +

approach +

participant

participant

suggestions

suggestions

10 Categories 43 Types 22 Subtypes DATA HORA GRUPOCARGO GRUPOIND GRUPOMEMBRO INDIVIDUAL MEMBRO CARGO ADMINISTRACAO EMPRESA INSTITUICAO DISCIPLINA ESTADO IDEIA NOME CLASSE MEMBROCLASSE OBJECTO SUBSTANCIA ORGANIZADO EFEMERIDE EVENTO MOEDA QUANTIDADE CLASSIFICACAO ARTE REPRODUZIDA VIRTUAL POVO DURACAO FREQUENCIA GENERICO TEMPO_CALEND PLANO HUMANO FISICO EM INTERVALO COMSOCIAL SITIO OBRA CONSTRUCAO REGIAO DIVISAO PAIS RUA AGUAMASSA RELEVO REGIAO PLANETA AGUACURSO ILHA PESSOA ABSTRACCAO ACONTECIMENTO COISA OBRA ORGANIZACAO VALOR LOCAL TEMPO

Caracter

Caracter

í

í

sticas principais (Santos, 2007b)

sticas principais (Santos, 2007b)

III. Categorias

III. Categorias

Æ

Æ

ALT

_ALT

mechanism

_mechanism

Quantos atletas participaram nos

Quantos atletas participaram nos Jogos Ol

mpicos de

Barcelona?

<ALT><Jogos Olímpicos de Barcelona | <Jogos Olímpicos> de <Barcelona>

</ALT>

Barcelona Olympic Games Æ EVENT

Barcelona Olympic Games

EVENT PLACE

Caracter

Caracter

í

í

sticas principais (Santos, 2007b)

sticas principais (Santos, 2007b)

IV. EM encaixadas

IV. EM encaixadas

Nova tarefa

Nova tarefa

-

_-

ReRelEM

_ReRelEM

Anaphora resolution

Mitkov, 2000; Collovoni et al., 2007; de Souza et al. 2008

Focused on co-reference Anaphoric chains in texts

+

Agichtein and Gravano, 2000; Zhao and Grishman, 2005; Culottaand Sorensen, 2004

Fact extraction World knowledge

=

Investigar quais as relacoes

seriam encontradas nos textos

Criar tarefa piloto que

comaparasse os sistemas que

reconhecem essas relacoes

ReRelEM

Reconhecimento de Relações entre Entidades Mencionadas

Relation detection between named entities

ReRelEM

HAREM

Portugal perdeu para a Alemanha nas quartas de final da

Eurocopa. Vi o jogo na Praça da República, e mesmo com a

derrota os bares de Coimbra continuaram cheios.

HAREM →

ReRelEM

Portugal perdeu para a Alemanha nas quartas de final da

Eurocopa. Vi o jogo na Praça da República, e mesmo com a

derrota os bares de Coimbra estavam cheios.

<EM ID="h-37" CATEG=“PESSOA" TIPO=“GRUPOMEMBRO">Portugal</EM> perdeu para a

<EM ID="h-38" CATEG="PESSOA" TIPO=“GRUPOMEMBRO">Alemanha</EM> na <EM ID="

h-39" CATEG=“ACONTECIMENTO" TIPO=“ORGANIZADO">Eurocopa</EM>. Vi o jogo na <EM ID="h-40" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“RUA">Praça da República</EM>, e

mesmo com a derrota os bares de <EM ID="h-41" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“DIVISAO">Coimbra</EM> estavam cheios.

HAREM →

ReRelEM

Portugal perdeu para a Alemanha nas quartas de final da

Eurocopa. Vi o jogo na Praça da República, e mesmo com a

derrota os bares de Coimbra estavam cheios.

<EM ID="h-37" CATEG=“PESSOA" TIPO=“GRUPOMEMBRO">Portugal</EM> perdeu para a

<EM ID="h-38" CATEG="PESSOA" TIPO=“GRUPOMEMBRO">Alemanha</EM> na <EM ID="h-39" CATEG=“ACONTECIMENTO" TIPO=“ORGANIZADO">Eurocopa</EM>. Vi o jogo na <EM ID="h-40" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“RUA">Praça da República</EM>, e

mesmo com a derrota os bares de <EM ID="h-41" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“DIVISAO">Coimbra</EM> estavam cheios.

HAREM →

ReRelEM

Portugal perdeu para a Alemanha nas quartas de final da

Eurocopa. Vi o jogo na Praça da República, e mesmo com a

derrota os bares de Coimbra estavam cheios.

<EM ID="h-37" CATEG=“PESSOA" TIPO=“GRUPOMEMBRO">Portugal</EM> perdeu para a

<EM ID="h-38" CATEG="PESSOA" TIPO=“GRUPOMEMBRO">Alemanha</EM> na <EM ID="

h-39" CATEG=“ACONTECIMENTO" TIPO=“ORGANIZADO">Eurocopa</EM>. Vi o jogo na <EM ID="h-40" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“RUA">Praça da República</EM>, e

mesmo com a derrota os bares de <EM ID="h-41" CATEG="LOCAL" TIPO="HUMANO" SUBTIPO=“DIVISAO">Coimbra</EM> estavam cheios.

Portugal Eurocopa Alemanha Eurocopa

Pr. da República Coimbra

ReRelEM – o que anotar?

Depois de ser exibida no Rio, chega a São Paulo a mostra Carmen Miranda Para Sempre, que será inaugurada hoje para convidados no Memorial da América Latina. Fotos, roupas, objetos, são mais de 700 peças reunidas para contar a história da "Pequena Notável " ou a

Brazilian Bombshell- não há no mundo quem não conheça essa genial estrela que conquistou o Brasil, a Broadway e Hollywood.

A mostra tem percurso cronológico e está dividida em núcleos. Inicia com o nascimento em Portugal e inclui imagens de sua família.

Depois, vem a fase brasileira (...).Era uma "mulher art déco dos anos 30", que usava calças, ternos e vestidos belos - em particular, há

uma sala especial com retratos da artista feitos em 1931, em Buenos Aires, pela alemã Annemarie Heinrich

Depois de ser exibida no Rio, chega a São Paulo a mostra Carmen Miranda Para Sempre, que será inaugurada hoje para convidados no

Memorial da AmAméérica Latinarica Latina. Fotos, roupas, objetos, são mais de

700 peças reunidas para contar a história da "Pequena NotPequena Notáável vel " ou

a Brazilian Bombshell- não há no mundo quem não conheça essa genial estrela que conquistou o BrasilBrasil, a Broadway Broadway e HollywoodHollywood.

A mostra tem percurso cronológico e está dividida em núcleos. Inicia com o nascimento em Portugal e inclui imagens de sua família.

Depois, vem a fase brasileira (...).Era uma "mulher art déco dos anos 30", que usava calças, ternos e vestidos belos - em particular, há

uma sala especial com retratos da artista feitos em 1931, em Buenos Buenos Aires

Aires, pela alemã Annemarie Heinrich

Depois de ser exibida no Rio, chega a São Paulo a mostra Carmen Miranda Para Sempre, que será inaugurada hoje para convidados no

Memorial da AmAméérica Latinarica Latina. Fotos, roupas, objetos, são mais de

700 peças reunidas para contar a história da "Pequena NotPequena Notáável vel " ou

a Brazilian Bombshell- não há no mundo quem não conheça essa

genial estrela que conquistou o BrasilBrasil, a Broadway Broadway e HollywoodHollywood.

A mostra tem percurso cronológico e está dividida em núcleos. Inicia com o nascimento em Portugal e inclui imagens de sua família.

Depois, vem a fase brasileira (...).Era uma "mulher art déco dos anos 30", que usava calças, ternos e vestidos belos - em particular, há

uma sala especial com retratos da artista feitos em 1931, em Buenos Buenos Aires

Aires, pela alemã Annemarie Heinrich

Am

Améérica Latinarica Latina

Buenos

Buenos

Pequena Not

Pequena Notáávelvel

Brazilian Bombshell

Brasil

Brasil BroadwayBroadway HollywoodHollywood

Aires

Aires

?

?

?

RELAÇÃO QUE NÃO ESTÁ NO TEXTO

MAS É RELAÇAO MARCADA NO ReRelEM!

ReRelEM: o que anotar?

„

Compatibilizar anotação linguisticamente

motivada e interesses (e capacidades) dos

sistemas

Visitei uma exposição de cavalos, no Peru, e

vi raças que só conhecia de fotografia:

Falabella, Hunter, Berbere, Andaluz e Paso

Peru

Paso

?

?

z

Necessidades de informação imprevisíveis

‰

‰

Identidade (

Identidade (

ident

ident

)

)

‰

‰

Inclus

Inclus

ão

ão

(

(

inclui

inclui

/

/

incluido

incluido

)

)

‰

‰

Localizacao

Localizacao

(

(

ocorre

ocorre

-

-

em

em

/

/

sede

sede

-

-

de

de

)

)

‰

‰

Outra

Outra

foi fundada em 1131 por D. Telo (São Teotónio) It was founded in 1132 by D. Telo (São Teotónio)

Hamilton, colega de Alonso na McLaren Lewis Hamilton, Alonso's team-mate in McLaren

GP Brasil – Não faltou emoção em Interlagos no Circuito José Carlos Pace desde a primeira volta…

9

8

Relações

consideradas

<EM ID="ex1-39" CATEG="PESSOA" TIPO="INDIVIDUAL">Miguel Rodrigues</EM>,

chefe dos

<EM ID="ex1-40" CATEG="ORGANIZACAO" TIPO="INSTITUICAO" COREL="ex1-39"

TIPOREL=“vinculo_inst">Serviços Administrativos</EM>

da

<EM ID="ex1-41" CATEG="ORGANIZACAO“ TIPO="INSTITUICAO" COREL="ex1-40"

TIPOREL="inclui">Universidade de Trás-os-Montes e Alto Douro</EM>

<EM ID="ex1-42“ CATEG="ORGANIZACAO" TIPO="INSTITUICAO" COREL="ex1-41

ex1-40" TIPOREL="ident inclui">UTAD</EM>

Anotação

‰

No need

to annotate

all

relations

‰

Evaluation

program

expands

all

possible

relations

vinculo_inst

inclui

ident inclui

A ident B ∧ B ident C      ⇒ A ident C A inclui B ∧ B inclui C      ⇒ A inclui C A inclui B ∧ B sede_de C ⇒ A sede_de C A ident B ∧ B any_rel C   ⇒ A any_rel C

A ident B ∧ B ident C      ⇒ A ident C A inclui B ∧ B inclui C      ⇒ A inclui C A inclui B ∧ B sede_de C ⇒ A sede_de C A ident B ∧ B any_rel C   ⇒ A any_rel C

Relations and vague categories

(...) a ideia de uma Europa_LOCAL/PESSOA unida. (...) um dia feliz

para as cidadãs e os cidadãos da União Europeia _LOCAL. (...)

Somos essencialmente uma comunidade de valores -- são estes valores comuns que constituem o fundamento da

União Europeia _{ABST/ORG/LOCAL}

the idea of a united Europe (...) a happy day for the citizens of the

European Union (...) We are mainly a community of values and

these common values constitute the foundation of the European

Union

ident

occurs‐in

occurs‐in

‰

‰

Evaluate JUST the relations (not the NE)

Evaluate JUST the relations (not the NE)

System

Portugal_ORG inclui Lisboa_LOCAL

GC

Portugal_LOCAL inclui Lisboa_LOCAL

Relations with mismatched arguments were ignored

[Universidade de Lisboa] | [Universidade de Lisboa] |

---Alternative segmentations were ignored

[Universidade] de [Lisboa]

Avalia

Avalia

ç

ç

ão

ão

ReRelEM

ReRelEM

Second

Second

HAREM

HAREM

Collection

Collection

Distribution by text genre

DOCS: 1,040

Paragraphs: 15,737 Words: 670,610

DOCS: 129 Paragraphs: 2,274 Words: 147,991

NEs: 7,847

Vague NEs: 633 [52 classes]

NE distribution

Second

Second

HAREM

_HAREM

Golden

_Golden

Collection

_Collection

Relation type #

autor_de/obra_de (authorship) 145

causador_de (agent) 22

consequencia_de (result_of) 1

data_de /datado_de (date of) 105

data_morte (death date) 10

data_nascimento (birth date) 6

ident (identity) 2234 inclui/incluido (inclusion) 869

local_nascimento_de/natural_de (birth place) 142

localizado_em/localizacao_de (place of) 24

nome_de/nomeado_por (name-of) 57

ocorre_em/sede_de / (location) 360

outra_edicao (other edition) 3

outrarel (other relation) 94

participante_em/ter_participacao_de (participation-in) 155

periodo_vida (lifetime) 5

personagem_de (character of) 14

praticado_em/pratica_se/praticante_de/praticado_por (practicing) 99

produtor_de/produzido_por (manufacturing) 53

proprietario_de/propriedade_de (ownership) 39

relacao_familiar (kinship relation) 88

relacao_profissional (professional relation) 17

residente_de/residencia_de (place of residence) 19

vinculo_inst (affiliation) 282 TOTAL 4852 DOCS: 129 Paragraphs: 2,274 Words: 147,991 NE: 7,847 Relations: 4,852 NE with relations: 3,784

ReRelEM relation types

ReRelEM

ReRelEM

Golden

Golden

Collection

Collection

–

–

full

full

version

version

Relations that the systems had to _{explicitly name}

Relations under OUTRA/OTHER

Relations per category #

ABSTRACCAO/ abstraction 258 ACONTECIMENTO/event 170 COISA / thing 175 LOCAL / place 963 OBRA / title 274 ORGANIZACAO / org 794 OUTRO / other 25 PESSOA / person 1289 TEMPO / time 193 VALOR / value 19

ReRelEM relations per category

Second

Second

HAREM

_HAREM

Resources

_Resources

Second

Second

HAREM

HAREM

Collection

Collection

Second

Second

HAREM

HAREM

Golden

Golden

Collection

Collection

(GC)

(GC)

TEMPO GC

TEMPO GC

ReRelEM

ReRelEM

GC

GC

Evaluation

Evaluation

programs

programs

System

System

runs

runs

Documentation

Documentation

L

L

ÂMPADA

ÂMPADA

–

–

Second

Second

HAREM

HAREM

Resource

Resource

Package

Package

http://www.linguateca.pt/HAREM/PacoteRecursosSegundoHAREM.zip http://www.linguateca.pt/HAREM/PacoteRecursosSegundoHAREM.zip

+

+

+

+

+

=

+

SAHARA and AC/DC: further access

to HAREM and ReRelEM resources

‰

‰

Sahara web service

Sahara web service

http://

http://

www.linguateca.pt

www.linguateca.pt

/SAHARA/

/SAHARA/

–

–

Submit new runs and

Submit new runs and

…

…

ƒ

ƒ select different options for scoring against the select different options for scoring against the GC(sGC(s);); ƒ

ƒ use several scenarios;use several scenarios; ƒ

ƒ check the relative performance against the official runs. check the relative performance against the official runs.

‰

‰

AC/DC, interaction with the parsed GC

AC/DC, interaction with the parsed GC

Santos, 2007)

http://www.linguateca.pt/ACDC/

http://www.linguateca.pt/ACDC/

Acknowledgements

Acknowledgements

„

„

Linguateca

Linguateca

and

and

HAREM

HAREM

were

were

funded

funded

by

by

the

_the

Portuguese

_Portuguese

government

_government

and

_and

the

the

European

European

Union

Union

with

with

contract

contract

number

number

339/1.3/C/NAC, UMIC and

339/1.3/C/NAC, UMIC and

FCCN

FCCN

Slides referidos nesta apresentação:

[Carvalho et al. 2008]

Paula Carvalho, Hugo Gonçalo Oliveira, Cristina Mota, Diana Santos & Cláudia Freitas. "Segundo HAREM: Modelo geral, novidades e avaliação". Encontro do Segundo HAREM (Universidade de Aveiro, Portugal, 7 de Setembro de 2008). [Freitas et al. 2008]

Cláudia Freitas, Diana Santos, Hugo Gonçalo Oliveira & Paula Carvalho. "ReRelEM: Relações Semânticas no Segundo HAREM". Encontro do Segundo HAREM

(Universidade de Aveiro, Portugal, 7 de Setembro de 2008). [Freitas et al. 2009]

Cláudia Freitas, Diana Santos, Cristina Mota, Hugo Gonçalo Oliveira & Paula Carvalho. "Detection of relations between named entities: report of a shared task". In Proceedings of the NAACL HLT Workshop on Semantic Evaluations: Recent Achievements and Future Directions, SEW-2009 (Boulder, Colorado, USA, June 4, 2009).

[Freitas et al. 2010]

Cláudia Freitas, Paula Carvalho, Hugo Gonçalo Oliveira, Cristina Mota & Diana Santos. "Second HAREM: advancing the state of the art of named entity

recognition in Portuguese". In The seventh international conference on Language Resources and Evaluation (LREC 2010) (Malta, 10-21 de Maio de 2010).