Segundo HAREM: Modelo geral, novidades e avaliação

(1)

Modelo Geral, Novidades e Avaliação

Paula Carvalho e Hugo Oliveira

Diana Santos, Cláudia Freitas e Cristina Mota

Encontro do Segundo HAREM

Universidade de Aveiro, 7 de Setembro de

2008

(2)

Desafios



_{HAREM clássico (seguindo genericamente o}

modelo de classificação proposto no Primeiro

HAREM, mas refinando algumas distinções,

quer ao nível da segmentação das EM quer

da sua classificação)



_{Pista para identificação e normalização de}

expressões temporais (Hagège et al., 2008)



_{Pista ReRelEM, para a identificação de}

(3)

Calendário do HAREM (2007)

Primeira chamada para o

Segundo HAREM

Data-limite para

registo no HAREM

Data-limite para

discussão sobre os

moldes do Segundo

HAREM

Versão preliminar das

directivas do Segundo

HAREM

(4)

Calendário do HAREM (2008)

Directivas finais e

material de treino

Colecção HAREM

Primeira versão da

_{Colecção Dourada}

 Primeira versão da mini-CD do

TEMPO e a versão final CD

 Primeira versão da mini-CD do

ReRelEM

 Versão final da mini-CD do TEMPO

 Resultados preliminares do

HAREM clássico

Resultados preliminares da pista

do TEMPO

Versão final da

mini-CD do ReRelEM

 Resultados da

pista ReRelEM

 Relatórios de

(5)

Caracterização do HAREM

 EM em contexto

5 O acordo político quanto à revisão foi obtido durante a

<EM ID="

aa46996-48

"

CATEG="

ACONTECIMENTO

" TIPO="

ORGANIZADO

">

Presidência Alemã

, tendo cabido a

<EM ID="

aa46996-54

" CATEG="

ORGANIZACAO

"

TIPO="

ADMINISTRACAO

">

Portugal

concluir o processo de revisão.

Regressou então a

<EM ID="

hub-67792-106

" CATEG="

LOCAL

" TIPO="

HUMANO

"

SUBTIPO="

PAIS

">

Portugal

, onde iniciou meteórica carreira na experimentação de

novas formas de expressão

Este debate passou completamente ao lado de

<EM ID="

H2-dftre765-8

" CATEG="

PESSOA

"

TIPO="

POVO

">

Portugal

«o problema do

<EM ID="

hub-24360-322

“ CATEG="

ORGANIZACAO|ABSTRACCAO

"

TIPO="

INSTITUICAO|DISCIPLINA

">

PSD

é começar a ter só um

<EM ID="

hub-24360-323

"

CATEG="

ABSTRACCAO

" TIPO="

IDEIA

">

Portugal

ou dois dentro de si»

<EM ID=“

Ex-1GM

" CATEG="

PESSOA

" TIPO=“

GRUPOMEMBRO

">

Portugal

perdeu

com a

<EM ID=“

Ex-2GM

" CATEG="

PESSOA

" TIPO=“

GRUPOMEMBRO

“>

Suíça

por

(6)

Caracterização do HAREM

 EM vagas

Pela mão do

<EM ID="

aa66435-107

" CATEG="

PESSOA

" TIPO="

INDIVIDUAL

">

ministro Freitas

do Amaral

, e sem necessidade alguma,

<EM ID="

aa66435-108

"

CATEG="

ORGANIZACAO|PESSOA

" TIPO="

ADMINISTRACAO|POVO

">

Portugal

foi

enxovalhado, coberto de vergonha e de cobardia, por um dos mais tristes textos políticos que

já alguém escreveu.

<EM ID="

hub-28874-31

" CATEG="

VALOR

" TIPO="

QUANTIDADE

">

Mais de 32 mil

pessoas poderiam morrer se uma pandemia de gripe humana de origem aviária atingisse

<EM ID="

hub-28874-32

" CATEG="

PESSOA|LOCAL

" TIPO="

POVO|HUMANO

" SUBTIPO="

|

PAIS

">

Portugal

os dois reinos católicos,

<EM ID="

aa66435-51

" CATEG="

PESSOA|ORGANIZACAO

"

TIPO="

GRUPOIND|ADMINISTRACAO

">

Portugal

e

<EM ID="

aa66435-52

" CATEG="

PESSOA|ORGANIZACAO

" TIPO="

GRUPOIND|

ADMINISTRACAO

">

Espanha

, partiram à conquista do mundo e tornaram-se

<ALT>

<EM ID="

aa66435-53

" CATEG="

OUTRO

">

Impérios

| Impérios

</ALT>

marítimos do

<EM ID="

aa66435-54

" CATEG="

LOCAL|LOCAL

" TIPO="

FISICO|HUMANO

"

SUBTIPO="

REGIAO|DIVISAO

">

Novo Mundo

(7)

Caracterização do HAREM

 Análises alternativas (ALT)

7  Ambiguidade estrutural:

aproximava a <

ALT

>

<EM ID="

H2-dftre765-106

" CATEG="

ABSTRACCAO

"

TIPO="

DISCIPLINA

">

Igreja de Inglaterra

|

<EM ID="

H2-dftre765-106-aa

"

CATEG="

ABSTRACCAO

" TIPO="

DISCIPLINA

">

Igreja

de

<EM ID="

H2-dftre765-16

"

CATEG="

LOCAL

" TIPO="

HUMANO

" SUBTIPO="

PAIS

">

Inglaterra

</

ALT

>

do calvinismo.

 Possibilidade de uma expressão poder ser reconhecida

como EM, ou não:

<EM ID="

aa66435-51

" CATEG="

PESSOA|ORGANIZACAO

“ TIPO="

GRUPOIND|

ADMINISTRACAO

">

Portugal

e

<EM ID="

aa66435-52

" CATEG="

PESSOA|ORGANIZACAO

"

TIPO="

GRUPOIND|ADMINISTRACAO

">

Espanha

, partiram à conquista do mundo e

tornaram-se <

ALT

>

<

EM ID

="

aa66435-53

"

CATEG

="

OUTRO

">

Impérios

</

EM

> |

(8)

Novidades no Segundo HAREM



_{Uso extensivo de ALT para representação sistemática da}

estrutura interna das EM constituídas por outras EM

<ALT>

<EM ID="

aa55968-473

" CATEG="

PESSOA

" TIPO="

CARGO

">

presidente da Câmara de Nova

Iorque

| presidente da

<EM ID="

aa55968-7

" CATEG="

ORGANIZACAO

" TIPO="

ADMINISTRACAO

">

Câmara de Nova Iorque

| presidente da

<EM ID="

aa55968-475aa

" CATEG="

ORGANIZACAO

" TIPO="

ADMINISTRACAO

">

Câmara

de

<EM

ID="

aa55968-475

" CATEG="

LOCAL

" TIPO="

HUMANO

" SUBTIPO="

DIVISAO

">

Nova Iorque

</ALT>

(9)

Novidades no Segundo HAREM



_{ALT sistematicamente aplicados}

9 CATEG

ESTRUTURA

EXEMPLO

PESSOA

PESSOA de LOCAL

PESSOA de

ORGANIZACAO

PESSOA de ORG|LOCAL

PESSOA de PESSOA

Santo António de Lisboa

Presidente do Parlamento

Europeu

Presidente dos Estados Unidos

FCP de José Mourinho

ORGANIZACAO

ORG de LOCAL

ORG de ORG

Associação Académica de

Coimbra

Conselho da UE

LOCAL

LOCAL de LOCAL

LOCAL de ORGANIZACAO

Teatro Scala de Milão

Centro de Eventos da Fiergs

OBRA

OBRA de PESSOA

OBRA|LOCAL de LOCAL

Sagrada Família de Gaudí

Mosteiro de Santa

Clara-a-Velha

ACONTECIMENT

O

ACONT de LOCAL

ACONT de TEMPO

Jogos Olímpicos de Barcelona

Volta a Espanha de 1985

ABSTRACCAO

ABSTRACCAO de LOCAL

Blues do Delta

(10)

Novidades no Segundo HAREM

Não reconhecimento de certas palavras em maiúsculas como EM

 Quando ocorrem no âmbito de uma unidade lexical composta que

não constitui, ela própria, uma EM

pastéis de

Belém; amêijoas à Bulhão Pato

 Se os restantes constituintes (grafados em minúscula) dessa

unidade lexical integrarem a lista das minúsculas permitidas no

âmbito desta avaliação, toda a unidade lexical deverá ser

reconhecida como EM

<EM ID="ric-19806-172" CATEG="ABSTRACCAO“

TIPO="ESTADO">doença

doença de Chagas

(11)

CATEGORIA

TIPO

SUBTIPO

ABSTRACCAO

ESTADO, DISCIPLINA, IDEIA, NOME

OUTRO

ACONTECIMENTO

EFEMERIDE, EVENTO, ORGANIZADO

OUTRO

COISA

CLASSE, MEMBROCLASSE, OBJECTO

SUBSTANCIA,

OUTRO

LOCAL

FISICO

HUMANO

VIRTUAL

OUTRO

AGUACURSO, AGUAMASSA, ILHA,

PLANETA, REGIAO, RELEVO, OUTRO

CONSTRUCAO, DIVISAO, PAIS,

REGIAO, RUA, OUTRO

COMSOCIAL, OBRA, SITIO, OUTRO

OUTRO

OBRA

ARTE,

PLANO,

REPRODUZIDA,

OUTRO

ORGANIZACAO

ADMINISTRACAO, EMPRESA,

_INSTITUICAO,

_OUTRO

PESSOA

CARGO, GRUPOCARGO, GRUPOIND,

GRUPOMEMBRO, INDIVIDUAL,

MEMBRO,

POVO

,

OUTRO

TEMPO

DURACAO, FREQUENCIA, GENERICO

TEMPO_CALEND

OUTRO

DATA, HORA,

INTERVALO, OUTRO

VALOR

CLASSIFICACAO, MOEDA, QUANTIDADE,

_OUTRO

OUTRO

13 X ESCOLA, OBRA,

PLANO

X SUB

X PERIODO, CICLICO

X VARIADO

(12)

Colecção HAREM

Distribuição dos documentos

por género na CD

DOCS: 1040

Parágrafos: 15737

Palavras: 670610

(13)

CD em números (1)

15 DOCS:

129 Parágrafos:

2274

Palavras:

147991

Entidades:

7836

Entidades vagas: 633 [52

classes]

Distribuição de categorias

(14)

CD em números (2)

Categorias associadas

às entidades

Classes de vagueza

(15)

Processo de anotação da CD



_{Anotação da CD, usando o Etiquet(h)arem}

(16)

Processo de anotação da CD



_{Comparação automática das anotações, usando o}

Alinhador



_{Análise e discussão das diferenças encontradas}



_{Validação da sintaxe, usando o validador}

desenvolvido para o efeito



_{Revisão manual da CD}



_{Revisão sequencial dos documentos}



Revisão por categoria

(17)

Avaliação do HAREM clássico



_{Melhorias em relação ao Primeiro HAREM}



_{Contabilização de entidades parcialmente}

identificadas como incorrectas



_{Possibilidade de avaliação estrita dos ALT}



_{Casos conceptualmente distintos,}

representados de forma diferente: ignorância,

certeza de ser diferente, erro



_{Sistematização no tratamento das EM}

(18)

Avaliação da classificação

semântica

















N

n

certo

st

nsubtipos

certo

t

ntipos

certa

c

ncats

1 _

)

1

1 (

_

)

1

1 (

_

)

1

1 (

1 













M

n

espurio

st

nsubtipos

espurio

t

ntipos

espuria

c

ncats

1 _

1 





N = número de diferentes classificações na CD de acordo

com o cenário

M = número de classificações espúrias enviadas pelo sistema

α, β, γ = pesos das categorias (1), tipos (0.5) e subtipos

(0.25)

(c, t, st)_certo = 1, se estiver certo; caso contrário, (c, t,

st)_certo = 0

(19)

Programas de avaliação do

HAREM clássico: entradas

<?xml version="1.0" encoding="ISO-8859-1" ?>

<colHAREM versao="SegundoHarem">

…

<DOC DOCID="Xyz">

O <ALT> <EM ID="Xyz-60" CATEG="ACONTECIMENTO"

TIPO="ORGANIZADO">Tour de França de 2009 | <EM

ID="Xyz-60-aa" CATEG="ACONTECIMENTO"

TIPO="ORGANIZADO">Tour de França <EM ID="Xyz-5"

CATEG="TEMPO" TIPO="TEMPO_CALEND" SUBTIPO="DATA">de

2009 | <EM ID="Xyz-60-aaa" CATEG="ACONTECIMENTO"

TIPO="ORGANIZADO">Tour de <EM ID="Xyz-61"

CATEG="LOCAL" TIPO="HUMANO" SUBTIPO="PAIS">França

<EM ID="Xyz-5-aa" CATEG="TEMPO" TIPO="TEMPO_CALEND"

SUBTIPO="DATA">de 2009 </ALT> vai começar no <EM

ID="Xyz-584" CATEG="LOCAL" TIPO="HUMANO"

SUBTIPO="PAIS">Mónaco com um contra-relógio de <EM

ID="Xyz-585" CATEG="VALOR" TIPO="QUANTIDADE">15

quilómetros, numa etapa que também terminará no

principado monegasco. O início do contra-relógio terá lugar

precisamente no mesmo local do local de partida das provas de

<EM ID="Xyz-586" CATEG="ABSTRACCAO"

TIPO="DISCIPLINA">Fórmula 1. "O prestígio do principado,

a filosofia que tem para o desporto e grandes eventos e a

localização geográfrica" foram apontados por <EM ID="Xyz-587"

CATEG="PESSOA" TIPO="INDIVIDUAL">Christian

Prudhomme como justificação para a decisão.

</DOC>

…

</colHAREM>

CDHAREM.xml

<?xml version="1.0" encoding="ISO-8859-1" ?>

<colHAREM versao="CD">

…

<DOC DOCID="Xyz">

O Tour de <EM ID="Xyz_1" CATEG="LOCAL" TIPO=“FISICO“

SUBTIPO=“REGIAO">França <EM ID="Xyz_2"

CATEG="TEMPO" TIPO="TEMPO_CALEND" SUBTIPO="DATA">de

2009 vai começar no <EM ID="Xyz_3" CATEG="LOCAL"

TIPO="HUMANO" SUBTIPO="PAIS">Mónaco com um

contra-relógio de <EM ID="Xyz_4" CATEG="VALOR"

TIPO="QUANTIDADE">15 quilómetros, numa etapa que

também terminará no principado monegasco. O início do

contra-relógio terá lugar precisamente no mesmo local do local de partida

das provas de Fórmula 1. "O prestígio do principado, a filosofia

que tem para o desporto e grandes eventos e a localização

geográfrica" foram apontados por <EM ID="Xyz_5"

CATEG="PESSOA" TIPO="INDIVIDUAL">Christian

Prudhomme como justificação para a decisão.

</DOC>

</colHAREM>

participacao.xml

(20)

DOC Xyz <ALT> <ALT1>

Tour de França de 2009 ---> [França, de 2009] </ALT1>

<ALT2>

Tour de França ---> [França]

de 2009 ---> [de 2009]

</ALT2> <ALT3>

Tour ---> [null]

França ---> [França]

de 2009 ---> [de 2009]

</ALT3> </ALT>

Mónaco ---> [Mónaco]

15 quilómetros ---> [15 quilómetros]

Programas de avaliação do

HAREM clássico:

Alinhador

CDHAREM.xml

participacao.xml

EMs

na CD

EMs na

participaç

ão

(21)

Tour de França de 2009 ---> [França, de 2009]:: [Parcialmente_Correcto_por_Defeito(0.1; 0.9), Parcialmente_Correcto_por_Defeito(0.2; 0.8)]

</ALT1> <ALT2>

Tour de França ---> [<EM ID="Xyz_1" CATEG="LOCAL"

TIPO="FISICO" SUBTIPO="REGIAO">França]::[Parcialmente_Correcto_por_Defeito(0.16666666666666666; 0.8333333333333334)] de 2009 ---> [<EM ID="Xyz_2" CATEG="TEMPO"

TIPO="TEMPO_CALEND" SUBTIPO="DATA">de 2009]::[Correcto] </ALT2>

<ALT3>

Tour ---> [null]::[Em_Falta]

França ---> [França]::[Correcto]

de 2009 ---> [de 2009]::[Correcto]

</ALT3> </ALT>

Mónaco ---> [Mónaco]::[Correcto]

15 quilómetros ---> [15 quilómetros]::[Correcto]

Fórmula 1 ---> [null]::[Em_Falta]

Christian Prudhomme ---> [Christian Prudhomme]::[Correcto]

Programas de avaliação do

HAREM clássico:

Avaliador de alinhamentos

Alinhador

CDHAREM.xml

participacao.xml

Avaliador de

alinhamentos

EM em

falta

Alinhamentos

classificados como:

Correctos, Espurios,

Em Falta ou

Parcialmente

Correctos

EMs parcialmente

correctas são

removidas na

próxima fase

(22)

Tipos de cenário



_{Cenário total: elenco completo de categorias,}

tipos e subtipos propostos para o Segundo

HAREM.



_{Cenário selectivo de avaliação: sub-conjunto de}

categorias, tipos e subtipos do cenário total que é

alvo de avaliação.



_{Cenário selectivo de participação: sub-conjunto}

de categorias, tipos e subtipos do cenário total que

cada participante se propôs a utilizar.

(23)

#LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUT RO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA})

França ---> [França]::[Espurio] </ALT1>

França ---> [França]::[Correcto]

</ALT3> </ALT>

Programas de avaliação do

HAREM clássico:

Véus HAREM

Alinhador

CDHAREM.xml

participacao.xml

Avaliador de

alinhamentos

Véus

(HAREM)

Dentro desta

alternativa, a EM é

espúria

Alinhamentos filtrados de

acordo com o cenário

pretendido

Remoção de

alinhamentos

parcialmente correctos

(24)

França ---> [França]::[Correcto]^1

</ALT1> </ALT>

Programas de avaliação do

HAREM clássico:

Organizador de ALTs

Organizador

de ALTs

Alinhador

CDHAREM.xml

participacao.xml

Avaliador de

alinhamentos

Véus

(HAREM)

- Remoção de alternativas vazias/duplicadas, surgidas depois da

aplicação de véus

- Remoção de EMs alinhadas mais do que uma vez dentro do mesmo

ALT

- Atribuição do peso1/total de ALT a cada EM dentro de um ALT

Peso

A EM espúria desapareceu porque

alinhava correctamente com a alternativa

(25)

Programas de avaliação do

HAREM clássico:

Avaliador semântico

França ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5892857142857144) CSC(0.875) PALT(1.0)}]

</ALT1> </ALT>

Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta: []) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5833333333333333)

CSC(1.5833333333333333)}]

Avaliador

semântico

Organizador

de ALTs

Alinhador

CDHAREM.xml

participacao.xml

Avaliador de

alinhamentos

Véus

(HAREM)

Precisão

Abrangência

Medida-F

- Avaliação dos atributos

semânticos.

Classificaç

ão máxima

da EM na

CD

Classificaç

ão máxima

da EM na

participaçã

o

Classificaç

ão efectiva

Peso ALT

(26)

Programas de avaliação do

HAREM clássico:

Selector de ALTs

DOC Xyz

França ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5892857142857144) CSC(0.875)}]

Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta: []) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD(1.5833333333333333) MaxCSC_S(1.5833333333333333)

CSC(1.5833333333333333)}]

Avaliador

semântico

Organizador

de ALTs

Alinhador

CDHAREM.xml

participacao.xml

Avaliador de

alinhamentos

Véus

(HAREM)

Selector

de ALTs

Selecção da melhor alternativa

(melhor medida-F e melhor

classificação)

Ficou a única alternativa que

existia

(27)

Participação no Segundo HAREM



_{Manifestações de interesse:}

₂₂



_{Sistemas inscritos:}

₁₆



_{Sistemas participantes:}

₁₀



_Saídas:

₂₇

_{(máx. 4 por participante)}

(28)

Cenários selectivos de participação

Sistema

CE

N

PES

OR

G

LOC OB

R

AC

O

AB

S

CO

I

TEM VA

L

Cage2

Sel2

CAT

F + H

CAT

DobrEM

Pes

PorTexTO

Temp

Priberam

Tot

R3M

Sel3

REMBRANDT

Tot

REMMA

Sel4

C/T

SEI-Geo

Sel5

F + H

SeRELeP

Tot

XIP/L2F/XER

OX

Sel6

NORM

Identificaç

ão

CAT – apenas CATEGORIA

C/T – apenas CATEGORIA e TIPO

(29)

Resultados



_{Cenário total com avaliação estrita de ALTs}

(30)

Resultados

(31)

Resultados



_{Cenário próprio com avaliação relaxada de}

ALTs

(32)

Avaliação por categorias (melhores

sistemas)

Precisão

Abrangência

(33)

Agradecimentos



_{A Linguateca e o HAREM são financiados}

através do contrato nº 339/1.3/C/NAC,

financiado pelo governo português e pela

União Europeia, e executado pela FCCN.

Segundo HAREM: Modelo geral, novidades e avaliação

Modelo Geral, Novidades e Avaliação

Paula Carvalho e Hugo Oliveira

Diana Santos, Cláudia Freitas e Cristina Mota

Encontro do Segundo HAREM

Universidade de Aveiro, 7 de Setembro de

2008

Desafios



HAREM clássico (seguindo genericamente o

modelo de classificação proposto no Primeiro

HAREM, mas refinando algumas distinções,

quer ao nível da segmentação das EM quer

da sua classificação)



Pista para identificação e normalização de

expressões temporais (Hagège et al., 2008)



Pista ReRelEM, para a identificação de

Calendário do HAREM (2007)

Primeira chamada para o

Segundo HAREM

Data-limite para

registo no HAREM

Data-limite para

discussão sobre os

moldes do Segundo

HAREM

Versão preliminar das

directivas do Segundo

HAREM

Calendário do HAREM (2008)

Directivas finais e

material de treino

Colecção HAREM

Primeira versão da

Colecção Dourada

 Primeira versão da mini-CD do

TEMPO e a versão final CD

 Primeira versão da mini-CD do

ReRelEM

 Versão final da mini-CD do TEMPO

 Resultados preliminares do

HAREM clássico

Resultados preliminares da pista

do TEMPO

Versão final da

mini-CD do ReRelEM

 Resultados da

pista ReRelEM

 Relatórios de

Caracterização do HAREM

5

O acordo político quanto à revisão foi obtido durante a

<EM ID="

aa46996-48

"

CATEG="

ACONTECIMENTO

" TIPO="

ORGANIZADO

">

Presidência Alemã

</EM>

, tendo cabido a

<EM ID="

aa46996-54

" CATEG="

ORGANIZACAO

"

TIPO="

ADMINISTRACAO

">

Portugal

</EM>

concluir o processo de revisão.

Regressou então a

<EM ID="

hub-67792-106

" CATEG="

_{HAREM clássico (seguindo genericamente o}

_{Pista para identificação e normalização de}

_{Pista ReRelEM, para a identificação de}

_{Colecção Dourada}