6 Avaliação do ConPor
7.2 Extensões
7.2.3 Formas de avaliação
¾ Utilização de outros corpora de teste
Poderiam ser considerados outros corpora, incluindo outras construções lingüísticas, sujeitas, no entanto, às limitações das construções contempladas pelo sistema;
Poderiam, também, ser considerados corpora de teste autênticos e mais representativos da língua portuguesa, incluindo construções sintáticas não previstas e fenômenos como a ambigüidade de sentido, de modo a avaliar o comportamento do ConPor diante de aspectos não considerados;
¾ Realização de uma avaliação glassbox, analisando, isoladamente, os três principais aspectos do sistema: (a) a atribuição dos papéis semânticos aos constituintes da sentença; (b) a seleção dos conceitos, no léxico enriquecido, para cada constituinte; e (c) a escolha das relações semânticas entre os pares de conceitos;
¾ Realização de uma avaliação extrínseca (e, possivelmente, comparativa) no contexto de tradução automática do Projeto UNL;
¾ Realização de uma avaliação intrínseca comparativa com os resultados produzidos pelo interpretador semântico do projeto EPT-Web, quando seu desenvolvimento estiver concluído, muito embora ele considere o inglês como língua fonte.
É importante ressaltar que todas as extensões citadas nesta seção visam aumentar a robustez do ConPor, o qual, no estágio atual, é um protótipo elementar de geração conceitual de estruturas UNL para sentenças em português, cujas limitações certamente não condizem com as variações naturais na interpretação dessa LN. Imposta a restrição de se projetar um sistema simples, inicialmente pequeno, o importante foi verificar a consistência estruturas conceituais produzidas, tanto pela correspondência entre seus resultados automáticos e um
corpus de referência, quanto pela correspondência superficial e semântica de sentenças em português. Em contrapartida, esse sistema, mesmo que limitado, pode servir de referência para outros trabalhos para o português, contribuindo, com isso, para o andamento das pesquisas em Lingüística Computacional.
Referências bibliográficas
Abrahão, P.R.C. (1997). Modelagem e Implementação de um Léxico Semântico para o
Português. Dissertação de Mestrado, PUC/RS, Porto Alegre.
Allen, J. (1995). Natural Language Understanding. The Benjamin/Cummings Publishing Company, California.
Antiqueira L.; Fossey, M.F.; Pedrolongo, T.; Greghi, J.G.; Martins, R.T.; Nunes, M.G.V. (2002). A construção do corpus e dos dicionários Inglês-UNL e UNL-português para o
projeto EPT-Web. Série de Relatórios do NILC, NILC-TR-02-24. São Carlos, Dezembro, 14p.
Basili,R.; Zanzotto, F.M. (2002). Parsing Engineering and Empirical Robustness. Natural
Language Engineering, 8 (2/3), pp. 97-120. Cambridge University Press, United Kingdom. Beale, S.; Nirenburg, S.; Mahesh, K. (1996). Semantic Analysis in the Mikrokosmos Machine Translation Project. In Proceedings of the Symposium on Natural Language Processing, pp. 294-307. Kaset Sart University, Bangkok, Thailand.
Bean, C.; Rindflesch, T.C.; Sneiderman, C.A. (1998). Automatic Semantic Interpretation of Anatomic Spatial Relationships in Clinical Text. In Proceedings of the AMIA Annual Fall
Symposium, pp. 897-901. Orlando, Florida.
Borba, F.S. (1990). Dicionário gramatical de verbos do português contemporâneo do Brasil. Fundação Editora Unesp, São Paulo.
Borba, F.S. (1996). Uma gramática de valências para o português. Editora Ática, São Paulo. Brachman, R.; Schmolze, J. (eds) (1982). Proceedings of the 1981 KL-ONE Workshop.
Jackson, New Hampshire.
Chafe, W. (1970). Meaning and the Structure of the Language. University of Chicago Press, Chicago.
Colmerauer, A. (1977). An Interesting Subset of Natural Language. Groupe Intelligence Artificielle, Faculté des Sciences de Luminv, Marseilee, France.
Copestake, A. (1993). The Compleat LKB. University of Cambridge Computer Laboratory. Czuba, K.; Mitamura, T.; Nyberg, E. (1998). Can Practical Interlinguas Be Used for Difficult
Analysis Problems? In Proceedings of the 2nd Workshop on Interlinguas at the 3rd
Conference for the Association for Machine Translation in the Americas. Langhorne, Pennsylvania.
Dias-da-Silva, B.C.; Sossolote, C.R.C.; Zavaglia, C.; Montilha, G.; Rino, L.H.M.; Nunes, M.G.V.; Oliveira Jr., O.N.; Aluísio, S.M. (1998). The design of a Brazilian Portuguese machine tractable dictionary for an interlingua sentence generator. In V.L.S. Lima (ed),
Proceedings of the III Encontro para o Processamento Computacional da Língua Portuguesa Escrita e Falada, pp. 71-78. Porto Alegre.
Dik, S.C. (1997). The theory of functional grammar part 1: the structure of the clause. Mouton de Gruyter, Berlim.
Dorr, B.J. (1992). The Use of Lexical Semantics in Interlingual Machine Translation. Journal
of Machine Translation, 7(3):135-193.
Dorr, B. J. (1993). Machine Translation: A View from the Lexicon. MIT Press, Cambridge. Dorr, B.J.; Hendler, J.; Blanksteen, S.; Migdalof, B. (1995). Use of LCS and Discourse for
Intelligent Tutoring: On Beyond Syntax. In M. Holland, J. Kaplan, and M. Sams (eds),
Intelligent Language Tutors: Balancing Theory and Technology, pp. 288-309. Lawrence Erlbaum Associates, Hillsdale.
Door, B.J.; Voss, C. (1996). A Multi-Level Approach to Interlingual MT: Defining the Interface between Representational Languages. In L.M. Iwanska and S.C. Shapiro (eds),
Natural Language Processing and Knowledge Representation: Language for Knowledge and Knowledge for Language. The MIT Press, 2000.
Evans, R.; Gazdar, G. (1996). DATR – A Language for Lexical Knowledge Representation. Brington. School of Cognitive and Computing Sciences, The University of Sussex.
linguistic theory. Rinehard and Winston, New York, pp. 1-88.
Fillmore, C. (1977). The case for case reopened. In P. Cole and J. Sadock (eds), Syntax and
Semantics 8: Grammatical Relations, pp. 59-81. Academic Press, New York.
Garcia, L.S. (1995) Linx: Um Ambiente Integrado de Interface para Sistemas de Informação
Baseados em Conhecimento. Tese de Doutorado, Departamento de Informática, PUC-Rio, Rio de Janeiro.
Germann, U. Making Semantic Interpretation Parser-Independent. In Proceedings of the 2nd
Workshop on Interlinguas at the 3rd Conference for the Association for Machine Translation in the Americas. Langhorne, Pennsylvania.
Greghi, J.G; Martins, R.T.; Nunes, M.G.V. (2001). O Processo de Desenvolvimento da
BDL-NILC. Série de Relatórios do NILC, NILC-TR-01-7. São Carlos, Outubro, 57p.
Grishman, R.; Macleod, C; Sterling, J. (1992). Evaluating Parsing Strategies Using Standardized Parse Files. In Proceedings of the 3rd ACL Conference on Applied Natural
Language Processing, pp. 156-161. Trento, Italy.
Jackendoff, R. (1990). Semantic Structures. The MIT Press, Cambridge.
Kaplan, R.M.; Bresnan, J. (1982). Lexical-Functional Grammar: A Formal System for Grammatical Representation. In J. Bresnan (ed), The Mental Representation of
Grammatical Relations. The MIT Press, Cambridge.
Katz, J.; Fodor, J.A. (1963). The Structure of a Semantic Theory. Language, 39, pp. 170-210. Levin, B. (1993). English Verb Classes and Alternations: A Preliminary Investigation.
University of Chicago Press, Chicago.
Marcus, M.; Kim, G.; Marcinkiewicz, M.A.; MacIntyre, R.; Bies, A; Ferguson, M.; Katz, K.; Schasberger, B. (1994). The Penn Treebank: Annotating Predicate Argument Structure. In
Proceedings of the Human Language Technology Workshop, Morgan Kaufmann, San Francisco.
Martins, C.B. (2002). UNLSumm: Um Sumarizador Automático de Textos UNL. Dissertação de Mestrado, DC/UFSCar, São Carlos.
Martins, R.T.; Hasegawa, R.; Nunes, M.G.V. (2002). Curupira: um parser funcional para o
português. Série de Relatórios Técnicos do NILC, NILC-TR-02-26. São Carlos, Dezembro, 43p.
Martins, R.T.; Rino, L.H.M.; Nunes, M.G.V.; Montilha, G.; Oliveira Jr., O.N. (2000). An interlingua aiming at communication on the Web: How language-independent can it be? In
Proceedings of the Workshop on Applied Interlinguas: Practical Applications of Interlingual Approaches to NLP (Pre-Conference Workshop in conjunction with ANLP-NAACL2000). Seattle, Washington.
Miller, G. (1990). Wordnet: An On-line Lexical Database. International Journal of
Lexicography, 3, pp. 235-312.
Mitamura, T.; Nyberg, E.H. (1992). Hierarchical Lexical Structure and Interpretive Mapping in Machine Translation. In Proceedings of COLING-92. Nantes, France.
Moore, R.C. (1994). Semantic evaluation for spoken-language systems. In Proceedings of the
1994 ARPA Human Language Technology Workshop. Princeton, New Jersey.
Moraes, H.R. (2002). Categorias Aspectuais: Vendler, Dik, Chafe e Pustejovsky. 50º Seminário do Grupo de Estudos Lingüísticos do Estado de São Paulo. Faculdade de Filosofia, Letras e Ciências da USP.
MUC-7 (1998). Proceedings of the 7th Message Understanding System Evaluation and
Message Understanding Conference. Morgan Kaufman, Washington. Disponível em http://www.saic.com (10/2002).
Nunes, M.G.V.; Aluísio, S.M.; Bonfante, A.G.; Dias-da-Silva, B.C.; Hasegawa, R.; Jesus, M.A.C.; Martins, R.T.; Montilha, G.; Oliveira Jr., O.N.; Rino, L.H.M.; Sossolote, C.R.; Zavaglia, C. (1997). Developing a UNL decodifier for Brazilian Portuguese. In
Proceedings of the II Workshop of UNL/Brazil Project. NCE/UFRJ, Rio de Janeiro. Nunes, M.G.V.; Vieira, F.M.C.; Zavaglia, C.; Sossolote, C.R.C.; Hernandez, J. (1996). A
Construção de um Léxico da Língua Portuguesa do Brasil para suporte à Correção Automática de Textos. Tech.Rep. 42 (Relatórios Técnicos do ICMC), Universidade de São Paulo, São Carlos.
Nunes, M.G.V.; Oliveira Jr., O.N. (2000). O processo de desenvolvimento do Revisor Gramatical ReGra. In Anais do XXVII SEMISH (XX Congresso Nacional da Sociedade
Brasileira de Computação), vol. 1, p.6. PUC-PR, Curitiba.
Nyberg, E. (1988). The FrameKit User’s Guide: Version 2.0. Technical Report, Center of Machine Translation, Carnegie Mellon University, CMU-CMT-88-MEMO.
Onyshkevych, B.; Nirenburg, S. (1994). The Lexicon in the Scheme of KBMT Things. Technical Report MCCS-94-277, Computing Research Laboratory, New Mexico State University, Las Cruces.
Palmer, M.S.; Finin, T. (1990). Workshop on the Evaluation of Natural Language Processing
Systems. Unisys Center for Advanced Information Technology, Pennsylvania.
Pereira, F.C.N.; Warren, D.H.D. (1980). Definite Clause Grammars for Language Analysis – A Survey of the Formalism and a Comparison with Augmented Transition Networks.
Artificial Intelligence, 13, pp. 231-278.
Prasad, R; Sarkar, A. (2000). Comparing test-suite based evaluation and corpus-based evaluation of a wide-coverage grammar of English. In Proceedings of LREC’2000 Satellite
Workshop: Using Evaluation within HLT Programs – Results and Trends, pp. 7-12. Pustejovsky, J. (1991). The syntax of the event structure. Cognition, vol. 41, pp. 47-81. Pustejovsky, J. (1995). The generative lexicon. The MIT Press, London.
Ravin, Y. (1990). Lexical Semantics without Thematic Roles. Oxford University Press, New York.
Rino, L. H. M.; Martins, R. T.; Marchi, A. R.; Kuhn, D. C. S.; Pinheiro, G. M.; Pardo, T. A. S.; Di Felippo, A.; Nunes, M. G. V. (2001). Projeto TraSem: A investigação teórica sobre
o problema da ambigüidade categorial. Série de Relatórios do NILC, NILC-TR-01-1. São Carlos, Abril, 42p.
Rosé, C.P. (2000). A Framework for Robust Semantic Interpretation. In Proceedings of the
1st Meeting of the North American Chapter of the Association for Computational Linguistics, pp. 311-318. Seattle, WA.
Romacker, M.; Markert, K.; Hahn, U. (1999). Lean semantic interpretation. In Proceedings of
the 16th International Joint Conference on Artificial Intelligence, pp. 868-875. Stockholm. Romacker, M.; Hahn, U. (2000). An Empirical Assessment of Semantic Interpretation. In
Proceedings of the 6th Applied Natural Language Processing Conference & the 1st Conference of the North American Chapter of the Association for Computational Linguistics, pp. 327-334. Seattle, Washington.
Schank, R. (1975). Conceptual Information Processing. North-Holland Publishing Company. Smith, G.W. (1991). Computers and Human Language. Oxford University Press, New York. Sossolote, E.R.C.; Zavaglia, C.; Rino, L.H.M.; Nunes, M.G.V. (1997). As Manifestações
Morfossintáticas da Linguagem UNL no Português do Brasil, Tech.Rep. NILC-TR-97-02 (Notas do ICMC, no.36), Universidade de São Paulo, São Carlos, 76p.
Sparck-Jones, K.; Galliers, J.R. (1996). Evaluating Natural Language Processing Systems:
an Analysis and Review. Springer-Verlag.
Teufel, S.; Moens, M. (1999). Argumentative classification of extracted sentences as a first step towards flexible abstracting. In I. Mani and M.T. Maybory (eds), Advances in
Automatic Text Summarization. The MIT Press, Cambridge.
Uchida, H. (2000). Master Dictionary Specifications. UNU/IAS/UNL Center. Tokyo. Uchida, H. (2001). UNL Knowledge Base. UNU/IAS/UNL Center. Tokyo.
Uchida, H.; Zhu, M.; Senta, T.D. (1999). The UNL, a Gift for a Millennium. UNU/IAS/UNL Center. Tokyo.
UNL (2001). The Universal Networking Language (UNL) Specifications. UNU/IAS/UNL Center. Tokyo.
Vendler, Z. (1967). Linguistics in philosophy. Cornell University Press, New York.
Viegas, E.; Raskin, V. (1998). Computational Semantic Lexicon Acquisition: Methodology
and Guidelines. Computing Research Laboratory, New Mexico State University, Las Cruces.
Wilensky, R.; Arens, Y. (1980). PHRAN - a knowledge based natural language understander. In Proceedings of the 18th Annual Meeting of the Association for Computational
Linguistics, pp. 117-121. Philadelphia, PA.
Woods, W.A. (1970). Transition Network Grammars for Natural Language Analysis.
Communications of the ACM 13(10), pp. 591-606. Reprinted in B.J. Grosz, K. Spark-Jones and B.L. Webber (eds), Readings in Natural Language Processing, pp. 71-87. Morgan Kaufmann Publishers, Inc., California, 1986.
Woods, W.A. (1977). Lunar rocks in natural English: Explorations in natural language question answering. In A. Zampoli (ed), Linguistic Structures. Elsevier North-Holland, New York.
Apêndice A - A implementação do ConPor
Nesta seção são apresentadas algumas considerações sobre o modelo computacional que realiza o processo de mapeamento sintático-conceitual, implementado no módulo gerador conceitual. O processamento realizado pelo gerador conceitual consiste, basicamente, da aplicação das regras do repositório conceitual, controlada pelo mecanismo de inferência da linguagem Prolog (Colmerauer, 1977), usada para a implementação tanto das regras de projeção quanto dos templates de relacionamento. A linguagem Prolog foi adotada por facilitar a definição de gramáticas para a LN, principalmente porque é declarativa e possui um mecanismo de inferência próprio, com recursos como a unificação e o de retrocesso (backtracking). Ao fazer uso desses recursos, a linguagem torna exeqüível a simulação do processo de interpretação humana, que é não determinístico, permitindo a escolha por certos caminhos mesmo quando não é possível determinar, a priori, se são adequados. A recuperação do processo, no caso de uma regra inadequada, é feita automaticamente e de modo transparente pelo mecanismo backtracking, que anula a estrutura conceitual parcialmente construída a partir do ponto de escolha de tal regra, buscando outra alternativa de análise.
Para viabilizar a utilização do ConPor, foi implementado (na linguagem Delphi®) e integrado ao gerado conceitual um módulo que faz a interface entre usuário e o processo de mapeamento em Prolog. Esse módulo é responsável por: (a) receber a entrada do usuário para o sistema e, quando necessário, realizar as devidas conversões, por meio de algumas regras de pré-edição, para transformar a estrutura sintática do parser Curupira em uma estrutura sintática no formato apropriado para o Prolog; (b) repassar a entrada no formato do Prolog para o processo de mapeamento; e (c) depois de computados os resultados por esse processo, formatar tais resultados de acordo com a sintaxe dos documentos UNL, por meio de regras de pós-edição, exibindo apenas o resultado final para o usuário. Além desses procedimentos, o módulo de interface permite inserir ou excluir entradas no léxico enriquecido.
Para informar a entrada ao sistema, o usuário indica a sentença de entrada, no caso das sentenças já previstas e ilustradas como exemplos (ou seja, as sentenças do corpus base), ou a estrutura sintática de entrada, no formato do parser Curupira ou do Prolog. Essas e as demais funções e informações da interface do sistema são ilustradas na Figura 24 e descritas na Tabela 19.
Figura 24 – Tela da interface de acesso ao ConPor
Tabela 19 – Descrição das opções da interface de acesso ao ConPor
Opção Descrição
Sentenças do Corpus – Lista de Sentenças Exibe todas as sentenças do corpus base
Sentenças do Corpus – Visualizar ES Prolog Exibe a estrutura sintática no formato do Prolog para a sentença selecionada
Sentenças do Corpus – Visualizar todas ESs Prolog Exibe as estruturas sintáticas no formato do Prolog para todas as sentenças do corpus base Novas Sentenças – Estrutura Sintática - Formato
Parser
Permite informar uma determinada estrutura sintática no formato do parser, ou abrir um arquivo texto que a contenha. A estrutura informada pode, ainda, ser editada, salva ou impressa
Novas Sentenças – Converter para ES Prolog Converte a estrutura sintática no formato do
parser para seu respectivo formato no Prolog –
etapa de pré-edição
Estrutura Sintática – Formato Prolog Exibe a estrutura sintática no formato do Prolog, seja para a sentença do corpus base selecionada ou para a estrutura do parser convertida. Permite também abrir um arquivo texto com determinada(s) estrutura(s) já no formato Prolog, editar, salvar e imprimir essa(s) estrutura(s)
Estrutura Sintática – Gerar EC Dispara o subprocesso de mapeamento do
Prolog, que interpreta a(s) estrutura(s) sintática(s) no formato do Prolog e retorna como saída o(s) código(s) UNL e a(s) sentença(s) correspondente(s) a essa(s) estrutura(s). Em seguida, aplica automaticamente as regras de
pós-edição
Estrutura Conceitual UNL Exibe os códigos UNL gerados pelo subprocesso
de mapeamento e pós-editados. Permite editar, salvar e imprimir os códigos obtidos
A interface de acesso ao léxico enriquecido é ilustrada na Figura 25. As inserções e a exclusões de entradas lexicais são feitas de acordo com a categoria sintática do item lexical, haja vista que cada categoria apresenta diferentes traços. Por exemplo, para inserir o item “teste”, na sua forma canônica, os dados são informados na guia “Substantivos”, conforme ilustrado na Figura 25. Confirmada a inserção, a entrada criada no léxico enriquecido é a seguinte:
s(sin(singular),unl(test),sem([abstrato,inanimado,nao_humano])) --> [teste].
Figura 25 – Tela da interface de acesso ao léxico enriquecido
Como o ConPor permite mapear novas sentenças, desde que suas construções sejam contempladas pela gramática, as palavras dessas sentenças, caso não existam no léxico enriquecido, precisam ser inseridas. Nesse sentido, essa interface evita que o usuário precise alterar o código em Prolog, mais especificamente, que ele precise inserir as entradas de acordo com o formalismo da DCG (Definite Clause Grammar) (Pereira & Warren, 1980), que foi utilizado para declarar as entradas do léxico enriquecido.
Apêndice B - O custo de desenvolvimento do ConPor
Nesta seção são apresentados a quantidade de regras de projeção, templates de relacionamento e entradas lexicais dos recursos do ConPor. Sobre esse montante é realizada uma análise intuitiva sobre o custo de desenvolvimento e de possíveis expansões do ConPor.
Números
As entradas do léxico enriquecido representam as 694 palavras existentes nas sentenças do corpus base, que totalizam 372 palavras diferentes. Ao todo, esse léxico possui
514 entradas, que correspondem a todas as diferentes palavras do corpus (ou palavras iguais, com diferente classe gramatical), na forma como aparecem na sentença, e às suas respectivas formas canônicas (quando, na sentença, a palavra já não estiver na sua forma canônica).
Quanto ao número de regras de projeção, foram criadas 104 regras intermediárias e
188 regras terminais, totalizando 292 regras. Para combinar os elementos projetados por essas regras, foram criados 103templates de relacionamento.
Custo de desenvolvimento e expansão
O custo de desenvolvimento da versão atual do ConPor é analisado, aqui, em termos do número de regras necessárias para mapear as construções do corpus. Somando-se as regras de projeção aos templates de relacionamentos, o número total é 395. Esse número parece elevado, no entanto, Allen (1995) afirma que grandes quantidades de regras são necessárias em sistemas baseados em gramáticas gerativas que consideram informações semânticas, principalmente em sistemas cujo nível de granularidade das regras é alto. No ConPor, essa granularidade é alta em função da generalização pretendida, que exige que a decomposição das regras contemple todas as variações sintático-conceituais possíveis de constituintes nas sentenças do corpus.
Além disso, o levantamento desse número de regras não permite julgar, de forma categórica, o custo do ConPor, uma vez que não existem critérios ou limiares de referência, tampouco números resultantes de sistemas similares de mapeamento sintático-conceitual baseados em gramáticas gerativas, para servir de base de confrontação em análises comparativas.
O custo de expansão, por sua vez, é analisado, aqui, em termos número de regras adicionais que seriam necessárias para a expansão do corpus em uma proporção estabelecida hipoteticamente. Para tanto, o processo de mapeamento foi dividido em duas partes, sendo que cada parte é constituída pelas regras para mapear 50% das sentenças, na ordem na qual elas se encontram no corpus base. Em seguida, o número de regras definidas para mapear a primeira parte foi comparado com o número de regras adicionadas para mapear a segunda parte, conforme ilustra a Tabela 20. É importante ressaltar que as 107 diferentes estruturas sintáticas estão uniformemente distribuídas nas sentenças do corpus.
Tabela 20 – Número de regras e templates nas duas etapas do ConPor Nº para 61 sentenças
iniciais
Nº para 61 sentenças restantes
Regras de projeção intermediárias 78 26
Regras de projeção terminais 124 64
Templates de relacionamento 75 28
Total 277 118
Conforme ilustram os números da Tabela 20, a expansão do sistema, em termos do número de regras para o mapeamento, não é linear, uma vez que o número de regras de mapeamento criadas para a primeira metade das sentenças é bem maior que para a segunda (representando 70,1% das regas). Isso indica que o número de regras a serem acrescentadas tende a ser menor à medida que o sistema passa a contemplar novas construções.
Outra variável que pode ser considerada no custo da expansão do sistema é o número de entradas lexicais criadas na etapa de expansão. Esse número, no entanto, é diretamente proporcional à diversidade das palavras nas novas sentenças do corpus base. Uma vez que não foram utilizadas técnicas para otimizar a representação e o armazenamento das entradas lexicais, o custo de expansão dessas entradas pode ser considerado linear em relação ao crescimento do número de palavras ainda não pertencentes ao léxico enriquecido.