Contribuições

A primeira contribuição apontada é a de que vários modelos de SA propostos e desenvolvidos neste trabalho superaram outros sumarizadores para o Português do Brasil, conforme apontando em (1) e (2) a seguir:

1) Considerando-se o SuPor-2, todos os experimentos conduzidos neste trabalho (ver Capítulo 6) indicaram-no como o que produz extratos mais

informativos, incluindo a própria replicação do experimento de Rino et al. (2004) que o comparou a outros oito sistemas. Além disso, o SuPor-2 também superou a utilização individual e combinada de medidas de redes complexas, como foi mostrado na Seção 6.4 e também apontado por Antiqueira et al. (2009). Entretanto, como reportado aqui e em Antiqueira et al., os testes não indicaram significância estatística. A condução de uma avaliação em um corpus maior poderia ser útil nessa comprovação.

Apresenta-se na Tabela 7-1 um quadro listando os sistemas com os quais o SuPor-2 foi comparado. A tabela mostra os métodos de combinação e ponderação explorados em cada um, o número e tipo de características empregadas, uma indicação estimada do custo computacional e os recursos dependentes de língua utilizados.

Sugere-se que o motivo principal do SuPor-2 superar os demais pode ser explicado pelo fato de combinar características diversas de SA por meio de um modelo de aprendizado de máquina Bayesiano, que se evidenciou mais promissor para o ranking de sentenças. Embora tanto o SuPor original quanto o ClassSumm também sigam uma estratégia semelhante, as diferenças principais são:

a) O SuPor utiliza a representação binária das características, empobrecendo o poder de decisão do modelo de aprendizado;

b) O ClassSumm não emprega características mais elaboradas como o SuPor-2 e o SuPor, que mapeiam métodos completos de SA como o de Cadeias Lexicais e Mapa de Relacionamentos em características. Além disso, o ClassSumm adota um processo de discretização de características antes da utilização do classificador Naïve-Bayes. No SuPor-2, essa discretização não é necessária pois o classificador trata características numéricas diretamente.

Tabela 7-1 – Quadro comparativo de sistemas de SA para o Português do Brasil Sistema Modelo de Combinação de Características Exigência

de Treino Características Número de Características Tipo das Custo

30 Computacional Recursos Dependentes de Língua Natural

SuPor-2 Flexible-Bayes Sim 11 _{Multinominais} Numéricas e Médio

Stoplist Léxico Stemmer Etiquetador morfossintático Thesaurus CN-Voting (Antiqueira et

al. 2009) Votação Não 14 Numéricas Médio

Stoplist Stemmer

SuPor (Módolo

2003) Naïve-Bayes Sim 11 Binárias Médio

Stoplist Léxico Stemmer Etiquetador morfossintático Thesaurus ClassSumm (Larocca Neto

et al. 2002) Naïve-Bayes Sim 13

Numéricas e Multinominais Médio Stoplist Stemmer Etiquetador morfossintático Lista de palavras indicativas SABio (Orrú et al. 2006) Rede Neural

Multicamada Sim 7 Multinominais Alto

Stoplist Stemmer Lista de palavras indicativas TF-ISF- Summ (Larocca Neto et al. 2000)

Não há Não 1 Numérica Baixo _StemmerStoplist

GistSumm (Pardo et al.

2003) Não há Não 1 Numérica Baixo

Stoplist

Léxico NeuralSumm

(Pardo 2003) Rede Neural SOM Sim 8 Multinominais Alto

Stoplist Stemmer Lista de palavras indicativas

Cabe apontar que todos os sistemas comparados apresentam certo grau de dependência de língua natural. Os dependem menos são os que demandam apenas recursos como stoplist e stemmer ou Léxico, como o GistSumm e o TF-ISF. Já o SuPor, SuPor-2 e ClassSumm dependem de mais recursos, como por exemplo um etiquetador morfossintático. Entretanto, a dependência encontra-se apenas nos recursos, amplamente disponíveis para o Inglês e cada vez mais sendo disponibilizados para outras línguas.

2) Uma outra contribuição com relação à evolução de índices foi a construção dos modelos baseados no TextRank, descritos na Seção 5.2. Através da

30

incorporação de recursos linguísticos relativamente simples, as versões originais propostas por Mihalcea (2005) foram superadas, conforme se mostrou na Seção 6.3. Além disso, Antiqueira et al. (2009) também reportam que essas duas versões superaram o melhor modelo de redes complexas numa avaliação conduzida sobre o corpus TeMário-2003 e com a ROUGE-1 como métrica em foco. Entretanto, não foram conduzidos testes de significância estatística.

Agrupam-se ainda contribuições adicionais deste trabalho de mestrado em três categorias: implementações, contribuições teóricas e publicações acadêmicas.

a) Implementações

• Desenvolvimento do SuPor-2 a partir de uma reengenharia sobre o SuPor original e acoplamento à ferramenta WEKA, em linguagem Object Pascal (Delphi). Esse sumarizador foi implementado como um software independente, podendo ser disponibilizado para utilização;

• Desenvolvimento de modelos aperfeiçoados do TextRank, em linguagem Object Pascal (Delphi). Ambos os modelos foram desenvolvidos como softwares independentes e podem ser disponibilizados para utilização; • Desenvolvimento de modelos de características combinadas do SuPor-2 e

da área de Redes Complexas, em linguagem Perl. Em função da dependência do cálculo das medidas de redes complexas, não disponíveis livremente, a distribuição e utilização desses sumarizadores é restrita; • Desenvolvimento do SuPor-2 Fuzzy em linguagem Java e Object Pascal

(Delphi). O software é independente e pode ser disponibilizado para utilização.

b) Contribuições Teóricas

• A proposição do modelo de mapeamento dos métodos e medidas originalmente utilizadas no SuPor em características numéricas e multinomiais que vieram a ser utilizadas no SuPor-2 e mais posteriormente no SuPor-2 Fuzzy de forma adaptada;

• A exploração e proposição para SA de métodos de seleção automática de características;

• A exploração e construção de modelos de SA utilizando grandes números de características. Pelo nosso conhecimento, não há trabalho que tenha explorado além de 37 características;

• A proposição de um modelo de ranking nebuloso de sentenças.

c) Publicações acadêmicas

• Desenvolvimento do SuPor-2 (Leite e Rino 2006);

• Desenvolvimento dos modelos baseados no TextRank (Leite et al. 2007); • Exploração combinada de características do SuPor-2 e da área Redes

Complexas (Leite e Rino 2008);

• Desenvolvimento do SuPor-2 Fuzzy (Leite e Rino 2009).