4.1 Abordagem Proposta
5.2.2 Avaliando as Formas de Representação e os Métodos de Ponderação de
Este primeiro experimento avalia o desempenho da adoção de cinco formas de re- presentação de conceitos. Além das formas tradicionais usando unigramas ou bigramas, também consideramos as seguintes representações investigadas por Schluter e Søgaard (2015): entidades nomeadas, dependências sintáticas rotuladas e com um rótulo genérico
Entidades Nomeadas: A ideia dessa representação é utilizar como conceitos expres-
sões que se referem a nomes de pessoas, lugares, organizações, entre outros. Tais elementos são importantes para sumarização, pois descrevem entidades do mundo real que são mencionadas no documento. Além dessas classes tradicionais, outras categorias classificadas como entidades pela ferramenta Stanford CoreNLP também foram consideradas: Porcentagem, Data, entre outras.
Dependências Sintáticas: Essa representação utiliza as dependências sintáticas entre
as palavras como conceitos. Algumas dessas dependências podem ser do tipo su- jeito, objeto direto e indireto, complemento, entre outras. Por exemplo, dada a frase “John walks on the beach.”, as seguintes dependências são extraídas: root(ROOT,
walks), nsubj(walks, John), case(beach, on), det(beach,the), nmod:on(walks, beach).
Assim como proposto por Schluter e Søgaard (2015), duas formas de representa- ção são derivadas a partir das dependências sintáticas: (i) Usando explicitamente o tipo da dependência para rotular a relação (Dep. Sintática R.), por exemplo,
nsubj(walks, John); e (ii) Adotando um tipo genérico para rotular as dependências
(Dep. Sintática G.), por exemplo, dep(walks, John).
O método de ponderação de conceitos proposto e descrito na Seção 5.1.1 e os seguintes métodos individuais são avaliados em conjunto com as cinco representações descritas acima. Vale salientar que todos os escores de relevância são normalizados e variam entre 0 e 1.
Frequência do Conceito: Neste método, o peso de um conceito é dado pelo número de
vezes que ele é mencionado na coleção de documentos de entrada, normalizado pelo total de conceitos dos documentos.
Frequência do Conceito - Frequência Inversa do Conceito (FC-FIC): Este mé-
todo é baseado no tradicional TF-IDF muito usado na área de recuperação de in- formação. O FC-FIC de um conceito 𝑐𝑖 é calculado como demonstrado na Equação
5.4. 𝐹 𝐶 − 𝐹 𝐼𝐶(𝑐𝑖) = 𝐹 𝐶(𝑐𝑖) × 𝑙𝑜𝑔 (︃ 𝑆 𝑠𝑐𝑖 )︃ (5.4) no qual,
• 𝐹 𝐶 retorna a frequência de um conceito 𝑐𝑖 em todos os documentos de entrada;
• 𝑆 é o total de sentenças na coleção de documentos; • 𝑠𝑐𝑖 é o total de sentenças nas quais 𝑐𝑖 é mencionado.
Frequência dos Documentos: Este método computa a importância de um conceito
Frequência das Sentenças: Neste método, a relevância de um conceito é dado pelo
número de frases em que ele aparece.
Método Proposto: É o método de ponderação do conceito proposto neste trabalho e
apresentado na Equação 5.1.
Posição das Sentenças: A importância de um conceito é dada com base na média da
pontuação da posição da primeira sentença que menciona o conceito em cada docu- mento, conforme apresentado na Equação 5.2.
Os limiares de similaridade 𝜆 usado na etapa de agrupamento das sentenças e do tamanho mínimo do grupo de sentenças 𝛾 empregado na etapa de geração de resumo são definidos como zero neste experimento, ou seja, nenhuma sentença é removida nessas etapas usando esses limiares. Na seção 5.2.3, o impacto desses limites no desempenho da abordagem proposta é analisado.
São apresentados na Tabela 22 e na Tabela 23 os resultados da avaliação das formas de representação e dos métodos de ponderação de conceito em termos das medidas de cobertura do ROUGE-1 (R-1) e ROUGE-2 (R-2). Cenários de diferenças com significância estatística entre o método com melhor desempenho e os demais métodos avaliados são indicadas usando o símbolo †††. Para isso, utilizou-se o teste Wilcoxon signed-rank adotando 95% de nível de significância para ambas as medidas do ROUGE.
No total, 48 comparações foram realizadas levando em consideração os quatro corpora adotados, os seis métodos de ponderação de conceitos investigados e as duas medidas de avaliação do R-1 e R-2. Analisando as formas de representação de conceito, adotando bigramas resultou em um melhor desempenho em relação às demais representações em 56,25% das comparações, seguido pela Dep. Sintática G. (20,83%), Dep. Sintática R. (14,58%) e unigramas (8,34%). Além dos melhores resultados com base nas medidas do ROUGE, a utilização de bigramas introduz menos variáveis no modelo de PLI do que outras representações, como o unigramas, e também requer menor esforço computacional durante a etapa de pré-processamento do que adotar dependências sintáticas rotuladas ou não rotuladas. A adoção de Entidades Nomeadas como conceitos apresentou o pior desem- penho entre as formas de representação de conceito avaliados. Uma possível razão para esse baixo desempenho é a pouca quantidade de entidades reconhecidas pela ferramenta Stanford CoreNLP.
Analisando os métodos individuais de ponderação de conceitos, o método de posição das sentenças e frequência dos documentos apresentaram, no geral, os dois melhores re- sultados em ambas as medidas do ROUGE. O método de posição das sentenças obteve melhor desempenho do que todos os outros métodos em dois dos quatro conjuntos de dados (DUC 2002 e DUC 2004) em ambas as medidas do R-1 e R-2, e no DUC 2001 com base na pontuação do R-2. O método de frequência dos documentos apresentou o melhor resultado no DUC 2001 em relação à pontuação R-1. Os métodos de frequência
Tabela 22 – Resultados (%) e desvio padrão (entre parênteses) no DUC 2001-2002. O me- lhor desempenho global de cada corpus é destacado em negrito, e o grupo de configurações estatisticamente semelhantes, se existir, é indicado pelo símbolo †††.
Métodos DUC 2001 DUC 2002
R-1 R-2 R-1 R-2 Freq. Conceito Bigrama 32,39 (6,60) 7,96 (3,85) 34,29††† (5,06) 7,91††† (3,37) Dep. Sintática R. 31,85††† (6,00) 7,16 (3,88) 34,71††† (5,42) 8,16††† (3,40) Dep. Sintática G. 32,09 (5,81) 7,18 (3,79) 34,53††† (5,39) 8,21 (3,25) Ent. Nomeada 28,72††† (5,28) 4,55††† (2,05) 32,35††† (5,56) 6,32††† (3,72) Unigrama 31,12††† (6,00) 5,21††† (2,80) 33,73††† (5,75) 6,83††† (3,19) FC-FIC Bigrama 31,79††† (6,40) 6,81 (3,45) 34,21††† (5,02) 7,78††† (3,62) Dep. Sintática R. 32,89 (6,51) 7,61 (3,86) 34,45††† (5,82) 7,83††† (3,53) Dep. Sintática G. 31,97††† (6,07) 7,31 (3,46) 34,46††† (5,46) 8,04††† (3,49) Ent. Nomeada 28,33††† (5,46) 4,15††† (2,04) 31,54††† (6,11) 6,00††† (3,74) Unigrama 30,84††† (5,62) 5,17††† (2,98) 32,82††† (5,60) 6,52††† (2,85) Freq. Documentos Bigrama 33,50 (6,13) 8,00 (3,79) 35,00††† (5,73) 8,33††† (4,15) Dep. Sintática R. 33,25 (6,62) 7,30 (3,69) 34,64††† (5,15) 8,03††† (3,89) Dep. Sintática G. 32,69 (6,34) 6,91 (3,52) 34,64††† (5,03) 8,14††† (3,84) Ent. Nomeada 29,62††† (5,39) 4,55††† (2,89) 30,89††† (4,87) 5,52††† (3,10) Unigrama 31,13††† (5,36) 4,99††† (2,90) 33,20††† (6,04) 6,47††† (3,82) Freq. Sentenças Bigrama 32,15 (5,76) 7,84 (3,78) 34,10††† (5,11) 7,93††† (3,26) Dep. Sintática R. 32,15 (6,53) 7,38 (4,01) 34,69††† (5,35) 8,17††† (3,41) Dep. Sintática G. 32,16 (5,97) 7,23 (3,87) 34,52††† (5,17) 8,30 (3,28) Ent. Nomeada 28,62††† (5,34) 4,48††† (2,08) 32,49††† (5,56) 6,39††† (3,75) Unigrama 30,78††† (4,77) 4,48††† (1,94) 34,87††† (5,89) 7,25††† (3,85) Posição Sentenças Bigrama 32,54 (5,70) 7,24 (3,79) 36,20 (5,92) 9,04 (4,24) Dep. Sintática R. 32,74 (6,66) 8,38 (4,68) 35,53 (5,81) 8,64 (4,07) Dep. Sintática G. 32,72 (5,93) 8,26 (4,30) 35,31 (5,67) 8,40 (4,17) Ent. Nomeada 29,65††† (5,55) 4,91††† (3,04) 32,06††† (6,23) 5,95††† (3,64) Unigrama 31,47††† (6,08) 5,70††† (3,54) 34,53††† (5,88) 7,46††† (3,64) Método Proposto Bigrama 33,92 (6,76) 7,94 (3,89) 35,89 (4,91) 9,15 (3,95) Dep. Sintática R. 32,46 (5,93) 7,20 (3,87) 35,78 (5,58) 8,70 (4,27) Dep. Sintática G. 32,30 (5,96) 7,25 (3,76) 35,48 (5,63) 8,59 (4,11) Ent. Nomeada 30,76††† (4,93) 5,27††† (2,49) 33,96††† (5,21) 7,24††† (3,62) Unigrama 32,70 (6,02) 5,39††† (3,36) 35,76 (5,68) 8,16††† (3,79)
das sentenças e FC-FIC obtiveram a melhor performance no DUC 2003 com base no R-1 e R-2, respectivamente.
O método de frequência dos documentos, em geral, é considerado como o melhor mé- todo de ponderação para abordagens baseada em conceitos (GILLICK et al., 2009;BOUDIN;
MOUGARD; FAVRE, 2015). Contudo, nos experimentos realizados neste capítulo, o método
de posição de sentenças apresentou melhores resultados do que o método de frequência dos documentos. Esses resultados demonstram que a posição e a centralidade desempenham um papel fundamental na identificação de conceitos relevantes para compor o resumo gerado a partir de múltiplos artigos de notícias.
Tabela 23 – Resultados (%) e desvio padrão (entre parênteses) no DUC 2003-2004. O me- lhor desempenho global de cada corpus é destacado em negrito, e o grupo de configurações estatisticamente semelhantes, se existir, é indicado pelo símbolo †††.
Métodos DUC 2003 DUC 2004
R-1 R-2 R-1 R-2 Freq. Conceito Bigrama 38,78 (5,77) 9,77††† (4,00) 37,58††† (4,48) 9,22 (3,14) Dep. Sintática R. 38,73 (6,68) 10,18††† (4,73) 36,94††† (4,81) 8,92††† (3,25) Dep. Sintática G. 38,79 (7,01) 10,22††† (4,88) 36,55††† (4,84) 8,73††† (3,05) Ent. Nomeada 36,08††† (5,42) 8,43††† (3,69) 33,61††† (4,86) 6,38††† (2,72) Unigrama 37,79††† (6,37) 9,15††† (4,40) 36,44††† (4,39) 7,68††† (2,95) FC-FIC Bigrama 39,13 (5,74) 9,64††† (4,06) 37,59††† (4,07) 9,10††† (2,97) Dep. Sintática R. 38,36††† (6,45) 10,03††† (4,43) 36,93††† (4,42) 8,88††† (2,98) Dep. Sintática G. 39,02 (6,87) 10,44 (4,91) 37,32††† (4,28) 8,95††† (3,03) Ent. Nomeada 36,21††† (5,52) 8,57††† (3,76) 33,26††† (4,62) 6,09††† (2,82) Unigrama 37,90††† (6,45) 8,58††† (4,40) 35,91††† (5,20) 7,51††† (3,07) Freq. Documentos Bigrama 39,22 (5,67) 9,46††† (3,77) 38,23 (3,38) 9,43 (2,77) Dep. Sintática R. 39,40 (6,52) 10,30 (4,69) 36,79††† (4,03) 9,04††† (3,04) Dep. Sintática G. 39,31 (6,47) 10,28 (4,58) 36,79††† (3,92) 8,98††† (2,90) Ent. Nomeada 36,66††† (6,05) 8,79††† (4,30) 32,24††† (4,67) 5,35††† (2,49) Unigrama 38,46††† (6,17) 9,45††† (4,22) 35,39††† (5,46) 7,51††† (3,49) Freq. Sentenças Bigrama 39,55 (5,86) 9,95††† (4,22) 37,70††† (4,17) 9,12††† (2,89) Dep. Sintática R. 38,60††† (6,64) 10,16††† (4,73) 37,17††† (4,41) 8,89††† (3,24) Dep. Sintática G. 38,85 (6,83) 10,21††† (4,87) 36,89††† (4,58) 8,73††† (3,18) Ent. Nomeada 36,08††† (5,42) 8,43††† (3,69) 33,78††† (4,78) 6,43††† (2,70) Unigrama 38,07††† (6,11) 8,65††† (4,25) 36,09††† (4,83) 7,55††† (3,00) Posição Sentenças Bigrama 39,05 (6,41) 9,79††† (4,59) 38,46 (4,12) 9,65 (2,76) Dep. Sintática R. 38,72 (6,95) 10,17††† (4,77) 37,92 (4,28) 9,23 (3,04) Dep. Sintática G. 39,19 (6,79) 10,34 (4,90) 38,25 (4,47) 9,45 (3,05) Ent. Nomeada 37,39††† (5,84) 9,62††† (4,60) 35,45††† (4,91) 7,59††† (2,98) Unigrama 39,36 (6,49) 10,24††† (5,12) 36,53††† (5,33) 8,06††† (3,26) Método Proposto Bigrama 39,69 (5,94) 10,80 (4,14) 38,59 (4,47) 10,10 (3,20) Dep. Sintática R. 40,27 (6,13) 10,88 (4,40) 38,09 (4,79) 9,49 (2,88) Dep. Sintática G. 40,30 (6,09) 11,00 (4,40) 38,45 (4,85) 9,56 (2,93) Ent. Nomeada 36,87††† (5,42) 9,04††† (3,99) 36,19††† (4,55) 7,59††† (3,00) Unigrama 40,43 (6,37) 10,40 (5,26) 37,09††† (5,13) 8,33††† (3,21)
O método de ponderação de conceitos proposto apresenta melhores resultado do que as técnicas individuais em quase todos os cenários avaliados nas medidas do R-1 e R-2. As únicas duas exceções aconteceram no DUC 2002 e DUC 2001 com base no R-1 e R- 2, respectivamente. Nestes dois casos, o método de posição das sentenças obteve melhor desempenho.