Comparando os resultados com sumários humanos

Para realizar uma avaliação mais criteriosa do sumário gerado, os resultados obtidos pe- las três abordagens automáticas (HTSS, STSS e SDSS) foram coparados com sumários ge- rados por seres humanos. Para tanto, o debate foi distribuído para 4 professores da institui- ção UCB (participantes A, B, C e D) e lhes foi solicitado que escolhessem de 15 a 20 sen- tenças acreditadas, por critérios subjetivos, como a mais relevantes do debate. Cada partici- pante escolheu seu grupo de sentenças e, ao final, essas sentenças foram comparadas com as escolhidas pelas abordagens automáticas. O Quadro 15 ilustra todas as sentenças escolhidas pelos participantes humanos e pelas abordagens automáticas.

0% 10% 20% 30% 40% 50% 60% 70%

Participante 1 Participante 2 Participante 3 Participante 4

0% 10% 20% 30% 40% 50% 60% 70%

95 Quadro 15 – Sentenças selecionadas pelos participantes e abordagens automáticas

Sentenças Participantes e _abordagens

O debate só é, portanto, um elemento de um processo mais complexo engajado

geralmente para produzir um resultado. A, C O que deve ficar é o relatório aprovado pelo conjunto ou pela maioria dos

participantes. A

O debate é o elemento essencial quando o resultado é contribuir para uma tomada de decisão sancionada por um voto sobre uma questão que diz respeito à gestão de

um bem comum. A, D, HTSS, STSS

Os participantes têm o direito de mudar de opinião. A, B, D A ética dos debates diz respeito a uma transparência, uma colegialidade dos

debates e uma subsidiariedade que garantem que a decisão se tome no bom nível. A, B, C, D, HTSS, SDSS Se assegurar que as partes envolvidas foram consideradas, que as tomadas de

decisão se fazem em bom nível, que o protocolo foi cumprido e respeitado, que se respeitou a vida privada e a liberdade de pensamento de todos os contribuintes.

A, B, SDSS É, na verdade, um risco triplo: ser ignorado quando elas não vêm de uma consulta

pública, não ser considerado ou ainda ser organizado de forma a ser dominado. Eis

as condições de fracasso que podem ser antecipadas. A, B, C, D As associações profissionais não são representativas do conjunto de cidadãos. A, C Aqueles que certificam não podem nem contribuir, nem animar, nem restituir os

debates. A, B, C, D

A regulação deve vir "de baixo" para estar em conformidade com o modelo de

uma democracia participativa. A, B, D, STSS Se se multiplica por milhares os debates, como a lei impõe, é preciso que sua

certificação seja tão banal quanto um envelope selado. A, HTSS, STSS É preciso uma parte de autorregulação propícia à liberdade que pode ser garantida

por uma regulação superior de defesa da ética. A, C, D Necessidade de moderadores, de representantes e de um conselho dos

representantes. A, B

É preciso proteger sua intervenção da pirataria de informação no debate público. A, B, C, D As regras de ética do debate devem assegurar a transparência por meio de um

protocolo claro e a proteção da vida privada e da segurança na medida em que não

vá contra a colegialidade e a subsidiariedade da tomada de decisão no debate. A, B Só falamos se nos sentimos protegidos. A, B, C, D Esse é um ponto importante, é preciso que as opiniões sejam reveladas de forma

transparente e respeitosa. A, C

O controle da informação é uma censura. A, B, D Não é o que é dito que importa, mas a capacidade de "notificação", que consiste

em fazer saber a quem de direito o que é dito, pois isso pode influenciar sua ação

ou seu pensamento. A, B, D, HTSS

Admitamos que uma ideia expressa seja explicitamente (hipertextualmente) conectada: é preciso ter condições de traçar, portanto, de estar de posse de, seus

próprios dados (anterioridade). A, D

Eu sou Charlie e caricaturo os dois perigos advindos de uma ausência de ética pelo

"cale a boca" ou "não estou nem aí". B, STSS, SDSS Em relação ao debate presencial, o debate escrito online apresenta algumas

diferenças: permite dispor automaticamente de um script das trocas e

eventualmente de análise de conteúdo (é também o caso, mas a qual custo, de certos debates orais presenciais, como os debates da assembleia nacional) gera um problema de certificação permanente dos participantes (como ter certeza de que aquele que escreve o texto é mesmo aquele que foi certificado?) e permite intervenções assíncronas.

96 Além disso, para ser eficiente, o âmbito dos debates deve oferecer a cada um o

desejo e o prazer de dar sua contribuição. B, HTSS, SDSS Ele deve, enfim, garantir àqueles que participam do debate um respeito à sua vida

privada e às suas liberdades. B, SDSS

Isso é um problema concreto, que requer que se saiba o que o debate produziu como recomendação e de ver como elas foram implementadas pelos poderes públicos.

B, D, STSS, SDSS Há, portanto, um risco duplo: os debates públicos podem ser ignorados pelos

poderes públicos ou, ao contrário, os poderes públicos podem organizar debates públicos como garantia de uma democracia participativa, mas não considerar os resultados dessa expressão pública.

B, D Atenção ao equilíbrio entre a difusão de uma opinião, o respeito da liberdade de

opinião e de expressão de uma parte e a necessidade de proteger a vida privada e

mesmo a segurança de outra parte do comentário. B, C, D Atenção para que consequências negativas não sejam geradas desses debates e

opiniões reveladas. Sistema de pseudônimo? Anonimato? Ou, ao contrário,

transparência??? B, D

É melhor integrar que dividir. C, STSS

O debate é uma fonte de informação sobre a maneira de pensar das pessoas bem

mais rico do que as sondagens. C, HTSS, SDSS As situações que vivenciamos se manifestam todas de maneira singular. C No estado atual, não há meio termo sobre isso, ou então só na aparência, e isso é

um problema sério, e que não deve ser contornado, mas resolvido. C

No debate nos revelamos muito. C

É um problema difícil de proteção da vida privada. D O "relatório" clássico de uma comissão já é fruto de uma série de debates: ele

resulta geralmente de uma carta de compromisso e de numerosas reuniões entre relatores ou de audições de peritos e propõe para isso uma síntese e

recomendações.

D O usuário com a máquina, o par usuário/máquina com os agentes do serviço. D, HTSS

Um melhor termo seria a autenticação. D

O verdadeiro termo é, portanto, a certificação digital para debates éticos. D Depois, se uma confiança se estabelece, ela é penosa. D Fonte: o Autor

Como pode ser observado, há uma interseção entre as sentenças dos participantes e en- tre estas e as sentenças das abordagens automáticas (células sombreadas do Quadro 16 ilus- tram maiores intersecções). Para uma melhor visualização dos elementos interseccionados, o Quadro 16 ilustra a porcentagem de coincidência entre as sentenças selecionadas por todos os elementos.

Considerando que a intersecção de sentenças entre os participantes humanos variou en- tre 30% e 60%, as abordagens de sumarização apresentaram um índice menor de sentenças em comum (salvo a relação entre SDSS e o Participante B). Não obstante, é importante per- ceber que os participantes fizeram uma availação semântica para gerar seus respectivos su- mários. Assim, mesmo sem considerar a semântica, as abordagens automáticas apresentaram uma considerável intersecção com as sentenças selecionadas pelos participantes. Acredita- se que, ao incorporar algumas técnicas de sumarização ao modelo de sumarização automáti-

97 co, como, por exemplo, uso de palavras-chave os resultados poderiam selecionar mais sen- tenças em comum com os participantes. Outro aspecto relevante é que a maioria dos partici- pantes selecionou 20 sentenças para seus sumários, ao passo que as abordagens automáticas selecionaram apenas 15 sentenças. Acredita-se que, se ele número de sentenças fosse au- mentado, a intersecção entre os elementos seria maior.

Quadro 16 – Percentual de coincidência entre as sentenças selecionadas pelos participantes humanos e as abordagens automáticas

SDSS STSS HTSS Participante D Participante C Participante B

Participante A 10% 15% 20% 45% 46% 60% Participante B 30% 15% 15% 55% 30% Participante C 10% 5% 10% 35% Participante D 10% 15% 15% HTSS 40% 53% STSS 6% Fonte: o Autor

Por fim, se contabilizar os resultados das abordagens em conjunto, ao invés de conside- rá-las excludentes o índice de intersecção chega a 40%, o que já está dentro do intervalo de interseção dos participantes humanos (35-60). Nota-se, portanto, que o modelo de sumariza- ção automática apresentou resultados relevantes. Porém, alguns ajustes poderiam maximar seu potencial naquilo que tange à semelhança de sentenças selecionadas por seres humanos, quais sejam:

i. Aumento do número de sentenças selecionadas: acretida-se que se o modelo ampliar de 10% para 13% das sentenças selecionadas (perfazendo um total de 20 sentenças se- lecionadas), a intersecção dos resultados com as sumarizações dos participantes huma- nos seria maior;

ii. Inclusão de técnicas de análise semântica: se o modelo inclui-se algumas técnicas de análise semântica, como, por exemplo, o uso de palavras ou sentenças-chave, os resul- tados poderiam ser também maximizados naquilo que tange à intersecção de sentenças com a dos participantes humanos. Entretanto, tais técnicas podem impactar no modelo estatístico de sumarização e comprometer a independência da língua utilizada no deba- te. Esse problema poderia ser contornado caso um dicionário multi-linguístico de pa- lavras-chave fosse utilizado;

98 iii. Ajuste dos tamanhos de sentenças: embora não mencionado anteriormente, acredita-se que ajustar um tamanho mínimo de sentenças a serem selecionadas permitiria que sen- tenças semanticamente mais relevantes possam ser selecionadas;

iv. Combinar as três abordagens de sumarização: ao invés de sumarizar por meio da esco- lha de uma das técnicas desenvolvidas (HTSS, STSS ou SDSS), o modelo pode ma- ximizar o seu resultado se ele convergir a extração das sentenças pelo uso das três téc- nicas simultaneamente. Tal técnica consistiria em selecionar aquelas sentenças que possuissem maior pontuação dentre as três técnicas apresentadas.

Não obstante as melhorias apresentadas, as suas validações necessitam ser realizadas mediante novos trabalhos de pesquisa. Por delimitação do escopo e para induzir a continui- dade de novos trabalhos, reserva-se, portanto, espaço para implementação dessas melhorias em um momento futuro.

99

6 CONCLUSÃO

O objetivo principal desse projeto foi propor um modelo de sumarização de debates on- line utilizando técnicas automáticas de sumarização de texto. Para isso, os seguintes objeti- vos específicos foram trilhados: (i) estudo sobre o estado da arte em debates online e suas abordagens; (ii) estudo sobre os algoritmos de sumarização de textos e sua adequação ao contexto de sumarização de debates; e (iii) concepção, desenvolvimento e avaliação de um método de sumarização de debates.

Naquilo que tange à discussão sobre debates online e suas abordagens, esse trabalho le- vantou, dentre diferentes debates analisados, algumas características que são consideradas desejáveis em um debate, são elas: capacidade de anotação, qualificação das posições como concordantes ou discordantes, capacidade de expor textos livres, capacidade de sumarização, texto motivador introdutório e capacidade de argumentar hierarquicamente. Após o estudo das ferramentas de debates, concluiu-se que a Dialoguea é aquela que melhor atende a essas características, pois nela está presente a maioria das funcionalidades desejáveis.

Também foi discutida a relevância dos debates online para o contexto da eDemocracia, na medida em que se fazem necessário, embora não suficiente, para a disseminação da de- mocracia na Web. Isso foi percebido ao delinear o contexto no qual os debates se inserem e como eles se diferem em relação às outras ferramentas, como, por exemplo, fóruns de dis- cussão e redes sociais. Adicionalmente, foi realizado um estudo sobre se tais ambientes po- deriam se igualar ao conceito de Argumentation Mining. Verificou-se que ambos decorrem de necessidades e contextos distintos. Enquanto Argumentation Mining busca a identificação de argumentos em textos, os debates online já são naturalmente os próprios argumentos reu- nidos em um único local. Portanto, embora tais conceitos possam ser semelhantes, cada um possui características próprias.

Foi discutido, também, como os debates online podem ser organizados e estruturados. Nesse aspecto, a apresentação do quadrado de oposições de Aristóteles (ao extrapolar os relacionamentos nele existentes) é uma abordagem significativa que pode ajudar na estrutu- ração dos argumentos, uma vez que, a priori, eles estão imersos em um ambiente entrópico, cuja organização se faz necessária. Uma vez estruturado o debate online segundo essa abor- dagem, foi possível observar sua utilidade no que tange à sumarização de debates por meio das relações existentes na lógica proposicional. Entretanto, , foi decidido reservar esse as- sunto como um dos principais trabalhos futuros, focando, principalmente, a sua relação com a organização estruturada de um debate online.

100 No que diz respeito à identificação do estado da arte sobre algoritmos de sumarização de textos mais apropriados ao contexto de sumarização de debates online, foram analisados diferentes algoritmos de sumarização, que podem ser agrupados segundo suas técnicas de sumarização: (i) a abordagem por pontuação de palavras, onde uma pontuação é atribuída a cada palavra; (ii) a abordagem por pontuação de sentenças, onde há uma pontuação das sen- tenças com base em suas características, tais como a sua posição no documento, a semelhan- ça com o título, etc; e (iii) a abordagem por pontuação de gráfico (Graph Scoring), onde gráficos são compostos com cada sentença (ou parágrafos) para uma análise da relação entre elas. Dentre os algoritmos analisados, adotou-se o TF/IDF pela sua simplicidade e poder de capturar relevância em um conjunto de sentenças, de forma independente de língua. Tal al- goritmo foi adaptado até se chegar às adaptações necessárias para seu uso nos debates onli- ne, constituindo, assim, a concepção do modelo de sumarização de debates online.

Com relação ao terceiro objetivo, na atividade de concepção, o algoritmo TF/IDF foi adaptado para se obter um sumário robusto de sentenças, isto é, um conjunto de sentenças no qual as opiniões da maior parte dos participantes estivesse representada . Buscou-se, portan- to, não subtrair o conceito democrático implícito dos ambientes de debates online. Nas ativi- dades de desenvolvimento e avaliação foram idealizados diferentes abordagens de contabili- zação de sentenças apresentadas pelos argumentos. Essas abordagens permitiram extrair distintos resultados do modelo que se adequaram para mais ou para menos quando compara- das aos sumários gerados por seres humanos. No que tange a essa comparação (principal método de avaliação do modelo proposto), os resultados da experimentação apontaram que o modelo tem potencial para ser utilizado nos contextos de debates online. Obviamente, como qualquer abordagem puramente estatística, a comparação dos sumários automáticos tendeu a diferenciar dos sumários criados por seres humanos, pela simples razão de que estes primam pela semântica enquanto que aqueles são estatisticamente gerados.

Os resultados da pesquisa mostraram-se promissores, o que permite se delinear as se- guintes perspectivas de trabalhos futuros: (i) como o quadrado de Aristóteles pode ser incor- porado ao modelo proposto; (ii) introdução de técnicas de análise semântica ao modelo pro- posto; (iii) ajuste nos tamanhos das sentenças selecionadas; e, (iv) combinação das três abor- dagens propostas (HTSS, STSS e SDSS). Cabe observar que o primeiro – modelo de suma- rização baseado no quadrado de Aristóteles e na lógica de proposições – pode ser considera- do o mais complexo dos trabalhos futuros idealizados, porém acredita-se que seja o mais relevante dos trabalhos futuros.

101 uma massa de dados oriunda de outros debates online. Apesar da independência existente entre o modelo de sumarização e o conteúdo dos debates, o constante aperfeiçoamento do modelo – proveniente de contínuos testes, avaliações e refinamentos – permitirá melhorar os resultados obtidos e, se for o caso, a sua utilização em contextos extrínsecos ao ambiente científico.

102

REFERÊNCIAS

ABBOT, R. et al. How can you say such things?!?: Recognizing Disagreement in Informal Political Argument. Association For Computational Linguistics, Oregon, p. 2-11. jun. 2011. Disponível em: <https://www.aclweb.org/anthology/W/W11/W11-0702.pdf>. Acesso em: 17 jun. 2015.

AGGARWAL, C. C.; ZHAI, C. Mining Text Data, New York: Springer, 2012. (978-1- 4614-3223-4). Disponível em: <www.springer.com/gp/book/9781461432227#>. Acesso em: 15 fev. 2015.

ALENCAR FILHO, E. de. Iniciação a Lógica Matemática, São Paulo: Nobel, 2002. 204 p. (85-213-0403-X).

ALGULIEV, R. M.; HAJIRAHIMOVA, M. S.; MEHDIYEV, C. A. MCMR: Maximum coverage and minimum redundant text summarization model. Elsevier: Expert Systems

with Applications, Azerbaijan, p. 14514-14522. dez. 2011. Disponível em:

<http://www.sciencedirect.com/science/article/pii/S0957417411008177>. Acesso em: 25 jan. 2015.

ALGULIEV, R. M.; ALIGULIYEV, R. M.; ISAZADE, N. R. CDDS: Constraint-driven document summarization models. Elsevier: Expert Systems with Applications, p. 458- 465. fev. 2013. Disponível em:

<http://www.sciencedirect.com/science/article/pii/S0957417412009049>. Acesso em: 16 fev. 2015.

AL-HASHEMI, R. Text Summarization Extraction System (TSES) Using Extracted Keywords. International Arab Journal Of E-technology, Jordan, p. 164-168. mar. 2010. Disponível em: <http://www.iajet.org/iajet_files/vol.1/no.4/Text Summarization Extraction System TSES Using Extracted Keywords_doc.pdf>. Acesso em: 24 jan. 2015.

ANTIQUEIRA, L. et al. A complex network approach to text summarization. Elsevier:

Information Sciences, p. 584-599. 15 fev. 2009. Disponível em:

<http://www.sciencedirect.com/science/article/pii/S0020025508004520>. Acesso em: 17 fev. 2015.

ARAÚJO, C. A. A. Bibliometria: evolução histórica e questões atuais. Revista Em

Questão, Porto Alegre, v. 12, n. 1, p. 11-32, jan./jun. 2006.

BIDIMA, Jean-godefroy. La Palabre: Une juridiction de la parole. French Forum, Nebraska, p. 128-130. out. 2001. Disponível em:

<http://www.jstor.org/stable/40552197?seq=1#page_scan_tab_contents>. Acesso em: 12 mar. 2015.

BIRAN, O.; RAMBOW, O. Identifying Justifications In Written Dialogs By Classifying Text As Argumentative. International Journal Of Semantic Computing, New York, p. 363-381. 2011. Disponível em:

<http://academiccommons.columbia.edu/download/fedora_content/download/ac:159498/CO NTENT/Biran-Rambow-2012-IJSC.pdf>. Acesso em: 17 jun. 2015

103 BONDÍA, Jorge Larrosa. Notas sobre a experiência e o saber de experiência. Revista

Brasileira de Educação, [s.i], v. 1, n. 19, p.20-28, jan. 2002. Disponível em:

<http://www.scielo.br/pdf/rbedu/n19/n19a02.pdf>. Acesso em: 11 nov. 2015. BORDENAVE, J. E. D. O que é participação. São Paulo: Brasiliense, 1983.

BOUDIN, F.; HUET, S.; TORRES-MORENO, J.-M. A Graph-based Approach to Cross- language Multi-document Summarization. Polibits, México, n. 43, jun. 2011. Disponível em: <http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1870-

90442011000100016&lng=es&nrm=iso>. Acesso em: 22 abr. 2015.

BOULOS, M. N K.; MARAMBA, I.; WHEELER, S. Wikis, blogs and podcasts: a new generation of Web-based tools for virtual collaborative clinical practice and education. Bmc

Medical Education, Assd, p. 6-41. ago. 2006. Disponível em:

<http://www.biomedcentral.com/1472-6920/6/41.>. Acesso em: 19 jun. 2015.

BOYD, D. M.; ELLISON, N. B. Social Network Sites: Definition, History, and Scholarship.

Computer-mediated Communication, p. 210-230. dez. 2007. Disponível em:

<http://onlinelibrary.wiley.com/doi/10.1111/j.1083-6101.2007.00393.x/full>. CAI, X.; LI, W. Enhancing sentence-level clustering with integrated and interactive frameworks for theme-based summarization. Journal Of The American Society For

Information Science And Technology, p. 2067-2082. jul. 2011. Disponível em:

<http://onlinelibrary.wiley.com/doi/10.1002/asi.21593/abstract>. Acesso em: 17 fev. 2015. CARENINI, G. NG, R.; PAULS, A. Multi-Document Summarization of Evaluative Text.

Computational Intelligence, Vancouver, p. 545-576. nov. 2013. Disponível em:

<https://www.cs.ubc.ca/~carenini/PAPERS/eacl2006.pdf>. Acesso em: 16 fev. 2015. CHABROL, C.; BROMBERG. M. Préalables à une classification des actes de parole. Psychologie Française, p. 291-306. jan. 1999. Disponível em:

<http://http://cat.inist.fr/?aModele=afficheN&cpsidt=1234225>. Acesso em: 14 mar. 2015. CUNNINGHAM, Ward. Advogato. 2013. Disponível em:

<http://www.advogato.org/person/Ward/>. Acesso em: 10 jul. 2015.

DECKER, S. et al. The semantic web: the roles of XML and RDF. Ieee: Internet

Computing, v. 15, n. 3, p.63-74, set. 2000. Quinzenal. Disponível em:

<http://www.cs.ox.ac.uk/ian.horrocks/Publications/download/2000/Horrocks00n.pdf>. Acesso em: 04 fev. 2015.

DITTENBACH, M. Scoring and Ranking Techniques - tf-idf term weighting and cosine

similarity. 2010. Disponível em: <http://www.ir-facility.org/scoring-and-ranking-

techniques-tf-idf-term-weighting-and-cosine-similarity>. Acesso em: 30 jan. 2015.

EUA. NATIONAL READING PANEL (Org.). Teaching Children To Read: An Evidence- Based Assessment of the Scientific Research Literature on Reading and Its Implications for Reading Instruction: Nih, 2000. 449 p. Disponível em:

<http://www.nichd.nih.gov/publications/pubs/nrp/documents/report.pdf>. Acesso em: 25 jan. 2015.

104 summarization. Elsevier: Expert Systems with Applications. p. 5755-5764. 15 out. 2013. Disponível em: <http://www.sciencedirect.com/science/article/pii/S0957417413002601>. Acesso em: 26 jan. 2015.

GANESAN, K.; ZHAI, C.; HAN, J. Opinosis: a graph-based approach to abstractive summarization of highly redundant opinions. Acm, Stroudsburg, p. 340-348. ago. 2010. Disponível em: <http://dl.acm.org/citation.cfm?id=1873820>. Acesso em: 17 fev. 2015. GHOSH, D. et al. Analyzing Argumentative Discourse Units in Online Interactions.

Association For Computational Linguistics, Maryland, p. 39-48. jun. 2014. Disponível

em: <http://www.aclweb.org/website/old_anthology/W/W14/W14-21.pdf#page=51>. Acesso em: 17 jun. 2015.

GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 1991.