No final da concepc¸˜ao da soluc¸˜ao acima apresentada foram realizados testes para ve- rificar a efic´acia da ferramenta. Pretende-se compreender se, `a medida que o algoritmo Bayesiano ´e treinado, s˜ao obtidos resultados mais positivos e ainda se o uso singular do algoritmo ´e suficiente ou se, com a ajuda das express˜oes regulares se obtˆem resultados mais positivos.
A amostra ´e constitu´ıda por 126 emails, em inglˆes, retirados do dataset da Enron, que foram classificados manualmente e dos quais 50% contˆem emails com eventos.
Na tabela seguinte est˜ao representados os resultados obtidos utilizando singularmente o algoritmo Bayesiano, as express˜oes regulares e a combinac¸˜ao de ambos.
Para realizar uma an´alise da tabela 4.5, vamos serpar´a-la em duas, sendo que na primeira encontram-se os resultados da evoluc¸˜ao da classificac¸˜ao de emails correctamente classificados como contendo eventos consoante o treino do algoritmo, e a segunda rep- resenta os resultados da evoluc¸˜ao da classificac¸˜ao de emails correctamente classificados como n˜ao contendo eventos consoante o treino do algoritmo. Pretende-se com este es- tudo maximizar o n´umero de emails reconhecidos correctamente como contendo eventos, reduzindo o n´umero de falsos positivos a zero, e ao mesmo tempo filtrar correctamente o m´aximo de emails que n˜ao contˆem eventos. Ser´a toler´avel que sejam reconhecidos menos emails a custo de eliminar por completo do n´umero de falsos positivos.
Tabela 4.5: Casos de teste Threshold Treino PC NC PC RE NC RE FP FN FP RE FN RE (RE) - - - 23.81% 95.24% - - 4.76% 76.19% 70% ST 88.89% 15.74% 23.81% 95.24% 84.13% 11.11% 4.76% 76.19% 70% T 34.92% 90.48% 20.63% 100.00% 9.52% 65.08% 0.00% 79.37% 70% DT 36.51% 90.48% 23.81% 100.00% 9.52% 63.49% 0.00% 76.19% 80% ST 0.00% 100.00% 0.00% 100.00% 0.00% 100.00% 0.00% 100.00% 80% T 30.16% 92.06% 17.46% 100.00% 7.94% 69.84% 0.00% 82.54% 80% DT 33.33% 90.48% 23.81% 100.00% 9.52% 66.67% 0.00% 76.19% 90% ST 0.00% 100.00% 0.00% 100.00% 0.00% 100.00% 0.00% 100.00% 90% T 23.81% 95.24% 15.87% 100.00% 4.76% 76.19% 0.00% 84.13% 90% DT 26.98% 93.65% 15.87% 100.00% 6.35% 73.02% 0.00% 84.13% Tabela 4.6: Legenda Sigla Descric¸˜ao
Threshold Percentagem m´ınima tolerada no valor da classificac¸˜ao do algoritmo
Treino Indica se o algoritmo n˜ao est´a treinado (ST), se foi submetido a uma vaga de treinos (T) ou a duas vagas de treinos (DT)
PC Percentagem de emails que foram avaliados correctamente como contendo eventos NC Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos FP Falsos Positivos, ou seja, percentagem de emails que foram avaliados incorrectamente como
contendo eventos
FN Falsos Negativos, ou seja, percentagem de emails que foram avaliados incorrectamente como n˜ao contendo eventos
RE Uso apenas de de express˜oes regulares
4.4.1 Evoluc¸˜ao da classificac¸˜ao de emails consoante o treino do algoritmo
A tabela seguinte representa a percentagem de emails que s˜ao detectados correcta- mente alterando o threshold, e efectuando uma an´alise juntamente com express˜oes regu- lares `a medida que o algoritmo ´e treinado.
Tabela 4.7: Evoluc¸˜ao da classificac¸˜ao correcta de emails que contˆem eventos consoante o treino
Treino PC70 PC80 PC90 PC RE70 PCRE 80 PC RE90 RE ST 88.89% 0.00% 0.00% 23.81% 0.00% 0.00% 23.81%
T 34.92% 30.16% 23.81% 20.63% 17.46% 15.87% - DT 36.51% 33.33% 26.98% 23.81% 23.81% 15.87% -
O gr´afico4.6ilustra os dados obtidos na tabela.
A partir deste gr´afico ´e poss´ıvel deduzir que a precis˜ao ´e directamente proporcional ao treino, ou seja, `a medida que o algoritmo ´e treinado, ´e poss´ıvel obter valores que variam entre os 15% e os 35%. ´E poss´ıvel tamb´em verificar que a efic´acia do algoritmo aumenta com o treino obtendo melhores resultados singularmente do que em conjunto com express˜oes regulares. Isto deve-se ao facto de as express˜oes regulares limitarem
Tabela 4.8: Legenda
Sigla Descric¸˜ao
Treino Indica se o algoritmo n˜ao est´a treinado (ST), se foi submetido a uma vaga de treinos (T) ou a duas vagas de treinos (DT)
PC70 Percentagem de emails que foram avaliados correctamente como contendo eventos com um thresholdde 70%
PC80 Percentagem de emails que foram avaliados correctamente como contendo eventos com um thresholdde 80%
PC90 Percentagem de emails que foram avaliados correctamente como contendo eventos com um thresholdde 90%
PC RE70 Percentagem de emails que foram avaliados correctamente como contendo eventos utilizando o algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 70% PC RE80 Percentagem de emails que foram avaliados correctamente como contendo eventos utilizando o
algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 80% PC RE90 Percentagem de emails que foram avaliados correctamente como contendo eventos utilizando o
algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 90% RE Uso apenas de de express˜oes regulares
Figura 4.6: Gr´afico da evoluc¸˜ao dos emails avaliados correctamente como contendo eventos con- soante o treino do algoritmo
bastante os resultados obtidos o que, por outro lado, permite que o n´umero de falsos negativos seja tamb´em menor.
A disparidade de valores, deve-se ao facto da implementac¸˜ao do algoritmo Bayesiano utilizada, n˜ao aceitar que a base de conhecimento esteja vazia, pelo que se criou uma entrada (contendo a palavra “none”) classificada nas duas categorias: “Evento” e “N˜ao Evento”. Com estes dados, o algoritmo calculou, com uma certeza de 70%, que a maioria dos emails testados pertenceriam `a primeira categoria, resultando nos valores apresenta- dos.
Na tabela seguinte encontram-se os valores obtidos para as percentagens de emails classificados correctamente como n˜ao contendo eventos.
Tabela 4.9: Evoluc¸˜ao da classificac¸˜ao correcta de emails que n˜ao contˆem eventos consoante o treino
Treino NC70 NC80 NC90 NC RE70 NCRE 80 NC RE90 RE ST 15.87% 100.00% 100.00% 95.24% 100.00% 100.00% 95.24%
T 90.48% 92.06% 95.24% 100.00% 100.00% 100.00% - DT 90.48% 90.48% 93.65% 100.00% 100.00% 100.00% -
Tabela 4.10: Legenda
Sigla Descric¸˜ao
Treino Indica se o algoritmo n˜ao est´a treinado (ST), se foi submetido a uma vaga de treinos (T) ou a duas vagas de treinos (DT)
NC70 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos com um thresholdde 70%
NC80 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos com um thresholdde 80%
NC90 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos com um thresholdde 90%
NC RE70 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos uti- lizando o algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 70%
NC RE80 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos uti- lizando o algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 80%
NC RE90 Percentagem de emails que foram avaliados correctamente como n˜ao contendo eventos uti- lizando o algoritmo Bayesiano juntamente com express˜oes regulares e com um threshold de 90%
RE Uso apenas de de express˜oes regulares
Figura 4.7: Gr´afico da evoluc¸˜ao dos emails avaliados incorrectamente como contendo eventos consoante o treino do algoritmo
Analisando agora o gr´afico4.7 ´e poss´ıvel concluir que, com treino, a percentagem de emails classificados correctamente como n˜ao contendo eventos varia entre os 90% e os
100%. No entanto, se n˜ao forem utilizadas express˜oes regulares juntamente com o algo- ritmo bayesiano, estes valores tˆem tendˆencia a piorar embora muito ligeiramente. O uso de express˜oes regulares, em conjunto com o algoritmo bayesiano, revela-se claramente eficaz na filtragem de emails que n˜ao contˆem eventos.
Os gr´aficos4.8 e4.9representam a evoluc¸˜ao da detecc¸˜ao de falsos positivos e falsos negativos que ilustram, obviamente, o sim´etrico dos casos positivos e negativos correctos, respectivamente.
Figura 4.8: Gr´afico da evoluc¸˜ao dos emails avaliados incorrectamente como contendo eventos consoante o treino do algoritmo
Figura 4.9: Gr´afico da evoluc¸˜ao dos emails avaliados incorrectamente como n˜ao contendo eventos consoante o treino do algoritmo
4.4.2 Conclus˜oes
Comparando os dois gr´aficos anteriores ´e poss´ıvel concluir que o treino do algoritmo ´e crucial para obter bons resultados mas a efic´acia do sistema n˜ao depende apenas desse factor. Com base nos objectivos propostos pela Portugalmail, a melhor opc¸˜ao para obter 0% de falsos positivos com o m´aximo de detecc¸˜oes de emails com eventos poss´ıvel, passa por utilizar express˜oes regulares juntamente com o algoritmo bayesiano tendo este de ser bastante treinado para que o n´umero de emails a passar nesse filtro seja elevado e com o thresholdajustado para um valor entre os 70% e os 80%.
´
E importante referir tamb´em que estes resultados s˜ao influenciados pela forma como a implementac¸˜ao do algoritmo Bayesiano foi feita. Se a classificac¸˜ao for baseada n˜ao s´o na frequˆencia de palavras mas tamb´em na relac¸˜ao entre elas, ser˜ao inevitavelmente outros, e possivelmente melhores. Fica a quest˜ao em aberto para estudos futuros.