Análise dos Resultados sobre a Base SpamAssassin (Estudos 1 a 4)

Os resultados obtidos nos Estudos 1 e 2 s˜ao pobres quando comparados aos dos Estu- dos 3 e 4. Isto sugere que os m´etodos de sele¸c˜ao de caracter´ısticas s˜ao importantes para a correta classifica¸c˜ao dos emails realizada pelo classificador neural.

Os gr´aficos das figuras 14 e 15 apresentam os percentuais de classifica¸c˜oes corretas de Spam e Ham obtidas pelos trˆes m´etodos no Estudo 3, variando com o n´umero de caracter´ısticas selecionadas.

Figura 14: Comparativo Classifica¸c˜ao Hams

Figura 15: Comparativo Classifica¸c˜ao Spams

• Enquanto a classifica¸c˜ao de Hams apresenta um pequeno ganho com o crescimento do n´umero de caracter´ısticas selecionadas, a classifica¸c˜ao de Spams, por sua vez, apresenta um grande ganho com tal crescimento;

• A partir de um n´umero em torno de 50 caracter´ısticas, o erro tende a se estabilizar, tanto para Hams quanto para Spams;

• Dentre os 3 m´etodos, o m´etodo Chi-Quadrado ´e o que apresenta o comportamento mais homogˆeneo, ou seja, ´e o que apresenta a menor evolu¸c˜ao do erro com o aumento do n´umero de caracter´ısticas selecionadas;

• De modo geral, considerando-se ambas as classifica¸c˜oes de Spams e Hams, o m´etodo MI ´e o que apresenta o melhor desempenho. Na classifica¸c˜ao de Hams, por´em, o m´etodo Chi-Quadrado se mostrou melhor para vetores de entrada com at´e 85 caracter´ısticas;

• Para um n´umero reduzido de entradas, o m´etodo MI ´e o de pior desempenho para classifica¸c˜ao de Spam;

• Todos os m´etodos apresentam desempenho razo´avel para o problema dos falsos positivos (classifica¸c˜ao incorreta de emails hams).

Os gr´aficos das figuras 16 e 17 apresentam os percentuais de classifica¸c˜oes corretas de Spam e Ham obtidas pelos trˆes m´etodos no Estudo 4, variando com o n´umero de caracter´ısticas selecionadas.

Figura 17: Comparativo Classifica¸c˜ao Spams

Os resultados do Estudo 4 comportam-se como os do Estudo 3. A ´unica e significante diferen¸ca consiste no fato de que todos os resultados do Estudo 4 s˜ao superiores, devido ao uso do pr´e-processamento.

O gr´afico da figura 18 apresenta os percentuais de acerto totais obtidos nos Estudos 1 a 4. Os percentuais de acerto totais s˜ao calculados pelas m´edias das classifica¸c˜oes corretas obtidas nas classifica¸c˜oes de Spam e Ham, considerando-se todos os resultados com os diferentes tamanhos de vetores de entrada. Para os Estudos 3 e 4, o m´etodo de sele¸c˜ao de caracter´ısticas considerado foi o MI, por ter apresentado o melhor desempenho m´edio dentre os trˆes.

Figura 18: Evolu¸c˜ao Classifica¸c˜oes Corretas Estudos 1 a 4

Como pode-se perceber pelo gr´afico da figura 18, a mais significante melhoria no percentual de classifica¸c˜oes corretas ocorre quando se insere os m´etodos de sele¸c˜ao de

caracter´ısticas (Estudos 3 e 4). As t´ecnicas de pr´e-processamento tamb´em produzem, por´em, significativa queda no erro, quando adicionadas (Estudo 2 em rela¸c˜ao ao Estudo 1 e Estudo 4 em rela¸c˜ao ao Estudo 3).

Por fim, os resultados apresentados no gr´afico da figura 19 consideram a m´edia, em termos de tempos gastos no Teste, pelo classificador neural, com entradas variando de cinco a cem elementos. Analisando-se o gr´afico, pode-se verificar que o tempo m´edio gasto no Treinamento do classificador neural ´e influenciado por trˆes fatores:

• Fator 1: a dimens˜ao do vetor de entrada, ou seja, o n´umero de caracter´ısticas selecionadas;

• Fator 2: o tamanho do conjunto de padr˜oes de treinamento;

• Fator 3: a relevˆancia das caracter´ısticas selecionadas para compor o vetor de en- trada, determinando uma convergˆencia mais r´apida ou n˜ao do treinamento.

Figura 19: Desempenho dos Algoritmos de Treinamento e Teste

A diferen¸ca nos tempos gastos em treinamento, pelo classificador neural, entre os Estudos 1 e 2 e entre os Estudos 2 e 3, pode ser explicada pelo Fator 2. De fato, no Estudo 1, o n´umero de padr˜oes zerados ´e superior ao n´umero de padr˜oes zerados no Estudo 2, que, por sua vez, ´e superior ao n´umero de padr˜oes zerados no Estudo 3. Assim, o conjunto de padr˜oes de treinamento utilizado no Estudo 1 ´e menor que o conjunto utilizado no Estudo 2, que, por sua vez, ´e bem menor que o utilizado no Estudo 3.

A diferen¸ca nos tempos gastos em treinamento, pelo classificador neural, entre os Estudos 3 e 4 pode ser explicada pelo Fator 3. O pr´e-processamento, ao eliminar ca- racter´ısticas n˜ao significativas e ao uniformizar as demais caracter´ısticas, como descrito na se¸c˜ao 2.1.3.1, reduz a quantidade total de caracter´ısticas do universo considerado, ou seja, dos emails da Base SpamAssassin. Com menos caracter´ısticas dispon´ıveis, o processo de sele¸c˜ao de caracter´ısticas produz caracter´ısticas ainda mais significativas, reduzindo-se mais o n´umero de padr˜oes zerados gerado.

Apesar da maior redu¸c˜ao na quantidade de padr˜oes zerados e, por conseguinte, do aumento do tamanho do conjunto de padr˜oes de treinamento, o tempo gasto em trei- namento ´e inferior porque, ao utilizar caracter´ısticas mais significativas nos padr˜oes de treinamento, a convergˆencia do treinamento ´e mais r´apida.

Os tempos gastos nos testes, pelo classificador neural, apesar de bastante similares nos quatro estudos, apresentam uma tendˆencia de queda, partindo do Estudo 1 para o Estudo 4. Este fato pode ser explicado, novamente, pela quantidade de padr˜oes. Estudos com uma quantidade menor de padr˜oes zerados apresentam conjuntos de teste com menor quantidade de padr˜oes.