COMPARANDO O DESEMPENHO DO MHCAIS COM MATCHING PARCIAL E TOTAL

O algoritmo MHCAIS em suas versões global e local apresenta como uma de suas ca- racterísticas a possilidade do usuário optar pela construção de um modelo de predição usando matching parcial ou total (conforme discutido na Subseção 3.2.4). Os valores utilizados nos experimentos envolvendo matching parcial são: δAF = {0,8; 0,9}. O valor δAF = 1,0 representa matchingtotal.

A Tabela 17 apresenta os resultados obtidos pelo algoritmo MHCAIS nas versões global e local para os valores de matching (δAF) anteriormente citados. Nesta tabela são mostrados os valores de precision, recall e f-measure obtidos, bem como o número de regras descobertas

(#Regras) e o total de condições do conjunto de regras descobertas(#TTCond). O símbolo ± representa o desvio padrão dos resultados obtidos nos experimentos. Os valores dos parâmetros são apresentados na Tabela 8 com as seguintes particularidades: βFT = 0,05 e δFT = 0,9 na versão global; e βFT = 1 na versão local. Os melhores resultados entre os valores de δAF são destacados em negrito

Tabela 17: Resultados obtidos pelo MHCAIS para o parâmetro δAF.

Global

Correção Preditiva Simplicidade

δAF Precision Recall F-measure #Regras #TTCond 0,8 95,36 ± 0,3 79,89 ± 0,4 83,93 ± 0,4 104,3 ± 3,6 909,9 ± 24,2 0,9 96,58 ± 0,4 77,86 ± 0,3 83,41 ± 0,3 64,7 ± 2,2 409,6 ± 17,6 1,0 96,17 ± 0,2 77,44 ± 0,2 82,92 ± 0,1 46,9 ± 1,0 122,6 ± 5,4 Local 0,8 90,91 ± 0,2 87,32 ± 0,3 87,96 ± 0,2 738,3 ± 4,4 8394,7 ± 59,8 0,9 89,69 ± 0,3 87,13 ± 0,4 87,27 ± 0,3 752,5 ± 4,4 7165,3 ± 82,9 1,0 84,64 ± 0,2 87,09 ± 0,4 84,63 ± 0,5 734,9 ± 7,3 4610,3 ± 51,2

A Tabela 17 mostra que para ambas as versões do MHCAIS, com o relaxamento do valor de δAF os resultados de correção preditiva, considerando a medida f-measure, são ligeiramente melhores do que com o uso de matching total (δAF=1,0), embora estatisticamente a diferença não seja significativa, exceção feita ao resultado apresentado pelo MHCAIS-local para δAF=1,0. No que diz respeito à simplicidade do conhecimento descoberto, para a versão global o uso do matching total resultou em conjunto de regras e condições significativamente menor do que a utilização do matching parcial. Na versão local, a diferença mais significativa ficou por conta do menor número de condições do conjunto de regras obtido com o uso do matching total comparado ao matching parcial. A diferença na simplicidade das regras descobertas com o uso do matching total era esperada, pois para algoritmo evoluir e descobrir regras durante o treintamento é necessário que todas as condições presentes no antecedente da regra satisfaçam os valores dos atributos previsores dos exemplos, o que torna mais complexo este processo quando regras possuem muitas condições. Sendo assim, o algoritmo é estimulado a descobrir regras o mais “simples” possível durante o treinamento para conseguir classificar os exemplos da base.

Conforme esperado, para a versão global, à medida que se torna mais restritivo o matching, o valor de precision melhora, enquanto que o valor de recall diminui. Embora o precision (δAF = 0,9) seja maior que o valor de precision (δAF = 1,0), essa diferença não é significativa considerando o desvio padrão. Todavia, este esperado comportamento de precision e recall não se repete na versão local, pois com o aumento do valor de δAF, o valor de precision diminui,

embora o valor de recall permaneça praticamente constante. Possivelmente, a queda do valor de precision na versão local, seja explicado pelo menor número de condições do conjunto de regras.

Embora o objetivo dos resultados apresentados na Tabela 17 não seja a comparação en- tre as versões propostas do MHCAIS, é importante notar que a versão local obtém melhor desempenho de correção preditiva, enquanto que a versão global obtém como conhecimento um resultado significativamente mais simples, segundo os critérios de avaliação adotados neste conjunto de experimentos.

5.1.7 CONSIDERAÇÕES

Nesta seção foram apresentados resultados para análise da influência e sensibilidade de desempenho do MHCAIS local e global à variação dos valores de seus parâmetros e procedi- mentos.

A influência do número de iterações do período evolutivo (#MaxIter) foi analisada na Sub- seção 5.1.1. Os valores analisados foram #MaxIter = {50; 100}. Os resultados mostraram que o ganho de desempenho para 100 iterações não foi significativo comparado à 50 iterações.

A sensibilidade do MHCAIS quanto a função de fitness usada no treinamento do clas- sificador foi analisada na Subseção 5.1.2. Foram avaliadas duas funções de fitness: sensi- bilidade/especificicade e f-measure. Nos experimentos realizados o uso da função de fitness f-measure obteve significativo melhor desempenho preditivo para a versão local e global do MHCAIS.

A Subseção 5.1.3 analisou a influência do parâmetro δFT (presente apenas no MHCAIS global). O valores testados foram δFT = {0,5; 0,6; 0,7; 0,8; 0,9}. No critério de desempenho preditivo, os valores mais altos de δFT apresentam melhores resultados para precision e piores para recall, para valores mais baixo de δFT o contrário acontece. O valor de δFT que apresentou melhor compromisso com a medida f-measure foi δFT = 0,8

Na Subseção 5.1.4 foi avaliado o parâmetro βFT utilizado na função de fitness f-measure. Os valores testados foram βFT = {0,05; 0,2; 0,4; 0,6; 1,0; 80}, onde βFT < 1,0 mais peso no fitnesstem a media precision; e βFT > 1,0 o maior peso fica por conta do recall. Os resultados mostraram que os melhores resultados de f-measure sobre os dados de teste foram obtidos para βFT = 0,05, e os piores para βFT = 80. Além disso, o melhor resultado obtido foi para βFT = 0,05 e δFT = 0,9.

foram analisados na Subseção 5.1.5. Nos experimentos foi observado que o uso conjunto dos dois procedimentos melhoram o desempenho preditivo das duas versões do MHCAIS, porém a melhora significativa ficou por conta da simplicidade do conhecimento descoberto, onde o número de regras e condições do conjunto de regras foi significativamente reduzido.

A Susbseção 5.1.6 apresentou resultados para análise da influência do parâmetro δAF que específica o nível de afinidade ou matching da regra com o exemplo. Os valores testados foram δAF = {0,8; 0,9; 1,0}. O valor δAF = 1,0 representa matching total, enquanto δAF < 1,0 in- dica matching parcial. Os resultados mostraram que para o critério de simplicidade das regras δAF = 1,0 obteve os melhores resultados, enquanto δAF = 0,8 apresentou melhor desempenho preditivo para a medida f-measure.