Comparação com outros modelos desenvolvidos

Na seção anterior, os modelos foram selecionados acordo com cada cenário da Tabela 9, já nesta seção, foi escolhido apenas um modelo para as combinações de carga e atributo meta (apenas para os modelos criados por dados da cidade de Varginha), o que facilitará a comparação destes com modelos presentes em trabalhos citados na revisão bibliográfica (seção 3.4). Exemplificando: dos cenários que contavam com apenas dados da cidade de Varginha, por exemplo, Varginha-alta-tx5 e Varginha-Novo-alta-tx5, será escolhido apenas um modelo para a combinação de carga alta e atributo meta 5 p.p..

A seleção dos modelos ocorreu de forma idêntica ao realizado na seção 6.2.3, pelos critérios de medidas de desempenho (seção 6.2.1) e atributos do conjunto de dados (seção 6.2.2), mas a comparação entre modelos ocorreu entre dois cenários, com os modelos indicados na seção na seção 6.2.3. O resultado foi que os modelos gerados com dados de 1998

112

a 2011 obtiveram desempenho melhor do que os gerados com dados de 2007 a 2011. A Tabela 22 apresenta o resultado da escolha dos modelos, bem como alguns dos modelos gerados por Meira (2008) e Cintra et al. (2011), para dados da mesma localidade (Varginha) e mesma combinação de carga e atributo meta.

Como exemplo para a combinação de carga alta e atributo meta 10 p.p., tomou-se o modelo 26 do cenário Varginha-alta-tx10 e o modelo 28 do cenário Varginha-Novo-alta-tx10. O modelo 26 teve uma taxa de acerto de 89,9%, contra apenas 86,8% do modelo 28. A diferença entre valores de sensitividade e especificidade do modelo 26 foi de apenas 0,1 p.p., enquanto que para o modelo 28 ela foi de 7,5 p.p. Com relação ao conjunto de dados, o modelo 26 contou com os atributos da seleção M2, e foi um pouco mais complexo do que o conjunto de dados do modelo 28, o qual contou com quatro atributos filtrados pelo método de seleção Wrapper. Mesmo o conjunto do modelo 26 contendo mais atributos, ele não foi muito mais complexo do que o conjunto do modelo 28, pois ambos não utilizaram atributos especiais (mais complexos). Assim, o modelo 26 foi o mais indicado para representar a situação de carga alta e atributo meta 10 p.p.

Após um modelo ter sido escolhido para representar cada uma das combinações de carga e atributo meta, eles foram comparados com modelos de combinações similares, desenvolvidos por autores diferentes.

Para a combinação de carga alta e atributo meta 5 p.p., o modelo gerado neste trabalho foi comparado com o modelo gerado com os dados de Meira (2008) e com o modelo de Cintra et al. (2011), conforme os dados da Tabela 22. Verificou-se que a taxa de acerto do modelo Varginha-alta-tx5-28 foi a melhor dentre os três modelos desenvolvidos e seus valores de sensitividade e especificidade foram superiores ao modelo tx5altaM2. Apesar de terem obtido melhores valores de acurácia, os modelos Varginha-alta-tx5-28 e M1G5 utilizaram atributos complexos em seus conjuntos de dados, sendo que o primeiro utilizou apenas um e o segundo um total de quatro, tornando-os um pouco mais complexos do que o modelo tx5altaM2. De qualquer forma, mesmo sendo mais complexo, o modelo Varginha-alta-tx5-28 apresentou as melhores medidas de desempenho e apresentou desempenho superior aos demais, mostrando ser o mais adequado para realizar a predição do aumento da taxa de progresso da ferrugem para tal combinação de carga e atributo meta.

113

Tabela 22: Medidas de avaliação de diversos modelos de alerta.

Nome do Modelo Atrib. meta Carga Taxa de acerto Erro Sensitividade Especificidade

Varginha-alta-tx5-28 5 p.p. Alta 85,3 14,7 85,4 85,2 tx5altaM2* 5 p.p. Alta 81,9 18,1 78,5 84,7 M1G5** 5 p.p. Alta 84,7 15,3 *** *** Varginha-alta-tx10-26 10 p.p. Alta 89,9 10,1 90,0 89,9 tx10altaM1* 10 p.p. Alta 78,7 21,3 64,7 84,6 M3G10** 10 p.p. Alta 83,5 16,5 *** *** Varginha-baixa-tx5-25/32 5 p.p. Baixa 88,9 11,1 86,3 89,9 tx5baixaM2* 5 p.p. Baixa 72,1 27,9 38,0 86,0

* Modelo gerado com dados de Meira (2008). ** Modelo gerado por Cintra et al. (2011). *** Cintra et al. (2011) não forneceu estas medidas de avaliação.

A combinação de carga alta e atributo meta 10 p.p. também permitiu comparação do modelo gerado neste trabalho com o modelo gerado com os dados de Meira (2008) e com o modelo de Cintra et al. (2011). A taxa de acerto do modelo Varginha-alta-tx10-26 foi a maior dentre os três modelos desenvolvidos, chegando próximo à casa dos 90%. Já seus valores de sensitividade e especificidade foram bem superiores ao modelo tx10altaM1, principalmente para a sensitividade, a qual foi de 90,0% contra 64,7%, mostrando uma melhora significativa do primeiro modelo ao classificar corretamente exemplos positivos. O modelo Varginha-alta- tx10-26 também se mostrou muito mais equilibrado do que o modelo tx10altaM1, pela diferença de apenas 0,1 p.p. entre as medidas de sensitividade e especificidade. Destes três modelos, o que foi gerado por um conjunto de dados mais simples foi o modelo M3G10, que foi gerado com o conjunto M3, enquanto que o modelo Varginha-alta-tx10-26 foi gerado com o conjunto M2. Entretanto, a diferença de complexidade entre estes dois conjuntos é pequena, uma vez que ambos não utilizam atributos complexos, e aliada às suas melhores medidas de desempenho, o modelo Varginha-alta-tx10-26 se mostrou superior aos demais para esta combinação de carga e atributo meta.

114

Para a combinação de carga baixa e atributo meta 5 p.p., o modelo gerado neste trabalho foi comparado apenas com um modelo desenvolvido com os dados de Meira (2008). Verificou-se que a taxa de acerto do modelo Varginha-baixa-tx5-25/32 foi 16,8 p.p. superior à do modelo tx5baixaM2, além disso o primeiro modelo também obteve valores de sensitividade e especificidade superiores. O destaque ficou com a sensitividade, que subiu de 38,0% para 86,3%, indicando a melhor capacidade do modelo Varginha-baixa-tx5-25/32 trabalhar com exemplos positivos. A única vantagem do modelo tx5baixaM2 foi que este utilizou o conjunto de dados M2, mais simples do que o utilizado pelo conjunto Varginha-baixa-tx5-25/32, que foi o M1. Todavia, mesmo com um conjunto mais complexo, as medidas de avaliação do modelo Varginha-baixa-tx5-25/32 foram muito superiores às do modelo tx5baixaM2, tornando-o o melhor para representar a taxa de progresso na ferrugem para esta combinação de carga e atributo meta.

Um dos objetivos deste trabalho foi que os modelos desenvolvidos obtivessem melhor desempenho do que modelos já existentes, o que foi comprovado nesta seção. Alguns outros modelos, principalmente os gerados por regressão (seção 3.4), não foram comparados aos desenvolvidos neste trabalho pois utilizaram métricas de avaliação diferentes.