Diferença no comportamento das técnicas de modelagem

A indução dos modelos de alerta por diversas técnicas de modelagem permitiu notar como uma técnica atuou no conjunto de dados, gerando modelos de uma determinada forma e com um conjunto de características específicas.

116

Um destes casos ocorreu por meio dos modelos gerados pelas redes neurais artificiais, os quais apresentaram altos valores de sensitividade em alguns casos. A Figura 24, a Figura 27 e a Figura 35 ilustram este comportamento por meio de um grupo de modelos que foram destacados na lateral superior direita de cada uma delas, sendo que o maior destes grupos esteve presente na Figura 27, com um total de 5 modelos. Para este caso, estes modelos superaram a faixa de 90% de sensitividade, chegando a valores próximos de 92%. Estes resultados foram melhores do que aqueles obtidos por outras técnicas, como, por exemplo, as florestas aleatórias, que chegaram a obter valores de sensitividade na casa dos 89%. O maior valor de sensitividade registrado em um modelo selecionado foi de 92,6% e ocorreu no modelo 48 da Figura 35.

Como mencionado na seção 6.2.1, a sensitividade indica como o modelo trabalha com exemplos de aumento da taxa de progresso da ferrugem, os altos valores obtidos por estes modelos indicam que eles classificaram corretamente muitos desses exemplos. Entretanto, ocorreu que valores baixos de especificidade estavam atrelados aos altos valores de sensitividade, fazendo com que, em diversos cenários, os modelos gerados pelas redes neurais artificiais não fizessem parte do envelope convexo. De uma forma geral, apenas 3 modelos gerados por RNAs estiveram presentes nos envelopes convexos, cerca de apenas 7% dos casos.

Outra técnica de modelagem que não foi muito presente nos modelos selecionados nos envelopes convexos foram as árvores de decisão, utilizadas em 3 dos 43 modelos selecionados, apenas 7% dos casos. Isto ocorreu pois geralmente as árvores de decisão tiveram desempenho inferior às técnicas como florestas aleatórias e SVM. A Figura 32 e a Figura 33 enfatizam alguns modelos gerados por árvores de decisão que mostraram um desempenho inferior, sempre bem distante do envelope convexo, na parte central da figura. A Figura 32 levou em consideração apenas os modelos gerados por arquivos balanceados para esta comparação. Nenhuma propriedade específica foi notada nas árvores de decisão, elas simplesmente obtiveram medidas de avaliação inferiores aos demais modelos desenvolvidos.

Por sua vez, as técnicas de SVM e florestas aleatórias formaram o restante dos modelos (20 modelos em SVM e 17 em florestas aleatórias), ou seja, estas duas técnicas foram responsáveis por 86% dos modelos selecionados em todos os envelopes convexos. Esta superioridade foi ainda mais evidente quanto aos modelos recomendados para cada cenário

117

(seção 6.2.3), onde todos os modelos recomendados foram por florestas aleatórias (10 modelos) ou por SVM (2 modelos). A Figura 25, a Figura 28, a Figura 29, a Figura 31 e a Figura 26 evidenciam esta superioridade, sempre destacando diversos modelos próximos ao envelope convexo que foram gerados por algumas estas duas técnicas.

Com estes resultados pode-se concluir que, em termos de medidas de avaliação, as técnicas de SVM e florestas aleatórias foram superiores às demais técnicas utilizadas neste trabalho, sendo recomendadas para novas induções de modelos relacionados a esta área.

118

7 _Conclusões

Os modelos de alerta validados neste trabalho não foram aceitos, estes modelos não estavam se comportando de forma adequada, ou melhor, não estavam tendo um desempenho esperado, mostrando a necessidade de realizar um novo processo de descoberta de conhecimento em bases de dados para gerar novos modelos de alerta.

A aplicação de procedimentos como o balanceamento de classes e o uso de métodos de seleção de atributos nos novos modelos de alerta desenvolvidos elevou o desempenho dos mesmos, além do mais, os métodos de seleção de atributos também auxiliaram na avalição de quais atributos do conjunto de dados foram mais representativos para a taxa de progresso da ferrugem do cafeeiro.

Com relação às técnicas utilizadas para a modelagem, as que apresentaram melhores medidas de desempenho foram Support Vector Machines e Florestas Aleatórias e estas são as mais indicadas para realizar simulações em modelos de alerta da ferrugem do cafeeiro. As redes neurais artificiais apresentaram modelos com altos valores de sensitividade enquanto que as árvores de decisão foram as técnicas que apresentaram menores medidas de avaliação.

Os modelos com dados apenas de Varginha obtiveram, em geral, um desempenho melhor do que os modelos gerados com os dados das três cidades. Dentre os modelos de Varginha, o melhor desempenho ocorreu para os modelos gerados com dados de 1998 a 2011, ao invés dos dados de 2007 a 2011.

Os modelos de alerta selecionados neste trabalho obtiveram, de forma geral, um desempenho superior aos demais modelos de alerta existentes. O reflexo do melhor desempenho é uma maior confiabilidade nas predições feitas por estes modelos, fornecendo condições mais precisas para o monitoramento da ferrugem do cafeeiro em campo.

Existem duas limitações do uso destes modelos de alerta, uma delas está relacionada à sua abrangência. O uso desses modelos deve ficar restrito à região onde os dados foram coletados ou a regiões com condições de clima parecidas. Regiões com clima diferente podem apresentar condições meteorológicas que não foram representadas nos dados analisados e que, portanto, podem condicionar o progresso da ferrugem do cafeeiro de maneira diferente do comportamento capturado pelos modelos de alerta. A outra restrição é com relação aos atributos utilizados em cada um dos modelos indicados, ou seja, um modelo pode ter um

119

atributo que irá requerer a medição de uma determinada variável meteorológica que pode não estar disponível. Alguns modelos “alternativos” foram recomendados, utilizando conjuntos de dados mais simples, os quais podem evitar esta situação.