Avaliação das Contribuições Propostas pela Tese

Originalmente, foram propostos os seguintes avanços e contribuições técnicas:

(i) Proposta de um método de otimização que combine as potencialidades das principais técnicas de otimização global e local. A técnica proposta foi descrita no

Capítulo 7 e integra as principais características das heurísticas de busca Simulated

Annealing, Tabu Search, Algoritmos Genéticos e Backpropagation. A heurística de

busca foi estruturada de forma construtiva e baseada em poda, na qual as soluções são iniciadas com a menor topologia possível e vão crescendo de acordo com a necessidade. Desta forma, foram combinadas estratégias de busca global e local apresentando excelentes resultados na relação, abrangência do espaço de soluções investigado, custo computacional e tempo de busca. No desenvolvimento da técnica proposta foram investigadas cinco diferentes funções de custo (média aritmética, média aritmética ponderada, weight-decay, multiobjetivo e a combinação de multiobjetivo e weight-

decay) para o método.

(ii) Otimização de redes neurais artificiais Multi-layer Perceptron de forma construtiva e baseada na poda das conexões da rede. No Capítulo 9 foram apresentadas as

simulações realizadas com diversas abordagens na otimização da topologia e dos valores dos pesos de redes neurais artificiais Multi-layer Perceptron. Dentre as técnicas investigadas a abordagem proposta apresentou os melhores resultados na maioria das bases de dados. Apesar do problema investigado envolver uma questão crítica, a relação estabilidade versus plasticidade no treinamento de redes neurais artificiais, os resultados obtidos mostraram-se promissores.

(iii) Verificar se a abordagem pode ser utilizada para seleção de atributos. Durante a otimização da arquitetura da rede, unidades de processamento de entrada podem ser eliminadas de acordo com sua relevância para o desempenho do modelo. No Capítulo 5 foi realizada uma revisão sobre as técnicas clássicas de seleção de atributos e estudadas algumas técnicas que apresentavam características similares às da abordagem proposta. No Capítulo 9 foram apresentadas simulações que comprovaram a eficiência da técnica na seleção de atributos relevantes durante o processo de otimização das redes neurais artificiais. A técnica proposta apresentou resultados similares às técnicas de seleção de

130

atributos clássicas e desempenho superior às técnicas de otimização global investigadas na seleção de atributos relevantes.

(iv) Identificar os parâmetros mais relevantes do desempenho dos modelos baseados

em aprendizagem, verificando suas influências e possivelmente diminuindo a quantidade de parâmetros ajustáveis no projeto destes modelos. No Capítulo 9

foram apresentados experimentos realizados com a técnica de planejamento fatorial de experimentos (descrita no Capítulo 8 e no Anexo A) com dois modelos neuro-difusos. Nestes experimentos foram obtidas interessantes conclusões sobre os principais parâmetros de configuração das duas técnicas. Estas informações são muito importantes para projetistas deste tipo de técnicas, especialmente pelo fato destes modelos apresentarem grande quantidade de parâmetros livres que precisam ser ajustados para a correta operação do sistema em determinado problema. Este problema de configuração se agrava ao considerarmos que estes parâmetros são muitas vezes variáveis difusas e que estes sistemas são modelos que operam em tempo real.

(v) Identificar o comportamento do método de forma sistemática e controlada, utilizando técnicas estatísticas de experimentação científica. É difícil afirmar se os

resultados apresentados nesta tese podem ser estendidos para as demais classes de problemas. Wolpert e Macready (1997) apresentaram um estudo atestando que a performance média de qualquer par de algoritmos iterativos (determinísticos ou não) sobre todos os tipos de problemas é idêntica. Sendo assim, se um algoritmo obtém uma performance muito boa sobre uma classe de problemas, então necessariamente paga por isso com uma degradação de performance no conjunto remanescente de problemas. Desta forma, durante as simulações realizadas buscou-se controlar as simulações o máximo possível. Nos experimentos nem sempre foram utilizados as mesmas partições de dados, inicializações de pesos, testes de hipótese e diferentes tipos de problemas (previsão e classificação, com diferentes tamanhos e complexidades). Também foi realizada no Capítulo 9 uma simulação utilizando a técnica de planejamento fatorial de experimentos para avaliar o comportamento do método proposto. Neste experimento foi verificado o comportamento do método em diferentes situações, identificada a relevância, interação e inter-relação dos parâmetros de configuração do modelo.

(vi) Verificar o desempenho da técnica para diferentes tipos de problema –

classificação e previsão. Nos experimentos realizados nesta tese foram investigadas

diferentes bases de dados, com diferentes características, tamanhos, números de atributos e classes. As características das bases de dados utilizadas estão descritas no

Capítulo 8. Na análise das simulações realizadas foram considerados o erro de classificação e o erro percentual quadrático obtido pelas redes neurais artificiais otimizadas.

(vii) Comparação entre a técnica e diferentes métodos de otimização. O método proposto foi comparado com técnicas de otimização que a compõe de forma isolada e com outro modelo que integra as técnicas Simulate Annealing, Tabu Search e Backpropagation. Os resultados obtidos pelo método proposto foram promissores, porém, em alguns casos, a utilização de micro-evoluções genéticas tornou o método lento em relação às demais abordagens. Isto era esperado e o que também se espera é que a qualidade das soluções obtidas possa compensar o aumento no tempo de processamento. Como a otimização nas redes neurais artificiais é realizada de forma off-line, esta característica não deve prejudicar o método.

Pode ser destacado ainda que durante a realização do trabalho, vários artigos científicos foram submetidos para diferentes periódicos e conferências objetivando validar cada uma das contribuições propostas (Zanchettin et al, 2005; Zanchettin e Ludermir, 2005a; Zanchettin e Ludermir, 2005b; Ludermir et al, 2006; Zanchettin e Ludermir, 2006; Zanchettin e Ludermir, 2006a; Zanchettin e Ludermir, 2007; Zanchettin e Ludermir, 2007b; Zanchettin et al, 2007; Zanchettin e Ludermir, 2008). Desta forma, vários preceitos propostos puderam ser avaliados pela comunidade científica, contribuindo fortemente para o desenvolvimento da tese.

Analisando-se as contribuições acima enumeradas, acredita-se que a meta geral desta tese tenha sido alcançada, pelo menos em parte. A consolidação, em longo prazo, das contribuições vindas do método proposto e dos estudos realizados depende de mais estudos teóricos, empíricos e provas analíticas, em adição aos apresentados neste documento. A seção seguinte relaciona algumas das próximas etapas planejadas e visualizadas para um maior embasamento, aprimoramento e versatilidade para o método de otimização proposto.