Tamanhos de Arquitetura

Os resultados para avaliação dos meta-aprendizes quanto a escolha do melhor tamanho de uma arquitetura utilizando o método de Kruskal-Wallis pode ser visto na Figura 5.17. O cálculo da estatística H apresentou valor igual a 32,8959 e P-valor ≈< 0,0001, que por convenção são considerados extremamente significativos.

Figura 5.17: Comparação entre os Meta-aprendizes ao Avaliarem os Tamanhos Médios da Arquitetura.

Aplicando o Teste de Kruskal-Wallis com Student-Newman-Keuls tem-se os p-valores como na Tabela 5.17.

Na avaliação da meta-aprendizagem para escolha do melhor tamanho de arquitetura, de maneira geral, o SVM se destaca em relação a taxa de acurácia média, porém é esta- tisticamente semelhante a MLP e ao J48.

Comparações p Análise

Grupos(1 e 2) 0,0324 J48 melhor que o IBk

Grupos(1 e 3) 0,0016 J48 melhor que o NaiveBayes

Grupos(1 e 4) 0,1141 Diferença não significativa entre J48 e SVM Grupos(1 e 5) 0,3574 Diferença não significativa entre J48 e MLP

Grupos(2 e 3) 0,3077 Diferença não significativa entre IBk e NaiveBayes Grupos(2 e 4) 0,0002 SVM melhor que o IBk

Grupos(2 e 5) 0,0022 Estaticamente MLP melhor que IBk

Grupos(3 e 4) < 0,0001 Diferença significativa entre NaiveBayes e SVM Grupos(3 e 5) < 0,0001 Diferença significativa entre NaiveBayes e MLP Grupos(4 e 5) 0,5095 Diferença não significativa entre SVM e MLP

Tabela 5.17: Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls na Avaliação dos Tamanhos da Arquitetura.

5.10 Considerações Finais

Neste capítulo foram apresentados os resultados observados ao longo desta disser- tação. Foram analisados os resultados obtidos com os experimentos que avaliaram a aplicação de técnicas de meta-aprendizagem na escolha de parâmetros de um comitê ho- mogêneo. Os parâmetros investigados foram classificador base, método de arquitetura e tamanho médio de uma arquitetura.

Foi observado que, de maneira geral, para seleção dos classificador base e da arqui- tetura, o método J48 se destaca como melhor método meta-aprendizes. Na seleção do melhor tamanho de uma arquitetura o método que se destacou foi o SVM, seguido de perto pela modelo neural MLP e pelo J48, ao ponto de serem considerados, estatistica- mente semelhantes para esta tarefa.

Considerações Finais

Neste trabalho foi realizado um estudo da aplicação de técnicas de meta-aprendizagem na escolha dos parâmetros de configuração de um comitê homogêneo: classificador base, da arquitetura e tamanho médio da arquitetura.

Este estudo foi motivado pela existência de um grande número de métodos classifi- cadores e uma variada gama de problemas existentes no universo e pelo fato de nenhum método ser suficientemente bom para qualquer tipo de problema, fazendo com que a es- colha de um desses parâmetros seja uma tarefa bastante árdua. Além disso, é notável um crescente aumento no interesse pela área de aprendizado de máquina, sobre tudo em tarefas de classificação através dos comitês de máquina.

Foram investigados nove métodos classificadores como postulantes a classificador base e dois métodos candidatos a gerador de arquitetura. Foram avaliados 27 tamanhos diferentes de comitês para cada método, onde o menor comitê é composto de 2 componen- tes e o maior de 28 componentes. No processo de meta-aprendizagem foram investigados cinco métodos classificadores como candidatos a melhor meta-aprendiz.

O objetivo geral deste trabalho foi a investigação dos melhores parâmetros de confi- guração da arquitetura de comitês de classificadores via meta-aprendizagem aplicados a problemas diversos.

De modo geral, conclui-se que as técnicas de meta-aprendizagem são viáveis no pro- cesso de escolha dos parâmetros de configuração de um comitê. Os métodos J48 e SVM se destacaram no processo de meta-aprendizagem, onde mostraram-se superiores. Nas abordagens de recomendação do classificador base e arquitetura o J48 foi considerado estatisticamente melhor e na recomendação do melhor tamanho da arquitetura o SVM foi

melhor.

A principal contribuição deste trabalho foi a investigação empírica do uso de técnicas de meta-aprendizagem na escolha dos parâmetros de configuração de um comitê.

A proposta foi validade por meio de diversos experimentos e análises apresentados no Capítulo 5. Os resultados obtidos e apresentados mostram evidência significativas do êxito desta abordagem.

6.1 Trabalhos Futuros

A investigação realizada neste trabalho ainda pode ser expandida. Dessa maneira, alguns trabalhos futuros possíveis são:

• Comitês Heterogêneos: investigar a aplicação de técnicas de meta-aprendizagem na escolha dos parâmetros de configuração de comitês heterogêneos.

• Parâmetros dos Classificadores Base: investigar a aplicação de técnicas de meta- aprendizagem na escolha dos parâmetros de configuração dos métodos classifica- dores base de comitês heterogêneos.

• Outras Medidas de Caracterização: Utilizar outras medidas de caracterização dos dados, uma vez que esta tem um impacto direto na qualidade da meta-aprendizagem. • Aumentar a quantidade de bases: utilizar um número maior de bases dados, com

Abreu, M. (2006), Analisando o desempenho do classage: Um sistema multiagente para classificação de padrões, Dissertação de mestrado, UFRN, DIMAp, Natal, RN. Aha, D. W., D. Kibler & M. K Albert (1991), ‘Instance-based learning algorithms’, Mach.

Learn, Kluwer Academic Publishers, Hingham, MA, USA, v. 6, n. 1, p. 37-66, 1991. ISSN 0885-6125..

Asunción, A. & D. J Newman (2007), ‘Uci machine learning repository. http://ics.uci.edu/ mlearn/mlrepository.html’.

Baranauskas, J. A. & M. C Monard (2003), ‘Indução de regras e árvores de decisão:’, em Rezende, Solange Oliveira. Sistemas Inteligentes - Fundamentos e Aplicações. Cap. 5. 1. ed. Manole, Barueri, SP.

Bauer, E. & R. Kohavi (1998), ‘An empirical comparison of voting classification algo- rithms: Bagging, boosting, and variants.’, Machine Learning. (disponível a partir de: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.33.353).

Bensusan, H. & A. Kalousis (2001), ‘Estimating the predictive accuracy of a classifier’, EMCL 01: Proceedings of the 12th European Conference on Machine Learning, p. 25-36, London, UK. Springer-Verlag..

Bensusan, H., C. Giraud-Carrier & C. Kennedy (2000), ‘A higher-order approach to meta- learning’, Proceedings of the ECML 2000 workshop on Meta-Learning: Building Automatic Advice Strategies for Model Selection and Method Combination, p. 109- 117. ECML 2000..

Bensusan, Hilan & Christophe Giraud-Carrier (2000), ‘Casa batlo is in passeig de gra- cia or landmarking the expertise space’, Proceedings of the ECML?2000 workshop on Meta-Learning: Building Automatic Advice Strategies for Model Selection and Method Combination, p. 29?47. ECML?2000.

Bishop, M. C (1995), ‘Neural networks for pattern recognition’, Oxford University . 73

Brazdil, P., C. Giraud-Carrier, C. Soares & R. Vilalta (2009), Metalearning: Applications to Data Mining, Cognitive Technologies. Springer.

Breiman, L. (1996), ‘Bagging predictors’, Mach. Learn., Kluwer Academic Publishers, Hingham, MA, USA, v. 24, n. 2, p. 123-140, 1996. ISSN 0885-6125..

Brodley, C. E. (1995), ‘Recursive automatic bias selection for classifier construction’, Mach. Learn., v.20, n.1-2, p.63-94..

Burges, Christopher J.C. (1998), ‘A tutorial on support vector machines for pattern recog- nition’, Data Mining and Knowledge Discovery v2 pag. 121-167 .

Canuto, A. M.P. (2001), Combining neural networks and Fuzzy logic in character recog- nition, University of Kent.

Canuto, Anne. M. P., Lucas. de M. OLIVEIRA, João C. Xavier JR., Araken de M. SAN- TOS & Marjory C.C. ABREU (2005), ‘Performance and diversity evaluation in hy- brid and non-hybrid structures of ensembles.’, In: Procs. of the Fifth International Conference on Hybrid Intelligent Systems. [S.l.: s.n.], 2005. p. 285-290..

Canuto, Anne M. P., Marjory C. C. Abreu, Lucas de Melo Oliveira, João Carlos Xavier Jr. & Araken M. Santos (2007), ‘Investigating the influence of the choice of the ensemble members in accuracy and diversity of selection-based and fusion-based methods for ensembles’, Pattern Recognition Letters 28(4): 472-486, .

Caruana, R. & A. Niculescu-Mizil (2006), ‘An empirical comparison of supervised le- arning algorithms’, ICML 06: Proceedings of the 23rd international conference on Machine learning, p. 161-168, New York, NY, USA. ACM Press. Citado na página 52..

Cheeseman, P. & J. Stutz (1996), ‘Bayesian classification (autoclass): theory and results advances in knowledge discovery and data mining’, American Association for Arti- ficial Intelligence, Menlo Park, CA, USA, p. 153-180, 1996.

Coelho, André Luiz Vasconcelos (2004), Evolução, simbiose e hibridismo aplicados à en- genharia de sistemas inteligentes modulares: investigação em redes neurais, comitês de máquinas e sistemas multiagentes, Tese de doutorado, Universidade de Campi- nas. DCA-FEEC-UNICAMP., Campinas, SP.

Coelho, Guilherme Palermo (2006), Geração, seleção e combinação de componentes para ensembles de redes neurais aplicadas a problemas de classificação, Dissertação de mestrado, Unicamp.SP, São Paulo, Brasil.

Cohen, w. W. (1995), ‘Fast effective rule induction’, in: Twelfth International Conference on Machine Learning p. 115-123.

de Moraes Lima, Clodoaldo Aparecido (2004), Comitê de Máquinas: Uma Aborda- gem Unificada Empregando Máquinas de Vetores-Suporte, Tese de doutorado, UNI- CAMP, FEEC, Campinas.

de Oliveira, Diogo Fagundes (2008), Dilema da diversidade-acurácia: Um estudo empí- rico no contexto de multiclassificadores, Dissertação de mestrado, UFRN, DIMAp, Natal, Brasil.

de Souza, Bruno Feres (2010), Meta-aprendizagem aplicada à classificação de dados de expressão gênica, Tese de doutorado, USP-São Carlos.

Dietterich, T. G (2000), ‘Ensemble methods in machine learning’, Procs. of the First In- ternational Workshop on Multiple Classifier Systems. London, UK: Springer-Verlag. p.1-15.

Efron, B. & R. J. Tibshirani (1993), ‘An introduction to the bootstrap. [s.l.: s.n.]’.

Frank, E. & I. H. Witten (1998), ‘Generating accurate rule sets without global optimi- zation’, ( In: ICML 98: Proceedings of the Fifteenth International Conference on Machine Learning. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 1998. p. 144-151. ISBN 1-55860-556-8.

Freund, Y. & R. E. Schapire (1995), ‘A decision-theoretic generalization of on-line le- arning and an application to boosting’, EuroCOLT 95: Proceedings of the Second European Conference on Computational Learning Theory. London, UK: Springer- Verlag, 1995. p. 23-37. ISBN 3-540-59119-2..

Freund, Y. & R. E. Schapire (1999), ‘A short introduction to boosting’, Japonese Society for Artificial Intelligence, v. 14, n. 5, p. 771-780, 1999.Disponível em: <http://citeseerx.ist.psu.edu/viewdoc/summary doi=10.1.1.41.5846>..

Freund, Y.and Shapire, R. (1996), ‘Experiments with a new boosting algorithm.’, Procee- dings of the Thirteenth International Conference on Machine Learning, pp. 149-156. Morgan Kaufmann.

Friedman, J., T. Hastie & R. Tibshirani (2000), ‘Additive logistic regression: a statisti- cal view of boosting (with discussion and a rejoinder by the authors)’, Annals of Statistics, vol. 28, no. 2, pp. 337-407,.

Gama, J. M. P. (1999), Combining Classification Algorithms, Tese de doutorado, Facul- dade de Ciências da Universidade do Porto, Departamento de Ciências de Compu- tadores., Porto, Portugal.

Giraud-Carrier, Christophe (2008), ‘Metalearning - a tutorial.’, In: Procs. of The Seventh International Conference on Machine Learning and Applications (ICMLA’08), San Diego, California,USA.

Hansen, L. K. & P Salamon (1990), ‘Neural network ensembles’, IEEE Transactions Pattern Analysis and Machine Intelligence, v. 12, n. 10, p. 993-1001.

Haykin, S (1999), Neural networks: A comprehensive foundation, 2a Ed., Prentice Hall. Haykin, S (2001), Redes Neurais, Princípios e Práticas, Editora Bookman.

Inoue, H. & Narihisa (2004), ‘Effective online pruning method for ensemble self- generating neural networks’, Proceedings of the 47th Midwest Symposium on Cir- cuits and Systems, (pp.85-88). Hiroshima, Japan.

John, G. & P Langley (1995), ‘Estimating continuous distributions in bayesian classi- fiers’, Proceedings of the Eleventh Conference on Uncertainty in Artificial Intelli- gence. [S.l.]: Morgan Kaufmann,. p. 338-345..

Kalousis, A. (2002), Algorithm Selection via Meta-Learning., Tese de doutorado, Cen- tre Universiteire d’Informatique, Université de Genève, Geneva, Suíça. Citado nas páginas 39, 43, 53, 66, 68, e 79.

Koepf, C., C. C. Taylor & J. Keller (2000), ‘Meta-analysis: From data characterisation for meta-learning to meta-regression’, Brazdil, P.; Jorge, A., editores, Proceedings of the PKDD-00 Workshop on Data Mining, Decision Support,Meta-Learning and ILP: Forum for Practical Problem Presentation and Prospective Solutions, Lyon, France..

Kohavi, R (1995), ‘The power of decision tables’, Proceedings of the 8th European Confe- rence on Machine Learning. London, UK: Springer-Verlag, 1995. p. 174-189. ISBN 3-540-59286-5..

Kuncheva, L. I (2000), ‘Clustering-and-selection model for classifier combina- tion’, Knowledge-Based Intelligent Engineering Systems and Allied Technolo- gies,Proceedings.Fourth International Conference on. [s.n.]. v. 1, p. 185-188.. Kuncheva, Ludmila I. (2004), Combining Pattern Classifiers, Methods and Algorithms,

John Wiley and Sons, Inc., Hoboken, New Jersey.

Leite, Rui Manuel Santos Rodrigues (2007), Seleção de Algoritmos de Classificação: Caracterização Iterativa Baseada no Desempenho em Amostras, Tese de doutorado, Faculdade de Ciências da Universidade do Porto, Departamento de Ciência de Com- putadores.

Luger, G. F (2004), Inteligência Artificial:Estruturas e estratégias para a solução de problemas complexos, 4. ed. Editora BOOKMAN [S.l.].

Martin, Sewell (2008), ‘Ensemble learning’, University of Cambridge .

Michie, D., D. J. Spiegelhalter, C. C. Taylor & editores Campbell, J. (1994), ‘Machine learning, neural and statistical classification’, Ellis Horwood, Upper Saddle River, NJ, USA. Citado nas páginas 4 e 42..

Mitchell, T. (1997), Machine Learning, McGraw-Hill Science/Engineering/Math. Citado nas páginas 4, 23, 25, 26, 29, 32, e 39.

Monard, M. & J. Baranauskas (1991), ‘Conceitos sobre aprendizado de máquina.’, In: S. Rezende, Sistemas Inteligentes: Fundamentos e Aplicações (pp. 89-114). São Paulo: Manole.

Nascimento, Diego Silveira Costa (2009), Configuração heterogênea de ensembles de classificadores: Investigação em bagging, boosting e multiboosting, Dissertação de mestrado, Universidade de Fortaleza. UNIFOR., Fortaleza, CE.

Park, J. & I. W. Sandberg (1991), ‘Universal approximation using radial-basis-function networks’, Neural Camputation, v3,pp.246-257 .

Perrone, M. P. & L. N Cooper (1993), ‘When networks disagree: Ensemble method for neural networks’, In R. J. Mammone (Ed.) Neural Networks for Speech and Image Processing, (pp. 126 142). Chapman-Hall.

Pfahringer, B., H. Bensusan & C. Giraud-Carrier (2000), ‘Metalearning by landmarking various learning algorithms’, In Proceedingsof the Seventeenth International Confe- rence on Machine Learning, 743-750..

Quinlan, J. R (1992), ‘Learning with continuous classes. in: . [s.l.]: World scientific, 1992. p. 343-348.’.

Quinlan, J. R (1993), ‘C4.5: programs for machine learning.’, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 1993. ISBN 1-55860-238-0.

Rezende, S. O (2003), Sistemas Inteligentes: Fundamentos e aplicações, Baurueri - SP: [s.n.], São Paulo.

Rice, J. R. (1976), ‘The algorithm selection problem’, Advances in Computers, v.15, p.65- 118...

Santana, Laura Emmanuella Alves (2008), Uma análise comparativa entre sistemas de combinação de classificadores com distribuição vertical dos dados, Dissertação de mestrado, UFRN, DIMAp, Natal, RN, Brasil.

Saranli, A. & M Demirekler (2001), On output independence and complementariness in rank-based multiple classifier decision systems. patter recognition, Dissertação de mestrado, Middle East Technical University, Ankara, Turkey.

Schapire, R. E. (1990), ‘The strength of weak learn ability.’, Machine Learning, vol. 5, no 2, pp. 197-227,.

Schmidhuber, J. Zhao & M. Wiering (1996), ‘Simple principles of meta-learning’, Tech- nical Report IDSIA-69-96.

Sharkey, A. J. C. (1999), ‘Combining artificial neural nets: Ensemble and modular multi- net systems’, Springer-Verlag, London, 1999 .

Sharkey, A. J. C., N. E. Sharkey & G. O. Chandroth (1996), ‘Neural nets and diversity’, Neural Computing and Application, vol 4, pp. 218-227.

Soares, C. (2004), Learning Rankings of Learning Algorithms: Recommendation of Algorithms with Meta-Learning, Tese de doutorado, Departamento de Ciência da Computação, Faculdade de Ciências da Universidade do Porto, Porto, Portugal. Soares, C., P. B. Brazdil & P. Kuba (2004), ‘A meta-learning method to select the kernel

Soares, C. & P. Brazdil (2000), ‘Zoomed ranking: Selection of classification algorithms based on relevant performance information’, PKDD 00: Proceedings of the 4th Eu- ropean Conference on Principles of Data Mining and Knowledge Discovery, p. 126- 135, London, UK. Springer-Verlag. Citado na página 52..

Soares, R. G. F., A. Santana, Anne. M. P. Canuto & Marcílio C. P. Souto (2006), ‘Using accuracy and diversity to select classifiers to build ensembles’, In: Procs. of the IEEE International Joint Conference on Neural Networks. [S.l.]. p.1310-1316. Sollich, P. & A Krogh (1996), ‘with ensembles: How overfitting can be useful’, Advances

in Neural Information Processing Systems, v. 8, p. 190-196.

Tavares, L. G., H. S. Lopes & C. R. E Lima (2007), ‘Estudo comparativo de métodos de aprendizado de máquina na detecção de regiões promotoras de genes de escherichia coli’, Anais do I Simpósio Brasileiro de Inteligência Computacional, p. 8-11, . Valentini, G. & F Masulli (2002), ‘Ensembles of learning machines’, Springer, v. 2486, p.

3-19,.

Vilalta, R., C. Giraud-Carrier & P. Brazdil (1995), ‘Data mining and knowledge.discovery handbook: A complete guide for practitioners and researchers,chapter meta- learning: Concepts and techniques, p. 1-17.’, Kluwer Academic Publishers. .

Vilalta, R., C. Giraud-Carrier & P. Brazdil (2005), Data Mining and Knowledge, Dis- covery Handbook: A Complete Guide for Practitioners and Researchers, chapter Meta-Learning: Concepts and Techniques, p. 1-17. Kluwer Academic Publishers. Vilalta, R. & Y. Drissi (2002), ‘A perspective view and survey of metalearning’, Journal

of Artificial Intelligence Review. p. 77-95.

Witten, I. H. & E. Frank (2005), ‘Data mining: Practical machine learning tools and techniques with java implementations’, (2nd Edition ed.). Elsevier .

Zhou, Z. H., J. Wu & W. Tang (2002), ‘Ensembling neural networks: Many could be better than all.’, Artificial Intelligence, 137(1-2), 239-263 .

Zhou, Z. H. & Y Jiang (2003), ‘Medical diagnosis with c4.5 rule preceded by artificial neural network ensemble’, IEEE Transactions on Information Technology in Biome- dicine, 7(1), 37-42.

Zhou, Z. H., Y. Jiang, Y. B. Yang & S. F Chen (2000), ‘Lung cancer cell identification based on neural network ensembles.’, Artificial Intelligence in Medicine, 24(1), 25- 36..

Problemas de Classificação