4 Resultados experimentais
5.2 Trabalho futuro
Esta tese faz uma reflexão sobre a utilização de ecoes em problemas de classificação. Não sendo um trabalho acabado, abre caminho para futuras investigações, nomeadamente:
- Adaptação dos ecoes ao problemas.
Nesta tese é apresentado um conceito de bons e maus ecoes. No entanto, essa definição é feita de forma independente do problema de classificação. Dois problemas multi-classe com o mesmo número de classes terão os mesmo bons e maus ecoes. No entanto, é legitimo considerar que o mesmo ecoe poderá conduzir a mais melhorias num problema do que no outro. Relembre-se que os ecoes definem fronteiras de decisão e uma boa fronteira num problema poderá ser uma má fronteira noutro. Assim, a
definição de critérios que permitam adaptar os melhores ecoes aos problemas de forma independente, poderá levar o uso dos ecoes ainda mais longe.
- A utilização de probabilidades
Na literatura ainda são poucas as referências à utilização de probabilidades nos ecoes. No entanto, poderá ser um caminho que abra novas luzes sobre os ecoes. Refira-se adicionalmente que o uso de probabilidades poderia ser articulados com o ponto anterior, para a escolha de ecoes adaptados a problemas de decisão.
- Extender a aplicação dos métodos propostos
A fim de efectuar uma mais profunda avaliação dos métodos propostos nesta tese, deveria ser extendida a sua aplicação a um maior número de conjuntos de dados e algoritmos. Dois dos algoritmos que se pretende utilizar num futuro próximo são o QUEST [37] e o UFFT [4].
- Afinação do ponto de equilíbrio
A utilização de técnicas baseadas no MDL para determinar a melhor dimensão do tamanho do
6 Bibliografia
[I] C: Blake, E. Keogh, and C.J.Merz. UCI repository of Machine Learning databases, 1999. [2] J. Furnkranz. Round Robin Classification. Journal of Machine Learning Research 2:721-747,
MIT Press, 2002.
[3] T. G. Dietterich, G. Bakiri. Solving Multiclass Learning Problems via Error-Correcting
Output Codes. Journal of Artificial Intelligence Research, 2:263-286, 1995.
[4] J. Gama, P. Medas, R. Rocha. Forest Trees for On-line Data. ACM (ed.), Proceedings of ACM SAC'04, Nicosia, Cyprus, Vol 2, pp. 632 - 636, 2004
[5] T. Hastie, R. Tibshirani. Classification by Pairwise Coupling. Advances in Neural Information Processing Systems 10, 1998.
[6] J. Furnkranz. Round Robin Ensembles, Intelligent Data Analysis, 7(5):385-404, 2003.
[7] Johannes Furnkranz, E. Hullermeier. Pairwise Preference Learning and Ranking, In Proceedings of the 14th European Conference on Machine Learning (ECML-03), pp. 145-156, Springer Verlag 2003.
[8] J. Carlson. Error Correcting Codes: An Introduction Through Problems, Thecnical report http://www.math.utah.edu/ carlson/ugc/ecc/ecc.pdf, 1999.
[9] Miguel Moreira. The use of boolean concepts in general classification contexts, Tese de doutouramento da Escola Politécnica Federal de Lausanne, Suiça, 2000.
[10] R. Rifkin, A. Klautau, In Defense of One-vs-All Classification. Journal of Machine Learning Research, 5:101-141, MIT Press, 2004.
[II] E. L. Allwein, R. E. Shapire, Y. Singer. Reducing multiclass to binary: a unifying approach
for margin classifiers. Journal of Machine Learning Research, 1:113-141, MIT Press, 2000.
[12] E. Alba, J. F. Chicano, B. Dorronsoro, G. Luque, Diseho de Códigos Correctores de Errores
con Algoritmos Genéticos. Actas del Tercer Congreso Espafiol de Metaheurísticas, Algoritmos
Evolutivos y Bioinspirados (MAEB '04), Córdoba, pp. 51-58, 2004.
[13] E. Alba, J. F. Chicano, Solving the Error Correcting Code Problem with Parallel Hybrid
Heuristics. ACM (ed.), Proceedings of ACM SAC'04, Nicosia, Cyprus, Vol 2, pp. 985-989,
2004.
[14] T. G. Dietterich, Aproximate statistical testes for comparing supervised classification learning
algorithms. Neural Computation, 10(7): 1895-1924, 1998.
[15] F. Ricci, D. W. Aha. Extending Local Learners with Error-Correcting Output Codes. Technical report, 9701-08, 1997.
[16] E. V. York, Algebraic description and construction of error correcting codes: a linear system
[17] W. C. Huffman, V Pless, Fundamentals of Error-Correcting Codes. Cambridge University Press, 2003
[18] B. E. Boser, I. Guyon, V. N. Vapnik, A Training Algorithm for Optimal Margin Classifiers, in Proceedings of the Fifth Annual Workshop on Computational Learning Theory 5:144-152, 1992.
[19] F. Rosenblatt, The Perceptron: A Probabilistic Model for Information Storage and
Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No.
6, pp. 386-408, 1958
[20] M. L. Minsky, S. A. Papert, Perceptrons. Cambridge, MA: MIT Press, 1969
[21] S. Czanner, A. Wetzel A Tutorial Overview of Machine Learning, Feature Selection and
Classification With Application to Cancer Detection, Pittsburgh Supercomputing Center,
Mellon Institute, Carnegie Mellon University, Pittsburgh, 2002.
[22] R. Hamming, Coding and Information Theory. Prentice-Hall, Englewood Cliffs, 1980.
[23] R. Hamming, Error-detecting and error-correcting codes. Bell System Technical Journal 29, pp 147-160,1950.
[24] C. E. Shannon, A mathematical theory of communication. Bell System Technical Journal 27, pp. 379-423, 623-656, 1948.
[25] J. R. Quinlan. Discovering rules by induction from large collections of examples. Expert Systems in the Micro-electronic Age, Michie, D., Editor, Edinburgh University Press, Edinburgh, Scotland pp 168-201, 1979.
[26] J. R. Quinlan. C4.5: Programs for Machine Learning. Morgan Kauffmann, Los Altos, CA, 1993.
[27] E. Kong, T Dietterich. Probability estimation using error-correcting output coding. Procedings of the IASTED International Conference: Artificial Intelligence and Soft Computing. ACTA Press, 1997.
[28] O. Dekel, Y. Singer. Multiclass Learning by Probalistic Embeddings. Advances in Neural Information Processing Systems 15 (pp. 945-952). MIT Press, 2002.
[29] E. Kong, T Dietterich. Error-correcting output coding corrects bias and variance. In the 12th International Conference on Machine Learning, pp313-321. Morgan Kaufmann, 1985.
[30] E. Frank, S. Kramer. Ensembles of Nested Dichotomies for Multi-class Problems. Machine Learning, Proceedings of the 21th International Conference. OmniPress, 2004.
[31] I. S. Reed, G. Solomon, Polynomial Codes Over Certain Finite Fields, SIAM Journal of Applied Math., vol. 8,, pp. 300-304, 1960.
[32] R. Bose, D. Ray-Chaudhuri, On a class of error correcting binary group codes, Information and Control, vol. 3, pp. 68-79, 1960.
[33] A. C. Lorena, A. Carvalho, An Hybrid GAJSVM Approach for Multiclass Classification with
[34] B. Kijsirikul, N. Ussivakul, Multiclass Support Vector Machines using Adaptive Directed
Acyclic Graph, Proceedings of International Joint Conference on Neural Networks, pp 185-
208,2002.
[35] J. C. Piatt, N. Cristiani, J. Shawe-Taylor, Large Margin DAGs for Multiclass Classification, Advances in Neural Information Processing Systems, vol 12, pp 547-553, MIT Press, 2000. [36] K. Dontas, K. De Jong, Discovery of maximal distance codes using genetic algorithms,
Proceedings of the Second International IEEE Conference on Tools for Artificial Intelligence, pp 905--811, IEEE Press, 1990.
[37] W.-Y. Loh, Y.-S. Shih, Split selection methods for classification trees, Statistica Sinica, vol. 7, pp.815-840, 1997.
[38] L. Breinman, J. Friedman, R. Olsen, C. Stone, Classification and Regression Trees, Wadsworth International Group, 1984.
[39] J. Gama, Iterative Bayes, Intelligent Data Analysis 4, pp 475-488, IOS Press, 2000.
[40] G. S. Maddala, Microeconomics - Theory and Applications Nova Iorque, McGraw-Hill Book Company, 1989.
[41] R Development Core Team, R: A language and environment for statistical computing, R Foundation for Statistical Computing (www.R-project.org), Vienna, Austria, 2004.
[42] G. Bhattacharyya e R. Johnson, Statistical Concepts and Methods, New York, John Willey \& Sons, 1977.