7.3
Propostas de Trabalhos Futuros
Como sugestão de continuidade para este trabalho, está a aplicação das metodologias aqui descritas e experimentadas a novos conjuntos de dados e novos algoritmos de busca global e local para consolidar, ainda mais, sua eficiência.
Na metodologia exposta surgiram novos parâmetros ajustáveis tais como a temperatura no Simulated Annealing, o número de vizinhos gerados e o tamanho da lista tabu no Tabu Search. Neste trabalho, tais parâmetros foram fixados durante os experimentos, no entanto, eles são fatores importantes do treinamento com otimização global. É interessante realizar novos experimentos variando esses parâmetros e, assim, estudar sua influência nos resultados.
O único critério de avaliação de custo adotado foi a taxa de acertos de classificação do conjunto de teste. Viu-se que a Seleção e Ponderação de características, de fato, melhora a eficiência do classificador. Porém, não foi observado como função de custo um importante fator que é a complexidade do conjunto de características, ou seja, o número de atributos dos subconjuntos otimizados. Conjuntos menores de características representam um custo computacional menor. O fator complexidade poderia ser considerado também como função de custo em experimentos futuros.
Por fim, foi visto que o Relief em sua versão original apresenta uma série de restrições que dificultam a sua utilização como algoritmo de busca local. Por exemplo, ele utiliza apenas um vizinhos na sua avaliação, quando seria interessante a utilização de mais de um, entre outras. Considera-se interessante o estudo e aplicação de outros algoritmos derivados do Relief, com a intenção de superar estas restrições e estudar seu efeito, de fato, nos resultados.
66 66 66
Referências
ASUNCION, A.; NEWMAN, D. UCI Machine Learning Repository. 2007.
BARROS, A. C. A.; CAVALCANTI, G. D. C. Combining Global Optimization Algorithms with a Simple Adaptive Distance for Feature Selection and Weighting. IEEE International Joint Conference on Neural Networks, [S.l.], p.3518–3523, 2008.
BARROS, A. C. A.; CAVALCANTI, G. D. C. Feature Set Selection and Weighting for Legal Amount Recognition on Brazilian Bank Checks. International Conference on Frontiers in Handwriting Recognition, [S.l.], p.338–343, 2008.
BEN-BASSAT, M. Pattern Recognition and Reduction of Dimensionality. P. R. Krishnaiah and L.N. Kanal editors, Handbook of Statistics-II, [S.l.], v.2, p.773–791, 1982.
BLUM, A. L.; RIVEST, R. L. Training a 3-node neural network is a NP-complete. Neural Networks, [S.l.], v.5, p.117–127, 1992.
CARDIE, C. Using Decision Trees to Improve Case-Based Learning. P. Utgoff editor, International Conference on Machine Learning, [S.l.], p.25–32, 1993.
COVER, T. M.; HART, P. E. Nearest Neighbor Pattern Classification. IEEE Transactions on Information Theory, [S.l.], v.IT-13, n.1, p.21–27, 1967.
COVER, T. M.; THOMAS, J. A. Elements of Information Theory. 1991.
DASH, M.; LIU, H. Feature Selection methods for classification. Intelligent Data Analysis: An International Journal, [S.l.], v.1, n.3, p.131–156, 1997.
DEVIJVER, P. A.; KITTLER, J. Pattern Recognition: a statistical approach. Prentice Hall, [S.l.], 1982.
GILAD-BACHRACH, R.; NAVOT, A.; TISHBY, N. Margin Based Feature Selection - Theory and Algorithms. Proc. 21st International Conf. on Maching Learning, [S.l.], p.43–50, 2004. GLOVER, F. Future paths for integer programming and links to artificial intelligence.
Computers and Operation Research, [S.l.], v.13, p.533–549, 1986.
GUYON, I.; ELISSEEFF, A. An introduction to variable and feature selection. The Journal of Machine Learning Research, [S.l.], p.1157–1182, 2003.
HAJEK, B. Cooling Schedules for Optimal Annealing. Mathematics of Operations Research, [S.l.], v.2, p.311–329, 1988.
HANSEN, P. The steepest ascent mildest descent heuristic for combinatorial programming. Conference on Numerical Methods in Combinatorial Optimisation, [S.l.], p.313 – 318, 1986.
HOLMES; NEVILL-MANNING. Feature selection via the discovery of simple classification rules. Proceedings of the International Symposium on Intelligent Data Analysis, [S.l.], v.10, n.1, p.3–21, 1995.
REFERÊNCIAS 67 KIRA, K.; RENDELL, L. A. A practical approach to feature selection. Proc. of the Ninth Int. Conference on ML, [S.l.], p.249–256, 1992.
KIRA, K.; RENDELL, L. A. The feature selection problem: traditional methods and a new algorithm. Proceedings of the Tenth National Conference on Artificial Intelligence, [S.l.], p.129–134, Menlo Park: AAAI Press/The MIT Press, 1992.
KIRKPATRICK, S.; JR., C. D. G.; VECCHI, M. P. Optimization by Simulated Annealing. Science, [S.l.], v.220, p.671–680, 1983.
KOHAVI, R.; JOHN, G. H. Wrappers for feature subset selection. Artificial Intelligence, [S.l.], v.97, n.1-2, p.273–324, 1997.
KONONENKO, I. Estimating attributes: analysis and extensions of RELIEF. L. F. Bergadano and L. De Raedt editors, Proceedings of the European Conference on Machine Learning, [S.l.], p.171–182, Catalania, Italy, 1992. Berlin: Springer-Verlag.
LACHENBRUCH, P. A.; MICKEY, M. R. Estimation of Error Rates in Discriminant Analysis. Technometrics, [S.l.], v.10, p.1–11, 1968.
LIU, H.; MOTODA, M. Feature Selection for Knowledge Discovery Data Mining. Boston: Kluwer Academic Publishers, [S.l.], 1998.
METROPOLIS, N. et al. Equation of state calculations by fast computing machines. Journal of Chem. Phys., [S.l.], v.21, n.6, p.1087–1092, 1953.
MICHIE, D.; SPIEGELHALTER, D.; TAYLOR, C. Machine Learning, Neural and Statistical Classification. 1994.
OLIVEIRA, L. S. et al. Feature selection using multi-objective genetic algorithms for handwritten digit recognition. Proc. of 16th International Conference on Pattern Recognition, [S.l.], v.1, p.568–571, 2002.
OLIVEIRA, L. S. et al. A methodology for feature selection using multi-objective genetic algorithms for handwritten digit string recognition. Int. Journal on Pattern Recognition and Artificial Intelligence, [S.l.], v.6, n.17, p.903–930, 2003.
PHAM, D. T.; KARABOGA, D. Intelligent Optimisation Techniques: genetic algorithms, tabu search, simulated annealing and neural networks. Springer-Verlag New York, Inc., [S.l.], p.1–50, 1998.
PUDIL, P.; NOVOVICOVA, J.; KITTLER, J. Floating search methods in feature selection. Pattern Recognition Letters, [S.l.], p.1119–1125, 1994.
RAYMER, M. L. et al. Dimensionality reduction using Genetic algorithms. IEEE Trans. Evolution. Comput., [S.l.], v.4, n.2, p.164–171, 2000.
SUN, Y. Iterative RELIEF for Feature Weighting: algorithms, theories, and applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, [S.l.], v.24, n.6, p.1035–1052, 2007.
TAHIR, M. A.; BOURIDANE, A.; KORUGOLLU, F. Simultaneous feature selection and feature weighting using Hybrid Tabu Search/K-nearest neighbor classifier. Pattern Recognition Letters, [S.l.], v.28, p.438–446, 2007.
REFERÊNCIAS 68 TAHIR, M. A. et al. Feature selection using tabu search for improving the classification rate prostate needle biopsies. Proceedings of the 17th International Conference on Pattern Recognition, [S.l.], v.2, p.335–338, 2004.
YAMAZAKI, A. Uma Metodologia para Otimização de Arquiteturas e Pesos de Redes Neurais. Tese de Doutorado, Centro de Informática, Universidade Federal de Pernambuco,
Recife-PE, [S.l.], Março de 2004.
YAMAZAKI, A.; LUDERMIR, T. B. Neural Network Training with Global Optimization Techniques. International Journal of Neural Systems, [S.l.], v.13, n.2, p.77–86, 2003.