PROPOSTA DE MINICURSO
Introdução ao Aprendizado Estatístico de Máquina (Introduction to Statistical Machine Learning)
Nível: Graduação
Francisco Louzada1, Paulo Henrique Ferreira2, Anderson Ara1, Victor Riccio Duran2
1 Universidade de São Paulo, 2 Universidade Federal da Bahia
Resumo
Machine Learning, em tradução livre do inglês, Aprendizado de Máquina (AM), pode ser entendido como um conjunto de procedimentos que permitem a um equipamento, em particular um computador, melhorar o seu desempenho na execução de alguma tarefa, o que dá origem ao termo AM. Tecnicamente, entretanto, AM se consolida com a utilização de métodos estatísticos, matemáticos e computacionais, de análise e visualização de dados, em forma de algoritmos e técnicas que permitem ao computador simular processos de aprendizagem.
O presente minicurso tem por objetivo a apresentação dos conceitos introdutórios relativos ao AM, mas com um viés estatístico, o que dá origem ao título do mesmo: Aprendizado Estatístico de Máquina (AEM).
A organização do minicurso consiste inicialmente na definição conceitual e teórica do AM, comparação entre AM e estatística, apresentação de formas diferentes de estruturação de bancos de dados, procedimentos de segmentação, determinação dos modelos a serem ajustados, avaliações de performance dos modelos, implementação no software R e finalmente a apresentação de estudos de casos.
O conteúdo básico do minicurso, organizado em forma de livro, está relacionado abaixo.
I. Introdução
1. Usos diversos de AEM 2. É possível aprender?
3. É viável aprender?
3.1. Overfitting
3.2. Balanço entre Viés e Variance 4. Noções básicas
4.1. Data Spending
4.1.1. Amostras treinamento e teste 4.1.1.1. Seleção randômica
4.1.1.2. Seleção por Redes Neurais de Kohonen 4.1.2 Validação Cruzada
5. Diferenças e Similaridades entre Aprendizados 6. Exemplos
II. Engenharia de Variáveis e Pré-Processamento de Dados 1. Cosntrução de variáveis
2. Pré-processamento de dados 2.1. Tipo de dados
2.2. Tipo de Amostragem
2.3. Quais modelos são necessários 3. Seleção de Variáveis
3.1. Wrapping
3.1.1 Seleção Forward 3.1.2. Algoritmos Genéticos 3.2. Filtragem
4.2.1. Índice de Gini 4.2.2. Information Gain 4.2.3. Information Ratio 4. Segmentação de Base
III. Modelos de Aprendizado Estatístico de Máquina 1. Modelos de Classificação
1.1. Análise Discriminante 1.2. Regressão Logística
1.3. Diferentes Funções de Ligação 1.4. Regressão Logística Limitada 1.5. Regressão Logística Bayesiana 2. Modelos de Regressão
2.1. Regressão Linear 2.1.1. Regressão Polinomial
2.1.2. Regressão Splines 2.1.3. Regressão Ridge 2.1.4. Regressão Lasso 3. Regressão Não-Linear
IV. Outros Modelos de Aprendizado 1. Diferentes Estruturas
2. Conexionistas
2.1. Redes Neurais 3. Evolucionistas
3.1. Algoritmos Genéticos 4. Simbolistas
4.1. Modelos de Árvores 4.2. Random Forests 5. Bayesianos
5.1. Naive Bayes 5.2. Redes Bayesianas
5.3. Redes probabilísticas de k-dependência 6. Analogistas
6.1. K-nearest neighbor 6.2. Support Vector Machine
6.3. Mistura de Gaussianas e Algoritmo EM 7. O algoritmo Mestre
V. Aprendizado de Máquina Combinado e Intenso 1. Combinação de Modelos
1.1. Bagging 1.2. Poly-Bagging
1.3. Boosting
1.4. Bayesian Model Averaging 2. Deep Learning
2.1. Convolution Networks
2.2. Rectified Linear Activation Function 2.3. Dropout Regularizer
VI. Avaliação de Modelo
1. Técnicas gerais para avaliação de modelos 1.1. Regressão
1.2. Classificação
1.2.1. Matrizes de Confusão
1.2.2. Custo relativo de má especificação
1.2.3. Valores preditivos, sensibilidades e especificidades 1.2.4. Razão de verossimilhanças
1.2.5. Medidas de Entropia
2. Que gráficos usar na avaliação de modelos?
2.1. Curva ROC
2.2. Gráficos de Resíduos 2.3. Identificação de Outliers 3. Como identificar overfitting?
3.1. Modelos mais propensos a overfitting 3.2. Existe possibilidade de reparação?
VII. Implementação de Algoritmos AEM no R 1. Apresentação inicial
2. Modelos de Classificação 3. Modelos Lineares
4. Modelos Não-lineares 5. Combinação de Modelos
6. Técnicas de Avaliação de Modelo VIII. Estudos de Caso
1. Dados Médicos 2. Dados Industriais 3. Dados Financeiros 4. Dados Demográficos
5. Reconhecimento de Padrões 5.1. Imagem
5.2. Texto 5.3. Biometria
Bibliografia Básica
Abu-Mostafa, Y. S., Magdon-Ismail, M., & Lin, H. T. (2012). Learning from data (Vol.
4). Singapore: AMLBook.
Friedman, J., Hastie, T., & Tibshirani, R. (2001). The elements of statistical learning (Vol. 1). Springer, Berlin: Springer series in statistics.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An introduction to
statistical learning. Retrieved from
http://link.springer.com/content/pdf/10.1007/978-1-4614-7138-7.pdf
Kuhn, M., & Johnson, K. (2013). Applied Predictive Modeling. New York, NY:
Springer New York. doi:10.1007/978-1-4614-6849-3
