Aprendizagem Automática: Uma introdução

(1)

Aprendizagem Automática

Uma Introdução

Cristina Mota

Instituto Superior Técnico L2F Inesc-ID

New York University

(2)

O que é Aprendizagem Automática?

“The field of Machine Learning is concerned with the question of how to construct computer programs that automatically improve with experience” (Mitchell, 1997)

“Machine learning studies automatic techniques for learning to make accurate predictions based on past observations” (Schapire, 2001)

(3)

Exemplo

1 – Reunir tantos exemplos quanto possível de SPAM e não-SPAM 2 – Fornecer esses exemplos, previamente classificados (S/NS), ao

algoritmo favorito de Aprendizagem que automaticamente irá produzir uma classificação ou regra de predição

3 – Dado um novo exemplo, não classificado, a regra tenta atribuir uma classificação

O objectivo é produzir uma regra que faça predições tão precisas quanto possível relativamente a novos exemplos.

Problema: Filtrar as mensagens electrónicas de modo a reconhecer SPAM Abordagem de Aprendizagem Automática:

(4)

Definição do problema

Classe de tarefas

Medida de desempenho a ser melhorada

Fonte de aprendizagem

Problema de aprendizagem de Reconhecimento de EMs Tarefa T: Identificar e classificar EMs em textos

Medida de desempenho D: Medida-F

Fonte de aprendizagem E: Texto previamente classificado

(5)

Desenho do sistema

Escolher:

- a experiência de treino Como?

- uma função alvo O quê?

- uma representação para a função alvo - algoritmo de aproximação da função - estimar valores de treino

- ajustar os valores - desenho final

(6)

Questões

Que algoritmos existem para aprender funções alvo genéricas a partir de exemplos de treino?

Em que condições converge o algoritmo, havendo dados de treino suficientes?

Que algoritmos se comportam melhor face a que tipo de problemas e representações?

Que quantidade de dados de treino é necessária?

Que limites genéricos podem ser encontrados que relacionem a confiança nas hipóteses aprendidas e a quantidade de experiência de treino e natureza do espaço de hipóteses do “aprendiz”?

Quando e como é que conhecimento anterior mantido pelo “aprendiz” pode guiar o processo de generalização a partir de exemplos?

Pode o conhecimento anterior ser útil mesmo quando só está aproximadamente correcto?

(7)

Desenho do sistema

Qual é a melhor forma para reduzir a tarefa de aprendizagem a um ou mais problemas de aproximação de funções?

Ou seja, que funções específicas deve o sistema tentar aprender?

Pode este mesmo processo ser automatizado?

Como é que o “aprendiz” pode automaticamente alterar a sua representação para melhorar a sua capacidade de representar e aprender a função alvo?

Qual é a melhor estratégia para escolher a experiência seguinte mais útil?

Como é que a escolha dessa estratégia altera a complexidade do problema de aprendizagem?

(8)

Paradigmas de Aprendizagem

COMPUTACIONAL Existe uma representação simbólica manipulada por um sistema de inferência

Mecanismo de Inferência

Dedutivo Conhecimento inferido a partir do que já existe, mas que estava implícito. O novo

conhecimento é sempre verdadeiro. Com base em apenas um exemplo, cria novas regras.

Indutivo Obtenção de conhecimento

instrinsecamente novo. O novo conhecimento pode não ser verdadeiro. Usa técnicas de

generalização. Usa vários exemplos para criar novas regras.

Analógico Dado um outro problema e a sua solução, relaciona os dois problemas para chegar a uma nova solução. É necessário descobrir problemas análogos ao que se tem em mãos.

(9)

Paradigmas de Aprendizagem

COMPUTACIONAL Existe uma representação simbólica manipulada por um sistema de inferência

Aprendizagem de conceitos (Concept Learning) aquisição da definição de uma categoria genérica a partir de exemplos positivos e negativos dessa categoria.

Decision Tree Learning Método para aproximar funções de valores discretos que é robusto a dados com ruído, capaz de aprender expressões disjuntivas.

Ex: ID3, ASSISTANT, C4.5

Adequados para problemas com as seguintes características - Instâncias representadas por pares atributo-valor

- A função alvo tem saídas discretas

- Pode ser necessário descrições disjuntivas - Os dados de treino podem conter erros

- Os dados de treino podem conter valores desconhecidos

(10)

Paradigmas de Aprendizagem

NEURONAL Inspirado no funcionamento do cérebro

∑ a₀ a₁

a₂ a_n-1

a_n x₁ 1

x₂

x_n-1 x_n

S 0/1

Perceptrão de Rosenblatt

Regra de Aprendizagem ≡ a_i^{( +1)}ⁿ = a_a^(a)-ηx_a( - )od

(11)

Paradigmas de Aprendizagem

∑ a₀ a₁

a₂ a_n-1

a_n x₁ 1

x₂

x_n-1 x_n

O

Regra de Aprendizagem (delta rule)≡ a_a^(a+1) = a_a^(a)-η∑a_a^k(a^a-a^k) ADALINE – ADAptive LINear Element

(LMS – Least Mean Squares) ≡ a_a^(a+1) = a_a^(a)-ηa_a^a(a^a-a^k)

Batch Online

(12)

Paradigmas de Aprendizagem

Perceptrão multicamada para a frente

∑ a₀ a₁

a_n 1 x₁

x_n

S₁ y₁ ∑

b₀

b_n 1

S₃

∑ c₀ c₁

c_n 1 x₁

x_n

S₂ y₂

∑ d₀ d₁ 1

S₄

y₃

y₄ d₂

Aprendizagem: Retropropagação

(13)

Paradigmas de Aprendizagem

Adequados para problemas com as seguintes características - Instâncias representadas por muitos pares atributo-valor - Funções com valores reais, discretos e vectoriais

- Os dados de treino podem conter ruído

- É aceitável ter tempos de processamento grandes

- Possa ser necessário uma rápida avaliação da função alvo

- A (in)capacidade de humanos compreenderem a função alvo não é importante

(14)

Paradigmas de Aprendizagem

GENÉTICO Inspirado na teoria de evolução das espécies

População Inicial

Selecção Natural Função de adaptação X = ∑

1/3

1/3 2/9

1/9

(15)

Paradigmas de Aprendizagem

População Inicial

Recombinação Pontos de corte

(16)

Paradigmas de Aprendizagem

População Inicial

(17)

Paradigmas de Aprendizagem

População Inicial

Mutação Frequência

(18)

Paradigmas de Aprendizagem

Nova População

Mutação Frequência

FIM: Solução óptima ou suficientemente boa

(19)

Paradigmas de Aprendizagem

EMERGENTE Inspirado na organização das sociedades

Depende de um autómato celular (rede de células), em que cada célula tem um estado que das células vizinhas e é fixado por um conjunto de regras

As transições de estado de um autómato celular dão-se em paralelo

(20)

Problema da Generalização

Universo Treino

Teste Validação

Validação Cruzada

Erro

x

(21)

Aprendizagem em PLN

Brill

Yarowsky Mikheev Borthwick