1.machine-learning

(1)

Aprendizado de Máquina

George Darmiton da Cunha Cavalcanti gdcc@cin.ufpe.br

(2)

Agenda

❖

Aprendizado de máquina: definição

❖

Aplicações

❖

Regressão versus Classificação

❖

Componentes do aprendizado de máquina

❖

Tipos de aprendizado

(3)

What is Machine Learning

❖

Arthur Samuel (1959)

❖

"Machine learning: field of study that gives computers the

ability to learn without being explicitly programmed”

❖

Tom Mitchell (1997)

❖

"Study of algorithms that improve their performance P at

some task T with experience E”

(4)

(5)

Aplicações - iPhoto

Faces: Detecção e Reconhecimento

(6)

(7)

(8)

(9)

(10)

(11)

(12)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(13)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(14)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(15)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(16)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(17)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(18)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(19)

Valoração de imóveis: um exemplo

Pr eç o (R$) 0 400 800 1200 1600 Área (m2) 0 150 300 450 600

(20)

Tumor: maligno

_{versus não-maligno}

Clas se: 1 (s im ) | 0 (não ) 0.0 1.0 Tumor size 0 2 4 6 8 10 12

(21)

Tumor: maligno

_{versus não-maligno}

Clas se: 1 (s im ) | 0 (não ) 0.0 1.0 Tumor size 0 2 4 6 8 10 12

(22)

Regressão

Versus

(23)

Aprendizado de Máquina é usando quando…

➡

_{Existência de padrão}

➡

_{Não existe uma função que resolve o problema}

(24)

Componentes do Aprendizado

❖

Problema:

Análise de Crédito

❖

Dados:

idade 25 anos

sexo masculino

salário R$5.000

anos na residência 1 ano débito atual R$20.000

(25)

Componentes do Aprendizado

❖

Problema:

Análise de Crédito

❖

Dados:

idade 25 anos

sexo masculino

salário R$5.000

anos na residência 1 ano débito atual R$20.000

… …

(26)

Componentes do Aprendizado

➡

Formalização

:

•

Entrada: x

(dados do cliente)

•

Saída: y

(bom ou mal cliente?)

•

Função objetivo:

(função ideal)

•

Dados: (x

₁

,y

₁

),(x

₂

,y

₂

),…,(x

_d

,y

_d

)

(registros históricos)

(27)

Componentes do Aprendizado

FUNÇÃO OBJETIVO DESCONHECIDA

EXEMPLOS DE TREINAMENTO

(x1,y1),(x2,y2),…,(xd,yd)

ALGORITMO DE APRENDIZADO

(28)

Um exemplo: o

_Perceptron

❖

Entrada x = (x

₁

, x

₂

, …, x

_d

)

(atributos de um cliente)

Aprovar crédito se

(29)

Um exemplo: o

_Perceptron

❖

Entrada x = (x

₁

, x

₂

, …, x

_d

)

(atributos de um cliente)

Aprovar crédito se

Negar crédito se

(30)

Um exemplo: o

_Perceptron

❖

Entrada x = (x

₁

, x

₂

, …, x

_d

)

(atributos de um cliente)

Aprovar crédito se

Negar crédito se

(31)

Introduzir uma coordenada artificial x0=1

(32)

Na forma vetorial, o Perceptron implementa

+ + + + _ _ _ _ + + + + + _ _ _ _ + h(x) = !! _d " i=1 w_i x_i # + w₀ # x₀ = 1 h(x) = ! _d " i=0 w_i x_i # h(x) = (w x) ⃝ AM_L

(33)

+ + + + _ _ _ _ + + + + + _ _ _ _ + h(x) = !! _d " i=1 w_i x_i # + w₀ # x₀ = 1 h(x) = ! _d " i=0 w_i x_i # h(x) = (w x) ⃝ AM_L Dados linearmente separáveis

(34)

+ + + + _ _ _ _ + + + + + _ _ _ _ + h(x) = !! _d " i=1 w_i x_i # + w₀ # x₀ = 1 h(x) = ! _d " i=0 w_i x_i # h(x) = (w x) ⃝ AM_L + + + + _ _ _ _ + + + + + _ _ _ _ + h(x) = !! _d " i=1 w_i x_i # + w₀ # x₀ = 1 h(x) = ! _d " i=0 w_i x_i # h(x) = (w x) ⃝ AM_L Dados linearmente separáveis

(35)

Algoritmo de aprendizado do Perceptron

(36)

Algoritmo de aprendizado do Perceptron

O Perceptron implementa

Dado o conjunto de treinamento

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

(37)

Algoritmo de aprendizado do Perceptron

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

(38)

Algoritmo de aprendizado do Perceptron

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

Selecione um padrão que é incorretamente classificador

(39)

Algoritmo de aprendizado do Perceptron

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

Atualize o vetor de pesos

h(x) = (w x) (x₁, y₁), (x₂, y₂), · · · , (xN, yN) (w xn) ̸= yn w ← w + y_nx_n w+ xy y w+ x y= +1 x w x w −1 y= ⃝ AM_L

(40)

Algoritmo de aprendizado do Perceptron

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

Atualize o vetor de pesos

h(x) = (w x) (x₁, y₁), (x₂, y₂), · · · , (xN, yN) (w xn) ̸= yn w ← w + y_nx_n w+ xy y w+ x y= +1 x w x w −1 y= ⃝AM_L h(x) = (w x) (x₁, y₁), (x₂, y₂), · · · , (xN, yN) (w xn) ̸= yn w ← w + y_nx_n w+ xy y w+ x y= +1 x w x w −1 y= ⃝ AM_L

(41)

Iterações do algoritmo

Uma iteração do algoritmo de aprendizado do Perceptron

(42)

Iterações do algoritmo

sabendo que (x,y) é um padrão de treinamento incorretamente classificado Para cada iteração, t=1,2,3,…, selecione um padrão incorretamente

classificado do conjunto de treinamento

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

(43)

Iterações do algoritmo

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

e execute o algoritmo usando esse padrão

(44)

Iterações do algoritmo

(x

1

,y

1

),(x

2

,y

2

),…,(x

d

,y

d

)

e execute o algoritmo usando esse padrão

That’s it! + + + + + _ _ _ _ • w ← w + yx (x, y) • t = 1, 2, 3, · · · (x₁, y₁), (x₂, y₂), · · · , (xN, yN) • ⃝ AM_L

(45)

Tipos de Aprendizado

❖

Supervisionado

❖

Não-supervisionado

(46)

Aprendizado Supervisionado

Exemplo: reconhecimento de moeda em vending machine

25 5 1 Mass Size 10 25 5 1 Mass Size 10 ⃝ AM_L

(47)

Aprendizado Supervisionado

Exemplo: reconhecimento de moeda em vending machine

25 5 1 Mass Size 10 25 5 1 Mass Size 10 ⃝ AM_L 25 5 1 Mass Size 10 25 5 1 Mass Size 10 ⃝ AM_L

(48)

Aprendizado Não-supervisionado

Ao invés de (

entrada, saída correta

), temos (

entrada, ?

)

Mass

Size

(49)

Aprendizado Não-supervisionado

Ao invés de (

entrada, saída correta

), temos (

entrada, ?

)

Mass

Size

⃝AM_L

Aprendizado de alto nível: aprender línguas

(50)

Aprendizado Por Reforço

Ao invés de (entrada, saída correta),

temos (entrada, alguma "saída correta”, escore para a saída)

O campeão mundial foi uma Rede Neural Artificial

(51)

Aprendizado Por Reforço

Ao invés de (entrada, saída correta),

temos (entrada, alguma "saída correta”, escore para a saída)

O campeão mundial foi uma Rede Neural Artificial

Bebê e xícara de café Playing Games

(52)

Um desafio de aprendizado

f = −1

f = +1

f = ?

(53)

Um exemplo: Jogar Damas

Dado um tabuleiro, a função escolhe o melhor movimento

❖ ChooseMove: Board → Move

Uma alternativa é encontrar uma função que atribui um valor

a um tabuleiro

❖ V: Board → ℜ

65

(54)

Jogar Damas: representando o problema

bp(b): número de peças pretas no tabuleiro b

rp(b): número de peças vermelhas no tabuleiro b bk(b): número de rainhas pretas em b

rk(b): número de rainhas vermelhas em b

bt(b): número de peças vermelhas ameaçadas pelas pretas (i.e., as quais

podem ser capturadas na próxima jogada)

rt(b): número de peças pretas ameaçadas pelas vermelhas

( )

b bp

( )

b rp

( )

b bk

( )

b rk

( )

b bt

( )

b rt

( )

b

(55)

Revisão

❖ Definição: Aprendizado de Máquina ❖ Regressão versus Classificação

❖ Quando usar Aprendizado de Máquina

❖ Formalização e Componentes do Aprendizado ❖ Algoritmo de treinamento do Perceptron

❖ Dados linearmente separáveis ❖ Tipos de aprendizado

(56)

❖

Alguns slides foram adaptados dos slides do prof. Yaser

(57)

Informações básicas

❖

Site da disciplina:

❖

www.cin.ufpe.br/~if699

❖

Horário:

❖

Quarta-feira, 10-12

❖

Sexta-feira, 08-10

(58)

Bibliografia

❖ Tom Mitchell. Machine Learning. McGraw-Hill. 1997.

❖ Richard O. Duda, Peter E. Hart and David G. Stork. Pattern Classification.

Wiley-Interscience. 2000.

❖ S. Theodoridis and K. Koutroumbas. Pattern Recognition. Academic Press. 2006. ❖ Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer. 2006 ❖ Yaser S. Abu-Mostafa et al. Learning From Data. AMLBook. 2012.