arvores decisao

(1)

´

Arvores de Decis ˜ao

Talles Brito Viana

*Apresentação baseada na discussão dispon´ıvel em“Inteligência Artificial”de George F. Luger. e“Induction of decision trees”de J. R. Quinlan.

(2)

´

Arvores de Decis ˜ao

Definic¸ ˜ao

Uma Árvore de Decisão é um método de classificação que utiliza

um conjunto de treinamento para construir regras de classificação organizadas como caminhos em uma árvore. As regras se-então-senão codificadas na árvore são utilizadas para classificar instâncias de dados que estejam foram do conjunto de treinamento.

(3)

´

Arvores de Decis ˜ao

Exemplo

Panorama Temperatura Umidade Ventoso Jogar Golfe

ensolarado quente alta fraco n˜ao

ensolarado quente alta forte n˜ao

nublado quente alta fraco sim

chuvoso moderado alta fraco sim

chuvoso frio normal fraco sim

chuvoso frio normal forte n˜ao

nublado frio normal forte sim

ensolarado moderado alta fraco n˜ao

ensolarado frio normal fraco sim

chuvoso moderado normal fraco sim

ensolarado moderado normal forte sim

nublado moderado alta forte sim

nublado quente normal fraco sim

(4)

´

Arvores de Decis ˜ao

Exemplo Panorama Umidade N˜ao alta Sim normal ensolarado Ventoso N˜ao forte Sim fraco chuvoso Sim nublado

(5)

ID3

Definic¸ ˜ao

ID3 E um algoritmo básico para a construção de árvores de´

decisão. O algoritmo utiliza uma estratégia top-down de busca em que cada atributo do conjunto de dados é testado, e seleciona o melhor atributo para classificação do conjunto. Para escolher o melhor atributo utiliza duas métricas denominadas Ganho de Informação e Entropia.

(6)

Entropia

Definic¸ ˜ao

Entropia ´e a medida da quantidade de incerteza nos dados. Intuitivamente, mostra a previsibilidade de um determinado evento. Se o resultado de um evento tem probabilidade 100%, a entropia ´e 0. Caso tenha probabilidade de 50%, a entropia tem valor 1 e representa uma aleatoriedade (incerteza) perfeita.

Entropia E(S) do Conjunto de Dados S

E(S) =P

y∈Y−P(y) lg P(y) tal que Y ´e o conjunto de valores do

atributo alvo no conjunto de dados S.

Entropia E(S, A) do Atributo A sob o Conjunto de Dados S

E(S, A) =P

x∈XP(x) × E(Sx) tal que X ´e o conjunto de valores

(7)

Entropia

Gr ´afico 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 f(p) = −p · lg p

(8)

´

Arvores de Decis ˜ao

Exemplo

A partir de todo o conjunto de dados, primeiramente calcula-se a entropia do estado atual (sa´ıdas existentes no estado atual):

(9)

Exemplo

Entropia do estado atual

Sim: 9. N˜ao: 5. Total: 14.

Entropia E(S)

E(S) =P

y∈Y−P(y) lg P(y) = −

9 14lg 9 14− 5 14lg 5 14 = 0, 940

(10)

Ganho de Informac¸ ˜ao

Definic¸ ˜ao

Ganho de Informaç ão para um conjunto de dados S em relação a um atributo A é a mudança de entropia após decidir por dividir o conjunto de dados em relação ao atributo A. Construir uma árvore de decisão está relacionado com escolher o atributo A tal que esta escolha gera o maior ganho de informação.

Ganho de Informac¸ ˜ao IG(S, A)

(11)

Exemplo

Ganho de informac¸ ˜ao

Deve-se escolher o atributo que gera o maior ganho de informac¸˜ao poss´ıvel. Inicialmente, tome o atributo Ventoso, tal que,

X= {fraco, forte}. Com isto:

Ganho de Informac¸ ˜ao IG(S, Ventoso)

IG(S, Ventoso) = E(S) − E(S, Ventoso) =

(12)

Exemplo

Assim, para o atributo Ventoso calcula-se a quantidade de eventos

fracoe a quantidade de eventos forte.

(13)

Exemplo

Ganho de Informac¸ ˜ao

Fraco: 8. Forte: 6. Total: 14.

Probabilidade P(Sfraco)

P(Sfraco) =

Quantidade de eventos fraco

Total de eventos =

8 14

Probabilidade P(Sforce)

P(Sforte) =

Quantidade de eventos forte

Total de eventos =

6 14

(14)

Exemplo

Entropia E(Sfraco) E(Sfraco) = − 6 8lg 6 8− 2 8lg 2 8 = 0, 811 Entropia E(Sforte) E(Sforte) = − 3 6lg 3 6 − 3 6lg 3 6 = 1, 000

Além disso, contabiliza-se a ocorrência de {sim, não} para o

atributo alvo em relação ao atributo Ventoso: Ventoso Sim:6 Não:2 fraco Sim:3 Não:3 forte

(15)

Exemplo

De posse dos resultados anteriores, agora é poss´ıvel calcular o ganho de informação ao escolher o atributo Ventoso:

Ganho de Informac¸ ˜ao IG(S, Ventoso)

IG(S, Ventoso) = E(S) − E(S, Ventoso) =

E(S) − P(Sfraco) × E(Sfraco) − P(Sforte) × E(Sforte) =

0, 940 − 8

14 × 0, 811 −

6

(16)

Exemplo

Escolha do melhor atributo

Ao executar o mesmo processo de cálculo do ganho de informação para cada um dos atributos restantes, os resultados obtidos são:

IG(S, Panorama) = 0, 246. IG(S, Temperatura) = 0, 029. IG(S, Umidade) = 0, 151. IG(S, Ventoso) = 0, 048.

Panorama ´e o melhor atributo a escolher! Panorama ? ensolarado Sim nublado ? chuvoso

(17)

´

Arvores de Decis ˜ao

Exemplo

A partir do subconjunto de dados tal que Panorama = ensolarado, calcula-se a entropia do estado atual:

(18)

Exemplo

Entropia do subconjunto de dados

Sim: 2. N˜ao: 3. Total: 5. Entropia E(Sensolarado) E(Sensolarado) = P

y∈Y−P(y) lg P(y) = −

2 5lg 2 5− 3 5lg 3 5 = 0, 960

(19)

Exemplo

Escolha do melhor atributo

Ao executar o mesmo processo de cálculo do ganho de informação para cada um dos atributos restantes, os resultados obtidos são:

IG(Sensolarado, Umidade) = 0, 963.

IG(Sensolarado, Temperatura) = 0, 570.

IG(Sensolarado, Ventoso) = 0, 019.

(20)

ID3

Algoritmo

No algoritmo de construção da árvore, o ID3 segue a regra: uma ramificação com entropia 0 é um nó folha da árvore. Já uma ramificação com entropia maior do que 0 necessita ser dividido. Assim, o ID3 executa os seguintes passos recursivamente:

1 _{Se todos os exemplos s˜ao positivos, retorne um n´o folha positivo}

(sim).

2 _{Caso contr´ario, se todos os exemplos s˜ao negativos, retorne um}

n´o folha negativo (n˜ao).

(21)

ID3

Algoritmo

4 _{Para cada atributo, calcule a entropia E(S, A) em relac¸˜ao ao}

atributo A.

5 _{Selecione o atributo A o qual gera o maior ganho de informac¸˜ao}

IG(S, A) e divida o conjunto de dados atual (o n´o atual da ´arvore) neste atributo.

6 _{Remova o atributo A que oferece o maior ganho de informac¸˜ao}

do conjunto de atributos.

7 _{Repita todo o processo, at´e que todos os atributos tenham sido}

(22)

Exemplo

Resultado final

Ao repetir o mesmo processo em todas as ramificações da árvore, o resultado final é:

Panorama Umidade N˜ao alta Sim normal ensolarado Ventoso N˜ao forte Sim fraco chuvoso Sim nublado