5.1.selecao de prototipos

(1)

Seleç ão e Geraç ão de Prot ótipos

George Darmiton da Cunha Cavalcanti Centro de Inform ´atica

(2)

Sum ´ario

1 Introduc¸ ˜ao

2 Taxonomia

3 T écnicas de Seleç ão de Prot ótipos

Condensed Nearest Neighbor Reduced Nearest Neighbor Rule Edited Nearest Neighbor Rule

Repeated Edited Nearest Neighbor Rule All k NN

(3)

Introduc¸ ˜ao

(4)

Introduc¸ ˜ao

Usando o kNN (k=7), a classe da inst ˆancia de consulta (+) seria

(5)

Introduc¸ ˜ao

O algoritmo kNN ´e computacionalmente caro quando temos muitas inst ˆancias no conjunto de treinamento

Alternativa: eleger representantes para as classes ao inv ´es de utilizar todos os elementos

Essas inst âncias selecionadas s ão osprot ótipos

A seleç ão dos prot ótipos deve, pelo menos, manter o poder de discriminaç ão das inst âncias representadas por eles

(6)

Introduc¸ ˜ao

(7)

Introduc¸ ˜ao

(8)

Introduc¸ ˜ao

(9)

Introduc¸ ˜ao

Nearest Prototype Classification (NPC)

M étodo de classificaç ão baseado em prot ótipos

Cada prot ótipo deve representar um conjunto de inst âncias As classes s ão representadas por um ou mais prot ótipos Uma das vantagens das t écnicas baseadas em prot ótipos é a reduç ão da demanda de espaço para armazenamento e de recursos computacionais para classificaç ão

´

E mais eficiente que o kNN, pois o n úmero de elementos a serem comparados para a classificaç ão é menor

(10)

Introduc¸ ˜ao

Cada prot ´otipo deve representar um conjunto de inst ˆancias

As classes s ão representadas por um ou mais prot ótipos Uma das vantagens das t écnicas baseadas em prot ótipos é a reduç ão da demanda de espaço para armazenamento e de recursos computacionais para classificaç ão

´

(11)

Introduc¸ ˜ao

Cada prot ótipo deve representar um conjunto de inst âncias As classes s ão representadas por um ou mais prot ótipos

Uma das vantagens das t écnicas baseadas em prot ótipos é a reduç ão da demanda de espaço para armazenamento e de recursos computacionais para classificaç ão

´

(12)

Introduc¸ ˜ao

´

(13)

Introduc¸ ˜ao

´

(14)

Introduc¸ ˜ao

Classificar usando apenas os prot ´otipos

(15)

Taxonomia

Seleç ão versus Geraç ão

Selec¸ ˜ao

O conjunto de prot ótipos é formado por inst âncias do conjunto de treinamento

Gerac¸ ˜ao

O conjunto de prot ótipos é formado por inst âncias que podem pertencer ao conjunto de treinamento

Novas inst âncias podem ser criadas atrav és da “combinaç ão” ou “ajuste”de inst âncias do conjunto de treinamento

(16)

Taxonomia

Seleç ão versus Geraç ão

Selec¸ ˜ao

O conjunto de prot ótipos é formado por inst âncias do conjunto de treinamento

Gerac¸ ˜ao

O conjunto de prot ótipos é formado por inst âncias que podem pertencer ao conjunto de treinamento

Novas inst âncias podem ser criadas atrav és da “combinaç ão” ou “ajuste”de inst âncias do conjunto de treinamento

(17)

T écnicas de Seleç ão de Prot ótipos

Condensed Nearest Neighbor Rule (CNN) – Hart (1968) Reduced Nearest Neighbor Rule (RNN) – Gates (1972) Edited Nearest Neighbor Rule (ENN) – Wilson (1972)

Repeated Edited Nearest Neighbor Rule (RENN) – Tomek (1976) All kNN – Tomek (1976)

(18)

T écnicas de Seleç ão de Prot ótipos Condensed Nearest Neighbor

Condensed Nearest Neighbor (CNN)

T écnica de Seleç ão

Encontrar um subconjunto S que é consistente em relaç ão ao conjunto de treinamento T

Um subconjunto consistente ´e um conjunto que classifica corretamente todas as inst ˆancias em T

(19)

Algoritmo 1 Condensed Nearest Neighbor Rule (CNN) 1: S= ∅

2: S=S∪ {xxx},xxx ∈T

3: while S ´e atualizado do 4: for xxx ∈T\Sdo

5: if class(xxx) 6=class(NN(xxx,S))then 6: S =S∪ {xxx}

7: end if

8: end for

9: end while

(20)

Condensed Nearest Neighbor (CNN)

Figura:Dados artificiais 2D Figura:CNN

(21)

Condensed Nearest Neighbor (CNN)

(22)

Condensed Nearest Neighbor (CNN)

Figura:CNN

(23)

T écnicas de Seleç ão de Prot ótipos Reduced Nearest Neighbor Rule

Reduced Nearest Neighbor Rule (RNN)

RNN ´e uma extens ˜ao do CNN

(24)

Algoritmo 2 Reduced Nearest Neighbor Rule (RNN)

1: S=CNN(T) {Subconjunto gerado pela regra CNN em T}

2: for xxx_s∈Sdo 3: S =S\{xxxs}

4: for xxxt ∈T do

5: if class(xxx_t) 6=class(NN(xxx_t,S))then 6: S =S∪ {xxxs}

7: Continua na linha 2

8: end if

9: end for

10: end for

(25)

Reduced Nearest Neighbor Rule (RNN)

(26)

Reduced Nearest Neighbor Rule (RNN)

Figura:Dados artificiais 2D

(27)

Reduced Nearest Neighbor Rule (RNN)

(28)

CNN versus RNN

Figura:CNN Figura:RNN

(29)

CNN versus RNN

(30)

CNN versus RNN

Figura:RNN

(31)

T écnicas de Seleç ão de Prot ótipos Edited Nearest Neighbor Rule

Edited Nearest Neighbor Rule (ENN)

A t écnica de reduç ão ENN? atua como filtro removedor de ru´ıdos e

suavizador de limites de decis ˜ao

Diferente das t ´ecnicas anteriores (CNN e RNN), preserva pontos do interior das classes

O ENN inicia com S =T e, ao iterar todas as inst ˆancias de T ,

elimina de S os pontos que n ão s ão classificados corretamente utilizando T como conjunto de refer ência

(32)

Edited Nearest Neighbor Rule (ENN)

Algoritmo 3 Edited Nearest Neighbor Rule (ENN) 1: S=T

2: for xxx∈T do

3: if class(xxx) 6=class(kNN(xxx,T))then 4: S=S\{xxx}

5: end if

6: end for

(33)

Edited Nearest Neighbor Rule (ENN)

(34)

Edited Nearest Neighbor Rule (ENN)

Figura:ENN

(35)

T écnicas de Seleç ão de Prot ótipos Repeated Edited Nearest Neighbor Rule

Repeated Edited Nearest Neighbor Rule (RENN)

Da mesma forma que o ENN, inicia com S=T e aplica

repetidamente o processo de eliminac¸ ˜ao do ENN

Faz isso at é que n ão ocorram mais remoç ões no subconjunto gerado, isto é, todas as inst âncias nele contidas estejam em concord ância com a maioria dos seus vizinhos

(36)

Repeated Edited Nearest Neighbor Rule (RENN)

Algoritmo 4 Repeated Edited Nearest Neighbor Rule (RENN) 1: S=T

2: while S ´e atualizado do

3: S =ENN(S) {Subconjunto gerado pela regra ENN em S}

4: end while

(37)

Repeated Edited Nearest Neighbor Rule (RENN)

(38)

Repeated Edited Nearest Neighbor Rule (RENN)

Figura:RENN

(39)

T écnicas de Seleç ão de Prot ótipos All k NN

All k NN

Assim como o ENN, o All k NN inicia com S=T

Itera o conjunto de treinamento marcando qualquer inst ância que n ão é classificada corretamente pelos seus vizinhos mais pr óximos com diferentes valores de k

(40)

All k NN

Algoritmo 5 All k NN 1: S=T

2: for i =1 at ´e k do 3: for xxx ∈T do

4: if xxx n ˜ao est ´a marcado e class(xxx) 6=class(NN(xxx,T))then

5: Marque xxx para remoc¸ ˜ao

6: end if

7: end for

8: end for

9: Elimine de S todas as inst âncias marcadas para remoç ão

(41)

All k NN

(42)

All k NN

Figura:All k NN

(43)

Refer ˆencias

G. Gates. The Reduced Nearest Neighbor Rule. IEEE Transactions on Information Theory, IT-18(3):431–433, 1972.

P. E. Hart. The condensed nearest neighbor rule. IEEE Transactions on Information Theory, IT-4:515–516, 1968.

I. Tomek. An experiment with the edited nearest-neighbor rule. IEEE Transactions on Systems, Man, and Cybernetics, 6(6):448–452, 1976. D. L. Wilson. Asymptotic properties of nearest neighbor rules using edited

data. IEEE Transactions on Systems, Man and Cybernetics, 2(3): 408–421, 1972.