Defini¸c˜ao dos Limiares de Classifica¸c˜ao

5.5 Avalia¸c˜ao do Desempenho com Curvas ROC

5.5.1 Defini¸c˜ao dos Limiares de Classifica¸c˜ao

Como já citado anteriormente, uma importante propriedade das curvas ROC, quando utilizadas como medida de desempenho de algoritmos de aprendizagem de máquina, é independência dos limiares de classifica¸cão estabelecidos para sua constru¸cão. Para cada um dos métodos utilizados nos experimentos descritos na próxima se¸cão, foi escolhido um limiar obedecendo as peculiaridades das regras de decisão de cada um deles. Os métodos foram o K-NN, o SGP1, o SGP2, o SNPC e o modelo h´ıbrido SGP+SNPC.

Para o K-NN o limiar de decisão L foi estabelecido em fun¸cão da quantidade de elementos positivos dentre os K vizinhos mais próximos. Para cada padrão de teste, os K elementos do conjunto de treinamento mais próximos ao padrão são encontrados. Se a quantidade de vizinhos positivos for maior ou igual ao limiar L, com L = [0, 1, 2, ..., K+1], o padrão de teste é classificado como positivo.

A regra de classifica¸cão do SGP2 é mesma do SGP1. Dentre todos os protótipos do classificador, o mais próximo do elemento de teste estabelece a classe deste. Esta regra difere da regra do K-NN pelo fato de que, aqui, apenas um protótipo é responsável pela classifica¸cão do padrão. Logo, um outro limiar foi estabelecido para estes dois algoritmos. Para cada elemento do conjunto de teste, são computadas três medidas de distância. A primeira, representada por dmax, é a distância do padrão de teste ao protótipo do

classificador posicionado mais afastado. A segunda distância (dmin) é a distância do

ponto a ser classificado ao prot´otipo mais pr´oximo. A terceira, identificada por dpmp,

registra a distância do padrão de teste ao protótipo da classe positiva mais próximo deste ponto. A distância dr, que será comparada com limiar de classifica¸cão para gera¸cão da

curva ROC, ser´a a medida padronizada de dpmp por dmin e dmax, segundo a equa¸c˜ao

abaixo.

dr = dpmp− dmin

dmax− dmin

5.6 RESULTADOS EXPERIMENTAIS 55 Desta forma, as distâncias de classifica¸cão ficam obrigatoriamente no intervalo [0..1]. O limiar de classifica¸cão T varia assumindo os valores do conjunto {0; 0,1; 0,2; ...; 1} e os pontos cujo dr for menor que T são classificados como positivos. Assim, para T=0 tem-se

que nenhum ponto é classificado como positivo. A situa¸cão extrema contrária ocorre quando T=1 em que todos os pontos são classificados como positivos. Os outros valores que T assume promovem a varia¸cão de limiar requerida para a constru¸cão da curva ROC. A escolha do limiar de classifica¸cão para o SNPC foi a mais óbvia tendo em vista a sua regra de classifica¸cão. A idéia foi utilizar o mesmo limiar T do SPG. Contudo, sua semântica do limiar foi estabelecida de forma contrária. A regra de classifica¸cão do SNPC descrita na Se¸cão 2.6 é definida pela Equa¸cão 2.16. Uma ligeira adapta¸cão desta equa¸cão com o estabelecimento de um limiar para constru¸cão da curva ROC gerou a regra de classifica¸cão apresentada a seguir. O padrão x do conjunto de teste será classificado como positivo se:

{j:cj=cp}

P (j|x) > T (5.10) sabendo que cp representa a classe positiva. Esta equa¸c˜ao mostra que a curva ROC

é constru´ıda com o limiar sendo aplicado à soma das probabilidades dos protótipos da classe positiva em rela¸cão ao ponto a ser classificado. Esta estratégia para estabelecimento do limiar funciona visto que o valor de P_{j:c_j_=c_p_}P (j|x) estará sempre normalizado no

intervalo [0..1]. Assim, quando T=0, ao contrário do SGP, todos os elementos do conjunto de treinamento serão classificados como positivos. Quando T for 1, nenhum elemento será classificado como positivo. A varia¸cão de T promove a gera¸cão dos pontos da curva ROC. O modelo h´ıbrido SGP+SNPC utiliza o mesmo limiar estabelecido para o SNPC, visto que a sua regra de classifica¸cão foi herdada do SNPC.

5.6 RESULTADOS EXPERIMENTAIS

A primeira etapa dos experimentos foi a busca pelos hiperparâmetros dos métodos. Para isto, estima¸cão por valida¸cão cruzada com 10 pastas foi realizada em um subconjunto de 4000 imagens da base de dados. Estas imagens foram escolhidas aleatoriamente. Contudo, as probabilidades a priori das classes foram respeitadas. As combina¸cões paramétricas que obtiveram as melhores taxas de acerto foram selecionadas e utilizadas deste ponto em diante em todos os experimentos.

Os parˆametros do SGP, Rmin e Rmis, foram testados com valores entre 0 e 1. Os

5.6 RESULTADOS EXPERIMENTAIS 56 Tabela 5.3 Hiperparˆametros do SGP1 e do SGP2 Rmin Rmis SGP1 0,020 0,075 SGP2 0,020 0,075 Tabela 5.4 Hiperparˆametros do SNPC ζ α σ η SNPC 7 0,050 1,000 0,030

o desvio-padr˜ao σ das curvas gaussianas e o limiar da Regra da Janela η [SBO03]. ζ foi escolhido dentro do intervalo [3, 15]. α foi testado utilizando valores entre 0,01 e 0,20.

σ e η foram variados no intervalo [0,01; 0,50]. Para o K-NN, experimentos realizados

sobre esta base de 4000 padrões apontaram para K = 7 como a melhor escolha. O modelo h´ıbrido SGP+SNPC herdou os hiperparâmetros do SGP. Os mesmos conjuntos de parâmetros testados com o SNPC foram utilizados para se obter os hiperparâmetros para parte SNPC do modelo h´ıbrido. No caso do modelo h´ıbrido, o conjunto inicial de protótipos é fornecido pelo SGP. Logo, para o modelo SGP+SNPC o parâmetro ζ do SNPC não foi considerado. Outro parâmetro do SNPC que não faz parte do conjunto de parâmetros do modelo h´ıbrido é o desvio-padrão σ. Como mostrado na Se¸cão 3.2, este parâmetros é calculado para cada agrupamento formado pelo SGP na etapa de inicializa¸cão com base nos seus respectivos dados.

As Tabelas 5.3, 5.4 e 5.5 mostram os hiperparˆametros do SGP1, SGP2, SNPC e SGP+SNPC, respectivamente.

Após esta etapa, a base na ´ıntegra foi utilizada na obten¸cão dos números finais do estudo experimental. Mais uma vez, valida¸cão cruzada com 10 pastas foi utilizada para estimar as taxas de erro de classifica¸cão. A valida¸cão cruzada e todas as outras opera¸cões que por ventura realizaram quebra ou sele¸cão dos conjuntos de dados foram realizadas de forma estratificada.

Tabela 5.5 Hiperparˆametros do Modelo H´ıbrido (SGP+SNPC)

Rmin Rmis α η

5.6 RESULTADOS EXPERIMENTAIS 57 As mesmas estratégias utilizadas nos experimentos descritos no Cap´ıtulo 4 foram aplicadas aqui. As Tabelas 5.6 e 5.7 mostram os mesmos indicadores de performance utilizados anteriormente. Na primeira tabela estão dispostos as médias das taxas de erros de classifica¸cão obtidas através de valida¸cão cruzadas de 10 pastas e os desvios- padrão associados. Menores valores para os erros aparecem nesta tabela em negrito. Os segundos melhores foram sublinhados para facilitar a identifica¸cão. Nota-se que o SGP+SNPC alcan¸cou os menores erros de classifica¸cão em oito das nove bases de d´ıgitos montadas. Pode-se afirmar que o modelo h´ıbrido foi melhor independente do grau de desbalanceamento da bases deste problema. Observando a última linha, a qual dispõe as médias globais dos métodos, pode-se comprovar o melhor desempenho do modelo h´ıbrido. O SGP+SNPC obteve uma taxa de erro de classifica¸cão de 2,18%. Isto equivale a aproximadamente 10% de redu¸cão da taxa de erro quando comparado ao segundo melhor método neste critério, que foi o SNPC, e que alcan¸cou uma taxa de erro de classifica¸cão de 2,39%.

Tabela 5.6 Taxas de Erro de Classifica¸c˜ao na Base de D´ıgitos

k-NN SGP1 SGP2 SNPC SGP+SNPC M´edia 0 3, 73 ± 0, 72 3, 98 ± 0, 90 3, 80 ± 1, 02 3, 30 ± 0, 92 2,83 ± 0, 73 3,53 10 3, 60 ± 1, 04 3, 47 ± 0, 95 3, 63 ± 0, 80 3, 12 ± 0, 75 2,78 ± 0, 90 3,32 20 3, 38 ± 0, 64 3, 50 ± 1, 01 3, 35 ± 1, 11 2, 93 ± 0, 54 2,50 ± 0, 67 3,13 30 2, 60 ± 1, 02 2, 73 ± 1, 20 2, 73 ± 1, 20 2, 10 ± 0, 81 2,02 ± 1, 01 2,44 40 3, 30 ± 0, 82 3, 48 ± 1, 06 3, 55 ± 1, 09 2, 80 ± 0, 86 2,45 ± 0, 77 3,09 50 2, 62 ± 1, 08 3, 02 ± 0, 99 2, 87 ± 0, 95 2, 45 ± 0, 97 2,28 ± 0, 82 2,65 60 2, 25 ± 0, 82 2, 02 ± 0, 63 2, 02 ± 0, 63 1,85 ± 0, 68 2, 08 ± 0, 88 2,04 70 1, 92 ± 0, 50 1, 90 ± 0, 50 1, 90 ± 0, 50 1, 80 ± 0, 37 1,55 ± 0, 47 1,81 80 1, 30 ± 0, 63 1, 45 ± 0, 77 1, 45 ± 0, 77 1, 15 ± 0, 56 1,12 ± 0, 57 1,29 X 2,74 2,84 2,81 2,39 2,18

A Tabela 5.7 exibe a quantidade de protótipos que foi obtida ou estipulada para cada um dos métodos. No caso do K-NN, não há treinamento e conseqüentemente não há redu¸cão e todos os elementos do conjunto de treinamento podem ser considerados protótipos. Para o SNPC, a quantidade de protótipos é um dos hiperparâmetros e, como mostrado anteriormente, foi definida nos testes preliminares, assim como os outros hiperparâmetros. Note que junto com o SGP2, o SGP+SNPC obteve o maior percentual de redu¸cão sem abrir mão das boas taxas de acerto do padrões não segmentados. Como era de se esperar, o modelo h´ıbrido sempre apresenta a mesma quantidade de protótipos

5.6 RESULTADOS EXPERIMENTAIS 58

Tabela 5.7 Quantidade de prot´otipos gerados para cada base de d´ıgitos.

k-NN SGP1 SGP2 SNPC SGP+SNPC 0 3600 21 10 14 10 10 3600 20 10 14 10 20 3600 14 6 14 6 30 3600 9 7 14 7 40 3600 8 5 14 5 50 3600 7 4 14 4 60 3600 2 2 14 2 70 3600 2 2 14 2 80 3600 2 2 14 2

do SGP2. Afinal, no modelo h´ıbrido, é o SGP2 que fornece o conjunto inicial de protótipos e este não sofre mais redu¸cão nos próximos passos do seu treinamento.

Para se ter uma visão geral do desempenho dos métodos quando submetidos as bases desbalanceadas deste trabalho, é suficiente observar a Figura 5.7. Esta figura apresenta a taxa de erro de classifica¸cão em fun¸cão do grau de desbalanceamento da base utilizada. É fácil perceber que o modelo proposto esteve com sua curva de erro de classifica¸cão quase sempre abaixo das curvas dos outros métodos. A exce¸cão, como citado anteriormente, ocorreu apenas no ponto 60 do eixos das abscissas. Este ponto corresponde a taxa de erro dos experimentos com a base desbalanceada formada por 80% de imagens de d´ıgitos isolados e 20% de d´ıgitos conectados.

Outro ponto interessante a ser observado na Figura 5.7, é a diminui¸cão da taxa de erro com o aumento do desbalanceamento. Como está mostrado na Tabela 5.1, o desbalanceamento das bases foi promovido pelo aumento da quantidade de imagens com d´ıgitos isolados e a diminui¸cão da quantidade de imagens com d´ıgitos conectados. Desta forma, pode-se concluir que o conjunto de caracter´ısticas adotado para o problema conseguiu uma representa¸cão coesa das imagens dos d´ıgitos isolados formando agrupamentos com poucos elementos dispersos. Contudo, este conjunto de caracter´ısticas foi menos eficiente na constru¸cão dos agrupamentos das imagens com d´ıgitos conectados. Como resultado, foram gerados agrupamentos menos compactos e com uma presen¸ca maior de outliers1_.

Por fim, várias curvas ROC são exibidas provendo uma outra forma visual de comparar os métodos. Quanto maior a área sob a curva ROC, melhor o desempenho do método.

1_{Em Estat´ıstica, outlier é uma observa¸cão que está numericamente distante dos outros pontos do}

conjunto de dados. É um elemento que está fora dos padrões da distribui¸cão dos dados da classe que ele faz parte.

5.6 RESULTADOS EXPERIMENTAIS 59 0 10 20 30 40 50 60 70 80 1 1.5 2 2.5 3 3.5 4 KNN SGP1 SGP2 SNPC SGP+SNPC Nível de Desbalanceamento T axadeErro

Figura 5.7 Desempenho dos m´etodos em fun¸c˜ao do grau do desbalanceamento das classes.

Em um classificador hipot´etico perfeito, esta ´area seria igual a 1.

Para a constru¸cão das curvas ROC foram estimadas as médias das taxas de falsos e verdadeiros positivos utilizando valida¸cão cruzada. Ou seja, para cada pasta da valida¸cão cruzada, os respectivos limiares eram variados obtendo-se os pontos da curva ROC da- quela itera¸cão. As médias considerando as 10 itera¸cões da valida¸cão cruzada, deram números finais aos pontos que compuseram as curvas ROC.

As Figuras 5.8(a), 5.9(a), 5.10(a), 5.11(a), 5.12(a), 5.13(a) mostram as curvas ROC de todos os métodos para os experimentos realizados com a base balanceada e com as bases apresentando 40% e 80% de desbalanceamento. Confirmando os resultados dispostos na Tabela 5.6, no critério de avalia¸cão da curva ROC, nota-se que os métodos obtiveram desempenhos bem aproximados. Para real¸car as diferen¸cas, foram ampliadas as áreas de interesse das curvas ROC desta figuras e colocadas ao lado. Analisando as Figuras5.8(b), 5.9(b), 5.10(b), 5.11(b), 5.12(b), 5.13(b), é poss´ıvel ver que que o modelo SGP+SNPC, mesmo que de forma mais discreta, esteve melhor que os demais métodos estudados neste trabalho, visto que as curvas ROC deste modelo sempre apresentam-se acima das demais. A confirma¸cão pode ser obtida observando a Tabela 5.8 que mostra os valores das área abaixo das curvas ROC obtidas pelos métodos estudados. Este valor corresponde a média da área sob a curva ROC estimada via valida¸cão cruzadas. O SGP+SNPC alcan¸cou o valor 0,9925 sendo o melhor entre todos os outros métodos.

5.6 RESULTADOS EXPERIMENTAIS 60

Tabela 5.8 ´Area sob a curva ROC calculada para base de 14000 d´ıgitos com classes balanceadas. k-NN SGP1 SGP2 SNPC SGP+SNPC 0 0,9723 0,9754 0,9779 0,9815 0,9925 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 KNN SGP1 SGP2 (a) Normal. 0 0.02 0.04 0.06 0.08 0.1 0.12 0.88 0.9 0.92 0.94 0.96 0.98 1 KNN SGP1 SGP2 (b) Ampliada.

Figura 5.8 Curva ROC do K-NN, SGP1 e SGP2 para a base com as classes balanceadas.

0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 SNPC SGP+SNPC (a) Normal. 0 0.02 0.04 0.06 0.08 0.1 0.12 0.88 0.9 0.92 0.94 0.96 0.98 SNPC SGP+SNPC (b) Ampliada.

Figura 5.9 Curva ROC do SNPC e da combina¸c˜ao SGP+SNPC para a base com as classes balanceadas.

5.6 RESULTADOS EXPERIMENTAIS 61 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 KNN SGP1 SGP2 (a) Normal. 0 0.02 0.04 0.06 0.08 0.1 0.12 0.88 0.9 0.92 0.94 0.96 0.98 1 KNN SGP1 SGP2 (b) Ampliada.

Figura 5.10 Curva ROC do K-NN, SGP1 e SGP2 para a base com 30% de exemplos positivos.

0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 SNPC SGP+SNPC (a) Normal. 0 0.02 0.04 0.06 0.08 0.1 0.12 0.88 0.9 0.92 0.94 0.96 0.98 1 SNPC SGP+SNPC (b) Ampliada.

Figura 5.11 Curva ROC do SNPC e da combina¸c˜ao SGP+SNPC para a base com 30% de exemplos positivos.

5.6 RESULTADOS EXPERIMENTAIS 62 0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 KNN SGP1 SGP2 (a) Normal. 0 0.05 0.1 0.15 0.2 0.25 0.75 0.8 0.85 0.9 0.95 1 KNN SGP1 SGP2 (b) Ampliada.

Figura 5.12 Curva ROC do K-NN, SGP1 e SGP2 para a base com 10% de exemplos positivos.

0 0.2 0.4 0.6 0.8 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 SNPC SGP+SNPC (a) Normal. 0 0.05 0.1 0.15 0.2 0.25 0.75 0.8 0.85 0.9 0.95 1 SNPC SGP+SNPC (b) Ampliada.

Figura 5.13 Curva ROC do SNPC e da combina¸c˜ao SGP+SNPC para a base com 10% de exemplos positivos..

CAP´ITULO 6

CONCLUS ˜OES

6.1 INTRODUC¸ ˜AO

O objetivo deste trabalho foi concentrado na investiga¸cão de técnicas de aprendizagem de máquina baseadas em sele¸cão de protótipos. A estratégia utilizada foi a de realizar uma análise de alguns dos métodos mais conhecidos deste campo de estudo. Inicialmente, algumas técnicas clássicas de sele¸cão de protótipos foram exploradas e avaliadas quanto à estratégia de sele¸cão e o desempenho diante de problemas considerados benchmarks de aprendizagem de máquina. O propósito foi prover um detalhado estudo que evidenciasse as principais virtudes e pontos a serem melhorados de cada um dos esquemas de redu¸cão de protótipos analisados.

Os métodos aqui apresentados podem ser agrupados em duas diferentes categorias: os métodos puramente seletivos e os métodos de s´ıntese. Os métodos seletivos ou “puramente” seletivos são aqueles em que o conjunto resultante é formado apenas por elementos do conjunto original de treinamento. Por outro lado, as técnicas de s´ıntese são aquelas em que novos elementos são produzidos com o objetivo de representar grupos de elementos dos conjuntos de dados de treinamento. Em resumo, os métodos seletivos escolhem seus protótipos dentre os elementos do conjunto de treinamento enquanto que os métodos de s´ıntese produzem seus novos protótipos. Na categoria dos métodos puramente seletivos foram avaliadas as técnicas Condensed Nearest Neighbor Rule (CNN), Tomek Links e

One-Sided Selection (OSS). Do lado dos m´etodos de s´ıntese foram explorados o m´etodo

clássico de aprendizagem por quantiza¸cão vetorial de Kohonen, o LVQ, e dois outros métodos bastante inovadores e sobre os quais ficou estabelecido o foco deste trabalho: o

Soft Nearest Prototype Classification (SNPC) e o Self-Generating Prototypes (SGP).

No documento Seleção de protótipos: combinando auto-geração de protótipos e mistura de gaussianas (páginas 69-78)