Testes experimentais

Com o objetivo principal de avaliar a proposta de modicação dos cálculos dos índices de validação, a presente seção mostra a aplicação das versões modicadas dos índices na avaliação de partições de diferentes conjuntos de dados. Em segundo plano, os resultados dos experimen- tos realizados também são considerados para vericar quais dentre os sete índices de validação pré-selecionados na seção 5.3.1 apresentam os melhores desempenhos.

Para a execução dos experimentos, a seguinte metodologia foi delineada:

1. Conjuntos de dados apresentando agrupamentos com características variadas (entre elas, o tamanho, a dimensionalidade, o formato, a densidade e os graus de sobreposição e de

ruído) foram selecionados para os testes;

2. A análise de agrupamentos de cada um dos conjuntos de dados foi efetuada aplicando a estratégia proposta na seção 5.2. Sendo assim, um SOM foi treinado para cada conjunto de dados e diferentes partições para os mesmos foram obtidas a partir de diferentes segmentações da U-matrix correspondente;

3. Os sete índices de validação de agrupamentos pré-selecionados na seção 5.3.1, e suas versões modicadas (com exceção a do índice Conn), foram aplicadas para avaliar as diferentes partições obtidas na etapa anterior;

4. Uma comparação dos valores e dos tempos de processamento apresentados pelas versões originais e modicadas de cada um dos índices foi realizada, observando também quais índices indicaram corretamente a partição ótima dos conjuntos de dados analisados. Dez conjuntos de dados foram utilizados nos experimentos (6 deles são sintéticos e 4 com- postos por dados reais). A tabela 5.1 mostra o tipo, o tamanho (número de pontos), a dimensão e o número de agrupamentos de cada um dos conjuntos. A gura 5.2 mostra os grácos dos 6 conjuntos de dados sintéticos. O conjunto Gauss_1 apresenta cinco agrupamentos bem se- parados, gerados através de distribuições gaussianas. O conjunto Gauss_2 possui os mesmos dados do conjunto Gauss_1 acrescido de 200 pontos (ruído) gerados de maneira aleatória e uniforme. O conjunto Gauss_3 também foi gerado com base no conjunto Gauss_1, porém as variâncias das distribuições de cada agrupamento foram aumentadas diminuindo o grau de separação entre eles. Os conjuntos de dados Rand_1 e Rand_2 apresentam agrupamentos com formas geométricas variadas. Já o conjunto Rand_3 possui agrupamentos com formatos circu- lares e elipsoidais, mas com densidades diferentes. Dentre os conjuntos de dados reais estão os conjuntos WBC (Wisconsin Breast Cancer) e Wine (Blake e Merz, 1998). O conjunto WBC possui 683 pontos num espaço de 9 dimensões, os quais são divididos em duas classes (maligna e benigna) não linearmente separáveis. O conjunto de dados Wine tem 178 pontos num espaço de 13 dimensões com três classes conhecidas. Os conjuntos de dados SR_1 e SR_2 são for- mados por dados de imagens de sensoriamento remoto. O conjunto SR_1 possui 4176 vetores de dados que correspondem a janelas 3x3 de pixels. Essas janelas amostrais foram coletadas

152Classicação baseada em SOMs segmentados por morfologia matemática e emíndices de validação de agrupamentos de um segmento de imagem composto por 3 bandas espectrais do satélite CBERS-2/CCD. A imagem abrange uma área do estado do Amazonas (Brasil) e apresenta 3 classes de cobertura terrestre com sobreposições. O conjunto SR_2 apresenta 6994 janelas de pixels (5x5) coletadas de um segmento de imagem composto por 3 bandas espectrais do satélite LANDSAT/TM. A cena corresponde a uma área da região nordeste do estado de São Paulo e possui 4 classes que também se sobrepõem umas com as outras. Os segmentos de imagens de satélite a partir dos quais os conjuntos de dados SR_1 e SR_2 foram extraídos, podem ser visualizados no apêndice A.4 (localizado na mídia anexada a essa tese).

Nome Tipo Tamanho Dimensão Agrupamentos

Gauss_1 Sintético 1250 2 5 Gauss_2 Sintético 1450 2 5 Gauss_3 Sintético 1250 2 5 Rand_1 Sintético 1524 2 4 Rand_2 Sintético 1711 2 8 Rand_3 Sintético 1050 2 6 WBC Real 683 9 2 Wine Real 178 13 3 SR_1 Real 4176 27 3 SR_2 Real 6994 75 4

Tab. 5.1: Descrição dos conjuntos de dados utilizados nos testes.

A tabela 5.2 mostra os tamanhos dos SOMs utilizados para cada conjunto de dados e o número de partições diferentes obtidas a partir da aplicação da estratégia de análise de agrupamentos proposta na seção 5.2. Todos os SOMs foram treinados utilizando a mesma conguração de parâmetros descrita na seção 4.2.2.

Os experimentos foram realizados no software MATLAB em uma máquina com processador AMD Athlon XP 2600+ 1,91GHZ e 1GB de RAM. Os tempos de processamento consumidos pelas versões originais e modicadas dos índices na avaliação de todas as partições de cada conjunto de dados são mostrados nas tabelas 5.3 e 5.4, respectivamente. A última linha da tabela 5.4 mostra o speedup médio apresentado pela versão modicada de cada índice em relação à versão original considerando todos os conjuntos de dados. O apêndice A.5, inserido na mídia que acompanha essa tese, mostra mais detalhadamente os resultados desses experimentos.

−5 0 5 −5 −4 −3 −2 −1 0 1 2 3 4 5 (a) Gauss_1 −5 0 5 −5 −4 −3 −2 −1 0 1 2 3 4 5 (b) Gauss_2 −8 −6 −4 −2 0 2 4 6 8 −6 −4 −2 0 2 4 6 (c) Gauss_3 0 10 20 30 40 50 60 70 80 90 0 10 20 30 40 50 60 70 80 90 100 (d) Rand_1 20 40 60 80 100 120 140 160 180 200 220 0 50 100 150 200 (e) Rand_2 −6 −4 −2 0 2 4 6 −6 −4 −2 0 2 4 6 8 (f) Rand_3

Fig. 5.2: Conjunto de dados sintéticos utilizados nos experimentos.

Analisando os tempos despendidos pelas versões originais dos índices (tabela 5.3), verica-se que os índices VDP al e VDBP al são aqueles que consomem mais tempo de processamento. Isso

ocorre em virtude da complexidade de cálculo do Grafo de Gabriel, que serve de base para a computação desses dois índices. Em seguida, em ordem decrescente de complexidade, estão os índices VConn, VCDbw, VDBdk, VDBKim e VP BM. Entre os sete índices de validação analisados,

154Classicação baseada em SOMs segmentados por morfologia matemática e emíndices de validação de agrupamentos Conjunto de dados Tamanho do SOM Número de partições

Gauss_1 12x12 4 Gauss_2 13x13 4 Gauss_3 12x12 4 Rand_1 14x14 5 Rand_2 15x15 6 Rand_3 10x10 6 WBC 6x6 3 Wine 5x5 3 SR_1 20x20 3 SR_2 22x22 4

Tab. 5.2: Tamanhos dos SOMs utilizados e o número de partições obtidas na aplicação da estratégia de análise de agrupamentos proposta na seção 5.2 em cada conjunto de dados.

Conjuntos de dados VDP al VDBdk VDBP al VDBKim VP BM VCDbw VConn

Gauss_1 94.32 4.6175 95.16 4.1155 4.1543 11.614 7.0634 Gauss_2 125.34 7.5126 122.876 4.1036 4.1581 11.086 8.2047 Gauss_3 92.575 4.5492 98.781 4.113 4.1292 10.757 6.6651 Rand_1 250.33 8.0501 252.12 4.1407 4.1618 15.579 32.977 Rand_2 341.91 13.981 345.49 6.1652 6.219 18.764 45.005 Rand_3 80.663 5.3898 81.077 6.1677 6.2077 13.277 5.0906 WBC 20.686 1.6187 20.595 2.9252 2.41 2.1466 0.2543 Wine 0.3390 0.1175 0.3409 0.0773 0.1108 0.2297 0.0680 SR_1 8170.2 73.01 7410.7 15.232 16.08 118.14 155.27 SR_2 13090.3 281.96 13613.4 26.07 27.68 326.61 702.17

Tab. 5.3: Tempos de processamento (em segundos) consumidos pelas versões originais dos índices na avaliação de todas as partições de cada conjunto de dados.

os índices VDBKim e VP BM são, portanto, aqueles que exigem o menor custo de processamento,

apresentando complexidades parecidas. Apesar de estar baseado apenas no uso de protótipos e não nos dados originais dos conjuntos, o índice VConn apresenta um custo de processamento

relativamente elevado em comparação com a maioria dos outros índices, principalmente quando o número de protótipos (tamanho do SOM) é maior, como nos casos dos conjuntos de dados Rand_2, SR_1 e SR_2. Tal comportamento é conseqüência da complexidade de cálculo da matriz de adjacência cumulativa (CADJ ), a qual depende diretamente do número de protótipos considerado e serve de base para todos os cálculos intermediários do índice VConn.

Conjuntos de dados VSOM DP al V SOM DBdk V SOM DBP al V SOM DBKim V SOM P BM VCDbwSOM Gauss_1 0.2846 0.1963 0.2826 0.1025 0.1223 0.5023 Gauss_2 0.2861 0.1861 0.2939 0.1015 0.1015 0.4041 Gauss_3 0.2685 0.1691 0.212 0.0997 0.1034 0.4184 Rand_1 0.8873 0.3363 0.8491 0.1305 0.1286 1.2023 Rand_2 0.8777 0.4307 0.8893 0.1326 0.1636 1.3827 Rand_3 0.2442 0.1873 0.2304 0.1301 0.1424 0.4234 WBC 0.0815 0.0756 0.0801 0.0723 0.0731 0.0922 Wine 0.0783 0.0495 0.0764 0.0379 0.0609 0.0828 SR_1 3.5227 0.4258 3.3921 0.1108 0.1111 2.2541 SR_2 4.3849 1.344 4.334 0.1604 0.1956 5.2779 Speedup (médio) 767.90 58.21 784.54 55.33 52.506 27.447

Tab. 5.4: Tempos de processamento (em segundos) consumidos pelas versões modicadas dos índices na avaliação de todas as partições de cada conjunto de dados e média dos speedups.

De um modo geral, como era esperado, os índices consomem um tempo de processamento considerável para os conjuntos de dados que possuem alta dimensionalidade e um número grande de pontos (no caso, SR_1 e SR_2 ). Cabe ressaltar que essa observação é válida até mesmo para os índices VDBKim e VP BM que exigiram tempos de processamento bem menores,

pois em algumas análises de dados nas quais o número de partições a serem avaliadas é muito grande (como aquelas que são apresentadas no próximo capítulo), o tempo total que será gasto pelas versões originais desses dois índices também pode inviabilizar a aplicação da metodologia de classicação.

Por outro lado, as versões modicadas de todos os índices apresentaram tempos de pro- cessamento bastante reduzidos, bem inferiores aos das versões originais. Na última linha da tabela 5.4 pode-se observar que as taxas de speedups alcançadas com a aplicação da estratégia de modicação dos cálculos dos índices (proposta na seção 5.3.2) são signicativas. Em particu- lar, os índices VSOM

DP al e V

SOM

DBP al apresentam taxas de speedups bem superiores as dos outros. Isso

se dá em função do custo de processamento do Grafo de Gabriel, que diminui substancialmente diante da quantidade reduzida de pontos (ou protótipos) utilizada pelas versões modicadas desses índices.

Embora a redução nos tempos de processamento dos índices através de suas versões mo- dicadas seja signicante para todos os conjuntos de dados, ela se destaca para os conjuntos

156Classicação baseada em SOMs segmentados por morfologia matemática e emíndices de validação de agrupamentos SR_1 e SR_2 que apresentam uma maior dimensionalidade e um volume maior de pontos. Vale ressaltar que esses dois conjuntos são formados por dados de imagens de sensoriamento remoto, sendo, portanto, bastante similares aos tipos de dados que são objeto principal de aplicação das metodologias de classicação propostas neste trabalho.

Como era esperado, a estratégia de modicar os cálculos dos índices de validação apresenta erros de aproximação. As tabelas e grácos apresentados no apêndice A.5 mostram as diferenças entre os valores produzidos pelas versões originais e modicadas de cada índice. No entanto, com exceção apenas de três casos (guras A.5.3(a), A.5.10(a) e A.5.10(c)), a variação ou o comportamento dos valores das versões modicadas dos índices ocorre de maneira similar ao das versões originais para todas as partições avaliadas, não comprometendo, portanto, o processo de tomada de decisão a respeito da melhor partição de cada conjunto de dados.

Isso também pode ser observado através da tabela 5.5, que mostra, para cada conjunto de dados, o número de agrupamentos da melhor partição indicada pelas versões originais e modicadas de cada índice de validação. A tabela mostra, ainda, através dos símbolos "O" e "X", se a melhor partição indicada por cada índice é a correta ou não. O símbolo "O" denota que o índice de validação acertou na indicação da melhor partição e o símbolo "X" denota o contrário (que o índice errou). Os números e indicações, marcados em negrito na tabela, referem-se aos casos em que os comportamentos das duas versões dos índices foram diferentes. Analisando a tabela, é possível vericar que, praticamente para todos os conjuntos utilizados nos testes, as indicações sugeridas pelas versões modicadas dos índices foram as mesmas que às das versões originais.

Vale destacar ainda que mesmo naqueles três casos em que os comportamentos das duas versões dos índices foram diferentes (marcados em negrito na tabela 5.5), o número de agrupa- mentos sugerido pelos índices modicados foi o correto, enquanto suas versões originais sugeri- ram um número errado de classes. Isso ocorre em virtude da redução de ruído proporcionada pelo uso dos protótipos do SOM. Uma vez que os protótipos do SOM são "médias" locais dos dados, a avaliação dos agrupamentos por meio das versões modicadas dos índices se torna menos sensível às variações aleatórias dos conjuntos de dados. De fato, em função do uso de Grafo de Gabriel, particularmente os índices VDP al e VDBP al são muito suscetíveis à ruídos.

Índice _Gauss Conjuntos de dados Acertos

_1 Gauss_2 Gauss_3 Rand_1 Rand_2 Rand_3 WBC Wine SR_1 SR_2

VDP al 5(O) 4(X) 2(X) 2(X) 2(X) 4(X) 2(O) 2(X) 2(X) 3(X) 2/10

VSOM

DP al 5(O) 4(X) 5(O) 2(X) 2(X) 4(X) 2(O) 2(X) 2(X) 4(O) 4/10

VDBdk 5(O) 5(O) 5(O) 2(X) 2(X) 4(X) 2(X) 3(O) 3(O) 3(X) 5/10

VSOM

DBdk 5(O) 5(O) 5(O) 2(X) 2(X) 4(X) 2(X) 3(O) 3(O) 3(X) 5/10

VDBP al 5(O) 5(O) 5(O) 2(X) 2(X) 4(X) 2(O) 3(O) 2(X) 3(X) 5/10

VSOM

DBP al 5(O) 5(O) 5(O) 2(X) 2(X) 4(X) 2(O) 3(O) 2(X) 4(O) 6/10

VDBKim 5(O) 5(O) 5(O) 4(O) 5(X) 6(O) 2(O) 3(O) 3(O) 5(X) 8/10

VSOM

DBKim 5(O) 5(O) 5(O) 4(O) 5(X) 6(O) 2(O) 3(O) 3(O) 5(X) 8/10

VP BM 5(O) 5(O) 5(O) 2(X) 2(X) 6(O) 2(O) 3(O) 2(X) 4(O) 7/10

VSOM

P BM 5(O) 5(O) 5(O) 2(X) 2(X) 6(O) 2(O) 3(O) 2(X) 4(O) 7/10

VCDbw 5(O) 5(O) 5(O) 4(O) 8(O) 6(O) 2(O) 3(O) 3(O) 4(O) 10/10

VSOM

CDbw 5(O) 5(O) 5(O) 4(O) 8(O) 6(O) 2(O) 3(O) 3(O) 4(O) 10/10

VConn 5(O) 5(O) 5(O) 4(O) 2(X) 6(O) 2(O) 3(O) 2(X) 3(X) 7/10

Tab. 5.5: Número de agrupamentos e indicação de acerto (ou não) da melhor partição apontada por cada índice de validação para cada conjunto de dados. O símbolo "O" denota que o índice de validação acertou na indicação da melhor partição e o símbolo "X" denota que o índice errou. A última coluna da tabela mostra a proporção de acertos de cada índice considerando todos os conjuntos de dados. Os números e indicações marcados em negrito na tabela referem-se aos casos em que os comportamentos das duas versões dos índices foram diferentes.

Conforme mencionado no início desta seção, além de analisar a proposta de modicação de cálculo dos índices de validação, os testes experimentais apresentados aqui também são considerados para vericar quais dentre os sete índices de validação utilizados apresentam os melhores desempenhos na avaliação dos diferentes conjuntos de dados considerados nos experimentos. O critério utilizado para avaliar os desempenhos dos índices foi a quantidade de vezes que cada um deles indicou corretamente a melhor partição para os conjuntos de dados utilizados nos experimentos.

Analisando novamente a tabela 5.5, verica-se que os índices VDP al, VDBdk e VDBP al foram

aqueles que apresentaram os piores desempenhos, acertando o número de agrupamentos de no máximo 50% dos conjuntos de dados analisados. Esses índices não avaliaram corretamente nenhum dos conjuntos de dados que possuem agrupamentos com formatos geométricos variados, especialmente os conjuntos Rand_1, Rand_2 e Rand_3. Os índices VDP al, VDBdk e VDBP al

158Classicação baseada em SOMs segmentados por morfologia matemática e emíndices de validação de agrupamentos quais apresentam agrupamentos com sobreposições. Em seguida, observando ainda o número de acertos, têm-se os índices VP BM e VConn, que em suas versões originais sugeriam corretamente

o número de agrupamentos para 7 dos 10 conjuntos de dados analisados. O índice VP BM

apresentou desempenho desfavorável para os conjuntos Rand_1 e Rand_2 que apresentam agrupamentos com formatos geométricos variados, e também errou a indicação para o conjunto SR_1 que apresenta um volume maior de dados com agrupamentos sobrepostos. Já o índice

VConn indicou erradamente o número de agrupamentos para os dois conjuntos de dados de

sensoriamento remoto (SR_1 e SR_2 ) e também para o conjunto Rand_2. O índice VDBKim

apresentou um desempenho semelhante ao do índice VConn, sendo ligeiramente superior, uma

vez que acertou o número de agrupamentos do conjunto SR_1. Finalmente, dentre os sete índices de validação testados, o índice VCDbw foi o único que indicou corretamente o número

de agrupamentos para todos os conjuntos de dados utilizados nos experimentos apresentados aqui.

Sendo assim, diante do levantamento bibliográco sobre índices de validação realizado neste trabalho (apresentado na seção 5.3.1), dos resultados experimentais apresentados aqui e daque- les apresentados também em Gonçalves et al. (2005a), Gonçalves e Andrade Netto (2005) e em Gonçalves et al. (2006), onde a estratégia de modicação dos cálculos dos índices de validação é aplicada em outros conjuntos de dados, incluindo diferentes imagens de satélite, verica-se que o índice VSOM

CDbw apresenta um desempenho destacável em comparação com outros índices de vali-

dação, sendo, portanto, adequado para realizar a avaliação de diferentes tipos de agrupamentos, inclusive de imagens de sensoriamento remoto.

No entanto, diante da redução considerável nos tempos de processamento dos índices de validação através de suas versões modicadas, principalmente para conjuntos de dados volu- mosos, verica-se que é viável a aplicação de mais de um índice de validação (em suas formas modicadas) para avaliar diferentes partições de dados de imagens de sensoriamento remoto. Portanto, além do índice VSOM

CDbw, os índices VDBSOMKim e V

SOM

P BM são também utilizados dentro da

metodologia de classicação de imagens proposta neste capítulo, uma vez que apresentam bons desempenhos de acordo com os experimentos mostrados aqui.

ao do índice VSOM

P BM, os seus tempos de processamento não são considerados adequados para a

aplicação em conjuntos com grande densidade de dados. Além disso, conforme apontado em Tasdemir e Merenyi (2007), o índice VConn não é adequado para análises de agrupamentos com

SOMs que apresentem protótipos sem rótulos, situação que pode ocorrer dentro da metodologia de classicação proposta no próximo capítulo desse trabalho.

5.4 Metodologia de classicação de imagens usando SOMs