Open-GP

Para os m´etodos Open-GP foi simulado um cen´ario aberto durante a fase de treino. Para isto faz-se o seguinte particionamento das amostras do conjunto de treino:

1. Das x classes conhecidas do treino, toma-se a metade delas como classes conhecidas (y classes) e a outra metade como desconhecidas (z classes).

2. O conjunto de f itting ´e formado pelo 40% das amostras das y classes conhecidas e ´

3. O conjunto validation1(v1) ´e utilizado para validar a floresta gerada nas gera¸c˜oes da programa¸c˜ao gen´etica e ´e composto por 30% das amostras das y classes conhecidas e o 50% das amostras das z classes desconhecidas.

4. O conjunto validation2 (v2) ´e usado para tratar o problema de overfitting. Este conjunto cont´em 20% das amostras das y classes conhecidas e 35% das amostras das z classes desconhecidas.

5. O conjunto validation3 (v3) ´e utilizado para procurar o melhor threshold no classi- ficador OSOPF2-OGP (Se¸c˜ao 3.1.2). Este conjunto cont´em 10% das amostras das y classes conhecidas e 15% das amostras das z classes desconhecidas.

O particionamento das amostras do treino para criar um cen´ario aberto ´e apresentando na Figura 4.4.

Figura 4.4: Particionamento Open-GP das amostras do treino. v1, v2, v3 s˜ao os conjuntos validation1, validation2 e validation3, respectivamente.

4.2.2

Closed-GP

Nos m´etodos Closed-GP ´e feito um treinamento considerando um cen´ario de classifica¸c˜ao fechado. Portanto, todas amostras do conjunto de treino foram particionadas conforme ilustrado na Figura 4.5 e descrito a seguir.

• 40% das amostras das x classes conhecidas formam o f itting que ´e usado na gera¸c˜ao da floresta do classificador OPF.

• O primeiro conjunto de valida¸c˜ao (v1 na figura) cont´em 30% das amostras das x classes e ´e utilizado para validar a floresta gerada.

• Para tratar o problema do overfitting, utiliza-se um segundo conjunto de valida¸c˜ao (v2 na figura). Este conjunto cont´em 30% das amostras das x classes.

Figura 4.5: Particionamento Closed-GP das amostras do treino. v1, v2 s˜ao os conjuntos validation1 e validation2, respectivamente.

4.3

Descritores

Neste trabalho, n˜ao se buscaram os melhores descritores para cada dataset. Foram utiliza- dos descritores de cor e textura, considerando que s˜ao tipos de descritores que contribuem com caracter´ısticas diferentes dos objetos. Os descritores usados para extra¸c˜ao de carac- ter´ıstica foram Border/Interior Pixel Classification (BIC), Color Autocorrelogram (ACC), Color Coherence Vector (CCV), Quantized Compound Change Histogram(QCCH) e Local Activity Spectrum(LAS), sendo os trˆes primeiros de cor e os dois ´ultimos de textura.

• Border/Interior Pixel Classification (BIC) [68]: A id´eia principal do descritor BIC ´

e classificar cada pixel da imagem como pixel de borda ou interior. ´E um m´etodo muito simples, eficiente, n˜ao custoso em tempo computacional e gera uma repre- senta¸c˜ao compacta (features) da imagem. Depois da quantiza¸c˜ao dos pixels das imagens, os pixels s˜ao classificados como pixels de interior se seus vizinhos tˆem a mesma cor; caso contr´ario ´e classificado como pixel de borda. Para obter a re- presenta¸c˜ao, uma vez classificados os pixels, cria-se um histograma considerando apenas os pixels de borda e um outro considerando apenas os pixels de interior. O tamanho do vetor de features gerado pelo descritor ´e 128 (64 bins para o histograma de pixels de borda e 64 para o histograma referente aos pixels de interior).

• Color Autocorrelogram (ACC) [33]: Este descritor ´e utilizado para comparar ima- gens a partir da an´alise da correla¸c˜ao espacial das cores a diferentes distˆancias. ´E um descritor eficaz, eficiente, r´apido e gera um vetor de caracter´ısticas relativamente pequeno. ´E baseado na probabilidade de encontrar um pixel de cor x a partir de um pixel de cor y a uma certa distˆancia d em uma imagem. Possui tolerˆancia a mudan¸cas em pontos de vis˜ao, diferentes tipos de ilumina¸c˜ao e altera¸c˜oes na forma. Os histogramas tradicionais de cor n˜ao contemplam nenhum tipo de informa¸c˜ao espacial. O descritor ACC por sua vez considera a correla¸c˜ao espacial local de cor e tamb´em a distribui¸c˜ao global da correla¸c˜ao espacial da imagem. O vetor gerado por este descritor possui 256 bins.

• Color Coherence Vector (CCV) [49]: O descritor CCV considera informa¸c˜ao espacial da imagem e classifica cada pixel como coerente ou incorente. Os histogramas de cor n˜ao analisam informa¸c˜ao espacial e por isto, existem imagens com aparˆencias totalmente diferentes que podem ter histogramas de cor similares. No descritor

CCV, cada pixel ´e classificado considerando-se se pertence ou n˜ao a uma regi˜ao cont´ınua de cores similares e de um tamanho consider´avel (componente conectado). Estas regi˜oes s˜ao muito ´uteis para determinar a similaridade entre imagens. Um componente conectado ´e o conjunto m´aximo de pixels adjacentes, em que dois pixels s˜ao adjacentes se um pixel est´a entre os vizinhos mais pr´oximos do outro. Para calcular o CCV, primeiro substituem-se os valores de cada pixel pela m´edia do valor de seus vizinhos (geralmente os 8 vizinhos). Em seguida, geram-se componentes conexos (cada pixel pertence s´o a um componente conexo). Em seguida, classificam- se os pixels como coerente ou incoerente baseado no componente ao que pertence. Se o tamanho do componente ´e maior do que 1% do tamanho da imagem, o pixel ´e classificado como coerente, caso contr´ario como incoerente. Finalmente, cria-se um histograma para os pixels que formam parte de um dos componentes coerentes e outro para os que s˜ao parte dos componentes incorentes. O vetor de caracter´ısticas gerado combina os dois histogramas obtidos. O tamanho do vetor gerado ´e 128 (64 bins de pixels coerentes e 64 de pixels incoerentes).

• Quantized Compound Change Histogram (QCCH) [32]: QCCH ´e um descritor que se baseia nos vizinhos de cada pixel para procurar informa¸c˜ao sobre a textura da imagem. Este descritor ´e independente da transla¸c˜ao e da rota¸c˜ao e ´e baseado no uso de uma janela quadrada na procura de mudan¸cas da cor cinza em toda a imagem. Cada janela ´e definida como Jr(x, y) em que r e (x, y) correspondem ao raio e centro da janela, respectivamente. Para cada pixel na imagem ´e calculada a taxa de mudan¸ca do n´ıvel de cinza em rela¸c˜ao aos seus vizinhos em 4 sentidos diferentes (horizontal, vertical, diagonal e anti-diagonal) e ´e quantificado em 40 bins para obter a mudan¸ca composta quantificada no pixel. Em seguida, para obter o vetor de caracter´ısticas, calcula-se a mudan¸ca composta quantificada em toda a imagem. O tamanho do vetor gerado pelo descritor ´e 40.

• Local Activity Spectrum (LAS) [70]: LAS ´e um descritor de textura que aumenta a capacidade de discrimina¸c˜ao a partir da utiliza¸c˜ao de um histograma de gradi- ente (gradiente ´e invariante `a transla¸c˜ao) e uma medida de distˆancia chamada SMD (Soma da distˆancia m´ınima). O gradiente pode ser visto como um operador para medir a varia¸c˜ao espacial local (atividade), ou seja a taxa de mudan¸ca em cada pixel. O sentido e a magnitude do gradiente s˜ao efetivos para diferenciar diferentes texturas. O LAS utiliza os operadores: soma, valor absoluto e contagem e por isto ´e mais eficiente em tempo computacional em compara¸c˜ao com outros descritores que usam gradiente. Este descritor apresenta uma variante na indexa¸c˜ao do gradiente para melhorar desempenho, considerando mudan¸cas nos sentidos horizontal, verti- cal, diagonal e anti-diagonal, com cada um destes sentidos formam-se componentes separados. Para gerar o vetor de caracter´ısticas, cria-se um histograma gerado pela distribui¸c˜ao das 4 atividades (horizontal, vertical, diagonal e antidiagonal) medidas no pixel. Cada componente ´e quantificado com 4 bins criando um histograma final com 256 bins.

4.4

Configura¸c˜ao GP

Este trabalho utilizou JGAP [18], uma biblioteca java de programa¸c˜ao gen´etica. JGAP representa os indiv´ıduos da programa¸c˜ao gen´etica como ´arvores em que cada n´o interno ´e um operador matem´atico e as folhas s˜ao valores.

Na programa¸c˜ao gen´etica existem diversos componentes que podem ter influˆencia nos resultados como os operadores matem´aticos utilizados e parˆametros da GP. No caso dos operadores e a taxa de reprodu¸c˜ao, utilizaram-se as configura¸c˜oes propostas em [73]. Os operadores s˜ao: +, /, × e sqrt que reportaram bons resultados e cuja taxa de reprodu¸c˜ao foi 0, 05. Com rela¸c˜ao aos parˆametros GP, al´em da taxa de reprodu¸c˜ao, existem alguns atributos a levar em considera¸c˜ao: taxa de muta¸c˜ao, taxa de crossover, n´umero de in- div´ıduos na popula¸c˜ao inicial, n´umero de gera¸c˜oes e profundidade da ´arvore. Utilizaram-se as metodologias propostas em [4, 24, 62] para avaliar o impacto dos parˆametros GP nos experimentos de reconhecimento de objetos considerados.

Para avaliar o impacto das taxas de muta¸c˜ao e crossover, a seguinte estrat´egia foi adotada:

• Utilizou-se uma popula¸c˜ao inicial de 100 indiv´ıduos e 10 gera¸c˜oes.

• Os valores para testar as taxas de muta¸c˜ao e crossover foram (0, 05; 0, 1; 0, 2) e (0, 2; 0, 5; 0, 8), respectivamente.

• Executaram-se os experimentos correspondentes combinando os valores das taxas de muta¸c˜ao e crossover (9 experimentos no total).

• Selecionaram-se os valores das taxas que obtiveram melhores resultados.

Por outro lado, para avaliar os parˆametros n´umero de indiv´ıduos na popula¸c˜ao inicial (X), n´umero de gera¸c˜oes (Y ) e profundidade da ´arvore (Z) utilizou-se um modelo full- factorial de dois n´ıveis [10] que serve para conhecer a importˆancia de cada parˆametro nos resultados. Este modelo foi testado e utilizado em [4, 24, 62]. Neste tipo de modelo, cada parˆametro ´e avaliado com dois valores, um valor baixo (−) e um valor alto (+). Os valores para cada parˆametro s˜ao apresentados na Tabela 4.3. Na Tabela 4.4, mostra- se como a avalia¸c˜ao dos parˆametros resulta em um total de 2n _{experimentos em que n} ´e o n´umero de parˆametros. No nosso caso, n = 3 dando um total de 8 combina¸c˜oes poss´ıveis. Cada experimento ´e repetido 3 vezes com seeds aleat´orias diferentes para gerar popula¸c˜oes iniciais distintas. Com isto h´a um total de 24 execu¸c˜oes. Para a avalia¸c˜ao dos parˆametros usamos o dataset ALOI (considerando 9 classes como conhecidas) e o classificador OSOPF2-OGP.

Os efeitos de cada um dos parˆametros em nossos experimentos s˜ao apresentados na Tabela 4.5. Como pode ser observado, o impacto dos parˆametros n˜ao foi alto. Para calcular o efeito de um determinado parˆametro p a seguinte metodologia foi adotada:

1. b = m´edia de todos os experimentos em que p teve seu valor baixo. 2. a = m´edia de todos os experimentos em que p teve seu valor alto. 3. ef eito = a − b.

Tabela 4.3: Valores (Alto e Baixo) dos parˆametros GP avaliados.

Parˆametros Valores

Alto (↑ /+) Baixo (↓ /−)

Popula¸c˜ao inicial 300 50

N´umero de gera¸c˜oes 30 5

Profundidade da ´arvore 12 4

Tabela 4.4: Modelo fatorial em dois n´ıveis. Execu¸c˜oes Parˆametros (Intera¸c˜ao)

X Y Z XY XZ Y Z XY Z x↓ y↓ z↓ − − − + + + − x↑ y↓ z↓ + − − − − + + x↓ y↑ z↓ − + − − + − + x↑ y↑ z↓ + + − + − − − x↓ y↓ z↑ − − + + − − + x↑ y↓ z↑ + − + − + − − x↓ y↑ z↑ − + + − − + − x↑ y↑ z↑ + + + + + + +

4.4.1

Testes Estat´ısticos

Utilizou-se o teste ANOVA junto ao post-test Tukey’s HSD com 95% de n´ıvel de confian¸ca (ver Se¸c˜ao 4.7 para mais detalhes acerca dos testes) para procurar diferen¸cas estat´ısticas significativas entre as m´edias dos experimentos realizados na avalia¸c˜ao dos parˆametros GP. Os resultados do Tukey’s HSD s˜ao mostrados na Figura 4.6. Como pode ser observado, n˜ao existe diferen¸ca estat´ıstica significativa entre os experimentos. Desta forma, selecionou- se aquela combina¸c˜ao de parˆametros que relativamente obteve uma melhor m´edia nos experimentos.

Tabela 4.5: Efeito dos parˆametros. Parˆametros (Intera¸c˜ao) Efeito (%)

X 0,583 Y 0,415 Z -1,236 XY 0,083 XZ 0,222 Y Z 0,0908 XY Z -0,0722

Finalmente, os operadores matem´aticos e valores dos parˆametros utilizados neste tra- balho s˜ao apresentados na Tabela 4.6. A Figura 4.7 apresenta a curva de evolu¸c˜ao do clas- sificador GP. Foram plotadas as acur´acias obtidas nos conjuntos validation1, validation2 e teste pelos 15 melhores indiv´ıduos de cada gera¸c˜ao nas Figuras 4.7a, 4.7b e 4.7c, res-

Figura 4.6: Tukey’s HSD para sele¸c˜ao de parˆametros com 95% de n´ıvel de confian¸ca. Nesta figura ´e apresentada a diferen¸ca entre as m´edias de cada par de combina¸c˜oes de parˆametros. Existe diferen¸ca estat´ıstica significativa se a diferen¸ca das m´edias de cada par n˜ao contˆem o valor 0. Neste caso, todos os pares cont´em o valor 0, portanto n˜ao existe diferen¸ca estat´ıstica significativa entre nenhum par.

pectivamente. Observa-se que as curvas na Figura 4.7 tˆem um comportamento similar. A evolu¸c˜ao dos indiv´ıduos nas ´ultimas gera¸c˜oes n˜ao tem maior impacto na acur´acia; com isto, verifica-se a estabiliza¸c˜ao do classificador com 30 gera¸c˜oes.

Tabela 4.6: Configura¸c˜ao GP.

Parˆametro Valor

Fun¸c˜oes +, /, × e sqrt Muta¸c˜ao 0,1 Reprodu¸c˜ao 0,05 Crossover 0,8 Popula¸c˜ao inicial 300 Gera¸c˜oes 30 Profundidade da ´arvore 4-6

4.5

Grid Search

O reconhecimento de objetos na ´area de Aprendizado de M´aquina tem como objetivo mi- nimizar a taxa de erro na fase de teste. Alguns m´etodos precisam procurar o melhor valor

(a)

(b)

(c)

Figura 4.7: Evolu¸c˜ao da acur´acia normalizada do GP considerando os melhores 15 in- div´ıduos de cada gera¸c˜ao nos conjuntos: a) validation1, b) validation2 e c) teste.

para determinados parˆametros que influenciam diretamente o resultado. Entretanto, esta ´e uma tarefa dif´ıcil e custosa dependendo se o trabalho ´e feito manual ou computacional- mente, ou se o espa¸co de busca do parˆametro ´e muito grande.

Grid Search [8] ´e uma t´ecnica para otimiza¸c˜ao de parˆametros. A otimiza¸c˜ao de parˆametros ´e o problema de procurar o melhor valor de um parˆametro para ser utili- zado dentro de um determinado problema. De forma geral, para realizar um grid search faz-se o seguinte:

• Definir o conjunto p de parˆametros que precisa ser otimizado; • Estabelecer um conjunto v de valores para avaliar cada parˆametro;

• Avaliar o desempenho do m´etodo para cada um dos valores em v dos parˆametros em p;

• Obter o melhor valor para cada parˆametro em p.

Na otimiza¸c˜ao de parˆametros, em geral, se enfrenta o problema da maldi¸c˜ao da di- mensionalidade, dado que o n´umero de poss´ıveis combina¸c˜oes aumenta exponencialmente segundo o n´umero de parˆametros que queremos otimizar. Neste trabalho, n˜ao foi ob- servado este problema porque utilizou-se o grid search para definir um s´o parˆametro e o espa¸co de busca foi delimitado.

Os passos correspondentes ao grid Search utilizado neste trabalho s˜ao apresentados no Algoritmo 11. Os atributos classif ier, validation, f orest, igp, levels, nthresholds s˜ao o classificador, conjunto de valida¸c˜ao, a floresta gerada, indiv´ıduo-GP, os n´ıveis para a busca do threshold e o n´umero de limiares que v˜ao ser avaliados em cada n´ıvel do grid search, respectivamente.

Algoritmo 11 Grid Search

Require: classif ier, validation, f orest, igp, levels, nthresholds 1: inicio ← 0, 5

2: f im ← 1

3: for n=1 to levels do

4: T ← gerar nthresholds separados uniformemente no intervalo definidos por inicio e f im

5: ti ← threshold ∈ T com a melhor acur´acia normalizada utilizando classif ier(f orest, igp, validation)

6: dif ← |T0− T1| 7: start ← ti− dif 8: f im ← ti+ dif 9: end for

4.6

Medidas de Avalia¸c˜ao

A maior parte de trabalhos de classifica¸c˜ao de objetos est˜ao focados em problemas fecha- dos, por isso existem muitas medidas propostas para este tipo de cen´ario para as quais n˜ao s˜ao consideradas as classes n˜ao conhecidas. Marina e Lapalme [66] apresentam um an´alises de 24 medidas de desempenho para tarefas de classifica¸c˜ao bin´aria (acur´acia, precision, recall, especificidade, Fscore e AUC ), multi-classe (acur´acia m´edia, taxa de erro, macro- precision, micro-precision, macro-FScore, micro-FScore, macro-Recall e micro-Recall ), multi-rotulados (Exact Match Ratio, Labelling Fscore, Retrieval Fscore, Hamming Loss), e tarefas hier´arquicas(Precision↓, Precision↑, Recall↓, Recall↑, Fscore↓ e Fscore↑).

Nos problemas de cen´ario aberto tamb´em j´a foram propostas algumas medidas de avalia¸c˜ao. Uma variante na medida da acur´acia para cen´arios abertos ´e apresentada por Costa et al. [15, 16], mas a acur´acia proposta por Costa et al. considera um problema de cen´ario aberto baseado em um classificador n˜ao inerentemente multiclasse. Neste traba- lho, utilizaram-se as medidas de avalia¸c˜ao propostas no trabalho [41, 42] para problemas abertos (Acur´acia normalizada e F-measure), que considera o uso de um classificador inerentemente multiclasse.