Experimento de Visualização de Dados - Experimentos com o EMIKM

5.3 Experimentos com o EMIKM

5.3.1 Experimento de Visualização de Dados

Esse experimento tem por objetivo avaliar qualitativamente a habilidade de separa- ção dos dados nos métodos EMIKM e MIKM, em dimensões muito menores em relação ao tamanho original, que possibilitem gerar uma representar gráﬁca dos dados, sendo essas as dimensões bidimensional e tridimensional. Para esse experimento foi adotado a projeção dos dados no espaço bidimensional.

Para realizar essas projeções foram selecionadas as imagens dos quatro primeiros indivíduos da base Yale. A Figura 17 mostra um exemplo de cada um dos indivíduos usados no experimento.

De acordo com as projeções mostradas na Figura 18, é possível observar que na projeção gerada pelo MIKM, todos padrões ﬁcaram aglomerados no lado direito da imagem e não existe nenhuma formação clara de regiões que agrupem exemplos de um mesmo indivíduo. Já na projeção gerada pelo EMIKM é possível ver que os padrões já estão mais distribuídos pelo espaço de características, a maioria dos exemplos de mesma classe estão em regiões próximas e é possível ver um distanciamento dos padrões de classes diferentes em relação ao MIKM.

Não era esperado que nenhuma das técnicas conseguisse separar perfeitamente todos os exemplos no espaço, pois dado a complexidade do problema de reconhecimento facial, duas dimensões não são suﬁcientes para resolvê-lo, embora os resultados mostrem uma habilidade de discriminação do EMIKM superior ao MIKM. Isso nos permite observar que executar a extração realizada pelo EMIKM consegue extrair características mais representativas dos dados originais, em vez da seleção feita pelo MIKM.

20 40 60 80

20

40

60

80

100 20 40 60 80

20

40

60

80

100 20 40 60 80

20

40

60

80

100 20 40 60 80

20

40

60

80

100

Capítulo 5. Experimentos e Resultados 53 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 MIKM 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 EMIKM

Figura 18 – Projeções dos dados da base Yale no espaço bidimensional geradas pelos algoritmos MIKM e EMIKM.

5.3.2 Avaliação do Desempenho na Classiﬁcação

O objetivo desse experimento é avaliar de forma quantitativa o desempenho de classiﬁcação nos espaços de características reduzido pelos métodos EMIKM e MIKM. Nessa etapa foram escolhidas três bases de dados: Isolet, Spambase e HDR.

Cada base teve sua dimensão reduzida para os tamanhos 5,15,25,35 e 45. Em cada uma dessas dimensões foi avaliada a acurácia média e seu desvio padrão, com os classificadores 1-NN e SVM, seguindo a metodologia adotada por padrão nesse trabalho. A Tabela 9 mostra os resultados obtidos na base Isolet e a Figura 19 mostra um gráfico desses resultados para melhor visualização. Nessa base de dados a técnica proposta EMIKM teve desempenho superior ao método MIKM com ambos classificadores. Em todos os pontos o EMIKM mostra acurácia média superior ao MIKM, a maior diferença é observada com cinco atributos no 1-NN, o EMIKM teve acurácia 6% maior que o MIKM com desvio padrão menor.

Tabela 9 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base Isolet com os classiﬁcadores 1-NN e SVM. A coluna |D| é a dimensão do espaço de características.

Isolet

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,3131 ± 0,0185 0,2591 ± 0,0312 0,2791 ± 0,0207 0,2627 ± 0,0341 15 0,5236 ± 0,0519 0,4837 ± 0,0489 0,5458 ± 0,0235 0,5237 ± 0,0398 25 0,6514 ± 0,0453 0,6105 ± 0,0486 0,6698 ± 0,0150 0,6394 ± 0,0401 35 0,6623 ± 0,0344 0,6551 ± 0,0281 0,7089 ± 0,0208 0,6850 ± 0,0206 45 0,7139 ± 0,0214 0,7090 ± 0,0149 0,7450 ± 0,0192 0,7316 ± 0,0138

5 10 15 20 25 30 35 40 45 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 Número de Características A curácia Mé dia Isolet (1−NN) EMIKM MIKM 5 10 15 20 25 30 35 40 45 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 Número de Características A curácia Mé dia Isolet (SVM) EMIKM MIKM

Figura 19 – Gráﬁco com os resultados do 1-NN e SVM na base Isolet.

Já na Tabela 10 e na Figura 20 são apresentados os resultados obtidos na base Spambase. Nesse experimento é possível observar que o método proposto EMIKM obteve desempenho bastante superior ao MIKM com ambos classiﬁcadores. A maior diferença observada é com cinco atributos no 1-NN, o EMIKM teve acurácia média 23% maior que o MIKM com desvio padrão menor, uma discrepância bastante signiﬁcava a favor do algoritmo proposto.

Tabela 10 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base Spambase com os classiﬁcadores 1-NN e SVM. A coluna |D| é a dimensão do espaço de características.

Spambase

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,7716 ± 0,0251 0,5480 ± 0,0645 0,6420 ± 0,0377 0,6566 ± 0,0411 15 0,8401 ± 0,0168 0,7513 ± 0,0498 0,7793 ± 0,0238 0,7570 ± 0,0267 25 0,8604 ± 0,0194 0,8173 ± 0,0434 0,8182 ± 0,0185 0,8066 ± 0,0210 35 0,8707 ± 0,0107 0,8507 ± 0,0154 0,8500 ± 0,0162 0,8405 ± 0,0242 45 0,8840 ± 0,0114 0,8718 ± 0,0217 0,8695 ± 0,0170 0,8661 ± 0,0142

Capítulo 5. Experimentos e Resultados 55 5 10 15 20 25 30 35 40 45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Número de Características A curácia Mé dia Spambase (1−NN) EMIKM MIKM 5 10 15 20 25 30 35 40 45 0.65 0.7 0.75 0.8 0.85 0.9 0.95 Número de Características A curácia Mé dia Spambase (SVM) EMIKM MIKM

Figura 20 – Gráﬁco com os resultados do 1-NN e SVM na base Spambase.

E por fim, a Tabela 11 e a Figura 21 mostram os resultados do experimento para a base HDR. É possível observar que o método proposto conseguiu resultados superiores no o 1-NN, enquanto que o MIKM obteve resultado melhor com o SVM. A diferenças entre as acurácias médias ficaram equilibradas em ambos classificadores, na maioria das dimensões a diferença foi em média de 2%. É importante observar também que o desvio padrão do EMIKM foi inferior ao MIKM em várias etapas do experimento. Isso mostra uma regularidade maior do método proposto em situações de teste.

Tabela 11 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base HDR com os classiﬁcadores 1-NN e SVM. A coluna |D| é a dimensão do espaço de características.

HDR

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,5249 ± 0,0973 0,5647 ± 0,0786 0,5010 ± 0,0937 0,5603 ± 0,0697 15 0,8670 ± 0,0333 0,8336 ± 0,0343 0,7670 ± 0,0275 0,8118 ± 0,0289 25 0,9281 ± 0,0157 0,8751 ± 0,0241 0,8507 ± 0,0298 0,8535 ± 0,0330 35 0,9473 ± 0,0082 0,9194 ± 0,0121 0,8885 ± 0,0193 0,9085 ± 0,0210 45 0,9554 ± 0,0072 0,9331 ± 0,0151 0,9156 ± 0,0192 0,9219 ± 0,0198

5 10 15 20 25 30 35 40 45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 Número de Características A curácia Mé dia HDR (1−NN) EMIKM MIKM 5 10 15 20 25 30 35 40 45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 Número de Características A curácia Mé dia HDR (SVM) EMIKM MIKM

Figura 21 – Gráﬁco com os resultados do 1-NN e SVM na base HDR.

Com os resultados obtidos nesse experimento com as três bases de dados, nos permite observar um desempenho de classificação significativamente maior do espaço de atributos reduzido pelo EMIKM em relação ao MIKM. Isso ratifica que a extração proposta consegue gerar atributos mais representativos do conjunto original de dados, em vez da seleção de um representante em cada grupo, como é feito no MIKM.

Para avaliar a significância desses resultados foi realizado um teste de hipótese com as acurácias obtidas nos dados com a dimensão de tamanho 25. Os resultados desse teste apresentados na Tabela 12, mostram que a hipótese nula foi recusada apenas na base HDR com o SVM, justamente no único caso onde o EMIKM não teve acurácia superior. Isso nos fornece evidências de que as acurácias superiores obtidas com o EMIKM são significativas. Tabela 12 – Resultados dos testes de hipótese entre os métodos EMIKM e MIKM sobre as acurácias obtidas nos experimentos de classificação. A coluna |D| é a dimensão do espaço de características escolhida para o teste.

Base 1-NN SVM

|D| IC (α = 0, 05) Rejeita H0 IC (α = 0, 05) Rejeita H0

Isolet 25 (0, 0213; 0, 0605) SIM (0, 0062; 0, 0546) SIM Spambase 25 (0, 0196; 0, 0668) SIM (0, 0009; 0, 0223) SIM HDR 25 (0, 0415; 0, 0645) SIM (−0, 0210; 0, 0154) NÃO

5.3.3 Teste de Reconhecimento Facial

Essa seção apresenta os experimentos com reconhecimento facial, para comparar o desempenho dos métodos EMIKM e MIKM. As três bases com imagens de faces usadas nos experimentos foram: AT&T, The Sheﬃeld e Yale.

Em todas as bases de dados, o conjunto original de 10304 características foi reduzido para os tamanhos 5,10,20,30,40,50,60 e 70. Em cada uma dessas dimensões foi avaliada a

Capítulo 5. Experimentos e Resultados 57

acurácia média e seu desvio padrão, seguindo o roteiro de experimentos adotados nesse trabalho. Cada subseção apresenta os resultados detalhados para cada base de dados.

Através dos resultados apresentados nessa seção é possível observar que o método proposto obteve resultado signiﬁcativamente superior em uma das bases testadas e nas outras duas conseguiu manter desempenho equivalente.

Vale ressaltar que a base Yale, onde o método proposto obteve desempenho superior, entre as bases testadas é a que apresenta maior número de exemplos com ruídos, problemas de iluminação, variações de expressões faciais e uso de óculos em alguns indivíduos. Isso nos mostra que a extração proposta consegue atenuar certos ruídos ao gerar um novo atributo calculando a média de todos os elementos contidos no grupo, em vez de selecionar apenas um protótipo.

Os resultados do experimento com a base Yale são apresentados na Tabela 13 e na Figura 22. Através desses resultados é possível observar que o método proposto obteve desempenho superior ao MIKM com ambos classificadores, a diferença foi significativamente maior e ficou em torno de 4% para ambos classificadores a favor do EMIKM. Os desvios padrão dos dois métodos foram baixos e bastante próximos, o que mostra a regularidade dos métodos em situações de teste. É importante destacar que das três bases de dados usadas a Yale é base que possui mais exemplos com ruídos, problemas de iluminação e variações de expressões faciais.

Tabela 13 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base Yale com os classiﬁcadores 1-NN e SVM. A coluna |D| é a dimensão do espaço de características.

Yale

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,5268 ± 0,0758 0,4963 ± 0,1002 0,4146 ± 0,0514 0,4537 ± 0,0823 10 0,5780 ± 0,0546 0,5744 ± 0,0428 0,5463 ± 0,0554 0,5317 ± 0,0499 20 0,6902 ± 0,0382 0,6293 ± 0,0648 0,6890 ± 0,0423 0,6549 ± 0,0527 30 0,6927 ± 0,0275 0,6683 ± 0,0344 0,7476 ± 0,0282 0,7171 ± 0,0487 40 0,7476 ± 0,0320 0,7024 ± 0,0271 0,8098 ± 0,0471 0,7561 ± 0,0390 50 0,7415 ± 0,0501 0,7073 ± 0,0320 0,8159 ± 0,0312 0,7805 ± 0,0595 60 0,7537 ± 0,0406 0,7463 ± 0,0268 0,8280 ± 0,0503 0,8085 ± 0,0299 70 0,7402 ± 0,0386 0,7354 ± 0,0325 0,8280 ± 0,0383 0,8146 ± 0,0324

0 10 20 30 40 50 60 70 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 Número de Características A curácia Mé dia Yale (1−NN) EMIKM MIKM 0 10 20 30 40 50 60 70 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Número de Características A curácia Mé dia Yale (SVM) EMIKM MIKM

Figura 22 – Gráﬁco com os resultados do 1-NN e SVM na Tabela 13.

Os resultados com a base The Sheﬃeld são apresentados na Tabela 14 e na Figura 23. Através desses resultados é possível observar que o método proposto e o MIKM obtiveram desempenho bastante próximo, em duas dimensões o MIKM teve resultado superior ao EMIKM, mas nos outros pontos mantiveram o mesmo desempenho, a diferença média não passou de 1%. Os desvios padrão dos dois métodos também foram próximos, embora o EMIKM conseguiu ter desvio padrão inferior em várias dimensões.

Esses resultados nos mostram que o método proposto apesar de não ter tido desempenho superior conseguiu manter as taxas de acertos próximos em relação ao método MIKM. Nos resultados do teste de hipótese apresentados na Tabela 16, que serão discutidos mais a frente, mostram que nessa base a diferença das acurácias obtidas com o 1-NN não são signiﬁcativas para as amostras avaliadas.

Tabela 14 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base The Sheﬃeld com os classiﬁcadores 1-NN e SVM. A coluna |D| é a dimensão do espaço de características.

The Sheﬃeld

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,6997 ± 0,0641 0,7328 ± 0,0701 0,4686 ± 0,0387 0,4997 ± 0,0610 10 0,7718 ± 0,0641 0,8094 ± 0,0588 0,5551 ± 0,0592 0,5885 ± 0,0600 20 0,8732 ± 0,0135 0,8843 ± 0,0118 0,6756 ± 0,0321 0,6916 ± 0,0322 30 0,9185 ± 0,0243 0,9223 ± 0,0228 0,7387 ± 0,0302 0,7557 ± 0,0292 40 0,9286 ± 0,0164 0,9289 ± 0,0152 0,7756 ± 0,0305 0,7875 ± 0,0244 50 0,9279 ± 0,0124 0,9321 ± 0,0138 0,8185 ± 0,0418 0,8296 ± 0,0395 60 0,9408 ± 0,0121 0,9432 ± 0,0127 0,8268 ± 0,0440 0,8296 ± 0,0413 70 0,9418 ± 0,0161 0,9453 ± 0,0135 0,8334 ± 0,0273 0,8422 ± 0,0272

Capítulo 5. Experimentos e Resultados 59 0 10 20 30 40 50 60 70 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 Número de Características A curácia Mé dia The Sheffield (1−NN) EMIKM MIKM 0 10 20 30 40 50 60 70 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Número de Características A curácia Mé dia The Sheffield (SVM) EMIKM MIKM

Figura 23 – Gráﬁco com os resultados do 1-NN e SVM na Tabela 14.

Os resultados com a base AT&T estão representados na Tabela 15 e na Figura 24. Através desses resultados é possível observar que o método proposto e o MIKM obtiveram desempenho próximo. Em duas dimensões o MIKM teve resultado superior ao EMIKM, mas nos outros pontos mantiveram o mesmo desempenho, a diferença foi apenas em casas decimas na maioria das dimensões. No gráﬁco é possível observar a sobreposição das curvas que representam a acurácia média de cada método. Assim como nas outras bases de dados os desvios padrão também foram próximos.

Esses resultados nos permitem observar que o método proposto apesar de não ter tido desempenho superior nessa base, conseguiu obter taxas de acerto bastante próximas ao MIKM, principalmente nas dimensões maiores que 30, onde a maioria das diferenças foi apenas em casas decimais.

Tabela 15 – Comparação da acurácia média e desvio padrão dos métodos EMIKM e MIKM na base AT&T com o classiﬁcador 1-NN. A coluna |D| é a dimensão do espaço de características.

AT&T

|D| EMIKM (1-NN) MIKM (1-NN) EMIKM (SVM) MIKM (SVM) 5 0,4260 ± 0,0934 0,4775 ± 0,0810 0,3355 ± 0,0817 0,3710 ± 0,0780 10 0,5305 ± 0,0578 0,5720 ± 0,0485 0,4455 ± 0,0404 0,4750 ± 0,0455 20 0,6955 ± 0,0535 0,7105 ± 0,0571 0,6190 ± 0,0464 0,6315 ± 0,0453 30 0,7825 ± 0,0272 0,7900 ± 0,0273 0,7060 ± 0,0343 0,7225 ± 0,0362 40 0,8295 ± 0,0365 0,8355 ± 0,0348 0,7700 ± 0,0392 0,7770 ± 0,0376 50 0,8525 ± 0,0336 0,8575 ± 0,0358 0,8035 ± 0,0318 0,8090 ± 0,0367 60 0,8515 ± 0,0220 0,8570 ± 0,0216 0,8260 ± 0,0184 0,8325 ± 0,0138 70 0,8695 ± 0,0372 0,8720 ± 0,0381 0,8395 ± 0,0229 0,8455 ± 0,0213

0 10 20 30 40 50 60 70 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 Número de Características A curácia Mé dia AT&T (1−NN) EMIKM MIKM 0 10 20 30 40 50 60 70 0.4 0.5 0.6 0.7 0.8 0.9 1 Número de Características A curácia Mé dia AT&T (SVM) EMIKM MIKM

Figura 24 – Gráﬁco com os resultados do 1-NN e SVM na Tabela 15.

Como as acurácias obtidas no experimento de reconhecimento facial com o EMIKM foram bastante próximas, foi realizado o teste de hipótese com as acurácias obtidas na dimensão de tamanho 40 nas três bases. Os resultados estão apresentados na Tabela 16. Na base Yale a hipótese nula foi rejeitada em ambos os classificadores, isso nos fornece evidências que as acurácias obtidas 5% maior em relação ao MIKM são significativas. Na base The Sheffield a hipótese nula foi rejeitada apenas no SVM, apesar dessa diferença significativa ter sido a favor do MIKM, não passou de 1%. Por fim, na base AT%T a hipótese nula foi rejeitada em ambos classificadores, isso mostra que as acurácias obtidas nessa base são diferentes e assim como na base The Sheffield, não passaram de 1%. Tabela 16 – Resultados dos testes de hipótese entre os métodos EMIKM e MIKM sobre

as acurácias obtidas nos experimentos de reconhecimento facial. A coluna |D| é a dimensão do espaço de características escolhida para o teste.

Base 1-NN SVM

|D| IC (α = 0, 05) Rejeita H0 IC (α = 0, 05) Rejeita H0

AT&T 40 (−0, 0097; −0, 0023) SIM (−0, 0121; −0, 0019) SIM The Sheffield 40 (−0, 0045; 0, 0038) NÃO (−0, 0197; −0, 0039) SIM Yale 40 (0, 0194; 0, 0708) SIM (0, 0228; 0, 0845) SIM Os experimentos realizados nesse capítulo mostram que o método de seleção proposto FDSFFC reduz o tempo de execução significativamente em relação ao DSFFC sem perder desempenho na classificação, além de possibilitar o uso da técnica em problemas de alta dimensionalidade, como foi mostrado nos experimentos de reconhecimento facial. A técnica de extração proposta EMIKM obteve taxas de acertos superiores ao MIKM em todas as bases de dados reais usadas, já no reconhecimento facial o método conseguiu obter acurácias maiores apenas em uma das três bases usadas. Isso nos mostra que a extração realizada gera novos atributos que podem ter habilidade de separação dos dados

Capítulo 5. Experimentos e Resultados 61

melhores que um subconjunto das características originais, isso também foi observado no experimento qualitativo de visualização de dados. Nos trabalhos futuros, algumas das estratégias apontadas em (CARVALHO, 2015) podem ser usadas para melhorar o desempenho do método proposto nas bases com imagens de face onde não obteve desempenho superior ao MIKM.

6 Conclusão e Trabalhos Futuros

Esse trabalho abordou algumas técnicas para redução de dimensionalidade conheci- das na literatura, aprofundando-se em técnicas para seleção baseadas em busca de subgrafo mais denso e agrupamento de atributos.

O estudo focou em implementar e realizar experimentos com algumas técnicas para redução de dimensionalidade encontradas. Com base nesse estudo, foram propostas duas novas técnicas, ambas não-supervisionadas, que trazem melhorias para esses métodos, uma para seleção e a outra para extração de atributos.

O método de seleção proposto, chamado de Fast Dense Subgraph Finding with

Feature Clustering (FDSFFC), conseguiu reduzir o tempo de execução sem perder de-

sempenho na classiﬁcação em relação ao método Dense Subgraph Finding with Feature

Clustering (DSFFC), que é baseado em busca de subgrafo mais denso e agrupamento. As

melhorias propostas permitiram executar a técnica em bases de alta dimensionalidade, com ênfase em reconhecimento de faces, o que não era possível devido ao elevado custo computacional do DSFFC.

Já o método proposto, chamado de Extraction with Mutual Information Based

K-Medoids (EMIKM), apresenta uma extração dos grupos de características no lugar da

seleção de um representante que é feita no método Mutual Information Based K-Medoids (MIKM). Esse extração consegue gerar novos atributos com maior representatividade dos dados originais, melhorando o desempenho da classiﬁcação no espaço de características reduzido.

Foram executados diversos experimentos quantitativos e qualitativos com diversas bases de dados reais e bases com imagens de faces, que mostraram a eﬁciência dos métodos propostos em relação as técnicas de onde foram derivados.

Como possível trabalho futuro, pretende-se estudar estratégias para implementar versões supervisionadas dos métodos propostos, assim como propor melhorias para as versões não-supervisionadas. Também pretende-se abordar outros métodos para redução de dimensionalidade presentes na literatura.

Referências

BAHMANI, B.; KUMAR, R.; VASSILVITSKII, S. Densest Subgraph in Streaming and MapReduce. In: Proceedings of the VLDB Endowment. [S.l.: s.n.], 2012. v. 5, n. 5, p. 454–465. ISSN 2150-8097.

BANDYOPADHYAY, S. et al. Integration of dense subgraph ﬁnding with feature clustering for unsupervised feature selection. Pattern Recognition Letters, Elsevier B.V., v. 40, n. 1, p. 104–112, abr. 2014. ISSN 01678655.

BELLMAN, R. Dynamic Programming. 1. ed. Princeton, NJ, USA: Princeton University Press, 1957.

BISHOP, C. M. Pattern Recognition and Machine Learning (Information Science and

Statistics). Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2006. ISBN 0387310738.

BLUM, A. L.; LANGLEY, P. Selection of Relevant Features and Examples in Machine Learning. Artificial Intelligence, Elsevier Science Publishers Ltd., Essex, UK, v. 97, n. 1-2, p. 245–271, 1997. ISSN 0004-3702.

BROWN, G. et al. Conditional Likelihood Maximisation: A Unifying Framework for Mutual Information Feature Selection. Journal of Machine Learning Research, v. 13, p. 27–66, 2012. ISSN 01678655.

BURGES, C. A tutorial on support vector machines for pattern recognition. Data Mining

and Knowledge Discovery, v. 2, n. 2, p. 121–167, 1998.

CARVALHO, T. B. A. de. 156 f. Tese (Doutorado) — Centro de Informática, Universidade Federal de Pernambuco, Recife, 2015.

CHANDRASHEKAR, G.; SAHIN, F. A survey on feature selection methods. Computers

& Electrical Engineering, v. 40, n. 1, p. 16–28, 2014. ISSN 0045-7906. Disponível em:

<http://www.sciencedirect.com/science/article/pii/S0045790613003066>.

CHANG, C.-C.; LIN, C.-J. LIBSVM: A library for support vector machines. ACM

Transactions on Intelligent Systems and Technology, v. 2, p. 27:1–27:27, 2011. Software

available at <http://www.csie.ntu.edu.tw/~cjlin/libsvm>.

COVER, T. M. The Best Two Independent Measurements Are Not the Two Best. IEEE

Transactions on Systems, Man, and Cybernetics, SMC-4, n. 1, 1974. ISSN 0018-9472.

COVER, T. M.; THOMAS, J. A. Elements of Information Theory (Wiley Series in

Telecommunications and Signal Processing). [S.l.]: Wiley-Interscience, 2006. ISBN

0471241954.

DOUGHERTY, E. R. The fundamental role of pattern recognition for gene-

expression/microarray data in bioinformatics. Pattern Recognition, v. 38, n. 12, p. 2226 – 2228, 2005. ISSN 0031-3203. Disponível em: <http://www.sciencedirect.com/science/ article/pii/S0031320305001287>.

DUDA, R. O.; HART, P. E.; STORK, D. G. Pattern Classification (2Nd Edition). [S.l.]: Wiley-Interscience, 2000. ISBN 0471056693.

GOLDBERG, A. V. Finding a Maximum Density Subgraph. [S.l.], 1984. Disponível em: <http://www.eecs.berkeley.edu/Pubs/TechRpts/1984/5956.html>.

GONZALEZ, R. C.; WOODS, R. E. Digital Image Processing (3rd Edition). Upper Saddle River, NJ, USA: Prentice-Hall, Inc., 2006. ISBN 013168728X.

HE, X.; CAI, D.; NIYOGI, P. Laplacian Score for Feature Selection. Advances in Neural

Information Processing Systems 18, p. 507–514, 2005. ISSN 10495258.

HEARST, M. A. Trends Controversies: Support Vector Machines. IEEE Intelligent

System, v. 13, n. 4, p. 18–28, 1998.

JAIN, A. K.; FLYNN, P.; ROSS, A. A. Handbook of Biometrics. Secaucus, NJ, USA: Springer-Verlag New York, Inc., 2007. ISBN 038771040X.

JIANG, J.-Y.; SU, Y.-L.; LEE, S.-J. MIKM: A Mutual Information-based K-Medoids Approach for Feature Selection. In: Machine Learning and Cybernetics (ICMLC), 2011

International Conference on. [S.l.: s.n.], 2011. v. 1, p. 102–107. ISSN 2160-133X.

KEILIS-BOROK, V. et al. Patterns of macroeconomic indicators preceding the unemployment rise in western europe and the {USA}. Pattern Recognition, v. 38, n. 3, p. 423 – 435, 2005. ISSN 0031-3203. Disponível em: <http://www.sciencedirect.com/science/ article/pii/S0031320304003024>.

KHULLER, S.; SAHA, B. On ﬁnding dense subgraphs. In: ICALP. [S.l.: s.n.], 2009. p. 597–608.

KOHAVI, R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. In: Proceedings of the 14th International Joint Conference

on Artificial Intelligence - Volume 2. San Francisco, CA, USA: Morgan Kaufmann

Publishers Inc., 1995. (IJCAI’95), p. 1137–1143. ISBN 1-55860-363-8. Disponível em: <http://dl.acm.org/citation.cfm?id=1643031.1643047>.

KOHAVI, R.; JOHN, G. H. Wrappers for feature subset selection. Artificial

Intelligence, v. 97, n. 1–2, p. 273–324, 1997. ISSN 0004-3702. Disponível em:

<http://www.sciencedirect.com/science/article/pii/S000437029700043X>.

LECUN, Y. et al. Gradient-Based Learning Applied to Document Recognition. Proceedings

of the IEEE, v. 86, n. 11, p. 2278–2324, 1998.

LECUN, Y.; CORTES, C. The MNIST database of handwritten digits. 1998. Disponível em: <http://yann.lecun.com/exdb/mnist/>.

LICHMAN, M. {UCI} Machine Learning Repository. 2013. Disponível em: <http://archive.ics.uci.edu/ml>.

LIU, H.; YU, L. Toward Integrating Feature Selection Algorithms for Classiﬁcation and Clustering. Knowledge and Data Engineering, IEEE Transactions on, v. 17, n. 4, p. 491–502, 2005. ISSN 1041-4347.

MITCHELL, T. M. Machine Learning. 1. ed. New York, NY, USA: McGraw-Hill, Inc., 1997. ISBN 0070428077, 9780070428072.

MONTGOMERY, D. C.; RUNGER, G. C. Applied Statistics and Probability for Engineers,

Referências 65

PENG, H.; LONG, F.; DING, C. Feature Selection Based on Mutual Information: Criteria of Max-Dependency, Max-Relevance, and Min-Redundancy. IEEE Transactions on

Pattern Analysis and Machine Intelligence, v. 27, n. 8, p. 1226–1238, 2005.

SAMMUT, C.; WEBB, G. I. Encyclopedia of Machine Learning. 1st. ed. [S.l.]: Springer Publishing Company, Incorporated, 2011. ISBN 0387307680, 9780387307688.

STREHL, A.; GHOSH, J. Cluster Ensembles — a Knowledge Reuse Framework for Combining Multiple Partitions. J. Mach. Learn. Res., JMLR.org, v. 3, p. 583–617, 2003. ISSN 1532-4435. Disponível em: <http://dx.doi.org/10.1162/153244303321897735>. THEODORIDIS, S.; KOUTROUMBAS, K. Pattern Recognition, Fourth Edition. 4th. ed. [S.l.]: Academic Press, 2008. ISBN 1597492728, 9781597492720.

TRIOLA, M. F. Elementary Statistics, 10th ed. [S.l.]: Addison Wesley, 2006.

TURK, M. A.; PENTLAND, A. P. Face recognition using eigenfaces. In: Computer

Vision and Pattern Recognition, 1991. Proceedings CVPR’91., IEEE Computer Society Conference on. IEEE, 1991. p. 586–591. ISBN 0-8186-2148-6. ISSN 1063-6919. Disponível

em: <http://dx.doi.org/10.1109/cvpr.1991.139758>.

VAPNIK, V. N. The Nature of Statistical Learning Theory. New York, NY, USA: Springer-Verlag New York, Inc., 1995. ISBN 0-387-94559-8.

WANG, Z.; XUE, X. Multi-class support vector machine. In: MA, Y.; GUO, G. (Ed.).

Support Vector Machines Applications. Springer International Publishing, 2014. p. 23–48.

ISBN 978-3-319-02299-4. Disponível em: <http://dx.doi.org/10.1007/978-3-319-02300-7_ 2>.

WITTEN, I. H.; FRANK, E. Data Mining: Practical Machine Learning Tools and

Techniques, Second Edition (Morgan Kaufmann Series in Data Management Systems).

No documento REDUÇÃO DE DIMENSIONALIDADE COM BUSCA DE SUBGRAFO MAIS DENSO E AGRUPAMENTO DE CARACTERÍSTICAS (páginas 53-66)