FASE II: AN ´ ALISE E QUANTIFICAC ¸ ˜ AO DOS ARTIGOS

Para filtrar trabalhos diretamente relacionados com o assunto abordado na revis˜ao sistem´atica, foi realizada uma avalia¸c˜ao dos artigos para definir quais seriam inclu´ıdos ou n˜ao na revis˜ao. Nessa filtragem, optou-se por incluir trabalhos que definem claramente os crit´erios internos, externos ou relativos utilizados na valida¸c˜ao de agrupamento de s´eries temporais. Por outro lado, a exclus˜ao de artigos foi realizada sempre que os trabalhos n˜ao apresentassem um processo valida¸c˜ao de agrupamento satisfat´orio. Al´em disso, fo- ram descartados trabalhos que n˜ao realizaram uma apresenta¸c˜ao clara de utiliza¸c˜ao de valida¸c˜ao e quando havia trabalhos redundantes.

Portanto, a Fase I apresenta as condi¸c˜oes iniciais de sele¸c˜ao de artigos para revis˜ao sistem´atica. A pr´oxima fase consiste na an´alise dos artigos selecionados nesta primeira fase.

3.2 FASE II: AN ´ALISE E QUANTIFICAC¸ ˜AO DOS ARTIGOS

Atrav´es da consulta realizada nos reposit´orios apresentados, foram encontrados um total de 54 artigos, cuja distribui¸c˜ao em cada reposit´orio est´a apresentado na Tabela 3.1. Ap´os a coleta, a inclus˜ao ou exclus˜ao dos artigos encontrados foi realizada pela leitura dos t´ıtulos e dos resumos. Como resultado, grande parte dos artigos foram exclu´ıdos por se tratarem de trabalhos redundantes ou n˜ao apresentarem um estudo detalhado sobre o uso de ´ındices de valida¸c˜ao no contexto de s´eries temporais. Portanto, depois da remo¸c˜ao desse artigos restaram apenas 10 artigos que est˜ao diretamente relacionados ao assunto apresentado neste trabalho.

Tabela 3.1 N´umero de artigos encontrados pela Revis˜ao Sistem´atica.

Reposit´orio N´umero de artigos

ACM 1 IEEE 13 Scopus 40 Total 54 Inclus˜ao 10 Exclus˜ao 44

Visando responder a quest˜ao secund´aria QS.5, analisou-se a frequˆencia de publica¸c˜ao destes artigos por ano, a fim de encontrar trabalhos mais recentes e que correspondam ao assunto abordado neste projeto de mestrado. Conforme pode ser observado na Tabela 3.2, nota-se que artigos tˆem sido publicados sobre esse tema com regularidade desde 2001, apesar da baixa quantidade.

No primeiro artigo analisado, Fadili et al. (2001) apresentam uma estrat´egia explo- rat´oria orientada a dados baseada em Unsupervised Fuzzy Clustering Analysis (UFCA), validando sua estrat´egia ao analisar dados de fMRI (ressonˆancia magn´etica funcional1). Neste contexto, os autores adaptam e aplicam o algoritmo Fuzzy C-Means (FCM) aos da- dos no dom´ınio do tempo e um novo ´ındice de valida¸c˜ao de agrupamento ´e introduzido e

20 ESTADO DA ARTE

Tabela 3.2 N´umero de artigos publicados por ano.

Ano Frequˆencia

2001 1 2004 1 2007 1 2011 1 2015 1 2016 2 2017 2 2018 1

validado comparando com os ´ındices CS, S e fuzzy. Tais ´ındices tˆem por finalidade minimi- zar a variˆancia intra-cluster e maximizar a variˆancia inter-cluster. De maneira resumida, o trabalho prop˜oe um novo ´ındice de valida¸c˜ao, denominado SCF, que tira vantagem dos trˆes ´ındices citados anteriormente, levando em considera¸c˜ao a compacta¸c˜ao, separa¸c˜ao, uni˜ao e intersec¸c˜ao dos grupos obtidos. Os resultados demonstram a vantagem do ´ındice proposto (SCF) e sua efic´acia para valida¸c˜ao de dados no dom´ınio do tempo.

O trabalho publicado por Himberg, Hyv¨arinen e Esposito (2004) apresenta experi- mentos utilizando algoritmo hier´arquico sobre dados de fMRI e dados de magnetoence- falografia (MEG). O trabalho proposto baseia-se na execu¸c˜ao do algoritmo Independent Component Analysis (ICA), um modelo estat´ıstico de prop´osito geral amplamente uti- lizado na an´alise de dados de imagem cerebral. Sendo assim, os autores desenvolvem um pacote chamado Icasso, com foco na implementa¸c˜ao de um conjunto abrangente de m´etodos suportados para an´alise e visualiza¸c˜ao explorat´oria dos dados. Em uma das fa- ses deste trabalho, ap´os a aplica¸c˜ao do algoritmo ICA, o usu´ario explora o agrupamento, iniciando uma aplica¸c˜ao de visualiza¸c˜ao interativa. Assim, o mesmo examina a qualidade dos grupos. Posteriormente, ´e poss´ıvel visualizar a matriz de similaridade entre todas as instˆancias e sua parti¸c˜ao final obtida em um ´unico gr´afico, produzido a partir do m´etodo de liga¸c˜ao average-link. Neste pacote ´e introduzido um ´ındice de qualidade de grupo, Iq,

que reflete sua compacta¸c˜ao e seu isolamento. Esse ´ındice ´e computado pela diferen¸ca entre as similaridades m´edias intra-cluster e intercluster. Al´em desses ´ındices, os autores analisam os ´ındices Dunn-like e R-index (IR). Entretanto, a conclus˜ao do trabalho ´e

que, muitas vezes, os ´ındices produzem resultados diferentes dependendo do car´ater dos dados utilizados, sem indica¸c˜ao clara de superioridade geral. Logo, com base nos expe- rimentos realizados, o trabalho n˜ao sugere nenhum ´ındice vencedor definitivo. Por outro lado, recomenda-se que a sele¸c˜ao final do n´umero de grupos deve ser feito pelo usu´ario, o qual pode explorar, de forma interativa, os resultados produzidos por diferentes n´ıveis de dendrograma.

No trabalho de Meyer-B¨ase et al. (2007) s˜ao aplicados algoritmos de agrupamento, tais como Kohonen’s self-organizing map, Minimal free energy vector quantizer e ”Neural gas”network em s´eries temporais de imagens biom´edicas em aplica¸c˜oes para: (i) an´alise de dados de fMRI para mapeamento do c´erebro humano; (ii) ressonˆancia magn´etica de contraste dinˆamica para o diagn´ostico de doen¸ca cerebrovascular; e (iii) ressonˆancia

3.2 FASE II: AN ´ALISE E QUANTIFICAC¸ ˜AO DOS ARTIGOS 21

magn´etica de mama para a segmenta¸c˜ao de les˜oes suspeitas de pacientes com cˆancer de mama. Para a valida¸c˜ao dos agrupamentos obtidos s˜ao utilizados trˆes ´ındices: (i) Kim; (ii) Calinski Harabasz (CH); e (iii) intraclass. Apesar dos estudo experimental, os autores afirmam que n˜ao ´e poss´ıvel determinar qual o melhor ´ındice para validar agrupamento em s´eries temporais de imagens biom´edicas.

Maji e Paul (2011) aplicam o algoritmo Rough-fuzzy C-Means (RFCM) a fim de descobrir grupos de genes co-expressos a partir de dados de microarray, que ´e uma an´alise importante em genˆomica funcional. Uma compara¸c˜ao entre RFCM e outros algoritmos de agrupamento foi realizada considerando cinco conjuntos de dados de s´eries temporais de microarray de levedura. Os resultados obtidos foram validados com os ´ındices Davies- Bouldin e Silhouette. Com base nos resultados quantitativos desses ´ındices, estimou-se que o algoritmo RFCM produz melhor resultado de agrupamento do que os algoritmos convencionais.

Salgado, Ferreira e Vieira (2017) demonstram em seu trabalho as vantagens do al- goritmo Mixed Fuzzy Clustering (MFC) ao avaliar s´eries temporais de dados m´edicos que descrevem a evolu¸c˜ao de uma vari´avel fisiol´ogica. O calculo da distˆancia entre as s´eries foi realizado usando Dynamic Time Warping (DTW). A performance dos algorit- mos comparados foi avaliada usando medidas de valida¸c˜ao de agrupamento, mostrando que o algoritmo proposto supera o Fuzzy C-Means. A valida¸c˜ao foi realizada com os ´ındices interno de valida¸c˜ao Xie-Beni (XB) e Dunn, os quais s˜ao comumente utilizados no agrupamento fuzzy, e com os ´ındices de valida¸c˜ao externa Rand e precis˜ao. Em geral, o algoritmo MFC identifica grupos mais compactos do que o FCM, conforme expresso pelo ´ındice XB, em cada conjunto de dados testado. Nesse trabalho, os autores observam que tipos diferentes de ´ındices s˜ao usados para resolver diferentes tipos de problemas e a sele¸c˜ao do melhor ´ındice depende do tipo de dados, da t´ecnica de agrupamento e, em ´

ultima an´alise, do objetivo do estudo.

Das e Padhy (2017) combinam os algoritmos Unsupervised Extreme Learning Machine (US-ELM ) e Support Vector Machine (SVR), propondo um modelo h´ıbrido chamado USELM-SVR. O algoritmo ´e comparado com os algoritmos SOM e k-means utilizando dados de s´eries temporais da ´area financeira. Os dados de entrada s˜ao normalizados e inseridos nos m´etodos de ´ındice interno de valida¸c˜ao para c´alculo do n´umero ´otimo de clusters. Assim, o algoritmo USELM-SVR executa os dados de entrada com base no n´umero ideal de clusters. Os ´ındices considerados nos experimentos foram: Silhou- ette, em que ´e prefer´ıvel valor de ´ındice alto; Davies-Bouldin, prefer´ıvel valor de ´ındice baixo; Calinski-Harabasz, prefer´ıvel valor de ´ındice alto; Krzanowski-Lai, prefer´ıvel valor de ´ındice alto; weighted inter-intra, prefer´ıvel valor de ´ındice alto e homogeneity, prefer´ıvel valor de ´ındice alto. Os valores dos ´ındices foram calculados para n´umero de grupos vari- ando de 2 a 6. Os resultados mostram que os melhores valores para os ´ındices Silhouette, Davies-Bouldin, weighted inter-intra e homogeneity foram obtidos usando 5 grupos. Os ´ındices Calinski-Harabasz e Krzanowski-Lai sugerem 2 grupos. Por fim, foi utilizado 5

grupos, sugerido pela maioria dos ´ındices.

Homenda e Jastrzebska (2017) apresentam uma abordagem para modelagem de s´eries temporais, sint´eticas e reais, com Fuzzy Cognitive Maps. A pesquisa teve como ob- jetivo introduzir meios algor´ıtmicos para avaliar o Fuzzy Cognitive Map antes da fase

22 ESTADO DA ARTE

de treinamento. Assim, foi colocado como hip´otese a aplica¸c˜ao de ´ındices de valida¸c˜ao para contribui¸c˜ao do agrupamento e para avaliar v´arios modelos de FCM. Para validar esta abordagem, foi conduzido um conjunto de experimentos utilizando cinco ´ındices de valida¸c˜ao: (i) Calinski-Harabasz ; (ii) generalized Dunn index(GDI); (iii) PBM ; (iv) Si- lhouette; e (v) Wemmert-Gancarski. Os resultados mostram que Fuzzy Cognitive Maps projetado usando o ´ındice Calinski-Harabasz tem qualidade superior e, ap´os o treina- mento, verifica-se a qualidade num´erica de precis˜ao do algoritmo sendo superior aos demais algoritmos utilizados nos experimentos.

Fahiman et al. (2017) desenvolvem dois novos algoritmos que s˜ao heur´ısticas deri- vadas do Fuzzy C-Means: Fuzzy c-Shapes plus (FCS+) e Fuzzy c-Shapes double plus (FCS ++). Experimentos emp´ıricos com 48 dados reais de s´eries temporais demonstram que os algoritmos propostos superam algoritmos convencionais em termos de precis˜ao e eficiˆencia. Para comprovar isto, s˜ao utilizados 4 ´ındices externos de valida¸c˜ao: (i) Rand ; (ii) Adjusted Rand ; (iii) Variation of Information; e (iii) Normalized Mutual Information . Cada ´ındice foi avaliado dez vezes por diferentes execu¸c˜oes do FCS+ e FCS++. Todos os quatro ´ındices indicam que o FCS++ tem um desempenho ligeiramente superior ao FCS+, que, por sua vez, ´e ligeiramente superior ao k-Shape, tamb´em utilizado como teste de compara¸c˜ao.

Dai et al. (2018) exploram o agrupamento de s´eries temporais de sinal de eletro- encefalografia (multi-trial EEG) e prop˜oe uma nova abordagem baseada em centr´oide. Chamado de MTEEGC, este algoritmo realiza o agrupamento de dados EEG multi-trial de alta qualidade com rela¸c˜ao `a compacta¸c˜ao intra-cluster, bem como a dispers˜ao entre grupos. Ao mesmo tempo, tamb´em demonstra a superioridade na precis˜ao de agrupa- mento quando comparado com mais de 10 algoritmos de agrupamento de s´eries temporais atrav´es de experimentos usando crit´erios de valida¸c˜ao de agrupamento em 5 conjuntos de dados EEG multi-trial reais. Foram aplicados seis crit´erios para analisar o novo m´etodo, incluindo trˆes medidas de qualidade de agrupamento: (i) compacta¸c˜ao intra-cluster (SIn);

(ii) dispers˜ao inter-cluster (SBe); (iii) raz˜ao integrada (γ = SBeSIn−1); e (iv) as medidas de

precis˜ao de agrupamento Rand (RI), F-score e Fleiss’ kappa(k). Os resultados mostram que MTEEGC n˜ao alcan¸ca os melhores resultados de SIn e SBe para todos os 5 conjuntos

de dados, mas obt´em a maior raz˜ao integrada (γ) quando considera SIn e SBe. Como o

MTEEGC tem como objetivo produzir grupos de alta qualidade de forma que os testes de EEG no mesmo grupo sejam altamente compactos, enquanto aqueles em grupos diferentes sejam altamente separados. De maneira geral, o algoritmo garante maior compacta¸c˜ao intra-cluster ou maior dispers˜ao inter-cluster, mas n˜ao necessarimente de maneira simul- tanea. Do mesmo modo, quando avaliadas as medidas de precis˜ao, MTEEGC n˜ao fornece uma boa precis˜ao, mas possui uma eficiˆencia competitiva. Como consequˆencia, MTEEGC alcan¸ca a maior qualidade e precis˜ao para agrupamento de dados EEG multi-trial quando comparado aos demais 10 algoritmos de agrupamento de s´eries temporais.

De maneira diferente como tem sido abordado nos trabalhos citados anteriormente, Ding, Noshad e Tarokh (2015) prop˜oem um processo autoregressivo variante no tempo (TVAR) para descrever s´eries temporais n˜ao-estacion´arias e model´a-las como uma mistura de m´ultiplos processos autorregressivos (AR) est´aveis. Para isto, desenvolve uma nova t´ecnica baseada no ´ındice interno de valida¸c˜ao, gap statistic, para aprender o n´umero

3.2 FASE II: AN ´ALISE E QUANTIFICAC¸ ˜AO DOS ARTIGOS 23

apropriado de filtros AR necess´arios para modelar s´eries temporais. O algoritmo funciona da seguinte maneira: primeiramente, a t´ecnica gera F filtros est´aveis aleatoriamente uniformes com um determinado tamanho L; em seguida, sup˜oe-se que 1, ..., Mmax ´e o

conjunto candidato do n´umero de modos; ent˜ao, uma matriz ´e produzida cujos elementos s˜ao distˆancias entre pares de filtros amostrados; por fim, executa-se o algoritmo k-medoid. A partir destas etapas, um curva de referˆencia ´e gerada com a rela¸c˜ao entre a dispers˜ao (log(WM)) e o n´umero de filtros AR (M ) entre 1 e 6. Em seguida, calcula-se a curva

emp´ırica dado uma nova medida de distˆancia, chamada MSPE (Mean Squared Prediction Error ), para M = 1, 2, ..., Mmax, usando o dado observado, o modelo postulado (mistura

de AR) e o modelo de abordagem adequada (algoritmo EM). Por fim, o n´umero de misturas AR que corresponde ao maior gap entre as duas curvas ´e selecionado. Os resultados das simula¸c˜oes demonstram bom desempenho da t´ecnica proposta.

De acordo com os trabalhos discutidos nesta se¸c˜ao, ´ındices s˜ao as principais ferra- mentas utilizadas para analisar a qualidade do agrupamento, conforme esperado, o que responde a pergunta QS.2. Diante disso, a Tabela 3.3 resume a utiliza¸c˜ao destes ´ındices, respondendo a pergunta QS.4.

Tabela 3.3 ´Indices mais utilizados na valida¸c˜ao de agrupamento de s´eries temporais.

´_{Indice Quantidade} Dunn 3 Calisnski Harabasz 3 Silhuette 3 Rand 3 Davies-Bouldin 2 Silhuette 1 Weinmert-Gancarski 1 PBM 1 homogeneity 1 weighted inter-intra 1 Krzanowski-Lai 1 Xie-Beni 1 Intraclass 1 Kim 1 R 1 SCF 1 Variation of Information 1 Normalized Mutual Information 1

F-score 1

Fleiss’ Kappa 1

Gap Statistic 1

Por fim, ´e importante destacar que tais ´ındices s˜ao aplicados aos mais diferentes tipos de aplica¸c˜oes (QS.1), demonstrando sua relevˆancia ao analisar agrupamentos em dados temporais (QS.3).

24 ESTADO DA ARTE