MINISTÉRIO DA EDUCAÇÃO UNIVERSIDADE FEDERAL DA BAHIA INSTITUTO DE MATEMÁTICA E ESTATÍSTICA PGCOMP - Programa de Pós-Graduação em Ciência da Computação

(1)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

http://pgcomp.dcc.ufba.br

Universidade Federal da Bahia - Instituto de Matemática – Tel. +55 (71) 3283-6308/6273 Av. Ademar de Barros, s/n – Campus de Ondina – Salvador – Bahia, CEP 40170-110

EMAIL: ceapgmat@ufba.br

Ata da Sessão Pública de Defesa de Mestrado nº. 97

Colegiado do Programa de Pós-Graduação em Ciência da Computação

Ata da sessão pública do Colegiado do Programa de Pós-Graduação em Ciência da Computação, realizada em 29 de julho de 2020 para procedimento de defesa da Dissertação de Mestrado em Ciência da Computação nº. 97, linha de pesquisa Engenharia de Software, da candidata Rosana Guimarães Ribeiro, matrícula 218219186, intitulada “Novo índice interno de validação de agrupamento de dados temporais”. Às Catorze horas do citado dia, via webconferência, foi aberta a sessão pelo presidente da banca examinadora Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA) que apresentou os outros membros da banca: Prof. Dr.Marcelo Keese Albertini(UFU), e o Marcos Ennes Barreto(UFBA). Em seguida foram esclarecidos os procedimentos pelo presidente que passou a palavra ao examinado para apresentação do trabalho de Mestrado. Ao final da apresentação, passou-se à arguição por parte da banca, a qual, em seguida, reuniu-se para a elaboração do parecer. No seu retorno, foi lido o parecer final a respeito do trabalho apresentado pela candidata, tendo a banca examinadora aprovado o trabalho apresentado, sendo esta aprovação um requisito parcial para a obtenção do grau de Mestre. Em seguida, nada mais havendo a tratar, foi encerrada a sessão pelo presidente da banca, tendo sido, logo a seguir, lavrada a presente ata, abaixo assinada por todos os membros da banca.

Salvador, 29 de julho de 2020

__________________________________ Prof. Dr. Ricardo Araújo Rios

(Orientador-UFBA)

__________________________________ Prof. Dr.Marcelo Keese Albertini(UFU)

__________________________________ Marcos Ennes Barreto(UFBA)

(2)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

Ata da Sessão Pública de Defesa de Mestrado nº. 97

Colegiado do Programa de Pós-Graduação em Ciência da Computação

Ata da sessão pública do Colegiado do Programa de Pós-Graduação em Ciência da Computação, realizada em 29 de julho de 2020 para procedimento de defesa da Dissertação de Mestrado em Ciência da Computação nº. 97, linha de pesquisa Engenharia de Software, da candidata Rosana Guimarães Ribeiro, matrícula 218219186, intitulada “Novo índice interno de validação de agrupamento de dados temporais”. Às Catorze horas do citado dia, webconferencia, foi aberta a sessão pelo presidente da banca examinadora Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA) que apresentou os outros membros da banca: Prof. Dr.Marcelo Keese Albertini(UFU),e o Marcos Ennes Barreto(UFBA). Em seguida foram esclarecidos os procedimentos pelo presidente que passou a palavra ao examinado para apresentação do trabalho de Mestrado. Ao final da apresentação, passou-se à arguição por parte da banca, a qual, em seguida, reuniu-se para a elaboração do parecer. No seu retorno, foi lido o parecer final a respeito do trabalho apresentado pela candidata, tendo a banca examinadora aprovado o trabalho apresentado, sendo esta aprovação um requisito parcial para a obtenção do grau de Mestre. Em seguida, nada mais havendo a tratar, foi encerrada a sessão pelo presidente da banca, tendo sido, logo a seguir, lavrada a presente ata, abaixo assinada por todos os membros da banca.

Salvador, 29 de julho de 2020

(Orientador-UFBA)

(3)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

Defesa de Mestrado nº 97 – FICHA DE AVALIAÇÃO

NOMEDOALUNO: Rosana Guimarães Ribeiro

TÍTULO: “Novo índice interno de validação de agrupamento de dados temporais” Data: 29 de julho de 2020 Horário: 14h

LOCAL: webconferencia. RESULTADO: Observações: ______________________________________________________________________________________________ ______________________________________________________________________________________________ ______________________________________________________________________________________________ ______________________________________________________________________________________________ ______________________________________________________________________________________________ Sugestões: ______________________________________________________________________________________________ ______________________________________________________________________________________________ ______________________________________________________________________________________________ ______________________________________________________________________________________________ Nome e Assinatura dos Membros da Banca:

(Orientador-UFBA)

(4)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

EMAIL: ceapgmat@ufba.br Defesa de Mestrado nº 97 – Lista de Presença

NOMEDOALUNO: Rosana Guimarães Ribeiro

TÍTULO: “Novo índice interno de validação de agrupamento de dados temporais” Data: 29 de julho de 2020 Horário: 14h

LOCAL: webconferencia.

(5)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

DECLARAÇÃO

Declaramos para os devidos fins que o Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA) atuou como orientador e participou como Membro da Banca na Defesa de Mestrado da aluna Rosana Guimarães Ribeiro, intitulada “Novo índice interno de validação de agrupamento de dados temporais”, às 14h do dia Vinte e bove de julho de dois mil e vinte, webconferencia.

Aproveitamos a oportunidade para agradecer a sua valiosa colaboração.

(6)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

DECLARAÇÃO

Declaramos para os devidos fins que o Prof. Dr.Marcelo Keese Albertini(UFU) participou como Membro da Banca na Defesa de Mestrado da aluna Rosana Guimarães Ribeiro, intitulada “Novo índice interno de validação de

agrupamento de dados temporais”, às 14h do dia Vinte e bove de julho de dois mil e vinte, webconferencia.

(7)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

EMAIL: ceapgmat@ufba.br DECLARAÇÃO

Declaramos para os devidos fins que o Marcos Ennes Barreto(UFBA) participou como Membro da Banca na Defesa de Mestrado da aluna Rosana Guimarães Ribeiro, intitulada “Novo índice interno de validação de

agrupamento de dados temporais”, às 14h do dia Vinte e bove de julho de dois mil e vinte, webconferencia.

(8)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

PORTARIA Nº 07/2020 de 19 de julho de 2020

O COORDENADOR DO PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO, no uso

de suas atribuições legais,

RESOLVE:

Designar comissão composta pelos Professores Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA), Prof. Dr.Marcelo Keese Albertini(UFU), Marcos Ennes Barreto(UFBA), e para compor a Banca para Defesa de Mestrado da aluna Rosana Guimarães Ribeiro, que ocorrerá no dia Vinte e bove de julho de dois mil e vinte às 14h, webconferencia.

TÍTULO: “Novo índice interno de validação de agrupamento de dados temporais”

(9)

MINISTÉRIO DA EDUCAÇÃO

UNIVERSIDADE FEDERAL DA BAHIA

INSTITUTO DE MATEMÁTICA E ESTATÍSTICA

PGCOMP - Programa de Pós-Graduação em Ciência da Computação

O Programa de Pós-Graduação em Ciência da Computação da UFBA convida a todos para a defesa pública de Mestrado de número 97 deste programa.

Aluna: Rosana Guimarães Ribeiro

Título: Novo índice interno de validação de agrupamento de dados temporais Banca Examinadora:

- Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA) - Prof. Dr.Marcelo Keese Albertini(UFU)

- Marcos Ennes Barreto(UFBA)

Data da Defesa: 29 de julho de 2020; Horário: 14h Local da Defesa: webconferencia

Resumo: Técnicas de Aprendizado de Máquina não-supervisionado foram desenvolvidas visando encontrar estruturas e padrões em conjuntos de dados sem considerar qualquer informação prévia fornecida, por exemplo, por um especialista. Essa ausência de informação impacta diretamente no processo de validação devido à dificuldade em mensurar o conhecimento obtido por meio destas técnicas. Visando solucionar este problema, diversas pesquisas têm sido publicadas na literatura propondo critérios que integram diferentes áreas do conhecimento como Ciência da Computação e Estatística. Esses critérios são comumente divididos em $3$ categorias: relativo, externo e interno. Em geral, tais critérios são desenvolvidos com base em índices com diferentes objetivos e vieses de análise. Entretanto, grande parte desses índices são aplicados sobre dados caracterizados por serem independentes e identicamente distribuídos. A realização de uma Revisão Sistemática da Literatura demonstrou que há um número reduzido de pesquisas que investigam índices de validação de agrupamento para dados com dependência temporal entre suas observações. Este número é ainda mais reduzido quando se trata de índices que utilizam critério interno de validação. Neste sentido, este trabalho de mestrado apresenta um novo índice interno de validação baseado na adaptação da Estatística GAP (Gap Statistic) comumente utilizado na literatura. O índice apresentado foi desenvolvido com o objetivo de mensurar e validar informações extraídas de dados temporais a partir da aplicação de técnicas de Aprendizado de Máquina não-supervisionado. Dessa forma, resultados experimentais demonstram a eficiência do novo índice interno de validação para dados com dependência temporal e confirmam a importância do mesmo para o estado da arte.

(10)

“

Novo índice interno de validação de agrupamento de dados temporais

”

Rosana Guimarães Ribeiro

Dissertação apresentada ao Colegiado do Programa de Pós-Graduação em Ciência da Computação na Universidade Federal da Bahia, como requisito parcial para obtenção do Título de Mestre em Ciência da Computação.

Banca Examinadora

_______________________________________________________________ Prof. Dr. Ricardo Araújo Rios (Orientador-UFBA)

_______________________________________________________________ Prof. Dr.Marcelo Keese Albertini(UFU)

_______________________________________________________________ Marcos Ennes Barreto(UFBA)

(11)

“

Novo índice interno de validação de agrupamento de dados temporais

”

Banca Examinadora

(12)

“

Novo índice interno de validação de agrupamento de dados temporais

”

Banca Examinadora

(13)

“

Novo índice interno de validação de agrupamento de dados temporais

”

Banca Examinadora

(14)

“

Novo índice interno de validação de agrupamento de dados temporais

”

Banca Examinadora

(15)

Ficha catalográfica elaborada pela Biblioteca Universitária de Ciências e Tecnologias Prof. Omar Catunda, SIBI - UFBA.

R484 Ribeiro, Rosana Guimarães

Estatística Gap Temporal: um novo índice interno de validação de agrupamento de dados temporais/ Rosana Guimarães Ribeiro. – Salvador, 2020.

63 f.

Orientadora: Prof. Dr. Ricardo Araújo Rios

Dissertação (Mestrado) – Universidade Federal da Bahia. Instituto de Matemática, 2020.

1. Ciência da Computação. 2. Estatística. I. Rios, Ricardo Araújo. II. Universidade Federal da Bahia. III. Título.

(16)

Universidade Federal da Bahia

Instituto de Matem´

atica

Programa de P´

os-Gradua¸c˜

ao em Ciˆ

encia da Computa¸c˜

ao

ESTAT´ISTICA GAP TEMPORAL: UM NOVO

´INDICE INTERNO DE VALIDAC

¸ ˜

AO DE

AGRUPAMENTO DE DADOS TEMPORAIS

Rosana Guimar˜

aes Ribeiro

DISSERTAC

¸ ˜

AO DE MESTRADO

Salvador

06 de julho de 2020

(17)

(18)

ROSANA GUIMAR˜

AES RIBEIRO

ESTAT´ISTICA GAP TEMPORAL: UM NOVO ´INDICE INTERNO

DE VALIDAC

¸ ˜

AO DE AGRUPAMENTO DE DADOS TEMPORAIS

Esta Disserta¸c˜

ao de Mestrado foi

apresentada ao Programa de P´

os-Gradua¸c˜

ao em Ciˆ

encia da

Com-puta¸c˜

ao da Universidade Federal da

Bahia, como requisito parcial para

obten¸c˜

ao do grau de Mestre em

Ciˆ

encia da Computa¸c˜

ao.

Orientador: Prof. Dr. Ricardo Ara´

ujo Rios

Salvador

06 de julho de 2020

(19)

(20)

RESUMO

Técnicas de Aprendizado de Máquina Não-Supervisionado foram desenvolvidas visando encontrar estruturas e padrões em conjuntos de dados sem considerar qualquer informa¸cão prévia fornecida, por exemplo, por um especialista. Essa ausência de informa¸cão impacta diretamente no processo de valida¸cão devido à dificuldade em mensurar o conhecimento obtido por meio destas técnicas. Visando solucionar este problema, diversas pesquisas têm sido publicadas na literatura propondo critérios que integram diferentes áreas do conhecimento como Ciência da Computa¸cão e Estat´ıstica. Esses critérios são comumente divididos em 3 categorias: relativo, externo e interno. Em geral, tais critérios são desen-volvidos com base em ´ındices com diferentes objetivos e vieses de análise. Entretanto, grande parte desses ´ındices são aplicados sobre dados caracterizados por serem indepen-dentes e identicamente distribu´ıdos. A realiza¸cão de uma Revisão Sistemática da Lite-ratura demonstrou que há um número reduzido de pesquisas que investigam ´ındices de valida¸cão de agrupamento para dados com dependência temporal entre suas observa¸cões. Este número é ainda mais reduzido quando se trata de ´ındices que utilizam critério in-terno de valida¸cão. Para superar essa limita¸cão, este trabalho de mestrado apresenta um novo ´ındice interno de valida¸cão baseado na estat´ıstica GAP (Gap Statistic). Este novo ´ındice foi desenvolvido com o objetivo de mensurar e validar informa¸cões extra´ıdas de dados temporais com comportamento caótico a partir da aplica¸cão de técnicas de Sistemas Dinâmicos e de Aprendizado de Máquina não-supervisionado. Resultados expe-rimentais demonstraram a eficiência do novo ´ındice interno de valida¸cão para dados com dependência temporal e confirmaram a importância do mesmo para o estado da arte. Palavras-chave: Séries Temporais, Índice Interno, Valida¸cão de Agrupamento, es-tat´ıstica GAP

(21)

(22)

SUM ´

ARIO

Cap´ıtulo 1—Introdu¸c˜ao 1

1.1 Contextualiza¸cão e Motiva¸cão . . . 1 1.2 Motiva¸cão e Objetivo . . . 2 1.3 Organiza¸cão do trabalho . . . 3

Cap´ıtulo 2—Fundamenta¸c˜ao Te´orica 5

2.1 Considera¸cões Iniciais . . . 5 2.2 Valida¸cão de Agrupamento . . . 5 2.2.1 Critério Externo . . . 5 2.2.2 Critério Relativo . . . 6 2.2.3 Critério Interno . . . 8 2.3 Distância DTW . . . 10 2.4 Análise de Séries Temporais . . . 12 2.4.1 Sistemas Dinâmicos . . . 13

Cap´ıtulo 3—Estado da Arte 17

3.1 Fase I: Critérios de busca nos repositórios . . . 17 3.2 Fase II: Análise e Quantifica¸cão dos artigos . . . 19 3.3 Fase III: Considera¸cões Finais . . . 24

Cap´ıtulo 4—Estat´ıstica Gap Temporal 25

4.1 Vis˜ao Geral . . . 25 4.2 Metodologia . . . 25

Cap´ıtulo 5—Resultados Experimentais 33

5.1 Configura¸cão dos Experimentos . . . 33 5.2 Análise Quantitativa . . . 35 5.2.1 Experimentos sem ru´ıdo . . . 35 5.2.2 Experimentos com ru´ıdo . . . 39 5.2.3 Considera¸cões finais . . . 39

Cap´ıtulo 6—Conclus˜ao 45

(23)

vi SUM ´ARIO

Apˆendice A—Conceitos Fundamentais 51

A.1 Considera¸cões Iniciais . . . 51 A.2 Agrupamento . . . 51 A.3 Série Temporal . . . 56 A.3.1 Estocasticidade . . . 57 A.3.2 Estacionaridade . . . 58 A.3.3 Linearidade . . . 59 A.4 Modelagem: Estat´ıstica e Sistemas Dinâmicos . . . 60 A.4.1 Modelagem baseada em Estat´ıstica . . . 60 A.4.2 Modelagem baseada em Sistemas Dinâmicos e Teoria do Caos . . 61

(24)

LISTA DE FIGURAS

2.1 (a) Representa¸cão dos dados e (b) Dispersão dos dados Wk com a varia¸cão

do número de grupos k (TIBSHIRANI; WALTHER; HASTIE, 2001) . . . 10 2.2 Representa¸cão da distribui¸cão de referência . . . 11 2.3 (a) Fun¸cão log(Wk) (O) e log(Wkb∗) (E) utilizando o método de Monte

Carlo e (b) Curva Gap . . . 11 2.4 Caminho de deforma¸cão (warping path) entre duas séries temporais . . . 12 2.5 Série temporal produzida pelo sistema Lorenz (à esquerda) e a série

des-dobrada no espa¸co fase (à direita) (RIOS, 2013). . . 14 4.1 Fluxo da estat´ıstica Gap Temporal utilizando Sistemas Dinâmicos . . . . 28 4.2 Desdobramento de um conjunto de séries temporais na mesma dimensão

embutida. . . 29 4.3 Sistemas Dinâmicos na etapa de Monte Carlo . . . 31 5.1 Sistema de Lorenz . . . 34 5.2 Sistema de Rössler . . . 34 5.3 Série temporal caótica criada pela equa¸cão Logistic . . . 34 5.4 Mapeamento Hénon . . . 34 5.5 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-gistic e Hénon . . . 36 5.6 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz e Hénon . . . 36 5.7 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz e Logistic . . . 36 5.8 Valores de dispers˜ao (esquerda) e GAP (direita) das s´eries temporais

Lo-renz e Rössler . . . 37 5.9 Valores de dispersão (esquerda) e GAP (direita) das séries temporais R¨

oss-ler e Hénon . . . 37 5.10 Valores de dispersão (esquerda) e GAP (direita) das séries temporais R¨

oss-ler e Logistic . . . 37 5.11 Valores de dispers˜ao (esquerda) e GAP (direita) das s´eries temporais

Lo-renz, Logistic e Hénon . . . 38 5.12 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, Rössler e Hénon . . . 38 5.13 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, R¨ossler e Logistic . . . 38 vii

(25)

viii LISTA DE FIGURAS 5.14 Valores de dispers˜ao (esquerda) e GAP (direita) das s´eries temporais R¨

oss-ler, Logistic e Hénon . . . 39 5.15 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, Rössler, Logistic e Hénon . . . 39 5.16 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-gistic e Hénon . . . 40 5.17 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz e Hénon . . . 40 5.18 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz e Logistic . . . 40 5.19 Valores de dispers˜ao (esquerda) e GAP (direita) das s´eries temporais

Lo-renz e Rössler . . . 41 5.20 Valores de dispersão (esquerda) e GAP (direita) das séries temporais R¨

oss-ler e Hénon . . . 41 5.21 Valores de dispersão (esquerda) e GAP (direita) das séries temporais R¨

oss-ler e Logistic . . . 41 5.22 Valores de dispers˜ao (esquerda) e GAP (direita) das s´eries temporais

Lo-renz, Logistic e Hénon . . . 42 5.23 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, Rössler e Hénon . . . 42 5.24 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, Rössler e Logistic . . . 42 5.25 Valores de dispersão (esquerda) e GAP (direita) das séries temporais R¨

oss-ler, Logistic e Hénon . . . 43 5.26 Valores de dispersão (esquerda) e GAP (direita) das séries temporais

Lo-renz, Rössler, Logistic e Hénon . . . 43 A.1 Método Particional, com K grupos igual a 3. . . 52 A.2 Algoritmo Hierárquico . . . 53 A.3 Método baseado em densidade . . . 53 A.4 Método baseado em densidade em diferentes formas . . . 54 A.5 Método baseado em modelo, algoritmo Self-Organizing Map (SOM) . . . 54 A.6 Método baseado em grid (LIAO; LIU; CHOUDHARY, 2004) . . . 55 A.7 Procedimento de agrupamento. O processo básico de análise de grupos

consiste em quatro etapas com um caminho de feedback. Essas etapas estão intimamente relacionadas entre si e determinam os grupos derivados – adaptado de (XU; WUNSCH, 2008). . . 56 A.8 Série Temporal . . . 57 A.9 Decomposi¸cão de Séries Temporais . . . 58 A.10 Expoente de Hurst com análise R/S - adaptado de (QIAN; RASHEED,

(26)

LISTA DE TABELAS

3.1 Número de artigos encontrados pela Revisão Sistemática. . . 19 3.2 Número de artigos publicados por ano. . . 20 3.3 Índices mais utilizados na valida¸cão de agrupamento de séries temporais. 23

(27)

(28)

Cap´ıtulo

1

INTRODUC

¸ ˜

AO

1.1 CONTEXTUALIZAÇ ÃO E MOTIVAÇ ÃO

Atualmente, grandes volumes de dados são coletados e produzidos por diferentes siste-mas. Para exemplificar essa afirma¸cão, mais de 5,8 bilhões de buscas são realizadas em repositórios do Google (PRATER, 2019) e cerca de 12,1TB de imagens são gerados por satélites da NASA todos os dias (GOREY, 2017). Além de grandes corpora¸cões, as pes-soas passaram a produzir grandes volumes de dados com a populariza¸cão de dispositivos de acesso à Internet e o surgimento das redes sociais.

Esse aumento significativo na quantidade de dados tem dificultado a tarefa de especi-alistas na análise e extra¸cão de novas informa¸cões. Buscando superar essas dificuldades, técnicas de Aprendizado de Máquina (AM) têm sido propostas visando induzir hipóteses que sejam capazes de descrever rela¸cões entre os dados analisados. A indu¸cão destas hipóteses ocorre de acordo com o paradigma de aprendizado (MITCHELL et al., 1997; BISHOP, 2006; FACELI et al., 2011), o qual pode ser organizado em supervisionado, n˜ ao-supervisionado, semi-supervisionado e baseado em refor¸co. A pesquisa apresentada neste projeto foi planejada considerando o paradigma não-supervisionado, no qual métodos são ajustados sobre as caracter´ısticas (atributos) dos dados, visando extrair padrões sem considerar qualquer informa¸cão previamente fornecida por especialistas.

Neste paradigma, destacam-se os algoritmos de agrupamento, cujo principal objetivo é encontrar estruturas, de maneira que dados pertencentes a um mesmo grupo com-partilhem caracter´ısticas ou propriedades relevantes para um determinado problema em estudo (JAIN; DUBES et al., 1988; FACELI et al., 2011). Para avaliar objetivamente e quantitativamente se a estrutura derivada do agrupamento é significativa, faz-se ne-cessário utilizar critérios de valida¸cão (XU; WUNSCH, 2008), os quais implementam ´ındices que têm como objetivo testar e avaliar a qualidade dos grupos obtidos. Conforme discutido em (XU; WUNSCH, 2008; THEODORIDIS; KOUTROUMBAS, 2006; JAIN; DUBES et al., 1988; FACELI et al., 2011), tais critérios são organizados em três

(29)

2 INTRODUC¸ ˜AO

rias: externos, relativos e internos1_{. Crit´}_{erios externos analisam o resultado produzido}

por um algoritmo de agrupamento visando comprovar alguma hipótese previamente espe-cificada sobre os dados. Os critérios relativos são amplamente utilizados para comparar diferentes métodos de agrupamento ou diferentes configura¸cões de parâmetros. Neste caso, não é necessário estabelecer nenhuma suposi¸cão prévia sobre dados. Por fim, os critérios internos são usualmente aplicados para identificar o melhor número de grupos existentes em bases de dados. Esses critérios analisam as estruturas obtidas, conside-rando apenas o próprio conjunto de dados. Por exemplo, o melhor ajuste entre uma determinada estrutura obtida e o conjunto de dados pode ser explicado pela matriz de similaridade calculada entre pares de instâncias2_.

Ao analisar estudos publicados na literatura, foi poss´ıvel notar que grande parte dos algoritmos de agrupamento e valida¸cão foi desenvolvida assumindo que o processo de co-leta de informa¸cões acontece de maneira independente e identicamente distribu´ıda (iid ). Entretanto, quando existe, por exemplo, uma rela¸cão de dependência temporal entre in-tervalos de coletas, i.e., o valor de uma observa¸cão atual está relacionado com um ou mais valores passados, então, torna-se necessário criar novos algoritmos de agrupamento e de valida¸cão ou adaptar aqueles existentes na literatura. O desenvolvimento ou adapta¸cão de algoritmos para agrupamento de dados com dependência temporal, como séries tem-porais, tem sido proposto por diversos pesquisadores. Por exemplo, a distância DTW (Dynamic time warping) (BERNDT; CLIFFORD, 1994) tem sido amplamente utilizada em diversas tarefas de AM no lugar das varia¸cões das distâncias de Minkowski quando os dados possuem dependência temporal. Desta forma, algoritmos de agrupamento para da-dos iid podem ser aplicada-dos sobre séries temporais, uma vez que sua execu¸cão é realizada sobre uma matriz de distâncias previamente calculada usando DTW.

No entanto, a valida¸cão do agrupamento obtido sobre tais dados ainda é um problema em aberto como foi observado com a execu¸cão de uma Revisão Sistemática da Literatura, apresentada na Se¸cão 3. De acordo com essa revisão, o número de trabalhos propostos visando apresentar um novo ´ındice ou critério interno de valida¸cão é consideravelmente inferior, enfatizando que este problema não tem sido amplamente abordado na literatura. Essa limita¸cão motivou o desenvolvimento desta pesquisa, cuja motiva¸cão e objetivo são apresentados na próxima se¸cão.

1.2 MOTIVAC¸ ˜AO E OBJETIVO

A Revisão Sistemática da Literatura, que foi executada durante a fase de planejamento desta proposta de mestrado, demonstrou que o desenvolvimento de pesquisas com ênfase na valida¸cão de agrupamento realizado sobre séries temporais, especialmente utilizando ´ındices de valida¸cão do critério interno, ainda é um problema em aberto.

Visando solucionar esse problema, este projeto de mestrado tem como principal obje-tivo desenvolver um novo ´ındice interno de valida¸c˜ao. Este novo ´ındice ser´a baseado na

1_{Alguns estudos organizam os crit´}_{erios de valida¸}_c˜_{ao em apenas duas categorias, externos e internos,} sendo os crit´erios relativos considerados um subconjunto dos internos. Neste trabalho, contudo, adotou-se a taxonomia proposta por (XU; WUNSCH, 2008).

(30)

1.3 ORGANIZAC¸ ˜AO DO TRABALHO 3

estat´ıstica Gap, a qual é comumente utilizada em agrupamento de dados iid. De maneira resumida, essa estat´ıstica visa comparar uma distribui¸cão nula de referência apropriada com dispersões intra-cluster calculadas sobre as parti¸cões produzidas pelos algoritmos de agrupamento. Nesta compara¸cão, a principal etapa está relacionada com distribui¸cão nula de referência, a qual depende da gera¸cão de conjuntos de dados sintéticos produzidos considerando uma distribui¸cão uniforme por meio do método de Monte Carlo.

De acordo com a estat´ıstica Gap original, essa gera¸cão é realizada considerando que os novos dados sintéticos seguem uma distribui¸cão uniforme limitada pelo hiperplano definido pela dimensão dos atributos. Entretanto, tratando-se de séries temporais, a gera¸cão desses novos dados devem respeitar os relacionamentos entre suas observa¸cões. Além disso, a limita¸cão imposta pelo hiperplano é mais complexa devido aos diferentes tamanhos e comportamentos das séries temporais analisadas.

Diante deste cenário, este trabalho de mestrado apresenta um novo ´ındice de valida¸cão interno que realiza três modifica¸cões na estat´ıstica Gap original. A primeira modifica¸cão utiliza a medida DTW, a qual é uma escolha usual para calcular distância entre séries temporais. Em seguida, foi realizada uma substitui¸cão do algoritmo K-means pelo algo-ritmo K-medoid. Embora sejam algoalgo-ritmos com comportamentos similares, essa troca foi necessária porque a medida DTW não garante a propriedade de desigualdade triangu-lar, exigida em métricas de distância. Logo, essa limita¸cão, no contexto deste trabalho, poderia produzir grupos vazios, o que não é conceitualmente aceito na literatura de apren-dizado não supervisionado (XU; WUNSCH, 2008). Finalmente, como prova de conceito, definiu-se que o escopo deste projeto seria no tratamento de séries temporais com com-portamento caótico. Nesse sentido, optou-se por utilizar ferramentas da área de Sistemas Dinâmicos e Teoria do Caos (ALLIGOOD; SAUER; YORKE, 1997) para produzir novas séries sintéticas utilizadas pelo método de Monte Carlo na estat´ıstica Gap.

1.3 ORGANIZAC¸ ˜AO DO TRABALHO

Maiores informa¸cões sobre cada etapa da pesquisa realizada nesse projeto de mestrado serão apresentadas nas seguintes se¸cões: na Se¸cão 2, a fundamenta¸cão teórica desta pesquisa é apresentada destacando conceitos de valida¸cão de agrupamento, Análise de Séries Temporais e ferramentas de Sistemas Dinâmicos. Em complemento a esta se¸cão, o Apêndice A apresenta assuntos fundamentais para o estudo desta disserta¸cão de mes-trado. Na Se¸cão 3, é apresentada uma Revisão Sistemática da Literatura, contendo os trabalhos encontrados sobre ´ındices de valida¸cão no agrupamento de dados temporais. A Se¸cão 4 apresenta a proposta deste mestrado. Na Se¸cão 5 são discutidos os resultados experimentais desenvolvidos como prova de conceito do método proposto. E por fim, a Se¸cão 6 discute a conclusão deste trabalho de mestrado.

(31)

(32)

Cap´ıtulo

2

FUNDAMENTAC

¸ ˜

AO TE ´

ORICA

2.1 CONSIDERAC¸ ˜OES INICIAIS

Este cap´ıtulo apresenta, de maneira resumida, os conceitos fundamentais explorados nesta disserta¸cão de mestrado. Primeiramente, apresenta-se uma visão geral sobre valida¸cão de agrupamento. Em seguida, a medida de distância DTW e os conceitos básicos so-bre Sistemas Dinâmicos e Teoria do Caos, utilizados no novo ´ındice de valida¸cão são discutidos em detalhes. Além da fundamenta¸cão teórica apresentada neste cap´ıtulo, o apêndice A discute outros conceitos básicos necessários para uma melhor compreensão desta disserta¸cão.

2.2 VALIDAC¸ ˜AO DE AGRUPAMENTO

Valida¸cão de agrupamento são métodos quantitativos e objetivos que avaliam os resul-tados das estruturas de grupos (parti¸cões) produzidas por métodos de Aprendizado de Máquina Não-Supervisionado (XU; WUNSCH, 2008). Os resultados fornecidos por algo-ritmos de agrupamento podem ser avaliados de dois modos (JAIN; DUBES et al., 1988): (i) através de técnicas ad hoc, os quais são baseadas na área de aplica¸cão, i.e., utilizando conhecimento prévio fornecido por especialistas no processo de escolha sobre o melhor particionamento; (ii) uso de técnicas automáticas para avalia¸cão de agrupamento sem a necessidade de um especialista da área. Nesta se¸cão, esses modos são explorados por meio de três critérios de valida¸cão de estruturas de agrupamento.

2.2.1 Crit´erio Externo

Critérios externos medem o desempenho do agrupamento combinando uma estrutura obtida com informa¸cões pré-estabelecidas. Em resumo, tais critérios medem o grau de correspondência entre o número de grupos estimado por algoritmos e os rótulos de ca-tegoria atribu´ıdos a priori (JAIN; DUBES et al., 1988). Para melhor compreender esses

(33)

6 FUNDAMENTAÇ ÃO TE ÓRICA

critérios, considere P como sendo uma parti¸cão pré-definida a partir de um dado con-junto de dados X composto por N instâncias1 e seja C uma parti¸cão obtida por um algoritmo de agrupamento. A avalia¸cão por critérios externos é, então, conduzida pela compara¸cão entre C e P . Assim, sendo xi e xj pares de instâncias de X, há quatro

poss´ıveis organiza¸c˜oes dessas instˆancias em C e P (XU; WUNSCH, 2008):

• Caso 1: xi e xj pertencem aos mesmos grupos de C e a mesma categoria de P .

• Caso 2: xi e xj pertencem aos mesmos grupos de C, mas diferentes categorias de

P .

• Caso 3: xi e xj pertencem a diferentes grupos de C, mas a mesma categoria de P .

• Caso 4: xi e xj pertencem a diferentes grupos de C e diferentes categorias de P .

Correspondentemente, os casos 1, 2, 3 e 4 são denotados como a, b, c e d, respectiva-mente, sendo M = a + b + c + d. Desse modo, através da rela¸cão entre os diferentes casos ´

e poss´ıvel determinar alguns ´ındices externos que s˜ao comumente usados na literatura para medir a correspondˆencia entre C e P (XU; WUNSCH, 2008):

• Rand Index R = (a + d) M (.) • Jaccard coefficient J = a (a + b + c) (.)

• Fowlkes and Mallows Index

F M = r a (a + b) · a (a + c) (.) • Γ statistics Γ = M a − m1· m2 pm1· m2(M − m1)(M − m2) (.) onde m1 = a + b e m2 = a + c.

2.2.2 Crit´erio Relativo

Critérios relativos concentram-se na compara¸cão de resultados de agrupamento gera-dos por diferentes algoritmos ou pelo mesmo algoritmo com diferentes configura¸cões de parâmetros (XU; WUNSCH, 2008). Neste caso, não é necessário estabelecer nenhuma suposi¸cão prévia sobre dados, como determinado pelos critérios externos. Por outro lado, necessita-se de diversos testes realizados pelo usuário até ser encontrada uma estrutura de agrupamento ideal. Por exemplo, para muitos algoritmos de agrupamentos particionais,

(34)

2.2 VALIDAC¸ ˜AO DE AGRUPAMENTO 7

o número de grupos é um parâmetro especificado pelo usuário. Embora em alguns casos esse parâmetro possa ser estimado em termos de experiência do usuário ou informa¸cões a priori, em geral, o número de grupos é estimado a partir de diferentes execu¸cões de algo-ritmos de grupamento sobre o conjunto de dados (XU; WUNSCH, 2008). Neste contexto, a determina¸cão da melhor estrutura de agrupamento é realizada por diferentes execu¸cões do algoritmo e a aplica¸cão de ´ındices relativos para diferentes valores do parâmetro tes-tado. Assim, tais ´ındices retornarão valores referentes ao agrupamento que indicarão a qualidade da estrutura.

Podem ser citados como ´ındices de crit´erio relativo (VENDRAMIN; CAMPELLO; HRUSCHKA, 2009): • Calinski-Harabasz Index (VRC) V RC = trace(B) trace(W) × N − k k − 1 (.)

N é o número total de dados em uma parti¸cão em k grupos mutuamente disjuntos. W e B podem ser definidos como:

W = k X i=1 Ni X l=1 (xi(l) − ¯xi)(xi(l) − ¯xi)T (.) B = k X i=1 Ni( ¯xi− ¯x)( ¯xi− ¯x)T (.)

Ni é o número de objetos atribu´ıdos ao ith grupo, xi(l) é o lth objeto atribu´ıdo

a esse grupo, ¯xi ´e o vetor n-dimensional das m´edias amostrais dentro do grupo,

chamado de centróide e ¯x é o vetor n-dimensional da média global da amostra, chamado de centróide dos dados. O valor ótimo de k grupos é aquele que maximiza o ´ındice VRC.

• Davies-Bouldin Index ´

E um ´ındice que se assemelha ao VRC, de modo que também é baseado na rela¸cão de distâncias intra-cluster e inter-cluster.

DB = 1 k k X i=1 Di (.)

Di = maxj6=iDi,j. O termo (Di,j) ´e a rela¸c˜ao intra-cluster e inter-cluster para o

ith e o jth grupo, tal que, Di,j = ( ˆdi + ˆdj)/di,j, onde ˆdi e di,j s˜ao as distˆancias

médias intra-cluster para o ith grupo e a distância inter-cluster entre os grupos i e j, respectivamente. O valor ótimo de k grupos é aquele que minimiza esse ´ındice.

(35)

• Dunn’s Index

Índice baseado em medidas geométricas de compacta¸cão e separa¸cão de grupos.

DN = min p,q∈(1,...,k)∀p6=q    δp,q max l∈(1,...,k)∆l    (.)

∆l é o diâmetro do lth grupo e δp,q é a distância definida entre os grupos p e q. A

distância δp,q é originalmente definida como a distância m´ınima entre um par de

objetos entre os grupos p e q. O valor ideal de k grupos ´e aquele que maximiza o ´ındice Dunn.

• Silhouette

Este ´ındice também é baseado em considera¸cões geométricas referentes à com-pacta¸cão e separa¸cão de grupos. Considera-se que o jth objeto do conjunto de dados xj pertence a um dado grupo p ∈ {1, ..., k}. Então, a distância média deste

objeto para todos os outros objetos no grupo p ´e denotada por ap,j. Finalmente,

bj ´e a menor distˆancia entre xj e todos os outros objetos do conjunto de dados que

não pertence ao grupo p, i.e., ∀q ∈ {1, ..., k}, q 6= p. Então, a silhueta (silhouette) do objeto individual x(j) é definido como:

sx(j) =

bj− ap,j

max{ap,j, bj}

(.)

Neste caso, quanto maior sx(j), melhor ser´a a atribui¸c˜ao de x(j) ao grupo p. Na

existência de apenas um grupo, sx(j) = 0. Portanto, o cálculo da Silhouette é

definido como a m´edia de sx(j) tal que j = 1, 2, ..., N .

SW C = 1 N N X j=1 sx(j) (.)

A melhor parti¸cão é alcan¸cada quando SWC é maximizado, isto implica na mini-miza¸cão da distância intra-cluster ap,j e na maximiza¸cão da distância inter-cluster

bj.

2.2.3 Crit´erio Interno

Critérios internos avaliam a estrutura de agrupamento sem nenhuma informa¸cão externa sobre os dados (XU; WUNSCH, 2008), assim como o critério relativo. Todavia, o critério interno é usualmente aplicado para identificar o melhor número de grupos existentes em bases de dados. Assim sendo, esse critério possui um diferencial em que não há necessidade do usuário fazer diversos testes com diferentes algoritmos ou varia¸cões de parâmetros até encontrar a melhor estrutura para o agrupamento. Dessa forma, apenas com a aplica¸cão de uma técnica é poss´ıvel obter o número ideal de grupos. A especifica¸cão

(36)

2.2 VALIDAC¸ ˜AO DE AGRUPAMENTO 9

do número de grupos tem fundamental importância para o agrupamento, pois a supe-restima¸cão ou a subestima¸cão de grupos afeta a qualidade da estrutura resultante. De maneira geral, uma parti¸cão com muitos grupos afeta a verdadeira estrutura de agrupa-mento, tornando dif´ıcil interpretar e analisar os resultados. Por outro lado, uma parti¸cão com poucos grupos pode causar a perda de informa¸cões (XU; WUNSCH, 2008).

No contexto geral, diferentemente dos ´ındices externos e relativos, a literatura não apresenta muitas publica¸cões de ´ındices internos. Sendo assim, os mais conhecidos são o coeficiente de correla¸cão Cophenetic utilizado para validar estruturas de agrupamento hierárquicas (XU; WUNSCH, 2008) e a estat´ıstica Gap (Gap Statistic) (TIBSHIRANI; WALTHER; HASTIE, 2001) utilizada para validar estruturas de agrupamento obtidas a partir de algoritmos particionais e hierárquicos.

Conforme mencionado na introdu¸cão deste projeto, a metodologia utilizada para de-senvolvimento desta pesquisa será baseada no ´ındice interno de valida¸cão fornecido pela estat´ıstica Gap (TIBSHIRANI; WALTHER; HASTIE, 2001). Este ´ındice visa comparar as dispersões intra-cluster das parti¸cões obtidas a partir de algoritmos de agrupamento com uma distribui¸cão nula de referência apropriada. De maneira resumida, essa es-tat´ıstica é calculada considerando alguns passos que são demonstrados nessa se¸cão.

Inicialmente, o conjunto de dados, conforme Figura 2.1(a), é agrupado usando algum algoritmo como, por exemplo, K-means ou Hierárquico. Esse agrupamento é realizado variando o número total de grupos no intervalo k = {1, 2, 3, . . . , K}. Em seguida, para cada parti¸cão obtida, calcula-se a dispersão Wk conforme apresentado na Equa¸cão.,

sendo C· um grupo e d·· uma medida de distância. A representa¸cão da dispersão também

pode ser vista na Figura 2.1(b).

Dr = X i,i0_∈C r dii0 (.) Wk= k X r=1 1 2nr Dr (.)

Utiliza-se, então, o método de Monte Carlo para gerar B conjuntos de dados de referência considerando, por exemplo, uma distribui¸cão uniforme, conforme mostrado em pontos vermelhos na Figura 2.2. Para cada conjunto de dados de referência, realiza-se um agrupamento e calcula-se sua dispersão W_k∗ e a estat´ıstica Gap considerando b = {1, 2, . . . , B} e k = {1, 2, 3, . . . , K}, conforme Equa¸cão .. A Figura 2.3(a) demonstra os valores das dispersões Wk e Wkb com a fun¸cão logar´ıtmica ao longo de k grupos.

GAP (k) = 1 B X b log(W_kb∗) − log(Wk) (.)

Na sequência, a partir da Equa¸cão., calcula-se o desvio padrão sk (Equa¸cão.).

¯ l = 1 B X b log(W_kb∗) (.)

(37)

10 FUNDAMENTAÇ ÃO TE ÓRICA sdk = " 1 B X b log(W∗ kb) − ¯l 2 #1/2 (.) sk = sdk s 1 + 1 B (.) Por fim, o melhor número de grupos é encontrado considerando a Equa¸cão .. Segundo os autores, a estimativa de melhor número de grupos será definida pelo valor que maximiza a estat´ıstica Gap, conforme mostra a Figura 2.3(b).

ˆ

k = menor k tal que GAP (k) > GAP (k + 1) − sk+1 (.)

x2

x1 número de clusters k

Wk

(a) (b)

Figura 2.1 (a) Representa¸cão dos dados e (b) Dispersão dos dados Wk com a varia¸cão do

n´umero de grupos k (TIBSHIRANI; WALTHER; HASTIE, 2001)

Conforme discutido na introdu¸cão deste trabalho, três modifica¸cões foram realizadas na estat´ıstica Gap original para valida¸cão de parti¸cões obtidas sobre dados temporais. A primeira modifica¸cão é baseado na medida DTW, descrita na próxima se¸cão, a qual é amplamente utilizada para cálculo de distância entre séries temporais.

2.3 DIST ˆANCIA DTW

Em geral, as medidas utilizadas para calcular distâncias entre objetos em uma base de dados assumem que os atributos são iid. Entretanto, para dados que não possuem essa caracter´ıstica, por exemplo quando há dependência temporal, existem outras medidas que podem ser utilizadas, como a distância de Hausdorff, modificada Hausdorff (MODH), baseada em HMM, Dynamic Time Warping (DTW) e Sub-Sequência Comum Mais Longa (LCSS) (AGHABOZORGI; SHIRKHORSHIDI; WAH, 2015).

(38)

2.3 DIST ˆANCIA DTW 11

Figura 2.2 Representa¸cão da distribui¸cão de referência

Gap

número de clusters k número de clusters k

log(Wk)

(a) (b)

Figura 2.3 (a) Fun¸c˜ao log(Wk) (O) e log(W_kb∗) (E) utilizando o m´etodo de Monte Carlo e (b)

Curva Gap

´

E importante destacar que essa se¸cão não tem o objetivo de realizar uma ampla discussão sobre as principais medidas de distância (ou similaridade) que podem ser apli-cadas a séries temporais. Para maiores informa¸cões sobre tais medidas, recomenda-se a leitura dos artigos publicados por Duarte et al. (2019) e Aghabozorgi, Shirkhorshidi e Wah (2015).

Dentre essas medidas, a mais referenciada na literatura é a DTW (TORMENE et al., 2009; DING et al., 2008), que usa uma abordagem de programa¸cão dinâmica para alinhar pares de séries temporais e calcular a distância entre elas. Para melhor compreender essa medida, considere as séries temporais S = {s1, s2, ..., si, ..., sn} e T = {t1, t2, ..., tj, ..., tm}.

(39)

matriz (i, j), corresponde a um alinhamento entre os elementos si e tj. Um caminho de

deforma¸cão ou warping path (W ), mapeia ou alinha os elementos de S e T , de modo que a distância entre eles seja minimizada (BERNDT; CLIFFORD, 1994), conforme representa a Equa¸cão., onde d(·, ·) é a distância (e.g. euclidiana) entre dois elementos das séries temporais. DT W (X, Y ) =pdist(Sn, Tm) (.) dist(Si, Tj) = d(Si, Tj) + min      dist(Si−1, Tj) dist(Si, Tj−1) dist(Si−1, Tj−1) (.)

A Figura 2.4 ilustra o caminho de deforma¸cão (warping path) entre duas séries tem-porais ruidosas apresentadas como rótulo dos eixos x e y.

Timeseries alignment d$index1 d$inde x2 Query index xts 0 200 400 600 800 1000 0.0 0.5 1.0 yts Ref erence inde x 2 1 0 −1 0 200 400 600 800 1000

Figura 2.4 Caminho de deforma¸c˜ao (warping path) entre duas s´eries temporais

2.4 AN ´ALISE DE S´ERIES TEMPORAIS

Uma outra importante modifica¸cão realizada na estat´ıstica Gap está relacionada com a forma de gera¸cão de dados sintéticos no método de Monte Carlo. Nesta pesquisa, tal modifica¸cão foi realizada levando em considera¸cão que as séries temporais possuem comportamento caótico e, como consequência, suas observa¸cões são analisadas de maneira mais adequada por meio de ferramentas dispon´ıveis na área de Sistemas Dinâmicos e Teoria do Caos, conforme discutido nessa se¸cão.

(40)

2.4 AN ´ALISE DE S ´ERIES TEMPORAIS 13

2.4.1 Sistemas Dinˆamicos

A análise de séries temporais com comportamento caótico pode ser realizada por meio de sua transforma¸cão do dom´ınio temporal para o espa¸co fase, o qual também é re-ferenciado como coordenadas de atraso (ALLIGOOD; SAUER; YORKE, 1997; RIOS, 2013). Esses espa¸cos foram inicialmente estudados por Whitney (1936a), que aplicou variedades diferenciais para reconstruir fun¸cões em espa¸cos multidimensionais. Com base nessa reconstru¸cão, Whitney (1936a) propôs o seu teorema de imersão, que afirma que os atratores são melhor compreendidos quando as séries temporais são desdobradas em um espa¸co de alta dimensão (RIOS, 2013).

Segundo Alligood, Sauer e Yorke (1997), os atratores são definidos pela presen¸ca de pontos fixos e órbitas que definem como as observa¸cões das séries temporais evoluem ao longo do tempo. Nesse sentido, seja f um mapa em R e p um número tal que f (p) = p. Se todos os pontos próximos a p, levando em considera¸cão uma vizinhan¸ca ν, forem atra´ıdos para p, então p é referido como um ponto fixo de atra¸cão. Por outro lado, se todos os pontos se afastarem de p, então é chamado de ponto fixo de repulsão. Da mesma forma, uma órbita é uma região no espa¸co fase, em que as observa¸cões são atra´ıdas ou repelidas (RIOS, 2013).

Takens (1981) provou em seu teorema que dada uma s´erie {x0, x1, ..., xn−1} esta pode

ser reconstru´ıda no espa¸co fase xn(m, τ ) = xn, xn+τ, ..., xn+(m−1)τ, tendo m a dimens˜ao

embutida e τ representando o atraso de tempo (ou dimensão de separa¸cão ou dimensão de atraso). A dimensão embutida define basicamente o número de eixos necessários para desdobrar as séries temporais no espa¸co fase. A dimensão de separa¸cão, por outro lado, é importante para representar o comportamento sazonal de séries temporais, indicando o deslocamento necessário entre as observa¸cões passadas (RIOS, 2013).

A estima¸cão da dimensão embutida foi estudada por Takens (1981) e Mañé (1981), que confirmou que o limite superior para a dimensão embutida De∈ N pode ser definido pela

dimens˜ao fractal Df conforme a equa¸c˜ao De > 2, 0·Df. No entanto, estudos realizados por

Kennel, Brown e Abarbanel (1992) demonstraram que a dimensão obtida a partir dessa equa¸cão é, em geral, maior que o necessário, adicionando mais complexidade e tempo de execu¸cão ao analisar o espa¸co fase correspondente (KENNEL; BROWN; ABARBANEL, 1992; RIOS, 2013).

Para superar essa desvantagem, Kennel, Brown e Abarbanel (1992) propuseram o método False Nearest Neighbors (FNN), que analisa a vizinhan¸ca para cada observa¸cão no espa¸co fase. Em resumo, este método come¸ca a calcular a distância entre as observa¸cões considerando que a dimensão embutida é igual a um. Em seguida, uma nova dimensão é adicionada e as distâncias são novamente calculadas. Se as distâncias aumentam, as observa¸cões são consideradas como falsos vizinhos, ou seja, as observa¸cões que estão juntas são separadas em dimensões de maior incorpora¸cão, eliminando os falsos vizinhos e evidenciando a necessidade de uma reconstru¸cão dimensional mais alta. Se, ao adicionar uma nova dimensão, a taxa do vizinho falso for zero, o total de dimensões será considerado como dimensão embutida (ALLIGOOD; SAUER; YORKE, 1996; RIOS, 2013).

Formalmente, o método False Nearest Neighbors considera uma dimensão embutida m, em que o vizinho r-ésimo próximo a y(n) é definido por yr(n). A distância Euclidiana

(41)

entre a observa¸cão y(n) e o r-ésimo vizinho esta presente na Equa¸cão.. Adicionando uma nova dimensão, a série temporal é reconstru´ıda adicionando coordenadas (m+1) para cada vetor representando uma observa¸cão y(n), como representado pelo termo x(n + mT ) na Equa¸cão.. Assim, este método avalia a varia¸cão de distância à medida que novas dimensões são adicionadas de acordo com a Equa¸cão ..

R2_m(n, r) = m−1 X k=0 (x(n + kT ) − x(r)(n + kT ))2 (.) R2_m+1(n, r) = R_m2(n, r) + (x(n + mT ) − x(r)(n + mT ))2 (.) Vn,r = s R2 m+1(n, r) − R2m(n, r) R2 m(n, r) = x(n + mT ) − x(n)(n + mT ) R2 m(n, r) (.) Segundo Kennel, Brown e Abarbanel (1992), se a varia¸cão da distância Vn,r é maior

que um limite Rtol, então as observa¸cões são consideradas como falsos vizinhos, sendo um

valor aceit´avel para este limite Rtol≥ 10. Para exemplificar, a Figura 2.5 demonstra uma

série temporal produzida pelo sistema Lorenz (à esquerda), em seguida, segue a mesma série sendo desdobrada no espa¸co fase com valores de m = 3 e τ = 5 (à direita).

Figura 2.5 Série temporal produzida pelo sistema Lorenz (à esquerda) e a série desdobrada no espa¸co fase (à direita) (RIOS, 2013).

A ferramenta apresentada nesta se¸cão permite analisar, no espa¸co fase, as séries que serão agrupadas. Para isso, a gera¸cão de séries sintéticas precisa respeitar os limites no hiperplano onde as observa¸cões foram produzidas. Neste sentido, propõe-se criar séries sintéticas visando manter informa¸cões sobre as dimensões embutida e de separa¸cão para

(42)

2.4 AN ´ALISE DE S ´ERIES TEMPORAIS 15

que os testes de dispers˜ao respeitem tais limites como discutido na metodologia deste trabalho.

(43)

(44)

Cap´ıtulo

3

ESTADO DA ARTE

Visando identificar ´ındices utilizados especificadamente na valida¸cão de agrupamento de dados com dependência temporal, foi realizada uma Revisão Sistemática da Literatura (Systematic Literature Review – SLR) para melhor compreender as pesquisas produzida sobre o tema. Os resultados obtidos com SLR são discutidos em três fases: Fase I – defini¸cão dos critérios de busca nos repositórios; ase II – análise e quantifica¸cão da qualidade dos artigos coletados; e, por fim, Fase III – conclusões obtidas a partir dos artigos analisados.

3.1 FASE I: CRIT´ERIOS DE BUSCA NOS REPOSIT ´ORIOS

Nesta fase, foram determinados os critérios utilizados para selecionar os trabalhos rela-cionados ao problema abordado nesta pequisa. Dessa forma, foram definidos o objetivo da pesquisa, as questões principal e secundárias relacionadas ao tema em estudo, os re-positórios de busca, a lista de palavras chaves, os critérios de inclusão e exclusão, e por fim, o processo geral de execu¸cão.

Conforme discutido anteriormente, o objetivo desta pesquisa é encontrar critérios internos utilizados na valida¸cão do agrupamento de séries temporais. Com base neste objetivo, elaborou-se a seguinte questão principal:

Quais são os critérios internos utilizados na valida¸cão do agrupamento de séries temporais?

Além desta pergunta principal, foram definidas perguntas secundárias que estão di-retamente associadas à valida¸cão da pesquisa proposta. Este conjunto de perguntas são fundamentais para discutir as aplica¸cões práticas da pesquisa, técnicas de avalia¸cão e o entendimento das tendências de publica¸cão. Desta forma, foram elaboradas as seguintes questões secundárias:

QS.1 - Em quais tipos de aplica¸cões práticas pode-se utilizar a valida¸cão de agrupa-mento para séries temporais?

(45)

18 ESTADO DA ARTE

QS.2 - Como a valida¸c˜ao de agrupamento ´e utilizada?

QS.3 - Por que utilizar valida¸c˜ao de agrupamento para s´eries temporais?

QS.4 - Quais são os principais ´ındices usados na valida¸cão do agrupamento de séries temporais?

QS.5 - Com que frequência os artigos são publicados por ano? QS.6 - Quais são as limita¸cões desses ´ındices?

Após definir tais perguntas, foram selecionados os repositórios de pesquisa onde os estudos relacionados foram obtidos. Neste contexto, considerou-se apenas repositórios que aceitam consultas usando palavras-chave e que são comumente utilizados pela comunidade cient´ıfica. Os repositórios escolhidos foram:

• Scopus (https://www.scopus.com/)

• ACM Digital Library (https://dl.acm.org/)

• IEEE Xplore Digital Library (https://ieeexplore.ieee.org/)

A linguagem padrão usada nesta revisão sistemática foi o inglês, ou seja, todos os trabalhos escritos em outras l´ınguas foram descartados. Como próximo passo, foram escolhidas as palavras-chave considerando a questão principal desta revisão:

• Organiza¸cão de dados: Séries Temporais • Objetivos: Critérios Internos

• Resultados: Valida¸c˜ao de agrupamento

Com base nestas palavras-chave, definiu-se, ent˜ao, a seguinte string de busca: (“time series”) AND (“internal criteria”) AND (“cluster validity”)

Devido ao fato de que nenhum artigo relevante para o estudo foi encontrado nos reposit´orios utilizando essa consulta em inglˆes, elaborou-se uma nova string de busca que aborda um contexto mais amplo da pesquisa:

(“time series”) AND (“cluster validity”)

Além dos artigos retornados com as strings anteriores, optou-se por realizar uma busca nos repositórios por trabalhos que, especificamente, utilizam a estat´ıstica Gap para validar agrupamentos em séries temporais. Para tanto, definiu-se outra string de busca:

(46)

3.2 FASE II: AN ÁLISE E QUANTIFICAÇ ÃO DOS ARTIGOS 19

Para filtrar trabalhos diretamente relacionados com o assunto abordado na revisão sistemática, foi realizada uma avalia¸cão dos artigos para definir quais seriam inclu´ıdos ou não na revisão. Nessa filtragem, optou-se por incluir trabalhos que definem claramente os critérios internos, externos ou relativos utilizados na valida¸cão de agrupamento de séries temporais. Por outro lado, a exclusão de artigos foi realizada sempre que os trabalhos não apresentassem um processo valida¸cão de agrupamento satisfatório. Além disso, fo-ram descartados trabalhos que não realizaram uma apresenta¸cão clara de utiliza¸cão de valida¸cão e quando havia trabalhos redundantes.

Portanto, a Fase I apresenta as condi¸cões iniciais de sele¸cão de artigos para revisão sistemática. A próxima fase consiste na análise dos artigos selecionados nesta primeira fase.

3.2 FASE II: AN ÁLISE E QUANTIFICAÇ ÃO DOS ARTIGOS

Através da consulta realizada nos repositórios apresentados, foram encontrados um total de 54 artigos, cuja distribui¸cão em cada repositório está apresentado na Tabela 3.1. Após a coleta, a inclusão ou exclusão dos artigos encontrados foi realizada pela leitura dos t´ıtulos e dos resumos. Como resultado, grande parte dos artigos foram exclu´ıdos por se tratarem de trabalhos redundantes ou não apresentarem um estudo detalhado sobre o uso de ´ındices de valida¸cão no contexto de séries temporais. Portanto, depois da remo¸cão desse artigos restaram apenas 10 artigos que estão diretamente relacionados ao assunto apresentado neste trabalho.

Tabela 3.1 Número de artigos encontrados pela Revisão Sistemática.

Reposit´orio N´umero de artigos

ACM 1 IEEE 13 Scopus 40 Total 54 Inclus˜ao 10 Exclus˜ao 44

Visando responder a questão secundária QS.5, analisou-se a frequência de publica¸cão destes artigos por ano, a fim de encontrar trabalhos mais recentes e que correspondam ao assunto abordado neste projeto de mestrado. Conforme pode ser observado na Tabela 3.2, nota-se que artigos têm sido publicados sobre esse tema com regularidade desde 2001, apesar da baixa quantidade.

No primeiro artigo analisado, Fadili et al. (2001) apresentam uma estratégia explo-ratória orientada a dados baseada em Unsupervised Fuzzy Clustering Analysis (UFCA), validando sua estratégia ao analisar dados de fMRI (ressonância magnética funcional1). Neste contexto, os autores adaptam e aplicam o algoritmo Fuzzy C-Means (FCM) aos da-dos no dom´ınio do tempo e um novo ´ındice de valida¸cão de agrupamento é introduzido e

(47)

20 ESTADO DA ARTE

Tabela 3.2 N´umero de artigos publicados por ano.

Ano Frequˆencia

2001 1 2004 1 2007 1 2011 1 2015 1 2016 2 2017 2 2018 1

validado comparando com os ´ındices CS, S e fuzzy. Tais ´ındices têm por finalidade minimi-zar a variância intra-cluster e maximizar a variância inter-cluster. De maneira resumida, o trabalho propõe um novo ´ındice de valida¸cão, denominado SCF, que tira vantagem dos três ´ındices citados anteriormente, levando em considera¸cão a compacta¸cão, separa¸cão, união e interseçcão dos grupos obtidos. Os resultados demonstram a vantagem do ´ındice proposto (SCF) e sua eficácia para valida¸cão de dados no dom´ınio do tempo.

O trabalho publicado por Himberg, Hyvärinen e Esposito (2004) apresenta experi-mentos utilizando algoritmo hierárquico sobre dados de fMRI e dados de magnetoence-falografia (MEG). O trabalho proposto baseia-se na execu¸cão do algoritmo Independent Component Analysis (ICA), um modelo estat´ıstico de propósito geral amplamente uti-lizado na análise de dados de imagem cerebral. Sendo assim, os autores desenvolvem um pacote chamado Icasso, com foco na implementa¸cão de um conjunto abrangente de métodos suportados para análise e visualiza¸cão exploratória dos dados. Em uma das fa-ses deste trabalho, após a aplica¸cão do algoritmo ICA, o usuário explora o agrupamento, iniciando uma aplica¸cão de visualiza¸cão interativa. Assim, o mesmo examina a qualidade dos grupos. Posteriormente, é poss´ıvel visualizar a matriz de similaridade entre todas as instâncias e sua parti¸cão final obtida em um único gráfico, produzido a partir do método de liga¸cão average-link. Neste pacote é introduzido um ´ındice de qualidade de grupo, Iq,

que reflete sua compacta¸cão e seu isolamento. Esse ´ındice é computado pela diferen¸ca entre as similaridades médias intra-cluster e intercluster. Além desses ´ındices, os autores analisam os ´ındices Dunn-like e R-index (IR). Entretanto, a conclusão do trabalho é

que, muitas vezes, os ´ındices produzem resultados diferentes dependendo do caráter dos dados utilizados, sem indica¸cão clara de superioridade geral. Logo, com base nos expe-rimentos realizados, o trabalho não sugere nenhum ´ındice vencedor definitivo. Por outro lado, recomenda-se que a sele¸cão final do número de grupos deve ser feito pelo usuário, o qual pode explorar, de forma interativa, os resultados produzidos por diferentes n´ıveis de dendrograma.

No trabalho de Meyer-Bäse et al. (2007) são aplicados algoritmos de agrupamento, tais como Kohonen’s self-organizing map, Minimal free energy vector quantizer e ”Neural gas”network em séries temporais de imagens biomédicas em aplica¸cões para: (i) análise de dados de fMRI para mapeamento do cérebro humano; (ii) ressonância magnética de contraste dinâmica para o diagnóstico de doen¸ca cerebrovascular; e (iii) ressonância

(48)

3.2 FASE II: AN ÁLISE E QUANTIFICAÇ ÃO DOS ARTIGOS 21

magnética de mama para a segmenta¸cão de lesões suspeitas de pacientes com câncer de mama. Para a valida¸cão dos agrupamentos obtidos são utilizados três ´ındices: (i) Kim; (ii) Calinski Harabasz (CH); e (iii) intraclass. Apesar dos estudo experimental, os autores afirmam que não é poss´ıvel determinar qual o melhor ´ındice para validar agrupamento em séries temporais de imagens biomédicas.

Maji e Paul (2011) aplicam o algoritmo Rough-fuzzy C-Means (RFCM) a fim de descobrir grupos de genes co-expressos a partir de dados de microarray, que é uma análise importante em genômica funcional. Uma compara¸cão entre RFCM e outros algoritmos de agrupamento foi realizada considerando cinco conjuntos de dados de séries temporais de microarray de levedura. Os resultados obtidos foram validados com os ´ındices Davies-Bouldin e Silhouette. Com base nos resultados quantitativos desses ´ındices, estimou-se que o algoritmo RFCM produz melhor resultado de agrupamento do que os algoritmos convencionais.

Salgado, Ferreira e Vieira (2017) demonstram em seu trabalho as vantagens do al-goritmo Mixed Fuzzy Clustering (MFC) ao avaliar séries temporais de dados médicos que descrevem a evolu¸cão de uma variável fisiológica. O calculo da distância entre as séries foi realizado usando Dynamic Time Warping (DTW). A performance dos algorit-mos comparados foi avaliada usando medidas de valida¸cão de agrupamento, mostrando que o algoritmo proposto supera o Fuzzy C-Means. A valida¸cão foi realizada com os ´ındices interno de valida¸cão Xie-Beni (XB) e Dunn, os quais são comumente utilizados no agrupamento fuzzy, e com os ´ındices de valida¸cão externa Rand e precisão. Em geral, o algoritmo MFC identifica grupos mais compactos do que o FCM, conforme expresso pelo ´ındice XB, em cada conjunto de dados testado. Nesse trabalho, os autores observam que tipos diferentes de ´ındices são usados para resolver diferentes tipos de problemas e a sele¸cão do melhor ´ındice depende do tipo de dados, da técnica de agrupamento e, em ´

ultima an´alise, do objetivo do estudo.

Das e Padhy (2017) combinam os algoritmos Unsupervised Extreme Learning Machine (US-ELM ) e Support Vector Machine (SVR), propondo um modelo h´ıbrido chamado USELM-SVR. O algoritmo é comparado com os algoritmos SOM e k-means utilizando dados de séries temporais da área financeira. Os dados de entrada são normalizados e inseridos nos métodos de ´ındice interno de valida¸cão para cálculo do número ótimo de clusters. Assim, o algoritmo USELM-SVR executa os dados de entrada com base no número ideal de clusters. Os ´ındices considerados nos experimentos foram: Silhou-ette, em que é prefer´ıvel valor de ´ındice alto; Davies-Bouldin, prefer´ıvel valor de ´ındice baixo; Calinski-Harabasz, prefer´ıvel valor de ´ındice alto; Krzanowski-Lai, prefer´ıvel valor de ´ındice alto; weighted inter-intra, prefer´ıvel valor de ´ındice alto e homogeneity, prefer´ıvel valor de ´ındice alto. Os valores dos ´ındices foram calculados para número de grupos vari-ando de 2 a 6. Os resultados mostram que os melhores valores para os ´ındices Silhouette, Davies-Bouldin, weighted inter-intra e homogeneity foram obtidos usando 5 grupos. Os ´ındices Calinski-Harabasz e Krzanowski-Lai sugerem 2 grupos. Por fim, foi utilizado 5

grupos, sugerido pela maioria dos ´ındices.

Homenda e Jastrzebska (2017) apresentam uma abordagem para modelagem de s´eries temporais, sint´eticas e reais, com Fuzzy Cognitive Maps. A pesquisa teve como ob-jetivo introduzir meios algor´ıtmicos para avaliar o Fuzzy Cognitive Map antes da fase