VIS ˜ AO GERAL - 4 ESTAT´ISTICA GAP TEMPORAL

4 ESTAT´ISTICA GAP TEMPORAL

4.1 VIS ˜ AO GERAL

Conforme discutido no decorrer deste documento, não foi encontrado na literatura um ´ındice de valida¸cão interno espec´ıfico para dados com dependência temporal. Visando solucionar esse problema, este mestrado propõe uma adapta¸cão da estat´ıstica Gap para séries temporais, denominado estat´ıstica Gap Temporal. Para alcan¸car esse objetivo, essa se¸cão apresenta a metodologia adotada para realiza¸cão desta disserta¸cão de mestrado. 4.2 METODOLOGIA

A falta de mecanismos para validar resultados de agrupamento em conjuntos de dados temporais motivou o desenvolvimento de uma nova abordagem, denominada estat´ıstica Gap Temporal. Vale ressaltar que, como prova de conceito, esta abordagem é baseada na suposi¸cão de que a natureza da regra geradora que define o comportamento das séries temporais possui influência determin´ıstica. Se as observa¸cões das séries temporais são produzidas considerando apenas influências estocásticas, os métodos tradicionais dedicados a análises no dom´ınio temporal podem ser usados para distinguir suas diferentes distribui¸cões de probabilidade. No entanto, no caso de presen¸ca de influências determin´ısticas, mesmo apresentando ru´ıdos aditivos ou multiplicativos, a adapta¸cão do método de estat´ıstica Gap com Sistemas Dinâmicos permite melhor modelar o comportamento não-linear e caótico da série.

A nova abordagem apresentada nessa disserta¸cão foi obtida após três modifica¸cões da estat´ıstica Gap original. A primeira foi a substitui¸cão da medida usada para calcular a distância entre pares de séries temporais, exigida não apenas pelos algoritmos de agrupamento, mas também pela dispersão Wk apresentada na Equa¸cão .. Conforme

discutido por vários autores, as medidas baseadas na métrica de Minkowski tendem a produzir resultados insatisfatórios quando padrões semelhantes em séries temporais são deslocados ao longo do tempo. Uma medida alternativa é o Dynamic Time Warping (DTW), que foi detalhado na Se¸cão 2.3.

26 ESTAT´ISTICA GAP TEMPORAL

Um aspecto importante relacionado ao DWT é a falta de suporte à desigualdade triangular, conforme esperado pelas métricas de distância (DING et al., 2008), e.g., DT W (xj, xn) + DT W (xn, xk) ≥ DT W (xj, xk), tal que xj, xn e xk são diferentes séries

temporais. Isso é especialmente importante como requisito básico para algoritmos de agrupamento. Com base em experimentos realizados nesta pesquisa, cujas conclusões também foram confirmadas por Niennattrakul e Ratanamahatana (2007), foi poss´ıvel observar que essa desvantagem afeta diretamente a execu¸cão do algoritmo K-means (LLOYD, 1982), originalmente adotado pela estat´ıstica Gap. Uma vez que esse algoritmo se baseia na minimiza¸cão da varia¸cão intra-cluster, esse problema de desigualdade triangular levou à produ¸cão de grupos vazios, sem respeitar a primeira propriedade de agrupamento (Ci 6= ∅, ∀i = {1, . . . k})1.

Para entender melhor esse problema, é preciso descrever brevemente o algoritmo K- means. Esse algoritmo come¸ca selecionando k instâncias aleatórias no conjunto de dados, chamadas centroides, que podem ser instâncias reais (existentes na base de dados) ou novas, criadas aleatoriamente no espa¸co de caracter´ısticas do conjunto de dados. O valor de k refere-se ao número esperado de grupos. Em seguida, medidas de distância são usadas para agrupar instâncias próximas aos centroides. A seguir, todos os centroides são atualizados por meio do cálculo da média entre todas as instâncias do mesmo grupo. Portanto, o novo centroides pode representar uma instância completamente nova. Uma vez que nossos dados possuem dependências temporais e DTW não garante a desigualdade triangular, após a etapa de atualiza¸cão, as instâncias em um determinado grupo podem estar mais próximas de outros centroides do que do centroide atualizado do seu grupo. Como consequência, grupos vazios podem ser produzidos.

Para resolver esse problema, uma segunda modifica¸cão na estat´ıstica Gap foi realizada alterando o algoritmo K-means por K-medoid (também conhecidos como Partition Around Medoids – PAM) (KAUFMAN; ROUSSEEUW, 1990). Esse algoritmo de agrupamento é uma varia¸cão do K-means que substitui o conceito de centroide por medóide. Ao contrário do centroide, o medóide é sempre uma instância real escolhida para representar um ponto central em um grupo. Nesse caso, haverá pelo menos uma instância real por grupo, que pode ser o próprio medóide.

O próximo desafio foi a gera¸cão de valores aleatórios usando uma dada distribui¸cão de probabilidade. De acordo com os autores da estat´ıstica Gap, quando os dados são iid, uma distribui¸cão uniforme pode ser usada para gerar dados aleatórios e calcular a dispersão. No conjunto de dados temporais, porém, as séries podem ser criadas a partir de comportamentos desconhecidos e diferentes. Portanto, foi realizada a terceira modifica¸cão para criar séries temporais aleatórias, garantindo que os novos valores aleatórios respeitem o espa¸co de caracter´ısticas que realmente compreende o comportamento esperado do conjunto de dados. Em resumo, analisado o conjunto de dados no dom´ınio temporal, os valores aleatórios são criados sem considerar o espa¸co de caracter´ıstica da série temporal real, gerando apenas as observa¸cões aleatórias entre seus valores m´ınimo e máximo.

A solu¸cão apresentada neste mestrado é baseada nas ferramentas do Sistemas Dinâmicos (AL- LIGOOD; SAUER; YORKE, 1997), que transformam séries temporais do dom´ınio tem-

4.2 METODOLOGIA 27

poral para o espa¸co fase, cujo conceito foi introduzido na Se¸c˜ao 2.4.1.

Considerando as ferramentas de Sistemas Dinˆamicos, pode-se reconstruir uma s´erie temporal {x0, x1, ..., xn−1} no espa¸co fase xn(m, τ ) = {xn, xn+τ, ..., xn+(m−1)τ}, sendo m

dimensão embutida e τ representa a dimensão de separa¸cão.

Para realiza¸cão da estima¸cão da dimensão embutida, optou-se por utilizar o método FNN (Se¸cão 2.4.1). Em rela¸cão à dimensão de separa¸cão, existem vários métodos na literatura quem permitem estimá-la. Neste trabalho, foram considerados os resultados apresentados por Fraser e Swinney (1986), que utilizaram o método Average Mutual Information (AMI). Em resumo, esse método analisa séries temporais usando diferentes valores de atraso. Posteriormente, uma curva é produzida com os resultados dos diferentes atrasos e o primeiro valor m´ınimo é adotado como a dimensão de separa¸cão (ALLIGOOD; SAUER; YORKE, 1996; RIOS, 2013).

Após reconstruir uma série temporal em seu espa¸co fase, os relacionamentos temporais são removidos e todas as dimensões podem ser usadas para gerar valores aleatórios seguindo alguma distribui¸cão de probabilidade. Finalmente, após gerar observa¸cões aleatoriamente em diferentes dimensões, as mesmas são reconstru´ıdas novamente para o dom´ınio do tempo. Esse processo é repetido para produzir todas as séries temporais aleatórias necessárias para gerar conjuntos de dados de referência. As etapas restantes seguem o método original da estat´ıstica Gap.

A fim de entender melhor o fluxo de execu¸cão do novo ´ındice de valida¸cão interno desenvolvido neste mestrado, a Figura 4.1 ilustra todos os processos necessários para o desenvolvimento da estat´ıstica Gap utilizando os métodos de Sistemas Dinâmicos. Ini- cialmente, conjuntos de séries temporais são organizados em uma matriz atributo-valor (cada série temporal é organizada como uma linha da tabela). Em seguida, através da Etapa (a), é realizado o agrupamento do conjunto de séries temporais utilizando o algoritmo K-medoid. Em seguida, calcula-se a dispersão na Etapa (b) utilizando DTW, conforme a Equa¸cão.. O agrupamento e cálculo da dispersão são realizados k vezes e armazenados na variável Wk, onde k representa o número de grupos. Na sequência, con-

siderando o conjunto de séries temporais da base de dados, é realizada a transforma¸cão das séries para o espa¸co fase com a dimensão máxima estabelecida, como mostra a Etapa (c). Sendo assim, admitindo que o conjunto de séries temporais geradas no espa¸co fase estão igualmente representadas em uma mesma dimensão, é realizada a cria¸cão de observa¸cões aleatórias, usando uma distribui¸cão uniforme, por exemplo, e sua reconstru¸cão para o dom´ınio temporal. Em seguida, um novo agrupamento é realizado na Etapa (e), do mesmo modo que é feito em (a), entretanto, utilizando um conjunto de séries temporais com obsera¸cões distribu´ıdas uniformemente. Após o agrupamento, é efetuado o cálculo da dispersão na Etapa (f). O agrupamento em (e) e a fun¸cão de dispersão em (f) são executados b vezes para cada k grupos, e os valores médios resultantes são armazenados na variável Wkb. Por fim, tendo em vista as fun¸cões de dispersão Wk e Wkb, pode-se

obter o valor de Gap para cada k grupos conforme consta na Equa¸cão ., onde compa- rado à Equa¸cão . não há a utiliza¸cão da fun¸cão logar´ıtmica. O cálculo das dispersões para dados temporais, considerando a distância DTW normalizada, resultam em valores pequenos entre 0 e 1. Consequentemente, tais valores aplicados às fun¸cões logar´ıtmicas retornam valores negativos, o que torna-se inconsistente com a equa¸cão da estat´ıstica

28 ESTAT´ISTICA GAP TEMPORAL

Gap original. Sendo assim, a fun¸cão logar´ıtmica deixa de ser utilizada nos valores das dispersões, tendo em vista que sua remo¸cão não afeta a caracter´ıstica da equa¸cão original.

GAP (k) = 1 B X b W_kb∗ − Wk (.) AGRUPAMENTO DISPERSÃO Wk SÉRIE NO ESPAÇO FASE RECONSTRUÇÃO DA ŚERIE AGRUPAMENTO DISPERSÃO_Wkb (a) (b) (c) (d) (e) (f)

Figura 4.1 Fluxo da estat´ıstica Gap Temporal utilizando Sistemas Dinˆamicos

A tarefa mais desafiadora da nova abordagem é a Etapa (c), que transforma todas as séries temporais em seu espa¸co de fase para serem usadas posteriormente para produzir observa¸cões aleatórias. Como mencionado anteriormente, essa transforma¸cão utiliza os métodos FNN e AMI, que permitem estimar dimensões diferentes para cada série temporal. A dimensão do atraso está intrinsecamente relacionada às séries temporais e valores diferentes não afetarão nossa análise.

Em rela¸cão aos diferentes valores para a dimensão embutida, nossa abordagem foi projetada com base nas pesquisas de Whitney e Takens (WHITNEY, 1936b; TAKENS, 1981), que afirmam a escolha da dimensão embutida mais alta não afeta a modelagem de séries temporais. Por exemplo, se a dimensão embutida esperada for igual a m, qualquer valor maior produzirá a mesma análise, exigindo apenas mais tempo computacional. Com o objetivo de ilustrar esta etapa, a Figura 4.2 mostra duas séries temporais, TS-1 e TS-2 (tabela superior), com 10 observa¸cões. Seja m = 2 e τ = 1 a dimensão embutida e de atraso estimadas para o TS-1. Da mesma forma, a dimensão embutida e de atraso estimadas para TS-2 foram m = 3 e τ = 2, respectivamente. A nova abordagem combina todas as séries temporais em uma única tabela de dados usando a dimensão máxima embutida entre elas (m = 3), mas respeitando todas as dimensões de atraso, conforme

4.2 METODOLOGIA 29

mostrado na tabela inferior nessa figura. Embora o TS-1 tenha sido desdobrado com m = 3, sua dimensão de separa¸cão original (τ = 1) foi mantida. Portanto, usando essa tabela inferior, a abordagem cria uma nova tabela de dados gerando valores aleatórios dentro dos valores m´ınimo e máximo em todas as dimensões (D1, D2 e D3 em nosso exemplo). A nova tabela de dados é, então, convertida no dom´ınio do tempo (usando uma versão inversa do processo de desdobramento) produzindo novas séries temporais aleatórias que respeitam mais precisamente o comportamento original da série temporal.

Figura 4.2 Desdobramento de um conjunto de s´eries temporais na mesma dimens˜ao embutida.

O processo completo de gera¸cão de uma série aleatória proposto pela nova abordagem é apresentado na Figura 4.3. Neste exemplo, foi selecionada uma série temporal produzida pelo sistema de Lorenz, cuja representa¸cão no dom´ınio do tempo é mostrada na Figura 4.3 (a). Então, com base em suas dimensões embutidas estimadas e de separa¸cão, essas séries são desdobradas no espa¸co fase, como mostrado na Figura 4.3 (b). Como se pode notar, neste exemplo, foi usada a dimensão embutida igual a m = 3. Considerando o espa¸co formado pelas 3 dimensões, a abordagem gera valores aleatórios, como mostra a Figura 4.3 (c). Finalmente, esses valores aleatórios são transformados no dom´ınio do tempo, produzindo uma nova série - Figura 4.3 (d). Este processo é repetido dentro da etapa de Monte Carlo para gerar várias séries temporais aleatórias.

Com base no que já foi explicado, o Algoritmo 1 demonstra o fluxo completo da estat´ıstica Gap Temporal. Sendo assim, o algoritmo recebe o conjunto de séries temporais caóticas e retorna um número espec´ıfico de grupos. Por exemplo, caso seja utilizados as séries de Lorenz e Rossler2_{, espera-se que o novo ´ındice interno estime o n´}_{umero de grupos}

igual a dois. Para estimar corretamente o número de grupos, faz-se necessário criar uma matriz de distância dos dados de entrada. Logo após, para cada k grupos, é realizado o

30 ESTAT´ISTICA GAP TEMPORAL

agrupamento utilizando K-medoid e a partir deste agrupamento é calculado o valor de dispersão Wk. Os valores de dispersão para cada k grupos são armazenados. Após essa

etapa utilizando os dados reais de entrada, estima-se um número B de simula¸cões que representa o método de Monte Carlo. A cada B simula¸cões é coletado o número máximo de dimensão e separa¸cão das séries caóticas utilizadas. Em seguida, essas séries são desdobradas no espa¸co fase, na dimensão máxima estimada, onde é realizado o processo de gera¸cão de valores aleatórios. Com a reconstru¸cão das séries originais e as produzidas aleatoriamente, é criada a nova matriz distância. Com essa matriz, repete-se o processo de cálculo de dispersão para k grupos e, em seguida, retorna-se à etapa de Monte Carlo para uma nova simula¸cão. Desta forma, esta etapa do processo consiste em gerar os valores de dispersão WKB dos k grupos para B simula¸cões. Ao final, é realizada a média

desses valores que s˜ao subtra´ıdos dos valores WK, gerando valores de Gap. Por fim, o

melhor n´umero de grupos ´e referente ao valor de Gap maximizado. Algorithm 1: Temporal Gap Statistic

Data: S´eries Temporais = Lorenz, Rossler, Logistic, Henon Result: N´umero de Grupos

1 numeroGrupos = número máximo de grupos 2 distMatriz = distância(Séries Temporais) 3 forall K in numeroGrupos do

4 Kmedoide_K = agrupamento(K, distM atriz) 5 WK = dispersao(KmedoideK)

6 end

7 MonteCarlo = n´umero de simula¸c˜oes Monte Carlo 8 forall B in MonteCarlo do

9 maxDimensao = S´erie Temporal

10 tsEspacoFase = espacoFase(S´erie Temporal, maxDimensao) 11 tsUniforme = reconstrucao(tsEspacoFase)

12 distMatrizUniforme = distˆancia(tsUniforme) 13 forall K in numeroGrupos do

14 Kmedoide_K = agrupamento(K, distM atrizU nif orme) 15 WKB = dispersao(KmedoideK)

16 end 17 end

18 GAP = WKB− WK

4.2 METODOLOGIA 31

No documento MINISTÉRIO DA EDUCAÇÃO UNIVERSIDADE FEDERAL DA BAHIA INSTITUTO DE MATEMÁTICA E ESTATÍSTICA PGCOMP - Programa de Pós-Graduação em Ciência da Computação (páginas 52-58)