Módulo de Regressão e Séries S Temporais

(1)

monica@mbarros.com

monica@mbarros.com 1

Mó M ó dulo de Regressão e Sé dulo de Regressão e S é ries ries Temporais

Temporais

Parte Parte 33

Mônica Barros,

Mônica Barros, D.Sc.D.Sc.

Julho de 2007 Julho de 2007

Mônica Barros

Doutora em Séries Temporais – PUC-Rio

Mestre em Estatística – University of Texas at Austin, EUA

Bacharel em Matemática – University of Washington, Seattle, EUA

Professora da PUC-Rio (Depto. De Eng.

Elétrica)

E-mails: monica@ele.puc-rio.br, monica@mbarros.com

Home page: http://www.mbarros.com

Programa do Curso Programa do Curso

Modelagem ARIMA de Box & Jenkins sazonal e não sazonal

Função de autocorrelação e autocorrelação parcial

Modelo

Identificação de (p, q, d, P, Q, D)

Estimação

Estatísticas de ajuste e análise dos resíduos

Exercícios

MODELO

BOX & JENKINS UNIVARIADO

(Não Sazonal e Sazonal)

(2)

PROCESSO ESTOC

PROCESSO ESTOCÁÁSTICOSTICO

Toda variável aleatória que evolui no tempo, i.e., guarda uma estrutura de dependência no tempo é um processo estocástico.

SÉRIE TEMPORAL

É uma realização particular de um processo estocástico.

Exemplo: Inflação, Retornos Financeiros, Demanda, etc...

( )t

Z =E Z

μ

MÉDIA de um processo (série)

Teórico

Estimador

VARIÂNCIA de um processo (série) Teórico

Estimador T

Z m

T

t t Z

∑=

= ¹

( )

1

2 2

−

=∑

=

T m Z S

T

t

Z t Z

( )

{ ²}

2

Z t

Z =E Z −μ

σ

BOX & JENKINS BOX & JENKINS

AUTOCOVARIÂNCIA de um processo (série) Teórico

Estimador

Onde k = 1 , 2 . . . é o “lag” ou defasagem

( )( )

{ _t _Z _t _k _Z }

k E Z μ Z μ

γ = − ₊ −

( )( _t _k _Z)

k T

t

Z t

k Z m Z m

c T − −

= − ⁻ ₊

∑=

1 1

1

AUTOCORRELAÇÃO de um processo (série) É a medida padronizada da dependência linear de lag k, (é a autocovariância padronizada)

Teórico

Lembrar que:

( )

( )t ( t k)

k t t k

k

Z VAR Z

VAR

Z Z COV

+

= +

= ,

γ0

ρ γ

( )= ( )= =constante

= ²

0 COV Z_t,Z_t VAR Z_t σ_Z

γ

(3)

Então: para todos os lags 1, 2, 3,...

Estimador r_k(autocorrelação estimada de lag k)

O gráfico de r(k) versus k é chamado correlograma

correlograma do processo (ou da série Z_t) . 1

1≤ ≤+

− ρ_k

( )( )

( )

∑

=

−

= +

−

=

= _T

t

Z t k

T

t

Z k t Z t k

k

m Z

m Z m Z c

r c

1

2 1

0

PROCESSO ESTACIONÁRIO (de 2ª ordem)

Um processo estocástico é dito estácionário de 2ª ordem se:

(i) para qualquer t

(ii) (constante) para qualquer t (iii) Cov [Z_t, Z_t+k] = função apenas do lag k para

qualquer instante t

i.e , o processo tem média e variância constantes e a autocovariância só depende do lag k

[ ]

E Z_t = μ _z

[ ]

E Z_t −μ_z ² =σ²_z

Exemplos

Z_t

Não Estacionário na Variância t

Estacionário Não Estacionário na Média

Não Estacionário na Média E na Variância

PROCESSO RUÍDO BRANCO

Um processo estocástico é chamado de ruruíído brancodo branco e denotado por a_tse, além de estacionário de 2ª ordem, ele não apresenta qualquer dependência serial, ou seja,

Ou seja, um ruído branco é uma seqüência de observações com média e variância constantes e autocorrelações nulas em todos os lags.

ρ_k para k para k

= =

>

⎧⎨

⎩

1 0

0 0

, ,

(4)

Objetivo de AnObjetivo de Anáálise de Slise de Séérie Temporalrie Temporal

Dada uma série temporal Z_tque não é “branca”, isto é, que exibe uma estrutura de dependência serial,achar o melhor modelomatemático que descreva esta dependência serial e a transforme num ruído branco.

Se uma série já é ruído branco, então não existe modelo univariado para ela!

O operador B, conhecido como Operador de Atraso ou “Backward Shift Operator“ é bastante usado por na descrição dos modelos e é definido como:

B^kZ_t = Z_t-k

Exemplos

1)

2)

Z_t =α₁Z_t₋₂ +α₂Z_t₋₄+β₁a_t₋₁+β₂a_t

at Zt B3 3 Zt

B2 2 BZ t

Z_t = α1 + α + α +

at Zt 3) 3B B2 B 2 ( 1

Zt = α +α +α +

Z_t =α₁B Z² _t+α₂B Z⁴ _t+β₁Ba_t+β₂a_t Z_t =(α₁B²+α₂B⁴)Z_t+(β₁B+β₂)a_t

Z_t = α₁Z_t₋₁ + α₂Z_t₋₂ + α₃Z_t₋₃ + a_t

FunFunçção de autocorrelaão de autocorrelaçção parcial de lag ão parcial de lag kk

É uma medida de dependência linear ou correlação linear entre Z_t e Z_t+k

eliminando a dependência dos termos intermediários Z_t+1 , Z_t+2 . . . Z_t+k-1 i.e.:

(

^, ₊ ^| ₊₁^, ^, ₊ ₋₁

)

= _t _t _k _t _t _k

kk CorrZ Z Z KZ

φ

MODELO ARIMA de Box e Jenkins

Seja Z_t uma série estacionária de 2ª

ordem . A modelagem BJ propõe modelos lineares para Z_t, conhecidos como

ARIMA(p, d, q).

(5)

Casos Particulares do ARIMA(p, d, q)

AR(p) = modelo autoregressivo de ordem p

MA(q) = modelo médias móveis de ordem q

( )

AR(1) : Z =_t φ₁Z_{t -1}+a_t, 1−φ₁B Z_t =a_t

( )

AR(2) : Z =_t φ₁Z_{t -1}+φ₂Z_{t -2}+a_t, 1−φ₁B−φ₂B² Z_t =a_t

( )

AR(p) : Z =_t φ₁Z_{t -1}+φ₂Z_{t -2}+ +K φpZ_{t -p}+ t 1−φ₁ −φ₂ ²− −K φp Z_t=

p

a , B B B at

MODELOS AR(p)

Modelo Autoregressivo de ordem p

Problema

Se a ordem “p” do modelo cresce, teremos muitos parâmetros φ_i; i = 1, . . . , p para estimar, o que requer séries de tamanhos elevados, nem sempre disponíveis .

Solução encontrada

Reduzir a ordem “p” da parte AR através da inclusão no modelo de defasagens no ruído branco (além das defasagens da própria série temporal). Isso eqüivale a adicionar uma

estrutura MA ao modelo (média móvel = “Moving Average”)

Modelos MA(q) = Médias Móveis de ordem q

( )

MA(q) : Z = a_t _t−θ₁a_{t -1}−θ₂a_{t -2}− −K θqa_{t -q} Z_t= 1−θ₁ −θ₂ ²− −K θq q

B B B at

,

( )

MA(1) : Z = a_t _t −θ₁a_t-1, Z_t = 1−θ₁B a_t

( )

MA(2) : Z = a_t _t −θ₁a_{t -1}−θ₂a_{t -2}, Z_t = 1−θ₁B−θ₂B² a_t

(6)

Exemplo (modelo MA(1))

Exemplo (modelo AR com infinitos lags)

( )

t t

a Z

Z Z

a Z B

B

= + +

+

= +

+ +

−

− ...

, 1

2 2 1 1

2 2 1

θ θ

θ

θ _K

( )

t

t Z

a B

at t B

t Z t a t a Z

⎟⎟⎠

⎜⎜ ⎞

⎝

⎛

= −

⇒

−

− =

−

=

1 1

1

1 1 1,

1 θ

θ θ istoé:

Como no caso do AR (p) , para ordens MA altas é melhor trabalhar com o AR invertido que terá, certamente, menos parâmetros a serem estimados.

Princípio da Parcimônia!

AR( )∞ ≡ MA q( ) MA( )∞ ≡ AR p( )

( ) ( ) t

t a B B a

a ₁ ₁ ₁

1 θ 1 φ 1 θ

φ _t_-₁= − _t_-₁ − _t= −

t- Z Z

Z : ARMA(1,1)

Modelos ARMA (p, q)

(

¹⁻^φ¹^B⁻^φ²^B²^{− −}^K ^φ^p^B^p

)

^Z^t ^{= −}

(

¹ ^θ¹^B⁻^θ²^B²^{− −}^K ^θ^q^B^q

)

^a^t

(

¹⁻^φ¹^B⁻^φ²^B²

)

^Z^t ^{= −}

(

¹ ^θ¹^B⁻^θ²^{B a}²

)

^t

ARMA(2,2) : Z -_t φ₁Z_{t -1}-φ₂Z_{t -2} = a_t −θ₁a_{t -1}−θ₂a_{t -2}

ARMA(p, q) : Z -_t φ₁Z_t-1-K−-φ_pZ_t-p =a_t −θ₁a_t-1− −K -θ_qa_t-q

Fundamento teórico dos modelos BJ

Passagem de um ruído branco por um filtro linear de memória infinita gera um

processo estacionário de 2a ordem. (Teoria geral de sistemas lineares)

ψ ( ) B

Z =_t a_t −ψ₁a_t₋₁−ψ₂a_t₋₂ −ψ₃a_t₋₃−K

( )

Z =_t 1−ψ₁B−ψ₂B²−ψ₃B³−Ka_t

( )

Z =_t ψ B a_t

a_t Z_t

(7)

Fundamento Teórico

Como contém infinitos parâmetros, então BJ sugerem escrevê-lo como a razão de dois polinômios:

ou seja

Logo, a modelagem BJ consiste em achar a estrutura ARMA (i.e., as defasagens p e q) mais adequada para a série Z_t.

( )

ψ θ

B φ B

= ( )B ( ) ( )

ψB

( )( ) t ( ) t ( ) t

t a BZ B a

B

Z B φ θ

φ

θ _⇒ ₌

=

Processos Não-Estacionários Homogêneos

Y_té não Estacionário na Média

Seja Z_t= Y_t- Y_t-1 Z_t= Y_t- BY_t Z_t= (1-B)Y_t

Z_t= ∇Y_t(série estacionária)

X_té não Estacionário na Média Y_t= ∇X_t=X_t- X_t-1

Y_t: Não Estacionário na Média Z_t= ∇Y_t= ∇ ∇X_t

Z_t= ∇²X_t(série estacionária)

Generalização

Um processo estocástico é não

estacionário homogêneo se ele se torna estacionário após a aplicação de “d”

diferenças

Se Y_t é não estacionário homogêneo então:

t d

t Y

Z =∇ é estacionário!

Modelo ARIMA (p,d,q)

φ( )B ∇^dZ_t = θ( )B a_t

φ( )B = −1 φ₁B−φ₂B²− −K φ_pB^p θ( )B = −1 θ₁B−θ₂B²− −K θ_qB^q

∇ = −^d (1 B)^d

(8)

Exemplos

i) ARIMA (1,1,1)

ii) ARIMA (0,2,2)

Z_t- (φ₁+1)Z_t₋₁ +φ₁Z_t₋₂= a_t−θ₁a_t₋₁

[^{1- (}^φ¹⁺¹⁾^B ⁺^φ¹^B²] ^Z^t⁼ ^{(1 -}^θ¹^{B a}⁾ ^t

(1 -φ₁B) (1 -B Z) _t = (1 -θ₁B a) _t

Zt =(φ1 +1)Zt-1 -φ1Zt-2 + at -θ1at-1

( )

( ) ( )

2 2 1 1 2

1

2 2 1 1 2

1

2 2 1 2

2 2

1 2

1 1

−

− +

−

=

−

= +

−

= +

−

=

∇

t t t t t t

t t

a a a Z Z Z

a B B Z

B B

a B B Z

θ θ

θ θ θ θ

II) MODELO BJ

Fluxograma Operacional

==> ∇d ==> θ(B) , φ(B) ==> a_t Z_t

Y_t

Série estacionária após d diferenças

Série original (não estacionária)

Fluxo Operacional BJ

Operador diferença

Ordem AR(p) e MA(q)

Estimação

Ruído é branco

Previsão Não

Identificação

Estimação

Testes

Sim

Y_t

~

Z_t

~

$ $

φ θ

ie j

a_t

~

APLICAÇÃO DO MÉTODO

Identificação

Valores de p,d,q para Y_t.

i) d através dos gráficos de ∇^dY_t.

ii) p e q através das ACF e PACF

(correlograma e correlograma parcial de ∇^dY_t).

(9)

No gráfico a seguir está uma série não estacionária, para a qual são necessárias duas diferenças até encontrar uma série estacionária.

500 1000 1500 2000 2500 3000

0 5 10 15 20 25

Gráfico da Série original

A autocorrelação (ACF) da série original decresce MUITO lentamente, como mostrado a seguir.

O gráfico da 1a. diferença da série é:

0 5 10 15

0 5 10 15 20 25

A ACF da série diferenciada é:

(10)

A série duplamente diferenciada é:

-2 -1 0 1 2 3

0 5 10 15 20 25

E sua função de Autocorrelação:

Logo, foram necessárias duas diferenças para tornar a série original estacionária.

Estimação

φ_i’s e θ_j’s são estimados minimizando a soma dos quadrados dos resíduos (ou erro de previsão), i.e.

t

φ_i’s e θ_j’s tais que Σ a_t² seja mínima

t=1

Obs: Os erros padrões estimados permitem testar as hipóteses nulas

H_o: φ_i= 0 e H_o:θ_j= 0

Testes de sobrefixaTestes de sobrefixaççãoão – ajuste modelos

“maiores” (mais elaborados) – substitua p por p + 1 e q por q + 1 e verifique se os parâmetros são significantes

Testes nos ResíTestes nos Resíduosduos

Devem ser ruído branco, com média nula e variância pequena

NÃO DEVE EXISTIR AUTOCORRELAÇÃO NOS RESÍDUOS!!!!

(11)

Teste de Ljung e Box (ou Portmanteau)

Estatística de teste é calculada a partir das ACFs estimadas dos resíduos. A estatística de Ljung e Box mede a magnitude da ACF dos resíduos para diversos lags, ou seja, estende a estatística de Durbin-Watson (só lag 1).

Q n n r i

n k

a i

k

= +

= -

Σ

( ) ( )

( )

2

1

Sob a hipótese de um ruído branco, Q é uma variável com densidade Qui-quadrado com M graus de liberdade.

Onde

M = k-(p+q) n = T-d

MODELOS PARA SÉRIES SAZONAIS (SARIMA)

BJ propõem uma estrutura similar ao modelo ARIMA(p,d,q) para as séries sazonais,

considerando o intervalo de "S" (S; período sazonal, e.g. S = 12, S = 4, etc.) ao invés do intervalo unitário dos modelos simples.

Modelo MA(Q) Puramente Sazonal

MA(Q)sazonal ≡MA(QS) simples com parâmetros não-nulos somente nos lags S, 2S,...,QS.

BOX & JENKINS BOX & JENKINS BOX & JENKINS

Correlograma do MA(Q)

Ou seja: não existe qualquer tipo de

dependência dentro de um período sazonal;

só existem dependências entre períodos sazonais.

....

S 2S 3S QS

ρk

k

12 24 ρ

k

K

Exemplo: S = 12; MA(2) Sazonal Exemplo: S = 12; MA(2) Sazonal

Pelo visto anteriormente para o modelo simples, a PACF do Pelo visto anteriormente para o modelo simples, a PACF do MA(Q) sazonal

MA(Q) sazonal éécomposta de exponenciais e/ou sencomposta de exponenciais e/ou senóóides ides amortecidas nos lags S, 2S, 3S,

amortecidas nos lags S, 2S, 3S, ........

w_t= a_t-Θ₁a_t-12 -Θ₂a_t-24

(12)

Modelo AR(P) Puramente Sazonal Modelo AR(P) Puramente Sazonal

DaDaíí::AR(P)AR(P)Sazonal = AR(PS)Sazonal = AR(PS)Simples com parâmetroSimples com parâmetro não

não--nulos somente nos lag's S, 2S, ..., PSnulos somente nos lag's S, 2S, ..., PS

Por analogia (e dualidade) as fun

Por analogia (e dualidade) as funçções ACF e PACF do AR(P) Sazonalões ACF e PACF do AR(P) Sazonalsão:são:

w w

t t s t s p t ps

t

s s

p ps

t

w w w

ou B B B a

= + + +

= + + + +

− − −

Φ Φ Φ

1 2 2

1 2

...

: ( ... )

S 2S PS (P+1)S

ρ k

.... K

....

S 2S PS

φ kk

.... K

Modelo ARMA(P,Q) puramente Sazonal.

w w w w a a a

ou w

t t s t s P t Ps t t s Q t Qs

s s

P ps

t

s s Qs

=Φ ₋ +Φ ₋ + +Φ ₋ + −Θ ₋ − −Θ ₋

Φ Φ Φ Θ Θ Θ

1 2 2 1

2

... ...

: (1- ₁B - ₂B² - B ) = (1- ₁B - ₂B -...- _QB )a_t

TambTambéém conhecido como ARIMA multiplicativom conhecido como ARIMA multiplicativo

Z t

(S)ARIMA (p, d, q) x (P, D, Q)

S

Onde ∇_S^D= (1-B^S)^D

a

t b

t

θ(B)/φ(B)∇d Θ(B s )/Φ(B s).∇s D

⇓ ⇓

φ(B)∇^db_t= θ(B)a_t Φ(B^s).∇s^DZ_t= Θ(B^s)b_t

⇓ ⇓

...

Φ(B^S). (φ B).∇ ∇_s^D ^dZ_t =Θ(B^s). (θ B a). _t

grau PS + p + SD + d grau QS + q

14 4424 4 43 14424 43

BOX & JENKINS

BOX & JENKINS ––Modelos SARIMAModelos SARIMA

Exemplo: Modelo AirlineExemplo: Modelo Airline

ÉÉo modelo sazonal multiplicativo que representa so modelo sazonal multiplicativo que representa sééries sazonais que ries sazonais que exibem uma tendência e sobreposta a esta, uma componente sazonal exibem uma tendência e sobreposta a esta, uma componente sazonal multiplicativa, t

multiplicativa, tíípica de dados de negpica de dados de negóócios e, particular, de vendas de cios e, particular, de vendas de passagens a

passagens aééreas. O modelo reas. O modelo éé::

SARIMA (0, 1, 1) x (0, 1, 1) SARIMA (0, 1, 1) x (0, 1, 1)₁₂₁₂

É

Éfacil mostrar que o correlograma do modelo airline apresenta vafacil mostrar que o correlograma do modelo airline apresenta valores lores não nulos nos lag's 1, 11, 12 e 13, como abaixo:

não nulos nos lag's 1, 11, 12 e 13, como abaixo:

ρk

1 11 12 13 K

(13)

Modelo Airline (SARIMA(0,1,1)x(0,1,1)_S)

Exemplo: Exemplo:

Modelo Airline para dados trimestrais (s = 4)Modelo Airline para dados trimestrais (s = 4)

De uma maneira geral, se o períDe uma maneira geral, se o período sazonal odo sazonal ééS, o modelo torna-S, o modelo torna-se:se:

(

¹⁻^B

) (

¹⁻^B⁴

)

^Z_t ⁼

(

¹⁻^θ^B

) (

¹⁻^Θ^B⁴

)

^a_t

( ) ( ) ( ) ( )

t

S t

S Z B B a

B

B − = − −Θ

− 1 1 1

1 θ

Define-se variável de intervenção, como a série temporal, denotada por X_it, composta de

valores "0“ e "1", onde "0" representa a ausência de um fenômeno.

O modelo BJ com intervençãoé dado por:

onde w_ié o "efeito" da variável de intervenção X_item Z_{t .}

b_ié o lag de defasamento do efeito da variável X_item Z_t.

( )

^B ^∇^d^Z_t ⁼θ

( )

^B ^a_t ⁺^w_t^B^bⁱ^X_it

φ

Tipos de IntervenTipos de Intervenççãoão

1

PulsoSazonal ^{X 3t}(j+ks) ; j=1,...,S ; k=1,2...

X3t(j+ks)

j j+s j+2s j+3s ... t

Exemplo – Série não sazonal

PIB a preços de 2006 (1947 a 2006)

5 10 15 20

X 1E+005

1950 1955 1960 1965 1970 1975 1980 1985 1990 1995 2000 2005

Legend PIB_R$_2006

(14)

A série é claramente não

estacionária, portanto a identificação das ordens p e q irá requerer a

diferenciação prévia da série.

Mas, qual “a cara” da ACF e PACF da série sem diferenciação?

ACF da série sem diferenciação

PACF da série sem diferenciação

ACF da série após a 1ª. Diferença

(15)

PACF da série após a 2ª. Diferença

Pelos gráficos anteriores...

ACF da série diferenciada sugere MA(1) ou MA(2).

PACF da série diferenciada sugere AR(1).

Opções:

ARIMA(1,1,2) ou

ARIMA(1,1,1)

Ajuste de ARIMA(1,1,2)

Forecast Model for PIB_R$_2006 ARIMA(1,1,2)

Term Coefficient Std. Error t-Statistic Significance

--- a[1] 0.6697 0.1639 4.0854 0.9999

b[1] 0.1754 0.1842 0.9524 0.6550 <- b[2] -0.3098 0.1476 -2.0987 0.9596 Within-Sample Statistics

--- Sample size 60 Number of parameters 3

Mean 1.021e+006 Standard deviation 6.939e+005 R-square 0.9969 Adjusted R-square 0.9968 Durbin-Watson 2.052 Ljung-Box(18)=26.9 P=0.919 Forecast error 3.922e+004 BIC 4.235e+004

MAPE 0.02674 RMSE 3.823e+004 MAD 2.519e+004

Ajuste de ARIMA(1,1,1)

Forecast Model for PIB_R$_2006 ARIMA(1,1,1)

Term Coefficient Std. Error t-Statistic Significance

--- a[1] 0.9996 0.0278 35.9010 1.0000

b[1] 0.7978 0.0965 8.2696 1.0000 Within-Sample Statistics

--- Sample size 60 Number of parameters 2

Mean 1.021e+006 Standard deviation 6.939e+005 R-square 0.997 Adjusted R-square 0.9969

Durbin-Watson 1.71 * Ljung-Box(18)=34.11 P=0.9878 Forecast error 3.852e+004 BIC 4.054e+004

MAPE 0.02642 RMSE 3.787e+004 MAD 2.607e+004

Todos os coefs.

significantes, mas alguns dos erros

“in sample”

ligeiramente maiores que no modelo anterior

Expert selection do FPW sugere este modelo