Publicações do PESC Análise Recursiva de Modelos Lineares de Regressão e Séries Temporais: O Método Bayesiano de Previsão

ANALISE RECURSIVA DE MODELOS L I N E A R E S DE REGRESSÃO

E SÉRIES TEMPORAIS: O METODO BAYESIANO DE PREVISÃO

L u i z E d u a r d o P a z i t o Mendes

T E S E SUBMETIDA AO CORPO DOCENTE DA COORDENAÇÃO DOS PROGRAMAS

DE POS-GRADUAÇÃO EM ENGENHARIA DA UNIVERSIDADE FEDERAL DO

R I O DE J A N E I R O COMO PARTE DOS R E Q U I S I T O S N E C E S S h R I O S PARA A OBTENÇÃO DO GRAU DE MESTRE EM

CIENCIAS

( M . Sc. )

A p r o v a d a por:

-

P r e s i d e n t e J

BASÍLIO

-

DE BRAGANÇA P E R E I R A

J O ~ ~ ~ / L U I Z MAURITY SABOIA

SANCHO EDUARDO. B

.

BERENQUER

R I O DE J A N E I R O , R J - B R A S I L DEZEMBRO DE 1 9 7 8

AGRADECIMENTOS

Ao P r o f e s s o r B a s i l i o de Bragança P e r e i r a , mais que o r i e n t a d o r , um amigo.

Ao P r o f e s s o r Reinaldo de Souza, p e l o i n c e n t i v o , su

_-

g e s t õ e s e colaboração.

Ao colega Roberto P e r e i r a D'Araujo, p e l a s suges- t õ e s e c r í t i c a s .

A ~ y l é a de Figueiredo e Raquel Mellman, p e l a d a t i -

RESUMO O t r a b a l h o t r a t a d a a n á l i s e r e c u r s i v a d e modelos li

-

n e a r e s d e r e g r e s s ã o e s é r i e s t e m p o r a i s . A abordagem r e c u r s i v a g u a r d a i n t i m a r e l a ç ã o com a r e p r e s e n t a ç ã o Markoviana d e p r o c e s s o s . E s t e f a t o p e r m i t e e s t a b e - l e c e r uma a n a l o g i a e n t r e o s c o n c e i t o s d e p a r â m e t r o e d e e s t a d o , j u s t i f i c a n d o a u t i l i z a ç ã o de um a l g o r i t m o d e e s t i m a ç ã o d e v a r i á - v e i s d e e s t a d o s : o f i l t r o d e Kalman. Ê n f a s e p a r t i c u l a r é dada à a p r e s e n t a ç ã o do método Bayesiano d e p r e v i s ã o d e H a r r i s o n e S t e v e n s , c u j a s p r i n c i p a i s c a - r a c t e r i s t i c a s s ã o a r á p i d a a d a p t a b i l i d a d e a mudanças b r u s c a s no comportamento d a série, a a p l i c a b i l i d a d e com número pequeno d e o b s e r v a ç õ e s e a p o s s i b i l i d a d e d e comunicação d i r e t a s i s t e m a - a n a

-

l i s t a em t o d o s o s i n s t a n t e s . E s t e método é a p l i c a d o a uma s é r i e d e demanda mensal de e n e r g i a e l é t r i c a .

ABSTRACT T h i s work d e a l s w i t h t h e r e c u r s i v e a n a l y s i s o £ r e g r e s s i o n and t i m e s e r i e s l i n e a r models. The r e c u r s i v e approach i s c l o s e l y r e l a t e d t o t h e Markovian r e p r e s e n t a t i o n o f p r o c e s s e s . Such f a c t l e a d s t o a n a n a l o g y between t h e c o n c e p t s of p a r a m e t e r and s t a t e , j u s t i f y i n g t h e u s e o f a s t a t e v a r i a b l e e s t i m a t i o n a l g o r i t h m : t h e Kalman F i l t e r . S p e c i a l emphasis i s g i v e n t o t h e p r e s e n t a t i o n o f t h e B a y e s i a n f o r e c a s t i n g method d e v e l o p e d by H a r r i s o n and S t e v e n s which h a s a s main f e a t u r e s t h e q u i c k a d a p t a t i o n t o sudden c h a n g e s i n t h e s e r i e s b e h a v i o r , t h e c a p a b i l i t y o f working o u t even w i t h a s m a l l number o f o b s e r v a t i o n s and t h e p o s s i b i l i t y o f c l o s e cornmunication f o r e c a s t e r - s y s t e m a t any moment. T h i s method i s a p p l i e d t o a monthly e l e c t r i c a l e n e r g y consumption s e r i e s .

CAP~TULO I1

.

REVISÃO DA LITERATURA

CAP?TULO I11 . A N ~ ~ I S E _. RECURSIVA DE MODELOS LINEARES DE REGRES SAO POR MÍNIMOS QUADRADOS

.

...

111.1 Abordagem Clássica 13

...

.

111.2 Abordagem Recursiva: Parhetros Constantes 17

.

...

111.2.1 Algoritmo Deterministico 17

.

...

111.2.2 Algoritmo ~stocástico 20

....

.

111.2.3 caracteristicas do Algoritmo ~stocástico 22

.

...

111.2.3.1 Vantagens 23

.

.

...

111.2.3.2 Interpretaçoes 23

.

111.2.3.3 ~nicialização

...

25

...

.

111.3 Abordagem Recursiva: ~ a r b e t r o s variáveis 26

...

.

111.3.1 Algoritmo de Ponderação Exponencial 26

.

...

111.3.2 Algoritmo Linear ~inâmico 28

111.3.3

.

Casos Particulares do Modelo Linear Dinâmico

.

33

111.3.1.1

.

O Passeio ~leatõrio Multidimensional

..

33 111.3.2.2

.

O Modelo de Gauss-Markov de Primeira Or

_-

...

dem 34

.

...

111.3.2.3 consideração 35

....

.

111.3.4 ~eneralizações do Modelo Linear ~ i n k i c o 35

...

.

111.3.4.1 Modelo ARIMA dos Parâmetros 35 111.3.4.2

-

~ariâncias N ~ O Constantes

...

37 111.3.5 . Um Teste para a ~nvariância dos ~ a r h e t r o s

..

39

IV.l

.

O Conceito de Estado em Sistemas Deterministicos

....

46

...

IV.2

.

O Conceito de Estado

em

Sistemas ~stocásticos 48

.

...

IV.3 O Problema de ~stimação de Estados 49

IV.4

.

Filtro de Kalman Discreto: solução Bayesiana

...

50

IV.4.1

.

Caso Geral: ~ s t i m a ~ ã o ~stocástica de ~Últiplos

...

~stágios 51

...

IV.4.2

-

Caso Particular: o filtro de Kalman 55

CAP~TULO V

-

ANALISE

RECURSIVA DE MODELOS LINEARES DE sÉ- RIES TEMPORAIS

V.l

.

Modelos Espaço de Estados: O ~ é t o d o Bayesiano de Previ _.

...

são a Curto Prazo 63

V.1.2

.

Modelagem do Processo: O Modelo Linear Dinâmico

..

66

...

V.1.3

.

~stimação dos ~ a r k e t r o s : o filtro de Kalman 68

...

V.1.4

.

previsão 71

V.1.5

.

~uperposição

...

75 V.1.6

.

Representação de Modelos Convencionais em Espaço

de Estados

...

76

.

...

V.1.6.1 Regressão Linear 77

.

...

V.1.6.2 Modelo de Crescimento Linear Sazonal 78

.

V.1.6.3 Modelo de unções periódicas

...

80

.

...

V.1.6.4 Modelo ARIMA: o filtro de Kalman Extendido 83

...

.

V.1.7 Modelos de ~Últiplos Processos 87

V.1.7.1

.

Modelo h i c o Representativo do Processo

...

87

...

V.1.7.2

.

Modelo ~Últiplo Representativo do Processo 89

.

...

...

V.2 . Modelos Convencionais: O ~ é t o d o VI-MVA 96

V.2.1 . ~ipóteses do Sistema

...

97

V.2.2 . ~elações entre as variáveis

...

98

V.2.3

.

~ s t i m a ~ ã o dos Parhetros

...

100

V.2.4 . O Algoritmo de variáveis Instrumentais (VI)

...

102

V.2.5 . O Algoritmo de ~ á x i m a Verossimilhança Aproximada

...

(MVA) 104 CAPÍTULO VI

.

APLICAÇÃO DO

METODO

BAYESIANO VI.l . ~ntrodução: Características da Série

...

107

...

VI.2 . Modelo Utilizado 108 VI.3 . Informação de Entrada: Critério de Escolha dos para- metros de Entrada

...

110

VI.3.1 . Especificação da ~istribuição Inicial dos ~ a r â - metros

...

112

VI.3.2 . Especificação dos Modelos de Estado

...

113

VI.4 . Lógica do Programa de ~últiplos Estados

...

116

VI.5

.

1nterven~Ões do Analista

...

118

VI.6 . Desempenho do Modelo

...

119

VI.7

.

Considerações Finais

...

121

O objetivo principal deste trabalho é a apresentação e a aplicação, a uma série de demanda mensal de energia elétrica,

do método Bayesiano de previsão a curto prazo de séries temporais

desenvolvido por Harrison e Stevens. Entretanto, a modelagem

Markoviana por ele utilizada propicia um tipo de estimação essen-

cialmente recursiva que, a cada instante, atualiza a estimativa

dos parâmetros combinando a estimativa anterior com a informação

daquele instante. Em outras palavras, a estimativa anterior carre

-

ga consigo toda a informação acerca do passado suficiente para pre -

ver seu efeito no futuro. Isto estabelece uma analogia marcante

com o conceito de estado, permitindo encará-lo como um método de

estimação das variáveis de estado de um sistema linear dinâmico es

-

tocástico e justificando o uso, para a estimação, de uma relação

de recorrência comum em Teoria de Controles: o filtro de Kalman.

O enfoque do trabalho passa a ser, então, a análise recursiva de

modelos lineares de regressão(por mínimos quadrados) e séries tem-

porais, procurando lhe dar consistência teórica e estabelecer sua

evolução cronológica e apontando, quando se julgar procedente, tó-

picos da Teoria de Controles a ela relacionados. Neste particular

é dada especial atenção do conceito de estado, à derivação do fil -

tro de Kalman e a representação de séries temporais em modelos de

s e n d o o método Bayesiano d e p r e v i s ã o a c u r t o p r a z o d e s é r i e s t e n - p o r a i s , a p e n a s s i t u a d o num c o n t e x t o m a i s amplo. E s t e t i p o de i n t e r e s s e se j u s t i f i c a na medida e m q u e a p r e v i s ã o é um s u b s í d i o r e l e v a n t e à tomada de d e c i s õ e s . Como d e c i s õ e s c r i t e r i o s a s g e r a l m e n t e proporcionam economias c o n s i d e r á _- v e i s , a a n á l i s e d e séries t e m p o r a i s o b j e t i v a n d o métodos e f i c i e n

_-

t e s d e p r e v i s ã o s e r e v e s t e d e g r a n d e i m p o r t â n c i a . A f o r m u l a ç ã o r e c u r s i v a a n t e r i o r m e n t e c i t a d a p e r m i t e uma abordagem B a y e s i a n a a o problema. A c a d a i n s t a n t e , pode-se p r o v e r i n f o r m a ç õ e s , a t r a v é s d e d i s t r i b u i ç õ e s a p r i o r i , d e d u a s ma - n e i r a s d i f e r e n t e s : i n t e r n a m e n t e , e s t a b e l e c e n d o l e i s de v a r i a ç ã o e p r o p r i e d a d e s e s t a t í s t i c a s p a r a o s p a r â m e t r o s e e x t e r n a m e n t e , r e f l e t i n d o a o c o r r ê n c i a d e f a t o s que i n f l u e n c i a m o comportamento f u t u r o d a s é r i e . E e s t e t a l v e z s e j a o p o n t o p r i n c i p a l : a i n c l u - s ã o f o r m a l do a n a l i s t a , com s u a e x p e r i ê n c i a e s e n s i b i l i d a d e , como p a r t e i n t e g r a n t e do sistema de p r e v i s ã o .

A m a i o r i a dos métodos b a s e i a a p r e v i s ã o numa a n á l i s e

r e t r o s p e c t i v a dos d a d o s , não l e v a n d o e m c o n t a o f a t o p r e s e n t e e s u a s conses;ências f u t u r a s . E x i s t e uma t e n d ê n c i a a p r e v i s õ e s de- masiadamente c a l c a d a s no p a s s a d o e e s t e , em d e t e r m i n a d o i n s t a n t e , pode d e i x a r de s e r s i g n i f i c a t i v o . E x e m p l i f i c a n d o , uma s é r i e de v e n d a s de um p r o d u t o pode s o f r e r s e n s í v e l m o d i f i c a ç ã o quando um c o m p e t i d o r e n t r a no mercado, quando se e f e t u a uma propaganda ma- c i ç a ou quando se a l t e r a m o s h á b i t o s do consumidor. O s e f e i t o s p r o v e n i e n t e s , d i f í c e i s de e x p r e s s a r q u a n t i t a t i v a m e n t e , n e c e s s i t a m d e d i s t r i b u i ç õ e s de p r o b a b i l i d a d e p a r a d e s c r e v e r s u a i n c e r t e z a .

Um modelo que o p e r a somente com a s é r i e h i s t ó r i c a , transformando mecanicamente dados de e n t r a d a em informações de s a í d a , não pode p r e v e r acontecimentos d e s t a n a t u r e z a e c o r r e o r i s c o de, a p a r t i r de determinado i n s t a n t e , s e t o r n a r inadequado. Surge, e n t ã o , a

-

n e c e s s i d a d e de métodos mais f l e x í v e i s que permitam i n c o r p o r a r a s é r i e h i s t ó r i c a informações t r a n s m i t i d a s p e l o a n a l i s t a e/ou pos- suam uma e s t r u t u r a a d a p t a t i v a que p o s s i b i l i t e uma percepção r á p i - da de mudanças e x t e r n a s , expressando-as convenientemente em t e r - mos q u a n t i t a t i v o s .

E s t a s i d é i a s , basicamente, motivaram a H a r r i s o n e Stevens o desenvolvimento do método Bayesiano de p r e v i s ã o , c u j a s c a r a c t e r í s t i c a s s e prestam a e s t e t i p o de s i t u a ç õ e s .

Em l i n h a s g e r a i s , a esquematização do t r a b a l h o e a s e g u i n t e : o c a p í t u l o I s i t u a o problema e d e f i n e o s o b j e t i v o s . O

c a p i t u l o I1 f a z uma r e v i s ã o da l i t e r a t u r a r e l a c i o n a d a a o a s s u n t o

procurando e s t a b e l e c e r uma s e q k n c i a c r o n o l ó g i c a . O c a p í t u l o I11

aborda a e s t i m a ç ã o por mínimos quadrados de &elos lineares de r e

_-

gressão, mostrando rapidamente o s r e s u l t a d o s c l á s s i c o s p a r a p o s t e -

r i o r m e n t e s e d e t e r nos a l g o r i t m o s r e c u r s i v o s , nos c a s o s de parâ- metros c o n s t a n t e s e v a r i á v e i s . O c a p i t u l o I V i n t r o d u z o s t ó p i c o s da T e o r i a de C o n t r o l e s que t ê m r e l a ç ã o com a p a r t e e s t a t í s t i c a do t r a b a l h o , basicamente, o c o n c e i t o de e s t a d o de um s i s t e m a e a d e r i v a ç ã o Bayesiana do f i l t r o de Kalman. O c a p í t u l o V s e ocupa da a n á l i s e r e c u r s i v a de s é r i e s t e m p o r a i s , a p r e s e n t a n d o o s fun- damentos t e ó r i c o s e a s c a r a c t e r í s t i c a s do método Bayesiano de p r e

-

v i s ã o a c u r t o prazo

,

a r e p r e s e n t a ç ã o de v á r i o s modelos u s u a i s de

séries temporais em modelos de espaço de estados e um método re-

cursivo de estimação dos parâmetros de um modelo dinâmico de fun

-

ção de transferência baseado em modificações por variáveis instru

-

mentais e máxima verossimilhança aproximada das equações recursi-

vas de mínimos quadrados. O capítulo VI mostra a aplicação do mé -

todo Bayesiano à série de demanda mensal de energia elétrica das Centrais ~létricas do ~spírito Santo S.A. (ESCELSA). O capítulo

VI1 contém conclusões e sugestões para possíveis desenvolvimentos

A p r i m e i r a a p l i c a ç ã o , na a n á l i s e de o b s e r v a ç õ e s , do

p r i n c í p i o de e s t i m a ç ã o por mínimos quadrados do modelo de r e g r e s - s ã o l i n e a r d a t a do i n i c i o do s é c u l o X I X e deve-se a GAUSS em 1801 e LEGENDRE em 1806. A p a r t i r d a i , o método s e desenvolve n a t u r a l m e n t e , e v o l u i n d o de um mero p r o c e s s o mecânico de a j u s t e p a r a um c o n t e x t o e s t o c á s t i c o , no q u a l a s observações e o s e s t i m a d o r e s s ã o conside- r a d o s v a r i á v e i s a l e a t ó r i a s com p r o p r i e d a d e s e c a r a c t e r í s t i c a s co- n h e c i d a s . I s t o proporciona maior c o n s i s t ê n c i a t e ó r i c a , p o s s i b i l i

_-

t a n d o a obtenção de uma s é r i e de r e s u l t a d o s i m p o r t a n t e s . Em 1950, PLACKETT 114) a c r e s c e n t a a l g o r e a l m e n t e no- vo à t e o r i a , a p r e s e n t a n d o modificações no método a p l i c á v e i s a duas s i t u a ç õ e s : ( i )

-

quando a m a t r i z r e l a c i o n a n d o o v a l o r e s p e r a d o d a s observa _- ções com o s parâmetros desconhecidos não for de rank p l e n o . Nela, f o r m a l i z a r e s u l t a d o s o b t i d o s por YATES e HALE em 1939 que, supondo a e x i s t ê n c i a de uma r e l a ç ã o f i x a e n t r e o s parâmetros desconhecidos, determinam, por s u b s t i t u i - ç ã o , s u a m a t r i z de c o v a r i â n c i a ;

( i i )

-

quando s e d e s e j a a t u a l i z a r a s e s t i m a t i v a s dos parâmetros, da sua m a t r i z de c o v a r i â n c i a e da soma dos quadrados dos

r e s í d u o s , devido a presença de novas observações. Nela, desenvolve uma e l e g a n t e formulação m a t r i c i a l recursiva que, em presença das novas observações, a t u a l i z a a s e s t i m a t i v a s com um e s f o r ç o computacional menor que o método c l á s s i c o

(no q u a l é n e c e s s á r i a a i n v e r s ã o de uma m a t r i z ) .

Apesar da p o t e n c i a l i d a d e , da e l e g â n c i a e da s i m p l i f i

-

cação, a a n á l i s e r e c u r s i v a de mínimos quadrados não causa no meio e s t a t í s t i c o a devida r e p e r c u s s ã o . Na r e a l i d a d e é a t r a v é s de KALMAN

1

8

1,

um engenheiro de C o n t r o l e s , que a i d é i a s e p o p u l a r i z a a par - t i r de um t r a b a l h o publicado em 1 9 6 0 . Considerando o s parâmetros como a s v a r i á v e i s de e s t a d o de um s i s t e m a dinâmico d e s c r i t o s _por

um c o n j u n t o de equações l i n e a r e s e s t o c á s t i c a s , a h i p ó t e s e de i n v a

-

r i â n c i a , i m p l í c i t a no t r a b a l h o de P l a c k e t t , pode s e r g e n e r a l i z a d a : e l e s s ã o s u p o s t o s v a r i á v e i s com uma componente d e t e r m i n í s t i c a (ca- r a c t e r i z a n d o o p r o c e s s o e v o l u t i v o normal do s i s t e m a ) e uma compo- n e n t e e s t o c á s t i c a ( r e p r e s e n t a n d o a a l e a t o r i e d a d e i n e r e n t e a todo s i s t e m a f í s i c o ) Para d e r i v a r e s t a formulação g e r a l , Kalman u t i l i

-

za o c o n c e i t o de p r o j e ç õ e s o r t o g o n a i s . Deve-se r e s s a l t a r que o t r a b a l h o s e d e s t i n a basicamente à t e o r i a de f i l t r a g e m , não sendo aventada e x p l i c i t a m e n t e p e l o a u t o r sua r e l a ç ã o com a i d é i a de míni -

mos quadrados r e c u r s i v o s da ~ s t a t í s t i c a . Apesar d i s t o , a s equa- ções de P l a c k e t t constituem c a s o p a r t i c u l a r das de Kalman sem que possivelmente e s t e tenha conhecimento do t r a b a l h o daquele. A s d i - v e r s a s formas do a l g o r i t m o de f i l t r a g e m de Kalman ( d i s c r e t a , con- t í n u a e d i s c r e t a - c o n t í n u a ) desempenham um importante p a p e l na Teo- r i a de C o n t r o l e s sendo a p l i c a d a s , i n c l u s i v e , nas estimações da t r a

-

j e t ó r i a e da ó r b i t a da missão Apolo.

Em 1 9 6 4 , H0 e LEE 17

1

propõem uma s o l u ç ã o Bayesiana p a r a d e r i v a r a s equações do f i l t r o de Kalman num t r a b a l h o que v i - s a formular uma c l a s s e g e r a l de problemas de estimação e s t o c á s - t i c a sob o ponto de v i s t a da T e o r i a de ~ e c i s ã o Bayesiana. E s t a s o -

l u ç ã o , mais d e t a l h a d a , a p a r e c e no mesmo ano num l i v r o de LEE 110

1

que dá um t r a t a m e n t o aprofundado aos problemas de estimação, i d e n -

t i f i c a ç ã o e c o n t r o l e Ótimos de s i s t e m a s e s t o c á s t i c o s

.

Nele, O c r i t é r i o de a j u s t e r e c u r s i v o por mínimos quadrados é deduzido ex- p l i c i t a m e n t e , sendo p e l a p r i m e i r a apontada a l i g a ç ã o e n t r e e s t i m a

-

ção de parâmetro e de e s t a d o .

Em 1 9 6 9 , YOUNG

1

1 7

1

mostra como s ã o o b t i d a s a s equa

-

ções de estimação r e c u r s i v a por mínimos quadrados do modelo de r e

-

g r e s s ã o l i n e a r e como e l a s podem s e r modificadas p a r a p e r m i t i r a percepção de p o s s í v e i s v a r i a ç õ e s dos parâmetros. A s e g u i r , d i s c u

-

t e sua a p l i c a ç ã o na estimação e i d e n t i f i c a ç ã o de processos dinâmi

-

tos a p a r t i r dos dados normais de operação.

Em 1 9 71, HARRISON e STEVENS

1

4

1

aplicam o s p r i n c í - p i o s Bayesianos à p r e v i s ã o a c u r t o prazo de s é r i e s temporais. Pe- l a p r i m e i r a vez, um método modela e x p l i c i t a m e n t e a o c o r r ê n c i a de s i t u a ç õ e s ''anormais "como mudanças de n í v e l e de i n c l i n a ç ã o ou t r a n - s i ê n c i a s , c a l c u l a n d o a s p r o b a b i l i d a d e s a p o s t e r i o r i d e s t e s even- t o s a cada i n s t a n t e e fornecendo, com i s t o , d i s t r i b u i ç õ e s do n í - v e l e da i n c l i n a ç ã o , r e l e v a n t e s à tomada de d e c i s õ e s baseada nas

Em 1972, MACGREGOR 1121 d i s c u t e a abordagem de v a r i á

-

v e i s de e s t a d o p a r a modelar s i s t e m a s dinâmicos l i n e a r e s d i s c r e t o s

e s t o c á s t i c o s e a r e l a c i o n a que u t i l i z a modelos funções de t r a n s

_-

f e r ê n c i a e modelos ARIMA. Mostra que a forma padrão do modelo de v a r i á v e i s de e s t a d o usando d o i s v e t o r e s normais independentes po- de sempre s e r e s c r i t a numa forma mais s i m p l i f i c a d a , empregando um único v e t o r normal, dando v á r i a s d e s t a s r e p r e s e n t a ç õ e s p a r a o mo- d e l o ARIMA g e r a l .

Em 1 9 7 4 , YOUNG

1

18

1

f o r m a l i z a a a n á l i s e r e c u r s i v a de mínimos quadrados e s t a b e l e c e n d o s e u p r o c e s s o e v o l u t i v o e s u a s p r i n c i p a i s c a r a c t e r í s t i c a s e indicando sua u t i l i d a d e no d e l i n e a - mento de métodos r e c u r s i v o s de a n á l i s e de s é r i e s temporais p a r a modelos de s i s t e m a s dinâmicos e s t o c á s t i c o s . Comenta que a maio-

r i a da l i t e r a t u r a aborda modelos convencionais t i p o "caixa-preta1'

,

preocupados basicamente com a s r e l a ç õ e s e n t r e a s e n t r a d a s e as s a i

-

d a s , c o n t r a s t a n d o com a e s c a s s e z de p u b l i c a ç õ e s a r e s p e i t o de mo d e l o s t i p o "espaço de e s t a d o s " , mais v o l t a d o s à d e s c r i ç ã o i n t e r n a do processo. E s t e s modelos s ã o i m p o r t a n t e s por f a c i l i t a r e m o uso de informações a p r i o r i s o b r e o s i s t e m a e por p o s s i b i l i t a r e m que s e e v i t e a e s p e c i f i c a ç ã o de formas canônicas s a t i s f a t ó r i a s p a r a a s equações de modelos m u l t i v a r i a d o s .

Em 1 9 7 4 , AKAIKE

I

1 I d i s c u t e a r e l a ç ã o da r e p r e s e n t a

-

ção Markoviana de um processo e s t o c á s t i c o e s t a c i o n á r i o com a r e - p r e s e n t a ç ã o ARMA ( a u t o - r e g r e s s i v o médias móveis)

,

com um c r i t é r i o de máxima v e r o s s i m i l h a n ç a p a r a o a j u s t e da r e p r e s e n t a ç ã o Marko- v i a n a . I n t r o d u z um procedimento p r á t i c o p a r a e n c o n t r a r uma forma i n i c i a l d e s t a r e p r e s e n t a ç ã o , demonstrando com exemplos numéricos sua v a l i d a d e .

Em 1 9 7 4 , BLIGHT

1

2

I

. d i s c u t e algumas a p l i c a ç õ e s das abordagens Bayesiana e de Wiener

-

Kolmogorov na c o n s t r u ç ã o de e- quações r e c u r s i v a s p a r a a estimação de parâmetros e s t o c á s t i c o s . A -

ponta s o l u ç õ e s p a r a o s c a s o s de p r e v i s ã o , f i l t r a g e m e amortecimen

-

t o quando o parâmetro segue um processo Markoviano e é observado com e r r o . U t i l i z a a s o l u ç ã o Bayesiana p a r a g e r a r um f a t o r i z a ç ã o canônica da função geradora da a u t o c o v a r i â n c i a da s é r i e observa

-

d a , g e n e r a l i z a n d o e s t a s t é c n i c a s p a r a o u t r o s modelos.

Em 1 9 7 6 , HARRISON e STEVENS

1

5 1 e

1

6

1

apresentam o s i s t e m a Bayesiano de p r e v i s ã o a c u r t o prazo de s é r i e s temporais em d o i s a r t i g o s : um t e ó r i c o , e n f a t i z a n d o como p r i n c i p a l a s p e c t o a i n c l u s ã o formal do a n a l i s t a no s i s t e m a de p r e v i s ã o e i n t r o d u z i n

-

do, a t r a v é s dos modelos de m ú l t i p l o s p r o c e s s o s , a noção de i n c e r - t e z a quanto ao v e r d a d e i r o modelo em c u r s o num determinado i n s t a n

_-

t e , numa g e n e r a l i z a ç ã o dos c o n c e i t o s a p r e s e n t a d o s no t r a b a l h o de 1 9 7 1 ; o u t r o , contendo a a p l i c a ç ã o do método a q u a t r o s é r i e s tem- p o r a i s .

Em 1 9 7 7 , LEONARD e HARRISON

/

11

1

desenvolvem novas t é c n i c a s p a r a o método de H a r r i s o n e S t e v e n s . supõem d i s t r i b u i - ções a p r i o r i c o n t í n u a s p a r a a s v a r i â n c i a s desconhecidas do mode- l o e descrevem uma maneira de a t u a l i z a r a s v a r i â n c i a s e o s p a r 2 _-

metros do p r o c e s s o . Computam, a t r a v é s de i n t e g r a ç ã o m i d i m e n s i o -

na11 d i s t r i b u i ç õ e s das f u t u r a s observações, comparando com o s r e s u l t a d o s o b t i d o s p e l a a p l i c a ç ã o de um modelo ARIMA Box e Jenkins. propõemuma g e n e r a l i z a ç ã o da abordagem Bayesiana p a r a s i t u a ç õ e s em

Em 1 9 78, LEDOLTER

1

9

1

d i s c u t e a e s t i m a ç ã o r e c u r s i v a de parâmetros e m modelos de r e g r e s s ã o l i n e a r (parâmetros constan- t e s e v a r i á v e i s ) e modelos ARIMA. Nos modelos ARIMA mostra q u e , no c a s o de h a v e r termos de médias móveis, o modelo p r e c i s a s e r li- n e a r i z a d o e a a t u a l i z a ç ã o dcuestimativik f e i t a ? e l o f i l t r o de Kal- man Extendido.

Em 1 9 78, SOUZA e HARRISON 1 1 6 1 g e n e r a l i z a m o t r a b a - l h o de 1976 de H a r r i s o n e Stevens a p r e s e n t a n d o uma abordagem

2

p r e

-

v i s ã o baseada em p r i n c í p i o s Bayesianos e T e o r i a da ~ n f o r m a ç ã o . A

formulação do modelo u t i l i z a a função de e n t r o p i a de Shannon e o p r i n c í p i o de máxima e n t r o p i a de J a y n e s , p o s s i b i l i t a n d o o r e l a x a - mento d a s h i p ó t e s e s de normalidade e l i n e a r i d a d e n e c e s s á r i a s a t o -

dos o s métodos de p r e v i s ã o e tornando o modelo l i n e a r dinâmico de 1976 um c a s o p a r t i c u l a r d e s t a formulação.

Todas e s t a s p u b l i c a ç õ e s contêm t ó p i c o s d i r e t a m e n t e r e l a c i o n a d o s a e s t e t r a b a l h o . O u t r a s p u b l i c a ç õ e s s o b r e modelos de

-

s é r i e s temporais c i t a d a s a s e g u i r s e relacionam a modelagem de s i s t e m a s l i n e a r e s dinâmicos e s t o c ~ s t i c o s , campo desenvolvido quase independentemente por e s t a t í s t i c o s , com i n t e r e s s e p r i n c i p a l na mo- delagem de séries t e m p o r a i s , e e n g e n h e i r o s de c o n t r o l e s , com i n t e - r e s s e p r i n c i p a l no c o n t r o l e dos p r o c e s s o s c a r a c t e r i z a d o s p e l o s mo- d e l o s dinâmicos e s t o c á s t i c o s . Torna-se i n t e r e s s a n t e a p r e s e n t á - l o s por s e r e l a c i o n a r e m i n d i r e t a m e n t e a temas abordados n e s t e trabalho.

Na á r e a da ~ s t a t i s t i c a , o i n t e r e s s e em modelos de

sé

_-

ries temporais d e s t a e s p é c i e começa com YULE (19271 e SLUTSKY

l h a n t e s a o s verdadeiramente o c o r r i d o s em algumas s é r i e s tempo- r a i s podem r e s u l t a r de modelos contendo somente componentes a l e a - t ó r i a s . YULE i n t r o d u z a noção de s é r i e s a u t o - r e g r e s s i v a s , enquan -

t o SLUTSKY c o n s i d e r a um c a s o e s p e c i a l do p r o c e s s o de médias mó- v e i s . O s desenvolvimentos s u b s e q i e n t e s de modelos e s t a c i o n á r i o s a u t o - r e g r e s s i v o s e de médias móveis devem-se grandemente a t r a b a - l h o s de WALKER (1931

,

WOLD (1938)

,

KOLMOGOROV (1939)

,

que p r o -

põe uma s o l u ç ã o p a r a o problema de f i l t r a g e m e p r e v i s ã o e BAR-

( 1 9 4 6 ) e (1955)

.

A h i p ó t e s e de e s t a c i o n a r i d a d e é r e l a x a d a por

YAGLON (1955 ) que i n t r o d u z a i d é i a de c o n s i d e r a r e s t a c i o n á r i a s algumas d i f e r e n c i a ç õ e s do p r o c e s s o . N u m famoso t r a b a l h o , BOX e

-

JENKINS 12

1

em 1970 mostram que e s t a s d i f e r e n c i a ç õ e s permitem a s é r i e o r i g i n a l s e r homogeneamente não e s t a c i o n á r i a quando c e r t a s condições de i n v e r s i b i l i d a d e e e s t a c i o n a r i d a d e s ã o s a t i s f e i t a s pe

-

l a s p a r t e s a u t o - r e g r e s s i v a e de médias móveis do modelo. A par- t i r d a í propõem uma c l a s s e b a s t a n t e g e r a l de modelos denominados modelos i n t e g r a d o s a u t o - r e g r e s s i v o s médias móveis (ARIMA) que também p e r m i t e a i n c o r p o r a ç ã o de e f e i t o s s a z o n a i s .

Na á r e a de C o n t r o l e s , o ponto de p a r t i d a deve-se a

WIENER (1949 ) que, em c o n t r a s t e com a s equações p a r a m é t r i c a s de d i f e r e n ç a s p r e f e r i d a s p e l o s e s t a t í s t i c o s , usa r e p r e s e n t a ç õ e s não p a r a m é t r i c a s p a r a c a r a c t e r i z a r o s d i s t ú r b i o s e s t o c ã s t i c o s e s t a c i o

-

n á r i o s ( a u t o c o r r e l a ç ã o , c o r r e l a ç ã o cruzada e função densidade e s - p e c t r a l ) . E l e mostra que a e s p e c i f i c a ç ã o de um f i l t r o l i n e a r pa- r a a p r e v i s ã o de mínimo e r r o q u a d r ã t i c o de um s i n a l e s t o c á s t i c o ou a s e p a r a ç ã o e n t r e o s i n a l e o r u í d o levam a uma equação i n t e - g r a l denominada equação de Wiener

-

Hopf. P a r a r e s o l v ê - l a , pro-

põe um método de f a t o r i z a ç ã o e s p e c t r a l v á l i d a no caso de uma sé-

r i e temporal com e s p e c t r o r a c i o n a l . De t o d a s a s e x t e n s õ e s que s e seguem a s mais i m p o r t a n t e s devem-se a ZADEH e R A G A Z I N N I (1950) e a BODE e SHANNON (1950) que apresentam um método de s o l u ç ã o s i m -

p l i f i c a d o baseado na i d é i a de c o n s i d e r a r uma série temporal e s t a -

c i o n á r i a com um e s p e c t r o r a c i o n a l , como a s a í d a de um f i l t r o li-

n e a r com um r u í d o b r a n c o de e n t r a d a .

~ t é

que em 1960 KALMAN, con

-

forme mencionado a n t e r i o r m e n t e , dá uma abordagem g e r a l n e s t a á r e a p a r a o problema de f i l t r a g e m l i n e a r e p r e v i s ã o . E l e v o l t a - s e pa- r a uma r e p r e s e n t a ç ã o p a r a m é t r i c a de modelos dinâmicos e s t o c á s t i - cos em termos de equações d i f e r e n c i a i s de v e t o r e s de e s t a d o s , con

-

t o r n a n d o o problema da f a t o r i z a ç ã o e s p e c t r a l de Wiener e f o r n e c e n -

do r e s u l t a d o s g e r a i s p a r a o s problemas de f i l t r a g e m e p r e v i s ã o de p r o c e s s o s Markovianos m u l t i v a r i a d o s n ã o - e s t a c i o n á r i o s .

De um modo g e r a l , e s t a s s ã o a s p u b l i c a ç õ e s mais i m - p o r t a n t e s d i r e t a e i n d i r e t a m e n t e r e l a c i o n a d a s a o t r a b a l h o .

ANALISE

RECURSIVA DE MODELOS LINEARES DE

BEGRESSÃO POR M ~ N I M O S QUADRADOS

O principio de estimação por mínimos quadrados dos parâmetros do modelo de r e g r e s s ã o l i n e a r é uma t é c n i c a b a s t a n t e u t i l i z a d a em a p l i c a ç õ e s p r á t i c a s e em desenvolvimento de pesqui- s a s c i e n t í f i c a s . Suas v a s t a s a p l i c a b i l i d a d e e a c e i t a ç ã o devem- s e , basicamente, ao f a t o de a l i a r s i m p l i c i d a d e matemática a r e - s u l t a d o s p r e c i s o s e c o e r e n t e s , além de p o s s u i r um f o r t e a p e l o i n - t u i t i v o .

Neste c a p i t u l o , após breve exposição do r e s u l t a d o c l á s s i c o , s ã o apresentados os a l g o r i t m o s r e c u r s i v o s , p a r a os ca- s o s de parâmetros c o n s t a n t e s e v a r i á v e i s . Como ao longo do tempo raramente s e conhece o modelo e s t o c á s t i c o g e r a l , s ã o f e i t a s algu- mas s i m p l i f i c a ç õ e s que levam aos modelos de Gauss-Markov de P r i

-

meira Ordem e de P a s s e i o ~ l e a t ó r i o . Para e s t e a p r e s e n t a - s e um t e s t e p a r a v e r i f i c a r a veracidade ou não da h i p ó t e s e de parâme

-

t r o s v a r i á v e i s .

111.1

-

Abordagem c l á s s i c a

S e j a o problema de r e g r e s s ã o l i n e a r no q u a l uma va- r i á v e l y s e r e l a c i o n a l i n e a r m e n t e , por h i p ó t e s e , com N v a r i á v e i s

-

independentes x . ( j = 1,N) c u j o s v a l o r e s s ã o conhecidos. Efetuan-

do-se t observações da v a r i á v e l dependente y , denotadas por

-

y i ( i = 1 , t ) . cada uma vem "contaminada1' p e l a p r e s e n ç a de um r u í - d o a l e a t ó r i o vi d e c o r r e n t e d e e r r o s de medida ou de e r r o s e s t o - c á s t i c o s d e v i d o s , p o s s i v e l m e n t e , à i n f l u ê n c i a de v a r i á v e i s o m i t i

_-

-

das no modelo.

sendo x i j ( j = 1 , N ) o c o n j u n t o de v a l o r e s a s s o c i a - dos à observação yi, pode-se e s c r e v e r o s e g u i n t e s i s t e m a de equa -

ções l i n e a r e s r e l a c i o n a n d o a s v a r i á v e i s :

onde

ol,

O Z

,

.

. . .

.

,

O N s ã o parâmetros c o n s t a n t e s e desconhecidos c u j o s v a l o r e s s e d e s e j a de alguma forma e s t i m a r e o s r u i d o s v _i

'

_{t ê m}

_{c a r a c t e r í s t i c a s e s p e c i f i c a d a s no i t e m}

111.2.2.

Uma maneira mais f u n c i o n a l de r e p r e s e n t a r o s i s t e m a é a t r a v é s da formulação m a t r i c i a l : onde : Y

-

v e t o r de observações (t x 1) X

-

m a t r i z d e v a r i á v e i s i n d e p e n d e n t e s ( t x N ) O

-

v e t o r de parâmetros (N x 1) v

-

v e t o r de r u í d o s ( t x 1) sendo Y e X c o n h e c i d o s , O e v desconhecidos.

A s s i m colocado o problema s e resume em e s t i m a r o ve- t o r O tendo como informação a m a t r i z X e o v e t o r Y. O método mais conhecido p a r a i s t o é o dos mínimos quadrados que c o n s i s t e em d e t e r m i n a r o v a l o r

5

que minimiza a soma dos quadrados dos r e -

-

s i d u o s ei ( i = 1

,

t )

.

com o s r e s í d u o s sendo d e f i n i d o s p e l a s e g u i n

-

t e r e l a ç ã o : onde e

-

v e t o r de r e s í d u o s (t x 1) A s s i m , o r u í d o v i n d i c a o e r r o v e r d a d e i r o na r e l a ç ã o e n t r e X e Y (quando s ã o r e l a c i o n a d o s a t r a v é s do v a l o r desconhe

-

c i d o 0 ) e o r e s í d u o e , o e r r o estimado (quando s ã o r e l a c i o n a - dos a t r a v é s de

O )

: Definindo:

o problema de estimação pode s e r enunciado da s e g u i n t e maneira: determinar o v a l o r

O

que minimiza a função de c r i t é r i o J s a t i s f a

_-

zendo a r e l a ç ã o ( 3 . 3 ) , i s t o é:

I

Desenvolvendo ( 3 . 4 ) :

, I I

Observando que O X Y é e s c a l a r e p o r t a n t o i g u a l a

I ,

s e u t r a n s p o s t o Y X O , vem:

Como J uma função unimodal no espaço dos parâme- t r o s , a condição n e c e s s á r i a e s u f i c i e n t e p a r a s u a minimização é que o v a l o r

O

s a t i s f a ç a a s condições:

Tem-se :

A

Como X ' X é p o s i t i v a d e f i n i d a , o v a l o r de ( 3 . 5 ) é ponto de mínimo da função J.

Observe-se que a h i p ó t e s e de independência e n t r e a s v a r i á v e i s x . (j =

m)

g a r a n t e a e x i s t ê n c i a de ( X ' X ) - I em ( 3 . 5 ) 3 1 1 1 . 2

-

Abordagem Recursiva: ~ a r â m e t r o s C o n s t a n t e s 1 1 1 . 2 . 1

-

Algoritmo ~ e t e r m i n í s t i c o I n t r o d u z i n d o em ( 3 . 5 ) o í n d i c e t p a r a i n d i c a r que a e s t i m a t i v a f o i r e a l i z a d a levando-se em c o n t a t a m o s t r a s , chega-se a : onde : -1 Pt = ( X ' X ) bt = ( X ' Y )

Definindo-se xi como a i-ésima l i n h a da m a t r i z X (xi =

[ X ~ ~ , . . , X ~ ] ) _{e yi} como o i-ésimo elemento do v e t o r Y , a s seguin

-

t e s r e l a ç õ e s decorrem da d e f i n i ç ã o de m u l t i p l i c a ç ã o m a t r i c i a l :

t

X'X = C x!y

i i

P o r o u t r o l a d o , d e ( 3 . 8 ) t i r a - s e que: AS equações (3.13) e ( 3 . 1 4 ) fornecem v a l o r e s de Pt e bt e m função d e Pt-l e bt-l já e s t i m a d o s e da informação o b t i - d a na t-ésirna a m o s t r a { x t , y t }

.

I s t o s u g e r e a t e n t a t i v a de u- A ma fórmula r e c u r s i v a p a r a d e t e r m i n a ç ã o de O que u t i l i z e a e s t i t

-

A

m a t i v a Ot-l f e i t a a p ó s (t-1) a m o s t r a s e um 'termo c o r r e t i v o ba- s e a d o na i n f o r m a ç ã o c o n t i d a na t - é s i m a a m o s t r a , r e p r e s e n t a d a p o r xt e y t . P a r a t a l b a s t a s u b s t i t u i r ( 3 . 1 3 ) e (3.14) e m ( 3 . 6 ) . ob

-

t e n d o - s e :

Mas d e ( 3 . 1 1 ) t i r a - s e que:

20 P o r t a n t o a s equações ( 3 . 1 3 ) e ( 3 . l 6 ) :

o

= t O t - 1 - P t ( x x o t t t-1

-

xtyt) fornecem a p a r t i r de v a l o r e s i n i c i a i s a r b i t r á r i o s e Po uma s o O - l u ç ã o r e c u r s i v a p a r a a equação ( 3 . 6 ) : 1 1 1 . 2 . 2

-

Algoritmo E s t o c á s t i c o O a l g o r i t m o r e c u r s i v o a p r e s e n t a d o é um método pura- mente d e t e r m i n í s t i c o de estimação, não levando em conta a s hipó-

t e s e s a r e s p e i t o da n a t u r e z a e s t o c á s t i c a dos r u í d o s e não fornecen

-

do nenhuma informação e s t a t í s t i c a a c e r c a d a s e s t i m a t i v a s . A con- s i d e r a ç ã o das h i p ó t e s e s e s t a t í s t i c a s c l á s s i c a s da r e g r e s s ã o li- n e a r proporciona uma melhora no s e u desempenho, na medida em que p e r m i t e e s t a b e l e c e r p r o p r i e d a d e s r e l a t i v a s à " q u a l i d a d e " das e s t i -

mativas (como por exemp10,não t e n d e n c i o s i d a d e , c o n s i s t ê n c i a , e t c ) .

A s s i m , tem-se:

~ i p ó t e s e s

1

-

E [V] = O . OS r u í d o s t ê m média n u l a

2 2

2

-

E [vv'] = o I+.Os r u í d o s t ê m v a r i â n c i a c o n s t a n t e o e s ã o s e - r i a l m e n t e não cor relacionado^

3

-

O s r u í d o s v e cada v a r i á v e l independente Xi ( i = l , t ) são inde- pendentes e n t r e s i .

P r o p r i e d a d e s A 1

-

E .-

r

O

1

= O _{t -} O e s t i m a d o r O _t de (3.16 ) é não t e n d e n c i o s o Prova: De ( 3 . 2 ) e ( 3 . 5 ) vem ( c o n s i d e r a n d o o í n d i c e t ) : A 1 -1

'

1 1

o,

= ( X X)

x

Y =

( x l x ) - l x l

(XO,

+

v) = ( X

x ) - l x

xot

+

( x l x )

- l x 1 v = Tomando o v a l o r esperado: P e l a h i p ó t e s e (1) :

*

A 2 2

-

Pt

$

Cov(Ot) = o Pt. A m a t r i z de c o v a r i á n c i a do e r r o da e s t i - mativa i g u a l a o produto da v a r i â n c i a dos r u í d o s o 2 p e l a m a t r i z

p t de ( 3 . 1 3 ) .

Prova:

Mas Pt é s i m é t r i c a e p o r t a n t o Pt = P;. Logo: p e l a h i p ó t e s e ( 2 ) : De ( 3 . 7 ) vem: De p o s s e d e s t e s r e s u l t a d o s , pode-se s u b s t i t u i r P p o r t.

*

2 P ~ / O n a s equações (3.13) e ( 3 . 1 6 )

,

obtendo o a l g o r i t m o : É i n t e r e s s a n t e r e s s a l t a r que (3.17) e (3.18) cor- respondem às equações o b t i d a s por P l a c k e t t .

111.2.3

-

c a r a c t e r í s t i c a s do Algoritmo ~ s t o c á s t i c o 1 1 1 . 2 . 3 . 1

-

Vantagens

-

_{e m r e l a ç ã o a o a l g o r i t m o d e t e r m i n í s t i c o , o f a t o de i n c o r p o r a r ,} - a

*

t r a v é s da m a t r i z de c o v a r i â n c i a do e r r o da e s t i m a t i v a P uma i n - t

formação e s t a t í s t i c a que i n d i c a o grau de c o n f i a b i l i d a d e dessa es- t i m a t i v a . Portanto para cada amostra { xi, yi} i = )

,

fornece

C

uma e s t i m a t i v a O , dos parâmetros e uma medida de sua p r e c i s ã o , além

1

de informar acerca de sua convergência.

-

em r e l a ç ã o à solução c l ã s s i c a , o f a t o de não n e c e s s i t a r inver-

*

são de matrizes por s e r e s c a l a r o termo

.

Esta van

_-

tagem é considerável principalmente para sistemas de processamento em tempo r e a l ( " o n - l i n e n ) onde os dados são recebidos continuamen- t e e a s e s t i m a t i v a s precisam s e r a t u a l i z a d a s rapidamente em função das novas informações. A solução c l á s s i c a requer, a cada nova ob-

servação, a inversão de uma matriz N x N .

-

algoritmo de i n f e r ê n c i a Bayesiana

*

Considerando P como a matriz de covariância do e r r o t

*

da e s t i m a t i v a , a recursão é i n i c i a d a escolhendo-se um valor

Po

A

-

c o n s i s t e n t e com o n í v e l de crença no v a l o r

_$.

Deste modo O0 com

*

matriz de covariância a p r i o r i P associada r e p r e s e n t a uma estima

O

-

t i v a a p r i o r i que, após o conhecimento da primeira amostra{ xl,yl}

*

dá origem à e s t i m a t i v a a p o s t e r i o r i O com matriz de covariância a

1

*

p o s t e r i o r i P, associada, que por sua vez r e p r e s e n t a uma e s t i m a t i v a

-

I

a p r i o r i para a segunda maneira: com a chegada r i o r i torna-se a p r i o r i zando perfeitamente um

e s t i m a t i v a . O processo prossegue d e s t a de novas informações, a e s t i m a t i v a a poste

_-

II

para a e s t i m a t i v a subsequente, c a r a c t e r i - processo de i n f e r ê n c i a Bayesiana.

-

_{a l g o r i t m o de aproximação e s t o c á s t i c a m u l t i d i m e n s i o n a l} B a s t a n o t a r que por ( 3 . 3 ) e ( 3 . 4 ) e p e l a d e f i n i ç ã o de m u l t i p l i c a ç ã o m a t r i c i a l d e c o r r e : & O g r a d i e n t e de J em r e l a ç ã o a O f i c a : t

aJ

t t (3.20) V. ( J ) =

-

= ( E

xixi)

Ó t

-

E x!y = O t

a ot

i=l i=l i i

A comparação da Última p a r c e l a de (3.20) com a de

*

2 A

( 3 . 1 8 ) , s u g e r e que s e c o n s i d e r e o termo pt/o ( X ' X

o,-,-

x; y t ) c 2

t t

mo uma medida i n s t a n t â n e a do g r a d i e n t e da função de c r i t é r i o J no

*

2

t-ésimo " i n s t a n t e a m o s t r a l "

,

modulado p e l a m a t r i z Pt/o

.

Encaran

_-

do d e s t a forma (3.18) r e p r e s e n t a um método d i s c r e t o m u l t i d i m e n s i o

_-

.

n a 1 do g r a d i e n t e e o a l g o r i t m o (3.16) e ( 3 . 1 7 ) , um a l g o r i t m o de a- proximação (ou de g r a d i e n t e ) e s t o c á s t i c a m u l t i d i m e n s i o n a l com o ga

*

nho e s c a l a r s u b s t i t u í d o p e l a m a t r i z de ganho pt/02*

Considerando a c o n s i s t ê n c i a da e s t i m a t i v a , à medida que a e s t i m a ç ã o prossegue a c o n f i a n ç a na e s t i m a t i v a aumenta e o g r a d i e n t e observado p a s s a a d e c o r r e r , provavelmente, da i m p r e c i s ã o i n t r o d u z i d a p e l o r u í d o . Como o peso a s s o c i a d o a o termo c o r r e t i v o

*

d i m i n u i , a m a t r i z P / o 2 a t u a no s e n t i d o de s u a v i z a r @ i f i l t r a r e s t a

A i n t e r p r e t a ç ã o como um a l g o r i t m o de aproximação e s - t o c á s t i c a é i m p o r t a n t e por d o i s motivos:

( i ) p e r m i t e uma v i s u a l i z a ç ã o " f í s i c a " do s e u funcionamento.

( i i ) p r o p o r c i o n a um elemento de u n i f i c a ç ã o e n t r e v á r i o s métodos de i n f e r ê n c i a e s t a t í s t i c a s u p e r f i c i a l m e n t e d i f e r e n t e s como e s t i m a ç ã o do modelo de r e g r e s s ã o l i n e a r por mínimos quadra- dos, e s t i m a ç ã o de v a r i á v e i s de e s t a d o e t e o r i a de f i l t r a g e m , como s e r á v i s t o no c a p í t u l o I V . P a r a i n i c i a l i z a r o a l g o r i t m o e s t o c á s t i c o , há duas ma - n e i r a s p o s s í v e i s : * A

-

_{a r b i t r a r um v a l o r}

_e,

_{( p o r exemplo Ooigual ao v e t o r n u l o ( N x 1 ) ) e}

*

f a z e r Po uma m a t r i z d i a g o n a l com v a l o r e s bem g r a n d e ~ ~ i n d i c a n d o pou -

c a c r e d i b i l i d a d e na e s t i m a t i v a i n i c i a l e nenhum conhecimento da c o v a r i â n c i a e n t r e a s componentes d e s t a e s t i m a t i v a . Pode-se mos- t r a r que, d e s t a forma, o s r e s u l t a d o s f o r n e c i d o s p e l o a l g o r i t m o t e n

-

dem a o s da s o l u ç ã o c l á s s i c a o b t i d o s r e s o l v e n d o r e p e t i d a m e n t e a e- quação ( 3 . 5 ) , p a r a t > N ( o s r e s u l t a d o s s ã o a s s i n t o t i c a m e n t e e q u i - v a l e n t e s ) . Na r e a l i d a d e a convergência é b a s t a n t e r á p i d a , desde

*

que o s elementos da d i a g o n a l de Po sejam s u f i c i e n t e m e n t e g r a n d e s .

*

A

-

_{p a r a um M > N , c a l c u l a r P M ( e c ~ n s e ~ u e n t e m e n t e P ) e} O M M Por

*

4 ( 3 . 6 ) , ( 3 . 7 ) e ( 3 . 8 ) . A. s e g u i r , p a r a t > M , o b t e r Pt e O t pe 10 a l g o r i t m o e s t o c ã s t i c o .

111.3

-

Abordagem Recursiva: ~ a r â m e t r o s v a r i á v e i s

A e s t i m a ç ã o p o r mínimos quadrados do modelo de r e - g r e s s ã o l i n e a r a n t e r i o r m e n t e e f e t u a d a c o n s i d e r a i m p l í c i t a , t a n t o a c l á s s i c a q u a n t o a r e c u r s i v a , a h i p ó t e s e que o s parâmetros permane

-

cem c o n s t a n t e s a o longo de todo o p r o c e s s o . N ~ O s e l e v a e m c o n t a

que uma p a r c e l a de s e u v a l o r p o s s a d e c o r r e r de f a t o r e s puramente a l e a t ó r i o s ou que e l e s possam e v o l u i r no tempo segundo uma r e g r a d e t e r m i n í s t i c a independente dos v a l o r e s assumidos p e l a s v a r i á v e i s {xi,yi} OU queixm determinado i n s t a n t e possam s o f r e r uma v a r i a ç ã o

esperada(. Quando i s t o o c o r r e a a p l i c a ç ã o pura e s i m p l e s dos con

-

c e i t o s a n t e r i o r m e n t e e x p o s t o s t o r n a - s e p e r i g o s a na medida em que pode c o n d u z i r a e r r o s s e n s í v e i s de e s t i m a ç ã o .

Dois t i p o s de a l g o r i t m o s u t i l i z a d o s p a r a s u p e r a r e s - t e problema s ã o e x p o s t o s a s e g u i r : o de ponderação e x p o n e n c i a l e o l i n e a r dinâmico.

1 1 1 . 3 . 1

-

A l g o r i tmo de ponderação Exponencial

Uma maneira de d e t e t a r v a r i a ç õ e s de parâmetros é en- c u r t a r a memória do p r o c e s s o de e s t i m a ç ã o fazendo com que o e f e i t o das observações mais remotas s e reduza a n t e a p r e s e n ç a d a s mais r e c e n t e s . I s t o pode s e r f e i t o ponderando-se o s dados por uma fun- ção e x p o n e n c i a l , o que na r e a l i d a d e r e p r e s e n t a o encurtamento do p r o c e s s o de e s t i m a ç ã o a t r a v é s de um f i l t r o passa-baixo ( I'low- - p a s s U ) d i s c r e t o com função de ponderação e x p o n e n c i a l . A função de c r i t é r i o a s e r minimizada toma e n t ã o a forma:

L- I

J = I: (x.

A

-

yi) (1-a) a i=l i i

Para esta função de critério (3.13) e (3.14) ficam:

representando uma operação de filtragem "passa-baixo" discreta de

I 1

primeira ordem nos elementos xtxt e xtyt com o "comprimento" da me

-

mória especificado pelo fator escalar a (O<a<<l)

.

A partir de (3.21) e (3.22)

,

repetindo o procedimen-

*

2

to do item 111.2.1, chega-se a (substituindo Pt por Pt/o

1 :

*

1

*

a

*

l 2 a

*

*

(3.23) p = -

-

Pt-l t x Y 1 x ~ P ~ - ~

Pt-l x ( o + -

1-a (i-a) 1-a XtPt-l t

O efeito físico do fator a é impedir que os elemen

-

*

tos da matriz de covariância Pt se tornem muito pequenos permitin-

do, com isto, que as novas observações continuem a influenciar as

estimativas. Assim, qualquer modificação no gradiente causada

por

variação dos parhetros pode ser detetada e utilizada para atuali-

O a l g o r i t m o d e p o n d e r a ç ã o e x p o n e n c i a l p o s s u i d u a s p r i n c i p a i s d e s v a n t a g e n s :

-

o s e f e i t o s do r u í d o s ã o d e t e t a d o s s i m u l t a n e a m e n t e com a s v a r i a -

ções

de p a r â m e t r o s p o r v e n t u r a e x i s t e n t e s , m o d i f i c a n d o também o g r a d i e n t e e consequentemente, a e s t i m a t i v a . A s s i m a e s t i m a ç ã o

s ó

6

s a t i s f a t ó r i a s e a ordem d e g r a n d e z a d a v a r i a ç ã o dos p a r â - m e t r o s f o r b a s t a n t e s u p e r i o r a da f l u t u a ç ã o a l e a t ó r i a d e v i d a a o r u i d o .

-

não p e r m i t e s e l e t i v i d a d e a p r i o r i dos p a r â m e t r o s , i s t o

é,

t o d o s o s p a r â m e t r o s s ã o t r a t a d o s i g u a l m e n t e . A s s i m c a s o s e s a i b a a p r i o r i que somente a l g u n s p a r â m e t r o s devam v a r i a r , não e x i s t e uma m a n e i r a de i n c o r p o r a r e s t a i n f o r m a ç ã o a o a l g o r i t m o . Na p r á t i c a , Young 1171 a f i r m a que m e l h o r e s r e s u l t a - d o s s ã o o b t i d o s t r a b a l h a n d o - s e com a v a r i á v e l e s c a l a r

at

,

f u n ç ã o e s t r i t a m e n t e d e c r e s c e n t e do tamanho da a m o s t r a , assim d e f i n i d a : Note-se que l i m at= a t + m 111.3.2

-

A l g o r i t m o L i n e a r ~ i n â m i c o A s l i m i t a ç õ e s do a l g o r i t m o d e ponderação e x p o n e n c i a l sugerem o d e s e n v o l v i m e n t o d e um a l g o r i t m o m a i s f l e x í v e l no q u a l a s v a r i a ç õ e s dos p a r â m e t r o s não s e j a m d e t e t a d a s s i m u l t a n e a m e n t e com

o e f e i t o do r u i d o e a s informações a p r i o r i s o b r e o s p a r h e t r o s possam s e r i n c o r p o r a d a s s e l e t i v a m e n t e . Por uma q u e s t ã o de coerên- c i a , deve s e b a s e a r nos a l g o r i t m o s r e c u r s i v o s a n t e r i o r m e n t e desen- v o l v i d o s uma vez que a r e c u r s ã o p e r m i t e a a t u a l i z a ç ã o i m e d i a t a da e s t i m a t i v a dos parâmetros à medida que novas observações vão sendo r e c e b i d a s .

A i n t e r p r e t a ç ã o e s t a t í s t i c a das equações de mínimos quadrados s u g e r e um e l e g a n t e método de modelagem das v a r i a ç õ e s dos parâmetros em que o s problemas s u p r a c i t a d o s desaparecem. supõe-se que e l e s evoluem e n t r e e s t á g i o s subseq:entes segundo uma r e g r a de-

t e r m i n i s t i c a dinâmica i n e r e n t e a o p r o c e s s o s u p e r p o s t a a uma p e r t u r

-

bação de c a r á t e r a l e a t ó r i o . E s t a h i p ó t e s e pode s e r modelada p e l o s e g u i n t e modelo l i n e a r dinâmico: o ~ , Y ~ , x ~ , vt

-

d e f i n i d o s a n t e r i o r m e n t e Gt-l,t

-

m a t r i z de t r a n s i ç ã o ( N x N ) conhecida L 1 . t - m a t r i z de e n t r a d a (N x M ) conhecida Wt- 1

-

v e t o r de p e r t u r b a ç ã o dos parâmetros (M x 1) A s s e g u i n t e s h i p ó t e s e s s ã o f e i t a s a c e r c a do v e t o r

wt-y

é um v e t o r de v a r i á v e i s a l e a t ó r i a s com média n u l a , m a t r i z de c o v a r i â n c i a W e s e r i a l m e n t e i n d e p e n d e n t e s . E l e p o s s i b i l i t a a va- r i a ç ã o e s t o c á s t i c a dos p a r â m e t r o s .

O conhecimento da forma de v a r i a ç ã o dos parâmetros e n t r e e s t á g i o s subseqLentes ( r e p r e s e n t a d a p e l a s m a t r i z e s G e

r

e p e l a s p r o p r i e d a d e s e s t a t í s t i c a s do v e t o r w e m ( 3 . 2 5 ) ) p r o p o r c i o n a uma informação a d i c i o n a l a p r i o r i que pode ser usada na estimação d e O t . A i d é i a é u t i l i z á - l o p a r a v a r i a r de maneira semelhante s u a e s t i m a t i v a , a n t e s da obtenção d a nova amostra. Desta forma, no t-ésimo " i n s t a n t e " de e s t i m a ç ã o pode-se r e a l i z a r a t u a l i z a ç õ e s

n

*

a p r i o r i ( p r e v i s õ e s ) a p a r t i r d a s e s t i m a t i v a s O t m l e Pt-l o b t i d a s

LI

no (t-1) -&imo " i n s t a n t e " . Representando por OtItwl e s t a estima-

LI

' t i v a a p r i o r i de O t baseada na e s t i m a t i v a O t

-

e na l e i de v a r i a -

*

ção ( 3 . 2 5 ) e por Pt/t-l a m a t r i z de c o v a r i â n c i a a s s o c i a d a , tem-se ( d e a g o r a em d i a n t e o s í n d i c e s s ã o o m i t i d o s das m a t r i z e s Gt-l,t e L l , t por s i m p l i f i c a ç ã o ) :

I s t o porque de (3.25) e (3.27) vem:

Logo :

Como por (3.25) wt

-

e O t - 1 s ã o i n d e p e n d e n t e s , a s 2a. e 3a. p a r c e l a s s e anulam. Logo:

(3.27) e (3.28) combinadas aos r e s u l t a d o s o b t i d o s pa

-

r a o c a s o de parâmetros c o n s t a n t e s , permitem a formulação de um a l g o r i t m o p a r a a e s t i m a ç ã o do parâmetro v a r i á v e l O t composto de

duas p a r t e s :

Nesta p a r t e

6

f e i t a a p r e v i s ã o p a r a o t-ésimo " i n s - t a n t e " de estimação baseado no conhecimento das e s t i m a t i v a s Ot-l e

*

Pt-l e da l e i de v a r i a ç ã o dos parâmetros.

P a r t e 11: c o r r e ç ã o

Westa p a r t e o conhecimento da t-ésima amostra permi _-

t e , à l u z da nova informação, a c o r r e ç ã o d a s e s t i m a t i v a s a p r i o r i

n

*

A

*

%/t-1 e Pt/t-l p a r a O t e P t . E s t a s , por sua vez, s e r v i r ã o de b a s e p a r a e s t i m a t i v a s a p r i o r i p a r a o i n s t a n t e ( t

+

1) e assim s u

_-

cessivamente.

E s t e s r e s u l t a d o s podem ser o b t i d o s a t r a v é s de uma a- bordagem Bayesiana:

*

çe O % -~,J(o ,I? j e n t ã o ( o í n d i c e s u p e r i o r i n d i c a que e s t ã o sendo con

o O 0 -

s i d e r a d o s t o d a s v a l o r do í n d i c e

E s t a s d i s t r i b u i ç õ e s ( a p r i o r i e a p o s t e r i o r i ) s ã o ob- t i d a s p e l o f i l t r o de Kalman, a ser v i s t o d e t a l h a d a m e n t e no c a p í - t u l o I V .

*

Como n o c a s o de p a r â m e t r o s c o n s t a n t e s , O0 e Po ~ r e c i ' sam s e r e s c o l h i d o s p a r a s e d a r i n i c i o à r e c u r s ã o . Da mesma f o r -

*

m a , O0 pode s e r o v e t o r n u l o e P uma m a t r i z d i a g o n a l com elemen- O t o s bem g r a n d e s r e f l e t i n d o a i g n o r â n c i a a r e s p e i t o do v a l o r r e a l OO. Se t f o r r e l a t i v a m e n t e g r a n d e , pode-se u t i l i z a r a i n f o r m a ç ã o

_*

d o s dados p a r a a e s c o l h a de Po. 111.3.3

-

Casos P a r t i c u l a r e s do Modelo L i n e a r ~ i n â m i c o O a l g o r i t m o l i n e a r dinâmico é b a s t a n t e g e r a l , podendo ser a p l i c a d o p a r a a t u a l i z a r a e s t i m a t i v a d e q u a l q u e r modelo ARIMA

dos p a r h e t r o s , como será v i s t o no i t e m 111.3.4. Na p r á t i c a o mo

_-

de10 r e a l r a r a m e n t e é c o n h e c i d o , o b r i g a n d o a h i p ó t e s e s s i m p l i f i c a - d o r a s . Dois d e s t e s modelos p a r t i c u l a r e s s ã o i m p o r t a n t e s . 1 1 1 . 3 . 3 . 1

-

O P a s s e i o ~ l e a t ó r i o M u l t i d i m e n s i o n a l É d e f i n i d o p e l a s e g u i n t e l e i de v a r i a ç ã o dos p a r h e

-

t r o s

.

I s t o e q u i v a l e a : t

P o r t a n t o O t é a soma de O com t v a r i á v e i s a l e a t ó r i - O a s i n d e p e n d e n t e s de média n u l a

,

f a z e n d o com q u e o s p a r h e t r o s sofram f l u t u a ç õ e s a l e a t ó r i a s e m t o r n o do n í v e l O com v a r i â n c i a s O d e f i n i d d s p e l o s e l e m e n t o s d i a g o n a i s da m a t r i z W. O a l g o r i t m o d e p r e v i s ã o n e c e s s i t a somente da m a t r i z W p a r a f u n c i o n a r : Com i s t o , o s e l e m e n t o s d i a g o n a i s devem r e f l e t i r a t a - x a de v a r i a ç ã o e s p e r a d a d o s p a r â m e t r o s . Caso se s a i b a que a l g u n s dos p a r â m e t r o s devam permanecer c o n s t a n t e s , b a s t a a n u l a r o s e l e - mentos c o r r e s p o n d e n t e s da d i a g o n a l de W.

O a l g o r i t m o a p r e s e n t a bom desempenho p a r a a e s t i m a ç ã o de p a r â m e t r o s c u j a v a r i a ç ã o é l e n t a .

111.3.3.2

-

O Modelo de Gauss-Markov d e P r i m e i r a Ordem

É d e f i n i d o p e l a s e g u i n t e l e i de v a r i a ç ã o d o s parâme- t r o s

-

onde G é uma m a t r i z d i a g o n a l em que o s e l e m e n t o s g . ( i = l , N ) s ã o

1

t a i s que I g i l < l . E l e s funcionam como um c o e f i c i e n t e de c o r r e l a

-

ç ã o e n t r e o s i-ésirnos e l e m e n t o s dos v e t o r e s Ot e Ot-l

,

f a z e n d o com que o a l g o r i t m o a p r e s e n t e bom desempenho quando a v a r i a ç ã o dos p a r â m e t r o s é l e n t a e c o r r e l a c i o n a d a no tempo. O a l g o r i t m o de p r e v i s ã o f i c a : 111.3.3.3

-

c o n s i d e r a ç ã o C E s t e s c a s o s p a r t i c u l a r e s s ã o mais u t i l i z a d o s na _{p r a} t i c a porque a forma g e r a l ( 3 . 2 5 ) r e q u e r m u i t a i n f o r m a ç ã o a p r i o

-

r i ; e n t r e t a n t o e l a pode s e r a p l i c a d a e m a l g u n s sistemas f í s i c o s d i n & n i c o s bem d e f i n i d a s e dos q u a i s s e conhece o funcionamento.

Neste c a s o a d e t e r m i n a ç ã o d a m a t r i z G f i c a f a c i l i t a d a como no c a

-

s o

,

p o r exemplo, d a e s t i m a ç ã o dos c o e f i c i e n t e s de c o n t r o l e e es

-

t a b i l i d a d e de um m í s s i l . Logicamente, e s t e s exemplos fogem a o e s c o p o do t r a b a l h o , não s e n d o p o r t a n t o a b o r d a d o s . P a r a t a l v e r

1171.

111.3.4

-

~ e n e r a l i z a ç õ e s do Modelo L i n e a r ~ i n â m i c ~

(3.25) e s p e c i f i c a um p r o c e s s o a u t o r e g r e s s i v o como mo

_-

de10 p a r a o s parâmetros. E n t r e t a n t o , a i n t r o d u ç ã o de parâmetros a d i c i o n a i s a u x i l i a r e s ( pode-se cmsiderá-10s v a r i á v e i s de e s t a d o ) permite que s e coloque n e s t a forma q u a l q u e r p r o c e s s o ARIMA p a r a modelo dos p a r h e t r o s . A s s i m s e j a o p r o c e s s o ARIMA:

onde : l , . . . , p , Y l , . . . Y -+ m a t r i z e s (NxN) conhecidas q i B + operador r e t a r d o ( " b a c k s h i f t " )

,

i s t o é, B O t = _Ot-i Sejam: @ . = O p a r a j > p 1 Y . = O p a r a j >q 3 I (k-1) N a m a t r i z i d e n t i d a d e de dimensão (k-l)N

*

O v e t o r e s d e parãnetros auxiiiares ( ~ x l ) para 2 < j < k

j , t

- -

37

O p r o c e s s o ( 3 . 3 5 ) pode s e r e s c r i t o na forma:

( 3 . 2 6 ) p o r s u a vez toma a forma:

111.3.4.2

-

~ a r i â n c i a s N& C o n s t a n t e s O modelo de r e g r e s s ã o l i n e a r ( 3 . 2 5 ) e (3.26) supõe v a r i â n c i a s c o n s t a n t e s do r u í d o e d a s p e r t u r b a ç õ e s d o s p a r h e - t r o s . c o n s i d e r á - l a s f u n ç ã o do " i n s t a n t e " d e e s t i m a ç ã o , g e n e r a - l i z a o modelo t o r n a n d o - o m u i t o m a i s r e p r e s e n t a t i v o d a r e a l i d a d e L

A s s i m , f a z e n d o v a r ( v ) = ot e Wt=O chega-se a um modelo e s t á t i

-

t