Filtro de Partículas
Aplicados à Econometria
Daniel Henrique
Orientador: Claudio José Bordin Júnior
Mestrado em Engenharia da Informação
Agenda
•
Introdução
•
Trabalhos Correlatos
•
Filtragem Estocástica
•
Metodologia
•
Métodos de Filtragem
•
Simulações
•
Propostas Futuras
Introdução
•
Constantes mudanças no mercado [16];
•
Importância da Previsão e Controle das Variações do
Mercado;
•
Análise por Métodos Qualitativos [5] e Análise por
Métodos Quantitativos [4];
Introdução
Modelos
de
Autoregressão
Filtros
Introdução
Foco do Trabalho: Modelo de Volatilidade Estocástica [9][10][18] derivado da equação de
Black-Scholes [3];
em que:
𝑋
𝑡
∈ ℝ
é o logaritmo da volatilidade (
log-volatility
) no instante 𝑡 ∈ ℕ, a variável que se
deseja estimar;
𝑢
𝑡
𝑒 𝑣
𝑡
são processos estocásticos gaussianas independentes de média 0 e variância 1;
𝛽
1
, 𝛽
2
𝑒 𝜎 > 0
são parâmetros desconhecidos;
𝑦
𝑡
é o retorno do mercado de ações observado em 𝑡. Para o caso em questão, 𝑃
𝑡
é o preço
de um ativo no momento, então o retorno 𝑦
𝑡
é definido por 𝑦
𝑡
=
𝑃
𝑡𝑃
𝑡−1− 1
.
൝
𝑋
𝑡
= 𝛽
1
+ 𝛽
2
𝑋
𝑡−1
+ 𝜎𝑢
𝑡
𝑦
𝑡
= 𝑒
𝑋
𝑡
/2
𝑣
𝑡
, (1)
Introdução
•
A estimação de
𝑋
𝑡
é um problema de
Filtragem Estocástica
;
•
Impossibilidade de resolução pelo filtro de Kalman (não-linearidade
da expressão de
𝑦
𝑡
);
•
Resolução do problema [9] utilizando filtros de partículas.
൝
𝑋
𝑡
= 𝛽
1
+ 𝛽
2
𝑋
𝑡−1
+ 𝜎𝑢
𝑡
𝑦
𝑡
= 𝑒
𝑋
𝑡
/2
𝑣
𝑡
Introdução
Objetivo geral
Estudar às Aplicações de Filtros de Partículas à Econometria;
Objetivos específicos
a) Estudar e reproduzir o método aplicado em Djuric
et al
[9];
b) Comparar o método estudado com outros métodos de filtragem clássicos
(Filtro de Kalman e Filtro de Kalman Estendido), e com filtros de partículas
com estruturas distintas [10];
c) Propor um algoritmo alternativo baseado em Filtro de Partículas;
d) Simular o comportamento dos algoritmos através de simulações via
MATLAB com dados sintéticos e com dados reais
.
Temas de Pesquisa
Volatilidade
Estocástica
Filtragem
Áreas de Pesquisa
1.00.00.00 3 - CIÊNCIAS
EXATAS E DA TERRA
1.02.99.00 9
-Probabilidade e
Estatística
1.02.03.00 1
-Probabilidade e
Estatísticas Aplicadas
3.00.00.00 9 – ENGENHARIA
3.04.99.00 3 – Engenharia
Elétrica
3.04.06.00 5 - Telecomunicações
6.00.00.00 7 - CIÊNCIAS
SOCIAIS APLICADAS
6.03.99.00 7 – Economia
6.03.02.00-3 - Métodos
Quantitativos em
Economia
Introdução
Trabalhos Correlatos
- Em [9], é estimada a volatilidade do mercado financeiro por utilizando
dados sintéticos, além de realizar testes com os índices da S&P 500.
- Em [25][26], analisa-se a volatilidade estocástica utilizando o mesmo
modelo de [9]. Porém, usa-se filtros IIR.
- Em [27], analisa-se a variação do preço do Petróleo utilizando Filtros
de Partículas.
Filtragem Estocástica
- Estimação de uma variável desconhecida (estado) a partir de observações parciais,
por meio de um modelo probabilístico.
- Algumas Aplicações:
•
Rastreamento de alvos [4];
•
Equalização cega de canais de comunicação [2];
•
Climatologia;
•
Estimação do estado de um sistema elétrico de potência [19];
•
Problemas de econometria [7][11][20][23][24] .
Representação do Problema de Filtragém Estocástica
ቊ
𝑋
𝑛
= 𝑓
𝑛
𝑋
𝑛−1
, 𝑣
𝑛−1
, 𝜃
𝑛
𝑦
𝑛
= ℎ
𝑛
𝑋
𝑛
, 𝑢
𝑛
, 𝜃
𝑛
,
(2)
•
𝜃
𝑛é um vetor de parâmetros;
•
𝑣
𝑛são sequências aleatórias, chamadas de “ruído de
excitação”;
•
𝑢
𝑛são sequências aleatórias, chamadas de “ruído de
observação”.
em que:
•
𝑋
𝑛é o estado;
•
𝑦
𝑛é uma sequência de observações;
•
𝑓
𝑛. , .
é a função de transição de estados;
•
ℎ
𝑛. , .
é a função de observação;
Representação do Problema de Filtragém Estocástica
ቊ
𝑋
𝑛
= 𝑓
𝑛
𝑋
𝑛−1
, 𝑣
𝑛−1
, 𝜃
𝑛
𝑦
𝑛
= ℎ
𝑛
𝑋
𝑛
, 𝑢
𝑛
, 𝜃
𝑛
,
(2)
Parâmetros de 𝜃
𝑛
conhecidos
𝑣
𝑛
e 𝑢
𝑛
independentes
Modelo Markoviano
•
𝜃
𝑛é um vetor de parâmetros;
•
𝑣
𝑛são sequências aleatórias, chamadas de “ruído de
excitação”;
•
𝑢
𝑛são sequências aleatórias, chamadas de “ruído de
observação”.
em que:
•
𝑋
𝑛é o estado;
•
𝑦
𝑛é uma sequência de observações;
•
𝑓
𝑛. , .
é a função de transição de estados;
•
ℎ
𝑛. , .
é a função de observação;
Estimativa Recursiva de um Estado
Condição: A densidade a posteriori 𝑝(𝑋
𝑛
|𝑌
𝑛
)
, 𝑌
𝑛
= 𝑦
1
, … , 𝑦
𝑛
,
deve poder ser determinada.
Solução recursiva separada em dois passos:
Passo de Predição (Equação 2.1): determina a distribuição do estado no instante n com
base nas observações passadas.
𝑝 𝑋
𝑛
𝑌
𝑛−1
=
ℝ
𝑁
𝑝 𝑋
𝑛
𝑋
𝑛−1
𝑝 𝑋
𝑛−1
𝑌
𝑛−1
𝑑𝑋
𝑛−1
,
(2.1)
Passo de filtragem (Equação 2.2), atualiza essa distribuição incorporando a observação
do instante 𝑛.
𝑝 𝑋
𝑛
𝑦
𝑛
=
𝑝
𝑦
𝑛
𝑋
𝑛 𝑝
𝑋
𝑛
𝑌
𝑛−1 𝑑𝑋
𝑛−1
𝑝
𝑋
𝑛
𝑦
𝑛−1
=
𝑝
𝑦
𝑛
𝑋
𝑛 𝑝
𝑋
𝑛
𝑌
𝑛−1
ධ
ℝ𝑁
𝑝
𝑦
𝑛
𝑋
𝑛 𝑝
𝑋
𝑛
𝑌
𝑛−1 𝑑𝑋
𝑛
, (2.2)
Estimativa Recursiva de Um Estado
Solução analítica para os dois casos principais [3]:
•
Filtro de Kalman [13]: 𝑣
𝑛
, 𝑢
𝑛
forem conjuntamente gaussianos e 𝑓
𝑛
e ℎ
𝑛
forem
funções lineares;
•
Filtro de Grelha (grid filter) [1]: quando 𝑋
𝑛
possuir uma distribuição discreta com
suporte finito;
Processo Estocástico
•
Coleção de variáveis aleatórias representando a evolução de um
sistema de valores com o tempo;
•
Exemplos: Flutuação do Mercado de Ações, Taxas de Câmbio,
Pressão Sanguínea, Saldo em Conta Corrente em um Período de
Tempo, etc.
Processo Estocástico
Tópicos Gerais Introdutórios
•
Representação de sistemas de tempo
discreto em espaço de estados [17];
•
Lei
de
Bayes:
Probabilidades
Condicionais
[9],
independência
condicional;
•
Método de Monte Carlo e geração de
amostras de variáveis aleatórias;
•
Conceitos básicos de álgebra linear
[22].
Metodologia – Atividades Teóricas
Processamento de Sinais Aleatórios
•
Filtragem estocástica e métodos de
Filtragem [1][4][10][13][21]
•
Volatilidade estocástica [9];
•
Aplicações dos filtros de partículas à
econometria
Metodologia – Atividades Práticas
Elaboração de Algoritmos em MATLAB
•
Passeio Aleatório;
•
Filtro de Kalman;
•
Grid Filter
;
•
Filtro de Kalman Estendido;
•
Filtro de Partículas e Filtro de Partículas Rao-Blackwelizado;
•
Reprodução do método de Djuric [9] e comparação com outros métodos baseados em EKF;
•
Testes com Dados Reais.
Filtro de Kalman
Condição: Variáveis devem ser lineares e os ruídos de excitação e de
observação (𝑢
𝑛
e 𝑣
𝑛
respectivamente) devem ser variáveis Gaussianas.
Representação do Problema:
ቊ
𝑋
𝑛
= 𝐹
𝑛
𝑋
𝑛−1
+ 𝑢
𝑛
𝑦
𝑛
= 𝐺
𝑛
𝑇
𝑋
𝑛
+ 𝑣
𝑛
, (3)
•
𝑢
𝑛e 𝑣
𝑛são independentes, e definidas como:
𝑋
0~ 𝒩( ത
𝑋
0, Σ
0)
𝑢
𝑛~ 𝒩(0, 𝑄
𝑛)
(ruído de excitação)
𝑣
𝑛~ 𝒩(0, Ξ
𝑛)
(ruído de observação)
em que:
•
𝑋
𝑛é a variável de estado;
•
𝑦
𝑛é a observação acerca da variável 𝑋
𝑛;
Filtro de Kalman
Passo de Predição
ቐ
𝑋
ത
𝑛|𝑛−1
= 𝐹
𝑛
𝑋
ത
𝑛−1
Σ
𝑛|𝑛−1
= Q
𝑛−1
+ F
𝑛
Σ
𝑛−1
𝐹
𝑛+1
𝑇
,
(3.1)
Passo de Filtragem
ቐ
Σ
𝑛
= Σ
𝑛|𝑛−1
− Σ
𝑛|𝑛−1
G
𝑛
Ξ
𝑛
+ 𝐺
𝑛
𝑇
Σ
𝑛|𝑛−1
G
𝑛
−1
∙ 𝐺
𝑛
𝑇
Σ
ത
𝑛|𝑛−1
ത
𝑋
𝑛
= ത
𝑋
𝑛|𝑛−1
+ Σ
𝑛|𝑛−1
G
𝑛
Ξ
𝑛
+ 𝐺
𝑛
𝑇
Σ
𝑛|𝑛−1
G
𝑛
−1
∙ y
𝑛
− 𝐺
𝑛
𝑇
𝑋
ത
𝑛|𝑛−1
,
(3.2)
em que
Filtro de Kalman Estendido (EKF)
Condição: ruídos de excitação e observação gaussianos. O método provê
soluções aproximadas através de linearizações locais, quando as variáveis não
são lineares.
Representação do Modelo:
ቊ
𝑋
𝑛
= 𝑓
𝑛
𝑋
𝑛−1
, 𝑢
𝑛
𝑦
𝑛
= 𝑔
𝑛
𝑋
𝑛
, 𝑣
𝑛
, (4)
em que:
𝑋
𝑛é a variável de estado desejada;
𝑦
𝑛é uma sequência de observações;
𝑓
𝑛. , .
é a função de transição de estados;
𝑔
𝑛. , .
é a função de observação;
𝑣
𝑛~ 𝒩(0, Ξ
𝑛)
é o “ruído de excitação”;
𝑢
𝑛~ 𝒩(0, 𝑄
𝑛)
é o “ruído de observação”.
Filtro de Kalman Estendido (EKF)
൝
𝑋
ത
𝑛|𝑛−1
= 𝑓
𝑛
( ത
𝑋
𝑛−1
, 0)
Σ
𝑛|𝑛−1
= F
𝑛
Σ
𝑛
𝐹
𝑛
𝑇
+ L
𝑛
Q
𝑛
𝐿
𝑇
𝑛
, (4.1)
em que L
𝑛
e F
𝑛
são determinadas
pelas seguintes derivadas:
𝐹
𝑛
=
𝜕𝑓
𝑛
𝜕𝑋
𝑛−1
|
𝑋
𝑛−1
= ത
𝑋
𝑛−1
;
𝐿
𝑛
=
𝜕𝑓
𝑛
𝜕𝑢
𝑛
|
𝑋
𝑛−1
= ത
𝑋
𝑛−1
.
k
𝑛
= Σ
𝑛|𝑛−1
𝐺
𝑛
𝐺
𝑛
Σ
𝑛|𝑛−1
𝐺
𝑛
𝑇
+ 𝑀
𝑛
Ξ
𝑛
𝑀
𝑛
𝑇
−1
ത
𝑋
𝑛
= ത
𝑋
𝑛|𝑛−1
+ k
𝑛
y
𝑛
− g
𝑛
𝑋
ത
𝑛|𝑛−1
; 0
Σ
𝑛
= 𝐼 − k
𝑛
𝑔
𝑛
Σ
𝑛|𝑛−1
,
em que 𝐺
𝑛
e 𝑀
𝑛
são determinados pelas
seguintes derivadas:
𝐺
𝑛
=
𝜕𝑔
𝑛
𝜕𝑋
𝑛
|
𝑋
𝑛
= ത
𝑋
𝑛|𝑛−1
;
𝑀
𝑛
=
𝜕𝑔
𝑛
𝜕𝑣
𝑛
|
𝑋
𝑛
= ത
𝑋
𝑛|𝑛−1
.
(4.2)
EKF Adaptado para o Modelo de Volatilidade
Estocástica
൝
𝑋
𝑛
= 𝛽
1
+ 𝛽
2
𝑋
𝑛−1
+ 𝜎𝑢
𝑛
𝑦
𝑛
= 𝑒
𝑋
𝑛
/2
𝑣
𝑛
, (4.3)
em que:
diferentemente de [1], 𝛽
1
, 𝛽
2
e 𝜎
2
são supostos conhecidos.
Fazendo uma analogia com o modelo da Equação 2.3.1.1, tem-se que:
𝑄
𝑛
= 𝜎
2
; Ξ
𝑛
= 1; 𝐹
𝑛
= 𝛽
2
; 𝐿
𝑛
= 1; 𝑀
𝑛
= 𝑒
𝑋
ത
𝑛|𝑛−1
/2
e 𝐺
𝑛
=
1
2
𝑒
𝑋
𝑛|𝑛−1
/2
𝑣
𝑛
.
EKF Adaptado para o Modelo de Volatilidade
Estocástica
Passo de Predição
ቐ
𝑋
ത
𝑛|𝑛−1
= 𝛽
2
𝑋
ത
𝑛−1
+ 𝛽
1
Σ
𝑛|𝑛−1
= 𝛽
2
2
Σ
𝑛
+ 𝜎
2
. (4.3.1)
Passo de Filtragem
k
𝑛
= Σ
𝑛|𝑛−1
𝑦
𝑛
2
𝑦
𝑛
2
4
Σ
𝑛|𝑛−1
+ 𝑒
ത
𝑋
𝑛|𝑛−1
−1
ത
𝑋
𝑛
= ത
𝑋
𝑛|𝑛−1
+ k
𝑛
y
𝑛
− 𝑒
ഥ
𝑋𝑛|𝑛−1
2
𝑠𝑖𝑔𝑛(y
𝑛
)
Σ
𝑛
= 1 −
𝑘
𝑛
𝑦
𝑛
2
Σ
𝑛|𝑛−1
. (4.3.2)
Filtro de Partículas
Método numérico de integração, adequado para lidar com problemas não lineares e não
gaussianos;
Aproxima a densidade à
posteriori
através de um pente de impulsos ponderados 𝑝 𝑋
0:𝑛
𝑦
1:𝑛
;
Sampling Importance Resampling Filter; Auxiliary Sampling Importance Resampling Filter;
regularized Particle Filter [1]; Filtro de Partículas Rao-Blackwellizado [6].
Filtro de Partículas
𝑝 𝑋
0:𝑛
𝑦
1:𝑛
≈ σ
𝑖=1
𝑁
𝑠𝑤
𝑛
(𝑖)
𝛿 𝑋
𝑜:𝑛
− 𝑋
0:𝑛
(𝑖)
(5)
𝑤
𝑛
(𝑖)
∝ 𝑤
𝑛−1
(𝑖) 𝑝 𝑦
𝑛|𝑋
𝑛 (𝑖)𝑝
𝑋
𝑛
(𝑖)
𝑋
𝑛−1
(𝑖)
𝑞 𝑋
𝑛(𝑖)𝑋
𝑛−1(𝑖),𝑦
1:𝑛(6)
em que:
𝑝 𝑋
0:𝑛
𝑦
1:𝑛
é a densidade a
posteriori
de interesse;
𝑋
𝑜:𝑛
= 𝑋
𝑗
, 𝑗 = 1, … , 𝑛 é o conjunto de pontos de suporte com 𝑤
𝑛
(𝑖)
, 𝑖 = 1, … , 𝑁
𝑠
como pesos
associados;
Filtro de Partículas
3 Passos:
- Amostrar 𝑋
𝑛
(𝑖)
~𝜋 𝑋
𝑛
𝑋
𝑛−1
(𝑖)
, 𝑦
𝑛
- Atribua o peso 𝑤
𝑛
(𝑖)
;
- Reamostrar 𝑋
𝑛
(𝑖)
, 𝑤
𝑛
(𝑖)
𝑖=1
𝑁
𝑠
Simulações
Figura 3: Comparativo entre o estado original 𝑋𝑡e as estimativas desse estado com o EKF e o Filtro de Partículas, supondo os parâmetros 𝛽1e 𝛽2conhecidos.
Simulações
Figura 4: Comparativo entre o erro obtido pela diferença entre o estado original e o EKF, e pela diferença entre o estado original e a estimativa obtida pelo Filtro de Partículas.
Simulações
Simulações
Figura 6: Comparativo entre erro obtido pela diferença entre o Estado Original utilizando função de Djuricet al . e a função proposta.
Propostas Futuras
- Testar Filtro de Partículas com Dados Reais:
Variação de Índices da Bovespa; Volatilidade de Preços de Ativos da
Petrobrás; etc.
- Desenvolver algoritmos distintos para resolução de problema
descrito em [9].
Referências Bibliográficas
[1] ARULAMPALAM, S.; MASKELL, S.; GORDON, N.; CLAPP, T. "A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking." IEEE Transactions on signal processing 50.2 ,2002. p. 174-188.
[2] ASIF, Amir; MOHAMMADI Arash, and SAXENA Saxena. Reduced order distributed particle filter for electric power grids in Acoustics, Speech and Signal Processing (ICASSP). IEEE International Conference on, 2014., p. 7609–7613.
[3] BLACK, Fischer; SCHOLES, Myron. “The valuation of option contracts and a test of market efficiency,” J. Finance, 1972. vol. 27, p. 399–418.
[4] BORDIN, Claudio J.; BRUNO, Marcelo GS. Particle filters for joint blind equalization and decoding in frequency-selective channels. IEEE Transactions on Signal Processing, 2008. v. 56, n. 6, p. 2395-2405.
[5] BRUNI, Adriano Leal. Risco, retorno e equilíbrio: uma análise do modelo de precificação de ativos financeiros na avaliação de ações negociadas na Bovespa (1988-1996). 163f. Dissertação (Mestrado em Administração) – Curso de Pós Graduação em Administração, 1998.
[6] BRUNO, Marcelo GS. Sequential Monte Carlo methods for nonlinear discrete-time filtering. Synthesis Lectures on Signal Processing, v. 6, n. 1, p. 1-99, 2013.
[7] CLARK, Peter K. A subordinated stochastic process model with finite variance for speculative prices. Econometrica: journal of the Econometric Society, 1973. p.135-155.
[8] DANTAS, Carlos Alberto Barbosa. Probabilidade: Um Curso Introdutório Vol. 10. Edusp, 2013.
[9] DJURIC, Petar M.; KHAN, Mahsiul; JOHNSTON, Douglas E. Particle filtering of stochastic volatility modeled with leverage. IEEE Journal of Selected Topics in Signal Processing, 2012. 4. Ed. 6.v, p. 327-336.
[10] DOUCET, Arnald; SMITH, Adrian; DE FREITAS, Nando, and GORDON, Neil. Sequential Monte Carlo Methods in Practice. Information Science and Statistics. Springer: New York, 2010.
[11] GHYSELS, Eric; HARVEY, Andrew C.; RENAULT, Eric. Stochastic Volatility, in Handbook of Statistics, Statistical Method in Finance, 1996. Amsterdam, The Netherlands: North-Holland, 1996. ch. 14, p.119–191.
[12] JOHNSTON, Douglas E.; URTEAGA, Iñigo; DJURIĆ, Petar M. Replication and optimization of hedge fund risk factor exposures. In: Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013. p. 8712-8716.
Referências Bibliográficas
[14] KHANA, Mahsiul; ROTHENBERGB, Richard V. Application of Particle Filtering for Sequential Inferences of Stochastic Volatility Modeled with Leverage. [15] LOPES, Hedibert F.; TSAY, Ruey S. Particle filters and Bayesian inference in financial econometrics. Journal of Forecasting, 2011. v. 30, n. 1, p. 168-209. [16] NUNES, Maurício S.; DA COSTA JR, Newton CA; MEURER, Roberto. A relação entre o mercado de ações e as variáveis macroeconômicas: uma análise econométrica para o Brasil. Revista Brasileira de Economia, 2005. v. 59, n. 4, p. 585-607.
[17] OGATA, Katsuhiko; SEVERO, Bernardo. Engenharia de controle moderno. Prentice Hall do Brasil, 1998.
[18] PITT, Michael K.; SHEPHARD, Neil. Filtering via simulation: Auxiliary particle filters. Journal of the American statistical association, 1999. v. 94, n. 446, p. 590-599.
[19] PUNSKAYA, Elena. Sequential Monte Carlo Methods for Digital Communications, 2003. Tese de Doutorado. University of Cambridge.
[20] ROSENBERG, Barr et al. The behavior of random variables with nonstationary variance and the distribution of security prices. University of California at Berkeley, 1972.
[21] SAYED, Ali H. Adaptive Filters. New York: John Wiley & Sons, 2011.
[22] STRANG, Gilbert. Linear Algebra and Its Applications, v.4. New York: Brooks Cole, 2006.
[23] TAYLOR, Stephen J. Modeling stochastic volatility: A review and comparative study,” Math. Finance, 1994. vol. 4, pp. 183–204.
[24] TAYLOR, Stephen J. Financial returns modelled by the product of two stochastic processes, a study of daily sugar prices in Time Series Analysis: Theory and Practice. Amsterdam, The Netherlands: North-Holland, 1982. p.203–226.
[25] URTEAGA, Inigo; DJURIĆ, Petar M. Sequential estimation of hidden ARMA processes by particle filtering—Part I. IEEE Transactions on Signal Processing, v. 65, n. 2, p. 482-493, 2017.
[26] URTEAGA, Inigo; DJURIĆ, Petar M. Sequential estimation of hidden ARMA processes by particle filtering—Part II.IEEE Transactions on Signal Processing, v. 65, n. 2, p. 494-504, 2017.
[27] AIUBE, F. A. L. Modelagem dos preços futuros de commodities: abordagem pelo filtro de partículas. Modelagem dos preços futuros de commodities: abordagem pelo filtro de partículas, 2005.
