SIMULAÇÃO E COMPARAÇÃO DE MÉTODOS COMPUTACIONAIS PARA OBTENÇÃO DE DISTRIBUIÇÕES A POSTERIORI
Flávio Bambirra Gonçalves, Vinícius Diniz Mayrink e Rosangela Helena Loschi Departamento de Estatística – ICEx - Universidade Federal de Minas Gerais Av. Presidente Antônio Carlos, 6627, Campus Pampulha, Belo Horizonte, Minas Gerais,
CEP: 31270-901
E-mail: fbg@ufmg.br , mayrink@ufmg.br , loschi@est.ufmg.br
Resumo: Neste trabalho, descreve-se e estuda-se a eficiência de três métodos para obtenção de uma aproximação da distribuição a posteriori: Gibbs Sampling, Método da Rejeição e SIR. Para isto, considera-se uma análise conjugada e amostras geradas de duas distribuições: Normal com média e variância desconhecidas e Poisson. Também consideram-se dois tamanhos amostrais, n=10 e 100. Em ambos os casos, compara-se o resultado com a distribuição a posteriori exata, através de gráficos e estatísticas descritivas. De uma maneira geral, os três métodos foram eficientes na geração da distribuição a posteriori do parâmetro σ2. Considerando o parâmetro µ , notou-se que o Gibbs Sampling gerou distribuições a posteriori com variabilidade maior que os demais métodos em relação à distribuição exata. O método Gibbs Sampling foi o que melhor aproximou as distribuições a posteriori exatas de µ. No caso Poisson, observou-se que os métodos SIR e MR não são eficientes em situações onde a distribuição a priori do parâmetro de interesse está muito afastada da realidade.
Quando isto não ocorre, tais métodos se mostraram bem eficientes para aproximar a distribuição a posteriori exata do parâmetro.
Palavras-chave: Métodos computacionais, Distribuição Normal, Distribuição Poisson.
Abstract: In this study, it’s described and studied the efficiency of three methods for an approximation of posterior distributions: Gibbs Sampling, Rejection Method and SIR. It is done by considering a conjugated analysis and generating samples of two distributions: Normal with unknown average and variance and Poisson. Two sample sizes are considered, n=10 and 100. In both cases, the results are compared with the exact posterior distribution, by using graphs and descriptive statistics.
As general, the three methods had been efficient in generating the parameters’ posterior distribution.
For µ, Gibbs Sampling generated posterior distributions with higher variance than the other methods according to the exact distribution. The Gibbs Sampling Method had better performance on approximating the exact posterior distributions. In Poisson case, noticed that SIR and MR methods are not efficient when the parameter’s prior distribution is far from real. If it doesn’t happen, such methods are efficient to approximate the parameter’s exact posterior distribution.
Keywords: Computational methods, Normal Distribution, Poisson Distribution.
Introdução
A Estatística Bayesiana é uma abordagem que vem sendo cada vez mais reconhecida e utilizada devido à sua grande eficiência em resolver problemas complexos que são, muitas vezes, difíceis de serem tratados com técnicas da Estatística Clássica. Uma das vantagens de se utilizar a Estatística Bayesiana é a possibilidade de incorporar no processo de inferência informações não capturadas pelo modelo estatístico através da função de verossimilhança. A diferença básica entre Estatística Clássica e Estatística Bayesiana é que na Estatística Clássica, o conceito de aleatoriedade está associado a variabilidade. Já na Estatística Bayesiana, para que algo seja considerado aleatório, basta que ele seja desconhecido. Na da Estatística Bayesiana, existem alguns conceitos básicos que descreveremos a seguir: as distribuições a priori e a posteriori e a função de verossimilhança. A distribuição a priori f(θ) é aquela que resume a informação sobre θ antes de observar-se os dados. A função de verossimilhança f(X |θ) é aquela que resume a informação sobre θ fornecidas pelos dados e a distribuição a posteriori f(θ | X) é a distribuição atualizada de θ após a observação dos
dados. A maneira mais comum de se obter a distribuição a posteriori é através do Teorema de Bayes:
∫Θ
= θ θ θ
θ θ θ
d f X f
f X X f
f ( | ). ( )
) ( ).
| ) (
|
( (1)
Porém, na maioria das vezes se torna (quase) impossível resolver a integral do denominador analiticamente, o que fez com que a Estatística Bayesiana fosse privada de ser utilizada na maioria dos problemas durante muito tempo. As mais recentes soluções desenvolvidas, foram técnicas de simulações usadas para gerar amostras da distribuição a posteriori. O maior obstáculo para a implementação de técnicas bayesianas no passado foi a dificuldade computacional. Hoje em dia esse obstáculo foi superado com o desenvolvimento dos computadores que se tornaram mais rápidos e eficientes, além do desenvolvimento de softwares que facilitam a implementação e o uso dessas técnicas.
Neste estudo serão aplicados três métodos computacionais para gerar amostras da distribuição a posteriori. O primeiro deles é um esquema de simulação do tipo Monte Carlo via Cadeia de Markov (M.C.M.C.) conhecido como Gibbs Sampling. As idéias originais do método são de Metropolis et al (1953) e foram generalizadas por Hastings (1970). Geman e Geman (1984) propuseram um esquema de amostragem da distribuição de Gibbs dentro de conceito de reconstrução de imagens. Gelfand e Smith (1990) mostraram a aplicabilidade estatística do método. O segundo método a ser estudado, chamado de Método da Rejeição (Gelfand e Smith, 1992), é uma técnica simples que gera uma amostra a posteriori a partir de uma amostra a priori. O terceiro método SIR (Sampling Importance Resampling) é um Bootstrap ponderado de uma amostra da distribuição a priori também proposto por Gelfand e Smith (1992). Pretende-se então descrever cada um destes métodos e estudar sua eficiência.
Após definir os algoritmos e analisar as propostas de cada técnica na seção 1, elas serão comparadas na seção 2. Para a realização dessa comparação, os métodos serão adaptados para aplicação na análise de dados, provenientes de uma distribuição Normal com média e variância desconhecidas e de uma distribuição de Poisson com parâmetro desconhecido. Utilizaremos em ambos os casos, distribuições a priori conjugadas naturais para tornar fácil o computo da distrubuição a posteriori exata. Também foram considerados dois tamanhos de amostras. Analisar a eficiência dos métodos significa verificar se é boa a aproximação entre as distribuições a posteriori exatas e aquelas geradas por cada método, além de observar se as estimativas dos parâmetros estão próximas dos valores reais que são conhecidos. A implementação dos métodos foi feita em linguagem de programação C.
Este trabalho está organizado da seguinte maneira: na Seção 1 será apresentada a metodologia utilizada, na Seção 2 os resultados obtidos, na Seção 3 as principais conclusões.
1. Algoritmos para obtenção da distribuição a posteriori
Nesta Seção descrevemos de forma geral os algoritmos a serem utilizados no trabalho.
1.1. O método Gibbs Sampling
O método Gibbs Sampling (Hasting 1970) é um esquema iterativo de amostragem de uma cadeia de Markov cujo núcleo de transição é formado pelas distribuições condicionais completas dos parâmetros a serem estimados. Suponha que se pretende estimar os parâmetros θ1,...,θp e admita que as distribuições condicionais completas f(θ1|θ2,...,θp) , f(θ2|θ1,θ3,...,θp), ..., f(θp |θ1,...,θp−1) são conhecidas.
Dadas as distribuições condicionais completas, o algoritmo Gibbs Sampling tem a seguinte forma:
1. Inicialize o contador de interações da cadeia de Markov fazendo j = 1 e arbitre valores iniciais )
,..., ( 1(0) (0)
) 0 (
θp
θ
θ = ;
2. Obtenha o j-ésimo valor θ(j) =(θ1(j),...,θp(j)), j = 1,2,...,n a partir de θ(j−1) através de sucessivas gerações de valores como segue,
) ,...,
| (
~ 1 2( 1) ( 1)
) ( 1
−
− j
p j
j f θ θ θ
θ
) ..., ,
| (
~ 2 1( ) 3( 1) ( 1)
) ( 2
−
− j
p j j
j f θ θ θ θ
θ
(. . .) (1.1)
) ,...,
| (
~ 1( ) 1( )
)
( j
p j p j
p f θ θ θ −
θ ;
3. Mude o contador j para j + 1 e retorne a (1.1);
Despreze as m primeiras amostras para burn-in (garantia de convergência) e selecione uma amostra de l em l das n-m restantes para formar a amostra que irá aproximar a distribuição a posteriori.
1.2. O Método da Rejeição
O Método da Rejeição (Gelfand e Smith 1992) seleciona valores provenientes da distribuição a priori para formar uma amostra da distribuição a posteriori. Esse procedimento possui a grande vantagem de ser simples para a implementação e de fácil entendimento.
Apresenta-se a seguir o algoritmo do método da rejeição. Suponha que (X1,...,Xn) é um conjunto de dados observados sendo que Xi (i = 1,...,n) é proveniente de uma distribuição de probabilidade indexada pelo parâmetro θ. Os passos a serem realizados são:
1. Gerar θ da distribuição a priori f(θ); 2. Gerar “u” de uma distribuição Uniforme(0,1);
3. Teste para aceitação ou rejeição:
Se “u” ≤
) (
)
| (~
θ θ Mf
X
f , aceitar θ para formar a amostra a posteriori. Caso contrário, repita os passos 1, 2 e 3.
O elemento M representa uma constante que pode ser identificada. Sabe-se que M > 0 e M ≥
) (
)
| (~
θ θ f
X
f , onde ( | )
~ θ
X
f representa a função de verossimilhança. Para gerar uma amostra a posteriori a partir de uma amostra a priori deve-se considerar para o algoritmo que ( | ˆ)
~ θ =θ
= f X M
onde θˆ é o estimador de máxima verossimilhança para a distribuição de onde θ é proveniente. Dessa forma o teste para a aceitação ou rejeição de um valor de θ gerado a priori, será:
Se “u” ≤
ˆ)
| (
)
| (
~
~
θ θ
θ
= X f
X
f , aceitar θ para formar a amostra a posteriori e deve-se rejeitar caso contrário.
É importante salientar que, se θ (gerado da distribuição a priori) for um valor próximo de θˆ
(estimador de máxima verossimilhança) a probabilidade de aceitação de θ é grande. Se θ for um valor distante de θˆ, a probabilidade de aceitação de θ é pequena.
1.3. O método SIR
O método SIR (Gelfand e Smith 1992) é um método de reamostragem com a utilização de pesos que segue o seguinte algoritmo:
1. Gere uma amostra θ1,...,θn de tamanho n da distribuição a priori de θ. 2. Calcule o valor wi = f(X |θi) para cada um dos pontos θi's gerados.
3. Para cada valor θi gerado, calcule:
∑=
= n
i i i i
w q w
1
4. Selecione uma amostra θ1*,...,θn * de tamanho m, com reposição, da amostra (θ1,...,θn) considerando a distribuição discreta com probabilidades (qi,...,qn) onde P(θ =θi)=qi. Essa amostra será a amostra que irá aproximar a distribuição a posteriori.
2. Resultados das simulações
O algoritmo utilizado foi implementado na linguagem C. Para o estudo comparativo dos métodos serão geradas as amostras de tamanhos 10 e 100 tanto da distribuição Normal (10 , 4) quanto da distribuião Poisson (1). Para verificar se os métodos aproximam bem a distribuição a posteriori exata, serão exibidos, em um mesmo gráfico, a distribuição a posteriori exata e o histograma da amostra obtida pelos métodos. Além disso, serão apresentadas tabelas com as estatísticas descritivas das distribuições a posteriori exatas e das amostras das distribuições a posteriori geradas pelos métodos.
2.1. Especificações a priori
No caso da distribuição Normal, pretende-se estimar os dois parâmetros da distribuição. Os dados foram gerados de uma distribuição Normal (10 , 4). Para a análise assumimos que
) , (
~
|σ2 σ2
µ Normal m e
,2
~ 2
2 a d
a GamaInvers
σ .
m a d E(σ²) Var(σ²) Moda(σ²) Caso 1 50 1400 68 21,21 14,06 20 Caso 2 50 140 5 46,66 4355,5 20 Caso 3 10 140 5 46,66 4355,5 20 Caso 4 10 120 28 4,61 1,77 4 Tabela 1 – Distribuições e estatísticas descritivas a priori para o caso Normal.
Note que para o Caso 1 e 2 foi escolhido uma distribuição a priori Normal com média 50 para µ. Os pesquisadores que utilizam essa escolha a priori, possuem uma idéia ruim sobre qual é o verdadeiro valor da média da distribuição real dos dados. Lembre-se que os dados são provenientes de uma distribuição Normal com média 10. Para os Casos 3 e 4 a distribuição a priori para µ está centrada justamente no valor real do parâmetro µ. Portando os dois últimos Casos são melhores em relação à opinião expressa sobre µ. O elemento que diferencia os Casos 1 e 2 e os Casos 3 e 4 é a opinião a respeito da variabilidade dos dados: o parâmetro σ2.
No caso da distribuição de Poisson, pretende-se estimar o parâmetro desta distribuição. Os dados foram gerados de uma distribuição de Poisson (1). Para a análise assumimos que
) , (
~ α β
λ Gama .
α β E(λ) Var(λ) Moda(λ)
Caso 1 20 2 10 5 9,5
Caso 2 0,5 0,5 1 2 ---
Tabela 2 – Distribuições e estatísticas descritivas a priori para o caso Poisson.
No caso 1 a distribuição a priori de λ está muito longe da realidade, pois tem média 10 e variância pequena. No caso 2 a distribuição a priori de λ está bem próxima de realidade, pois tem média 1 (valor real) e variância bem pequena.
2.2. Gibbs Sampling: Análise das simulações
Para a obtenção das distribuições a posteriori dos parâmetros µ e σ² via Gibbs Sampling, serão geradas 10000 amostras, tomando-se as 1000 primeiras para burn-in e com um lag de 5 para obtenção da amostra final. Ou seja, a amostra final será composta de 1800 elementos.
Para uma amostra de tamanho n=10 observe, através dos gráficos mostrados nas Figuras 1 e 2, que as distribuições a posteriori exata e obtida via Gibbs Sampling, concentram maior parte de suas massas em intervalos parecidos. Veja pelas Tabelas 3 e 4 que a média, moda e variância da distribuição obtida via Gibbs Sampling está bem próxima dos valores exatos. As melhores aproximações ocorrem no Caso 4 onde assumimos uma distribuição a priori mais informativa (menor variância) e que, a priori, estima bem tanto µ quanto σ2. Perceba pela Figura 2 que em todos os
casos o formato do histograma representando a distribuição a posteriori obtida via Gibbs Sampling para o parâmetro σ2, acompanha quase perfeitamente o formato da curva contínua da distribuição exata.
Figura 1 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Gibbs Sampling (histograma) para µ.
Caso 1 Caso 2 Caso 3 Caso 4
35 30 25 20 15 10 5 0 -5 -10 0,10 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,02 0,01 0,00
mu
Densidade
35 30 25 20 15 10 5 0 -5 -10 0,10 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,02 0,01 0,00
50 40 30 20 10 0 -10 -20 -30 -40 0,06
0,05 0,04
0,03 0,02
0,01 0,00
mu
Densidade
50 40 30 20 10 0 -10 -20 -30 -40 0,06
0,05 0,04
0,03 0,02
0,01 0,00
20 10 0 0,18 0,16 0,14 0,12 0,10 0,08 0,06 0,04 0,02 0,00
mu
Densidade
20 10 0 0,18 0,16 0,14 0,12 0,10 0,08 0,06 0,04 0,02 0,00
20 15 10 5 0,3
0,2
0,1
0,0
mu
Densidade
20 15 10 5 0,3
0,2
0,1
0,0
Figura 2 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Gibbs Sampling (histograma) para σ2.
Caso 1
10 20 30 40 50 60 70
0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07
sigma²
Densidade
10 20 30 40 50 60 70
0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07
Caso 2
50 150 250 350 450
0,000 0,002 0,004 0,006 0,008 0,010 0,012
sigma²
Densidade
50 150 250 350 450
0,000 0,002 0,004 0,006 0,008 0,010 0,012
Caso 3
5 15 25 35 45
0,00 0,02 0,04 0,06 0,08 0,10 0,12
sigma²
Densidade
5 15 25 35 45
0,00 0,02 0,04 0,06 0,08 0,10 0,12
Caso 4
0 1 2 3 4 5 6 7 8 9 10
0,0 0,1 0,2 0,3 0,4 0,5
sigma²
Densidade
0 1 2 3 4 5 6 7 8 9 10
0,0 0,1 0,2 0,3 0,4 0,5
E(µ) Var(µ) Moda(µ)
Exata Gibbs Exata Gibbs Exata Gibbs Caso 1 13,27 13,369 19,13 38,51 13,27 17,8738 Caso 2 13,27 12,863 63,4 129,75 13,27 17,2614 Caso 3 9,63 9,506 6,33 12,96 9,63 11,4149 Caso 4 9,63 9,594 2,01 3,92 9,63 8,1852 Tabela 3 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via Gibbs Sampling para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata Gibbs Exata Gibbs Exata Gibbs Caso 1 38,27 38,221 39,583 37,39 36,356 37,739 Caso 2 126,81 122,61 2923,66 2403,94 96,97 127,265 Caso 3 12,67 12,251 29,188 24 9,689 13,5985
Caso 4 4,02 4,05 0,951 0,95 3,618 5,02385 Tabela 4 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via Gibbs Sampling para σ².
Aumentando o número de observações de n=10 para n=100, observamos uma melhora na aproximação em todos os casos. Perceba que para µ, os valores médios a posteriori para distribuição exata e aproximadas estão bem próximos entre si e também estão bem próximos do valor real, sendo que os valores da distribuição aproximada estão em geral mais próximos ainda de 10. O mesmo não se pode dizer sobre a moda a posteriori, onde vê-se que a distribuição aproximada tem valor modal em geral inferior ao valor da distribuição a posteriori exata. Nota-se também, para n=10, que a variância da distribuição aproximada é um pouco maior que a observada para a distribuição exata. Para a variância, nota-se, para n=10, que as distribuições a posteriori exatas e obtidas via Gibbs Sampling estão bem próximas. Nota-se ainda uma melhora nas estimativas de σ², como era de se esperar.
Figura 3 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Gibbs Sampling (histograma) para µ.
Caso 1
20 10 0 0,10 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,02 0,01 0,00
mu
Densidade
20 10 0
Caso 2
20 10 0 0,15
0,10
0,05
0,00
mu
Densidade
20 10 0
Caso 3
20 10
0 0,2
0,1
0,0
mu
Densidade
20 10
0
Caso 4
15 10 5 0 0,3
0,2
0,1
0,0
mu
Densidade
15 10 5 0
Figura 4 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Gibbs Sampling (histograma) para σ2.
Caso 1
12 22 32
0,0 0,1 0,2
sigma²
Densidade
12 22 32
0,0 0,1 0,2
Caso 2
10 15 20 25 30 35
0,00 0,05 0,10 0,15
sigma²
Densidade
10 15 20 25 30 35
0,00 0,05 0,10 0,15
Caso 3
1 2 3 4 5 6 7 8 9 10
0,0 0,1 0,2 0,3 0,4 0,5 0,6
sigma²
Densidade
1 2 3 4 5 6 7 8 9 10
0,0 0,1 0,2 0,3 0,4 0,5 0,6
Caso 4
0 1 2 3 4 5 6 7 8 9
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8
sigma²
Densidade
0 1 2 3 4 5 6 7 8 9
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8
E(µ) Var(µ) Moda(µ)
Exata Gibbs Exata Gibbs Exata Gibbs Caso 1 10,52 10,361 10,144 19,39 10,52 7,0604 Caso 2 10,52 10,424 10,232 20,89 10,52 15,3002 Caso 3 10,124 10,076 2,59 5,29 10,124 8,8624 Caso 4 10,124 10,160 2,038 4,18 10,124 9,8322 Tabela 5 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via Gibbs Sampling para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata Gibbs Exata Gibbs Exata Gibbs Caso 1 20,288 20,294 5,02 4,89 19,811 21,2699 Caso 2 20,464 20,518 8,293 8,80 19,7 18,9119 Caso 3 5,181 5,194 0,531 0,56 4,987 6,03374
Caso 4 4,076 4,08 0,268 0,29 3,951 4,13885 Tabela 6 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via Gibbs Sampling para σ².
2.3. Método da Rejeição (MR) : Análise das simulações (caso normal)
Para a obtenção das distribuições a posteriori dos parâmetros µ e σ² via MR, serão geradas 100000 amostras. Da Figura 5 é possível notar que também para o Método da Rejeição existe, uma melhor aproximação entre as distribuições a posteriori exata e aproximada para o parâmetro σ2. São mostrados apenas gráficos e estatísticas descritivas referentes aos Casos 3 e 4 cujas distribuições a priori são mais justas para representar os valores reais de µ e σ2. As distribuições a priori estabelecidas para os Casos 1 e 2 não representam bem os valores reais desse parâmetros.
Consequentemente, a probabilidade de rejeitar um valor gerado da distribuição a priori para compor a amostra a posteriori é muito grande. Para essas escolhas a priori, ao executar o programa para o Método da Rejeição não foi selecionado qualquer elemento para a amostra a posteriori. Veja na Figura 5 que a aproximação das distribuições exatas e geradas via Método da Rejeição para o Caso 3 não é boa, pois a amostra a posteriori é pequena.
Figura 5 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Método da Rejeição (histograma) para µ eσ².
Caso 3 (µ)
0 10 20
0,0 0,1 0,2 0,3 0,4 0,5 0,6
mu
Densidade
Caso 4 (µ)
5 10 15 20
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8
mu
Densidade
Caso 3 (σ²)
26 10 14 18 22 26 30 34 38 42 46 50 54 58 0,0
0,1 0,2 0,3 0,4 0,5
sigma²
Densidade
Caso 4 (σ²)
0 4 8 12
0,0 0,1 0,2 0,3 0,4 0,5 0,6
sigma²
Densidade
E(µ) Var(µ) Moda(µ)
Exata MR Exata MR Exata MR Caso 3 9,63 9,570 6,33 1,496 9,63 10,1 Caso 4 9,63 9,626 2,01 0,367 9,63 9,514 Tabela 7 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata MR Exata MR Exata MR Caso 3 12,67 14,156 29,188 52,388 9,689 10,05 Caso 4 4,02 4,014 0,951 0,943 3,618 3,917 Tabela 8 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR para σ².
Quando a amostra se torna maior (n=100), a tendência é que as distribuições a posteriori sejam mais precisas no sentido de adquirir menor variabilidade. A distribuição a priori estabelecida para o Caso 3 gerou valores que são atípicos para a nova distribuição a posteriori. Assim todos os valores gerados foram rejeitados e a amostra a posteriori final ficou vazia para este caso. É por isso que somente o Caso 4 é mostrado. Lembre-se que no caso n=10, a amostra a posteriori do Caso 3 era pequena o que favorecia a imprecisão nas estimativas. Os comentários a serem feitos aqui são semelhantes àqueles discutidos nas simulações anteriores para o método da Rejeição com amostra de tamanho 10.
Figura 6 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via Método da Rejeição (histograma) para µ eσ².
Caso 4 (µ)
0 10 20
0 1 2
mu
Densidade
Caso 4 (σ²)
0 2 4 6 8 10
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
sigma²
Densidade
E(µ) Var(µ) Moda(µ)
Exata MR Exata MR Exata MR Caso 4 10,124 10,120 2,038 0,041 10,124 9,993 Tabela 9 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata MR Exata MR Exata MR Caso 4 4,076 4,073 0,268 0,267 3,951 3,703 Tabela 10 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR para σ².
2.4. SIR: Análise das simulações (caso normal)
Para a obtenção das distribuições a posteriori dos parâmetros µ e σ² via SIR, serão geradas 100000 amostras, tomando-se 5000 dessas amostras para formar a amostra a posteriori.
Para uma amostra com n=10, a distribuição a posteriori de µ não foi bem aproximada pelo método SIR nos casos 1 e 2. Isso aconteceu porque a amostra a posteriori das distribuição a priori, nestes casos estavam bem distantes do valor real de µ. O caso 2 é um pouco melhor pois, apesar de, a priori, estimar mal o valor de µ, temos mais incerteza. Nos casos 3 e 4 a amostras geradas pelo método SIR ficaram centrados nos mesmos valores da distribuição a posteriori exata, porém com uma variância menor. No caso 1, a amostra a posteriori de σ² foi degenerada, isso aconteceu porque, de todos os valores gerados da distribuição a prior de σ², um deles teve peso qi muito próximo de 1 (0,9999...) e todos os outros tiveram peso qi praticamente igual a zero. No caso 2 a aproximação entre as distribuições aproximadas é um pouco melhor, apresentando valores relativamente próximos para média, moda e variância. Nos casos 3 e 4 as amostras a posteriori geradas pelo SIR aproximaram muito bem a distribuição a posteriori exata de σ².
Figura 7 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via SIR (histograma) para µ.
Caso 1
35 30 25 20 15 10 5 0 -5 -10 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
mu
Densidade
Caso 2
50 40 30 20 10 0 -10 -20 -30 -40 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
mu
Densidade
Caso 3
20 10 0 0,4
0,3
0,2
0,1
0,0
mu
Densidade
Caso 4
20 15 10 5 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
mu
Densidade
Figura 8 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via SIR (histograma) para σ².
Caso 1
70 60 50 40 30 20 10 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
sigma2
Densidade
Caso 2
750 650 550 450 350 250 150 50 0,03
0,02
0,01
0,00
sigma2
Densidade
Caso 3
65 55 45 35 25 15 5 0,10
0,05
0,00
sigma2
Densidade
Caso 4
10 5
0 0,5
0,4
0,3
0,2
0,1
0,0
sigma2
Densidade
E(µ) Var(µ) Moda(µ)
Exata SIR Exata SIR Exata SIR Caso 1 13,27 31,684 19,13 0 13,27 31,6837 Caso 2 13,27 11,788 63,4 6,922 13,27 10,8745 Caso 3 9,63 9,371 6,33 1,154 9,63 9,0014 Caso 4 9,63 9,345 2,01 0,356 9,63 9,3955
Tabela 11 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via SIR para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata SIR Exata SIR Exata SIR Caso 1 38,27 39,265 39,583 0 36,356 39,2655 Caso 2 126,81 104,18 2923,66 2397,08 96,97 78,017 Caso 3 12,67 12,653 29,188 29,463 9,689 4,2787 Caso 4 4,02 4,011 0,951 0,966 3,618 3,1002 Tabela 12 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via SIR para σ².
Para uma amostra de tamanho 100, o caso 1, o programa para obter a distribuição a posteriori de µ e σ² pelo método SIR não rodou. A distribuição a posteriori de µ não foi bem aproximada pelo método SIR no caso 2, ela foi degenerada pelos mesmos motivos que a distribuição de σ² foi degenerada no caso 1 para a amostra de tamanho 10. Nos casos 3 e 4 a amostras geradas pelo método SIR ficaram centrados nos mesmos valores da distribuição a posteriori exata, porém com uma variância bem menor que a da distribuição exata. No caso 2, a amostra a posteriori gerada pelo método SIR foi degenerada e bem distante dos valores onde a distribuição a posteriori exata põe massa. No caso 3, a amostra gerada ficou concentrada na cauda direita da distribuição a posteriori exata. E no caso 4, a amostra a posteriori gerada pelo método SIR aproximou bem a distribuição a posteriori exata de σ².
Figura 9 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via SIR (histograma) para µ.
Caso 2
20 10 0 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
mu
Densidade
Caso 3
20 10
0 8 7 6 5 4 3 2 1 0
mu
Densidade
Caso 4
15 10 5 0 2
1
0
mu
Densidade
Figura 10 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via SIR (histograma) para σ².
Caso 2
80 70 60 50 40 30 20 10 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
sigma2
Densidade
Caso 3
10 9 8 7 6 5 4 3 2 1 3
2
1
0
sigma2
Densidade
Caso 4
9 8 7 6 5 4 3 2 1 0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0
sigma2
Densidade
E(µ) Var(µ) Moda(µ)
Exata SIR Exata SIR Exata SIR Caso 2 10,52 10,874 10,232 0 10,52 10,8745 Caso 3 10,124 10,130 2,59 0,024 10,124 10,1574 Caso 4 10,124 10,119 2,038 0,042 10,124 9,9214 Tabela 13 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via SIR para µ.
E(σ²) Var(σ²) Moda(σ²)
Exata SIR Exata SIR Exata SIR Caso 2 20,464 78,017 8,293 0 19,7 78,017 Caso 3 5,181 5,794 0,531 0,216 4,987 5,44457 Caso 4 4,076 4,09 0,268 0,27 3,951 3,68082 Tabela 14 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via SIR para σ².
2.5. SIR e Método da rejeição: Análise das simulações (caso Poisson)
Para uma amostra de tamanho 10, no caso 1, o MR não selecionou nenhum dado para formar a distribuição a posteriori pelos mesmos motivos citados no caso normal. Já no caso 2, o MR foi bem
eficiente. No caso 1, a distribuição a posteriori exata de λ não foi bem aproximada pelo método SIR, pois a amostra a posteriori gerada pelo método SIR está concentrada na cauda direita da distribuição a posteriori exata e tem variância menor que esta. No caso 2 o método SIR foi bem eficiente para aproximar a distribuição a posteriori exata de λ.
Figura 11 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via MR e SIR (histograma) para λ.
MR - Caso 2
0 1 2 3
0,0 0,5 1,0 1,5
lambda
densidade
SIR – Caso 1
0 1 2 3 4 5
0 5 10
lambda
densidade
SIR – Caso 2
0 1 2 3
0,0 0,5 1,0 1,5
lambda
densidade
E(λ) Var(λ) Moda(λ)
Exata MR SIR Exata MR SIR Exata MR SIR Caso 1 1,454 --- 3,55 0,066 --- 0,032 1,409 --- 3,411 Caso 2 1,190 1,190 1,193 0,113 0,118 0,110 1,095 0,974 1,271 Tabela 15 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR e SIR para λ.
Para uma amostra de tamanho 100 os resultados foram:
Figura 12 – Comparação entre a distribuição a posteriori exata (curva contínua) e a distribuição a posteriori obtida via MR e SIR (histograma) para λ.
MR - Caso 2
0 1 2 3
0 1 2 3 4
lambda
densidade
SIR – Caso 1
0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5
0 50 100 150 200 250 300 350
lambda
densidade
SIR – Caso 2
0 1 2 3
0 1 2 3 4
lambda
densidade
E(λ) Var(λ) Moda(λ)
Exata MR SIR Exata MR SIR Exata MR SIR Caso 1 1,265 --- 3,418 0,012 --- 0,0001 1,255 --- 3,411 Caso 2 1,089 1,092 1,090 0,011 0,011 0,011 1,079 0,641 1,052 Tabela 16 – Estatísticas descritivas das distribuições a posteriori exatas e geradas via MR e SIR para λ.
As mesmas observações e conclusões da amostra de tamanho 10 são válidas para a amostra de tamanho 100. Acrescentando-se que para a amostra de tamanho 100 o caso 1 do método SIR foi pior que para o tamanho de amostra 10, pois a amostra gerada pelo método SIR está mais afastada da distribuição a posteriori exata de λ.
3. Conclusões
Neste trabalho, descreveu-se e estudou-se a eficiência de três métodos para obtenção de uma aproximação da distribuição a posteriori: Gibbs Sampling, MR e SIR. Para isto, considera-se uma análise conjugada e amostras geradas de duas distribuições: Normal com média e variância desconhecidas e Poisson. Também consideram-se dois tamanhos amostrais, n=10 e 100. Em ambos os casos, compara-se o resultado com a distribuição a posteriori exata.
De uma maneira geral, os três métodos foram eficientes na geração da distribuição a posteriori do parâmetro σ2. Percebe-se isto dos gráficos que mostram uma perfeita aproximação com a distribuição a posteriori exata e também através da proximidade dos resumos de ambas distribuições exata e aproximadas. Considerando o parâmetro µ , notou-se que o Gibbs Sampling gerou distribuições a posteriori com variabilidade maior, enquanto que os demais métodos com menor variabilidade, em relação à distribuição exata. O método Gibbs Sampling foi o que melhor aproximou as distribuições a posteriori exatas de µ. A justificativa é simples pois a geração deste parâmetro, em todos os modelos, depende do valor gerado para σ2. Há então uma herança de erros de estimação.
Apesar desse problema com a variabilidade foi observado que a distribuição a posteriori de µ , gerada pelos modelos, está centrada praticamente no mesmo ponto que a distribuição exata.
O uso de distribuições a priori que não representavam bem os parâmetros µ e σ2 implicaram na obtenção de estimativas pontuais afastadas dos valores reais dos parâmetros para o modelo Gibbs Sampling, porém tal comportamento ocorreu também nas distribuições exatas, ou seja, o método foi bem eficiente para aproximar as distribuições a posteriori exatas. Para o Método da Rejeição e o SIR, nestes casos, amostras pequenas ou contendo nenhum elemento eram formadas a posteriori. Isso condiciona a boa aplicação destes dois métodos apenas em casos onde a distribuição a priori não está em desacordo com a função de verossimilhança. Sugere-se então que os modelos sejam usados em conjunto. Caso o SIR ou o Método da Rejeição selecione amostras pequenas, existirá a indicação de que a informação a priori não é boa, assim as estimativas a posteriori obtidas via Gibbs Sampling podem não ser consistentes. Caso contrário todos os métodos são considerados eficientes e podem ser usados na realização de inferências.
No caso Poisson, observou-se que os métodos SIR e MR não são eficientes em situações onde a distribuição a priori do parâmetro de interesse está muito afastada da realidade. Aconselha-se então, em situações onde não se tem informações razoáveis sobre o parâmetro de interesse a priori, a se usar distribuições a priori bem pouco informativas. Para os casos em que a distribuição a priori do parâmetro de interesse está próxima da realidade, tais métodos se mostraram bem eficientes para aproximar a distribuição a posteriori exata do parâmetro.
Vale destacar, porém, que o Método Gibbs Sampling nem sempre pode ser utilizado, pois exige que as distribuições condicionais completas sejam conhecidas, o que não ocorre sempre.
Aconselha-se então, para casos semelhantes aos estudados, utilizar o método Gibbs Sampling sempre que as distribuições condicionais completas forem conhecidas.
Agradecimentos
Flávio Bambirra Gonçalves e Vinícius Diniz Mayrink são bolsistas do programa Pibic-CNPq. A pesquisa de Rosâgela Helena Loschi é parcialmente financiada pelo CNPq (300325/2003-7). Frederico R. B. da Cruz agradece ao CNPq (301809/96-8 e 201046/94-6) e FAPEMIG (CEX – 289/98 e CEX – 855/98).
Referências Bibliográficas
Gelfand, A. E. e Smith, A. F. M. (1990) – Sampling based approaches to calculating marginal densities.
Journal of the American Statistical Association. V. 85 – Pg. 398 – 409.
Gelfand, A. E. e Smith, A. F. M. (1992) – Bayesian Statistics Without Tears: A Sampling – Resampling Perpective. The American Statistician. V. 46 – Pg. 84 – 88.
Geman, S. e Geman, D. (1984) – Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images. IEEE transactions on Pattern Analysis and Machine Intelligence. V.6. – Pag 721 – 741.
Hastings, W. K. (1970) – Monte Carlo sampling methods using Markov chains and their applications – Biometrika. V.57 – Pg.97 – 109.
Metropolis, N., Rosenbluth, A. W., Rosenbluth, M. N., Teller, A. H. e Teller, E.(1953)
