Inferˆ encia Bayesiana - Aula 2 -
M´arcia D’Elia Branco
Universidade de S˜ao Paulo Instituto de Matem´atica e Estat´ıstica
Inferˆ encia e Decis˜ ao
Os problemas de estima¸c˜ao e teste de hip´oteses podem ser vistos como problemas de decis˜ao.
Os elementos de um problema de decis˜ao no contexto de inferˆencia s˜ao:
(1) Espa¸co de a¸c˜oesA: poss´ıveis resposta para o problema de inferˆencia;
+ Aceitar ou rejeitar uma hip´otese por exemplo.
(2) Espa¸co Θde todos os estados da natureza.
+ conjunto dos valores do parˆametro de interesse.
(3) Espa¸co amostral X: poss´ıveis resultados de um experimento.
(4) Fun¸c˜ao de perda L(θ, a) : Θ× A →R+
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Inferˆ encia e Decis˜ ao
No contexto Bayesiano, temos associada aθuma distribui¸c˜ao de probabilidades. Ent˜ao, para cada afixada,L(θ, a)´e uma
quantidade aleat´oria.
As decis˜oes s˜ao feitas considerando-se os riscosa posteriori das a¸c˜oes.
O risco de uma a¸c˜ao, ou decis˜ao,a∈ A´e a perda esperada a posteriori dada por
r(a|x) = Z
Θ
L(θ, a)f(θ|x)dθ.
A a¸c˜ao ´otima ou Regra de Bayes´e uma a¸c˜aoa∗ tal que a∗ =minar(a|x).
O Risco de Bayes´e dado por: r(a∗ |x).
Inferˆ encia e Decis˜ ao
Exemplo 1: Um m´edico tem que decidir se envia (a= 1) ou n˜ao (a= 0) um paciente para uma cirurgia. Se a probabilidade do paciente estar doente (θ= 1) ´e π (desconhecido) e se sua fun¸c˜ao de perda ´e
L(θ, a) =
0 se θ= 0, a= 0 500 se θ= 0, a= 1 1000 se θ= 1, a= 0 100 se θ= 1, a= 1
(1)
ent˜ao os riscos associados a cada a¸c˜ao s˜ao:
r(0) = 0(1−π) + 1000π= 1000π r(1) = 500(1−π) + 100π = 500−400π.
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Inferˆ encia e Decis˜ ao
A decis˜ao depende da incerteza que o m´edico tem sobre a presen¸ca da infermidade (π). A decis˜ao ´otima ´e
Se π >0.357, a Regra de Bayes ´e a= 1 (indicar cirurgia) Se π <0.357, a Regra de Bayes ´e a= 0 (n˜ao indicar cirurgia) Se π = 0.357n˜ao existe uma Regra de Bayes.
Para aprender sobreπ podemos realizar um experimento, observar X=x e obter π=P(θ= 1|x).
Estudo da maturidade sexual do peixe-galo
Voltamos ao nosso exemplo da aula 1.
Suponha que temos que escolher entre trˆes tipos de redes de pesca.
As alternativas s˜ao A, B e C (aumentando o tamanho de malha da rede).
A preferˆencia ´e capturar as fˆemeas que j´a atingiram matura¸c˜ao sexual, peixes maiores queLT50.
Neste caso, o estado da natureza ´e o tamanho da matura¸c˜ao, θ=LT50.
A fun¸c˜ao de perda ´e dada por:
Rede |Tamanho <20 20 - 25 25 - 30 30 - 35 35 - 40 ≤40
A 1 0 2 4 6 8
B 3 2 1 0 2 4
C 4 3 2 1 0 2
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Estudo da maturidade sexual do peixe-galo
N˜ao ´e poss´ıvel obter uma forma anal´ıtica fechada para a distribui¸c˜aoa posteriorideLT50. No entanto, podemos obter a probabilidadea posterioride cada intervalo utilizando um m´etodo de Monte Carlo para simular da distribui¸c˜aoa posteriori.
LT50 <20 20 - 25 25 - 30 30 - 35 35 - 40 ≤40 Prob 0.005 0.125 0.607 0.234 0.024 0.004
A perda esperada (ou risco) para cada decis˜ao ´e 2.334(A),0.939(B) e 1.854(C).
Portanto, a decis˜ao que minimiza o risco ´e
”Escolher a rede de malha B”.
O Risco de Bayes ´e r(B |x) = 0.939.
Inferˆ encia e Decis˜ ao
Alguns exemplos de fun¸c˜oes de perdas e decis˜oes Bayesianas no contexto de estima¸c˜ao. A= Θ
Perda quadr´atica: L(θ, a(x)) = (a(x)−θ)2. Resulta que E[θ|x]´e a decis˜ao ´otima eV ar[θ|x]´e o risco de Bayes.
Perda absoluta: L(θ, a(x)) =|a(x)−θ|. Resulta que
M ed[θ|x]´e a decis˜ao ´otima eE[|M ed(θ|x)−θ|]´e o risco de Bayes.
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Representa¸c˜ ao da informa¸c˜ ao a priori.
Procedimentos subjetivos× objetivos.
Os procedimentos subjetivos consistem em transformar a informa¸c˜ao obtida pelos especialistas em medidas de probabilidades. Elicia¸c˜ao da distribui¸c˜aoa priori.
Os procedimentos objetivos consistem em obter distribui¸c˜oes a priori que s˜ao dominadas pelos dados (pouco informativas).
As prioris objetivas podem ser constru´ıdas sem depender da opini˜ao dos especialistas sobre o parˆametro, mas em geral, dependem do modelo estat´ıstico proposto paraX |θ.
O uso de distribui¸c˜oesa priori conjugadas ´e uma facilitador na obten¸c˜ao das inferˆenciasa posteriori
Representa¸c˜ ao da informa¸c˜ ao a priori.
Nos procedimentos subjetivos o desafio ´e transformar as informa¸c˜oes dos especialistas em distribui¸c˜oes de probabilidades.
Se Θ´e finito, podemos usar frequˆencias relativas de eventos anteriores como aproxima¸c˜oes de probabilidades.
Se θ´e cont´ınuo (maioria dos casos) buscamos informa¸c˜oes sobre probabilidades de intervalos ou medidas resumos, tais como m´edia e variˆancia.
Exemplo: Captura-recaptura de Lagartos (Robert, C., 2001) Parˆametros de interesse: pt probabilidade de captura de um animal no instantet.
Informa¸c˜ao obtida via especialistas: M´edia e intervalos de probabilidade 0.95.
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Representa¸c˜ ao da informa¸c˜ ao a priori.
Tempo 2 3 4 5 6
M´edia 0.3 0.4 0.5 0.2 0.2
IC de 0.95 [0.1,0.5] [0.2,0.6] [0.3,0.7] [0.05,0.4] [0.05,0.4]
Qual distribui¸c˜ao de probabilidade usar?
Usando a distribui¸c˜ao Beta, temos
Tempo 2 3 4 5 6
f(θ) Be(6,14) Be(8,12) Be(12,12) Be(3.5, 14) Be(3.5, 14)
Prioris conjugadas
Quando decidimos fazer uma an´alise conjugada buscamos por Simplicidade na deriva¸c˜ao da distribui¸c˜ao a posteriori.
Parˆametros interpret´aveisa posterior.
Defini¸c˜ao 1: Uma fam´ılia de distribui¸c˜oes de probabilidades H, emΘ, ´e conjugada com respeito ao modelo amostral
F={f(x|θ) :θ∈Θ} se
h(θ)∈ H ⇒h(θ|x)∈ H, ∀x.
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Prioris conjugadas
Exemplo 1: O modelo BinomialBin(n, θ) tem a distribui¸c˜ao Beta como uma fam´ılia conjugada. Pois,
θ∼Be(a, b) ⇒θ|x∼Be(a+x, b+n−x).
Exemplo 2: O modelo Normal N(θ, σ2),σ2 conhecido. A fam´ılia Normal ´e conjugada. Pois,
θ∼N(m0,1/τ0) ⇒ θ|x∼N(m1,1/τ1)
comτ1= σ12 +τ0 em1= 1/στ 2
1 x+ττ0
1m0.
Note que, se definirmos a fam´ıliaHde forma muito ampla com por exemplo, todas as medidas de probabilidades emΘ, tamb´em obtemos a conjuga¸c˜ao.
Prioris conjugadas
Defini¸c˜ao 2: Uma fam´ılia de distribui¸c˜oes de probabilidadesH, emΘ, ´e conjugada natural com respeito ao modelo amostral F={f(x|θ) :θ∈Θ} se,
H´e fechada com respeito ao modelo amostralF, isto ´e, se f(x|θ)∈ F ´e proporcional a um membro de H, para cada x∈ X.
H´e fechada com respeito ao produto, isto ´e, para todo a0, a1 ∈ A, existe a2 tal que
π(θ|a0)π(θ|a1) =π(θ|a2).
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Prioris conjugadas
Exemplo 1: A fam´ılia Beta ´e conjugada natural?
f(x|θ)∝θx(1−θ)n−x
´e proporcional a umaBeta(x+ 1, n−x+ 1).
? Portanto, a primeira condi¸c˜ao ´e verificada. ? Al´em disso,
f(θ|a0, b0)f(θ|a1, b1)∝θa0+a1−2(1−θ)b0+b1−2 ∝θa3−1(1−θ)b3−1
coma3 =a0+a1−1 e b3 =b0+b1−1.
?A fam´ılia Beta ´e fechada em rela¸c˜ao ao produto. ?
Prioris conjugadas
Teorema: Se o modelo amostral F ={f(x|θ) :θ∈Θ} possui estat´ısticas suficientes de dimens˜ao fixa, ent˜ao existe uma fam´ılia conjugada natural.
Exemplo 2: x1, . . . , xn amostra (cond. i.i.d.) da N(θ, σ2) com σ2 conhecido. Temos quef(x1, . . . , xn|θ)´e igual a
(2πσ2)−n/2e
− 1
2σ2 n
P
i=1
(xi−¯x)2
e−2σn2(θ−¯x)2
Pelo teorema da fatora¸c˜ao,X¯ ´e suficiente paraθ. Como X¯ tem dimens˜ao 1 para todon, segue que possui conjugada natural.
´E f´acil ver que neste caso o modelo normal ´e a fam´ılia conjugada natural. (Exerc´ıcio!)
Obter a posteriorif(θ|x1, x2, . . . xn).
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Prioris conjugadas
Exemplo 3: x1, . . . , xnamostra (cond. i.i.d.) daCauchy(θ).
Neste caso a estat´ıstica suficiente tem dimens˜ao igual ao tamanho da amostra. Portanto, n˜ao existe a conjugada natural.
Exemplo 4: x1, . . . , xnamostra (cond.i.i.d) da U(0,θ) com θ >0.
Podemos verificar queX(n) =max{x1, . . . , Xn} ´e suficiente para θ. Portanto, existe uma fam´ılia conjugada natural.
Como obter? Olhar para fun¸c˜ao de distribui¸c˜ao de T(x) =X(n), f(t|θ) =nθ−ntn−1I(t,+∞)(θ).
A distribui¸c˜ao de Pareto ´e a conjugada natural. (Exerc´ıcio!)
Fam´ılia Exponencial
X|θpertence a fam´ılia exponencial k-param´etrica se sua f.d.p (ou f.p.) pode ser representada como
f(x|θ) =c(θ)h(x)e
k
P
j=1
Qj(θ)Rj(x)
com o suporte n˜ao envolvendoθ.
Se temosx1, . . . , xn uma amostra (cond.i.i.d) deX|θ, ent˜ao
f(x1, . . . , xn|θ) = [c(θ)]n
n
Y
i=1
h(xi)e
k
P
j=1
Qj(θ)Tnj
comTnj =Pn
i=1Rj(xi).
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
Fam´ılia Exponencial
Podemos verificar (ver teoria cl´assica) que o vetor aleat´orio T = (Tn1, . . . , Tnk) ´e uma estat´ıstica suficiente (min´ıma) para o vetorθ e sua f.d.p (ou f.d.) ´e dada por
f(t|n, θ) = [c(θ)]ng(t)e
k
P
j=1
Qj(θ)tj
para alguma fun¸c˜ao g(t) que n˜ao envolveθ.
Al´em disso, a dimens˜ao de T n˜ao depende do tamanho amostraln.
Assim, existe uma fam´ılia conjugada natural na forma f(θ|a0, a1, . . . , a) =...
Referencias.
Kinas, P.G. e Andrade, H.A. (2010). Introdu¸c˜ao `a an´alise bayesiana (com R). Editora: maisQnada.
Migon, H and Gamerman, D. (1999). Statistical Inference:
An integrated approach. Chapman and Hall/CRC.
Paulino, D. , Turkman, M.A. eMurteira, B. (2003).
Estat´ıstica Bayesiana. Funda¸c˜ao Calouse Gulbenkian - Lisboa.
Robert, C.P. (2001). The Bayesian Choice. Springer.
M´arcia D’Elia Branco Inferˆencia Bayesiana - Aula 2 -
