Inferˆ encia Bayesiana - Aula 1 -
M´arcia D’Elia Branco
Universidade de S˜ao Paulo Instituto de Matem´atica e Estat´ıstica www.ime.usp.br/ mbranco - sala 295-A -
Paradigmas Bayesiano
Fazer inferˆencia ´e usar a informa¸c˜ao para reduzir a incerteza sobre um objeto em estudo.
Existe duas fontes de informa¸c˜ao: amostral (associado ao experimento) e conhecimentos pr´evios (sua experiˆencia de vida)
A incerteza a respeito de tudo o que ´e desconhecido deve ser traduzida por uma medida de probabilidade.
Interpreta¸c˜oes subjetiva ou l´ogica de probabilidade.
Probabilidade como uma medida pessoal de incerteza, n˜ao como o limite da frequˆencia relativa (postura cl´assica).
Na escola Bayesiana cada observa¸c˜ao ´e ´unica.
A escola Cl´assica ´e baseada na possibilidade de repetir experimentos sob as mesmas condi¸c˜oes.
Exemplo 1: Interpreta¸c˜ao da medida de probabilidade.
EC:Se lan¸camosnvezes a mesma moeda sob as mesmas condi¸c˜oes e calculamos a frequˆencia relativa do n´umero de caras, este valor se estabilizar´a em 1/2 (limite da frequˆencia relativa).
EB:Para vocˆe a credibilidade na ocorrˆencia de cara ´e a mesma que na n˜ao ocorrˆencia. Se vocˆe tiver que apostar contra um oponente no resultado da moeda (cara) dever´a apostar 1 contra 1.
Ent˜aoP rob(cara) = 1/2.
Compara¸c˜ ao com a inferˆ encia cl´ assica
Exemplo 2: Faz sentido utilizar toda a informa¸c˜ao dispon´ıvel ou somente a amostral ´e relevante?
Vocˆe deseja inferir sobre a capacidade de uma pessoa acertar resultados. Apresentam-se para o teste
∗ um especialista em m´usica que diz ser capaz de diferir as m´usicas de Haydn e Mozart.
∗ um bˆebado que diz ser capaz de acertar os resultados no lan¸camento de uma moeda.
Se ambos s˜ao submetidos a dez provas e acertam todas elas, ent˜ao sua inferˆencia baseada nos dados ´e a mesma. Ser´a razo´avel?
Em estudos de popula¸c˜ao de peixes os cientistas est˜ao interessados na rela¸c˜ao entre o tamanho e a maturidade sexual da fˆemea de uma determinada esp´ecie de peixe. O interesse ´e determinar o tamanho em que cerca de 50 % das fˆemeas alcan¸cam a maturidade sexual, denominado tamanho de matura¸c˜ao.
Os dados na Tabela 1 representam o tamanho e a maturidade sexual de 17 fˆemeas capturadas na costa sul do Brasil.
Considere yi o n´umero de fˆemeas maduras e ni o n´umero total de fˆemeas. pi ´e a probabilidade de que uma fˆemea na classe iesteja madura.
Motiva¸c˜ ao: Estudo da maturidade sexual do peixe-galo.
Tabela 1: N´umero de fˆemeas maduras por tamanho.
Comprimento (cm) Total Maduras
10 - 20 3 0
20 - 30 5 1
30 - 40 4 3
40 - 70 5 5
Suponhayi uma Binomial(ni, pi) com pi a probabilidade de que uma fˆemea na classeiesteja madura. xi ´e o ponto m´edio da classei. O modelo log´ıstico ´e dado por
log pi
1−pi
=β0+β1(xi−x)¯
A quantidade principal de interesse ´e LT50=−β0
β1 + ¯x, obtida quando substitui-sepi por 0.5.
A an´alise Bayesiana resulta na obten¸c˜ao da distribui¸c˜ao de probabilidade associada a LT50.
Esta distribui¸c˜ao de probabilidade representa a incerteza a posterior sobre a quantidade de interesse.
A partir da distribui¸c˜ao a posterior, pode-se obter uma estima¸c˜ao pontual igual a 28 cm e um intervalo, de probabilidade 0.95, igual a (22.65 ; 35.25).
Motiva¸c˜ ao: Estudo da maturidade sexual do peixe-galo.
LT50 depende de dois parˆametros desconhecidos β0 e β1, os quais tamb´em possuem uma distribui¸c˜ao de probabilidade a posterior.
Iniciamos com uma medida de probabilidade a priori f(β0, β1), por exemplo, normal bivariada.
Para obter a medida a posterior utilizamos a f´ormula de Bayes f(β0, β1 |y) = f(y|β0, β1)f(β0, β1)
f(y) ,
onde f(y|β0, β1)´e a probabilidade conjunta dey1, y2, . . . , yk supondo os parˆametros conhecidos. No nosso caso, esta probabilidade ´e o produto de binomias.
A quantidade f(y) ´e a distribui¸c˜ao marginal e ´e obtida pela integra¸c˜ao do numerador. N˜ao existe solu¸c˜ao anal´ıtica e algoritmos num´ericos s˜ao necess´arios.
Sob a abordagem cl´assica os parˆametros podem ser estimados utilizando-se os estimadores de m´axima verossimilhan¸ca e a teoria assint´otica normal.
As estimativas pontuais, e por intervalo, de m´axima verossimilhan¸ca de β1 s˜ao 0.266 e (-00188 ; 0.5526), com confian¸ca de 95 % .
Sob a abordagem Bayesiana, o intervalo de credibilidade ´e (0.112 ; 0.795), com probabilidade 95 %.
Esta diferen¸ca justifica-se pela assimetria observada na distribui¸c˜ao a posteriori.
Enquanto que o intervalo cl´assico indica queβ1 pode ser zero, a distribui¸c˜aoa posterioriindica claramente um valor positivo.
O modelo param´ etrico probabil´ıstico.
Uma medida de probabilidade P ´e definida em um espa¸co (X,A),onde A´e uma sigma ´algebra de elementos mensur´aveis.
Um espa¸co param´etrico estat´ıstico ´e um conjunto (fam´ılia) de medidas de probabilidade, associadas a um vetor aleat´orioX, indexadas por um parˆametroθ,
(X,A, Pθ), ∀θ
Sob o ponto de vista Bayesiano ´e preciso definir uma medida de probabilidade a prior para θ,
(Θ,B, π)
Sob certas suposi¸c˜oes, ´e poss´ıvel definir uma medida de probabilidade conjunta paraX e θ .
Usa-se a f´ormula de Bayes para obter a medida de
probabilidade condicional de θdado o resultado da amostra X =x
f(θ|x) = P(X=x|θ)f(θ) P
Θ
P(X=x|θ)f(θ)
f(θ|x) = f(x|θ)f(θ) R
Θ
f(x|θ)f(θ)dθ
O modelo param´ etrico binomial
Exemplo 1: O modelo binomial.
X|θ, n∼Bin(n, θ) ,0< θ <1e ninteiro.
Suponhan conhecido, ´e preciso definir uma medida de probabilidade paraθ.
Prior 1:
θ 0.25 0.50 0.75 f(θ) 0.25 0.50 0.25
Paran= 2 a posterior ´e
θ 0.25 0.50 0.75
f(θ|x= 0) 0.500 0.440 0.060 f(θ|x= 1) 0.214 0.572 0.214 f(θ|x= 2) 0.060 0.440 0.500
Prior 2: θ∼Beta(a, b). Ent˜ao sua fun¸c˜ao de densidade ´e f(θ) = Γ(a+b)
Γ(a)Γ(b)θa−1(1−θ)b−1 , a >0 b >0.
Para obter a marginalf(x) integra-se emθ
f(x) =
1
Z
0
f(θ)Cn,x(θ)x(1−θ)n−xdθ.
Observe que n˜ao h´a necessidade de preocupar-se com a quantidade Cn,x (constante) pois
f(θ|x) = θa+x−1(1−θ)b+n−x−1
1
R(θ)a+x(1−θ)b+n−x−1dθ
O modelo param´ etrico binomial.
Podemos mostrar que a distribui¸c˜ao a posteriori´e θ|x∼Beta(a+x, b+n−x).
Se as distribui¸c˜oesa priori ea posteriori est˜ao na mesma classe de distribui¸c˜oes, dizemos que s˜ao conjugadas em rela¸c˜ao ao modelo estat´ısticoX|θ.
Como escolhera eb ?
Se a=btemos uma distribui¸c˜ao sim´etrica.
Se a=b= 1 temos uma uniforme.
A m´edia e a variˆancia a prioris˜ao E[θ] = a+ba
V ar[θ] = (a+b)2ab(a+b+1).
0.0 0.2 0.4 0.6 0.8 1.0
0.00.51.01.52.0
Densidades Beta simetricas
x
densidade
Gr´ aficos da densidade Beta
0.0 0.2 0.4 0.6 0.8 1.0
0.00.51.01.52.02.5
Densidades Beta assimetricas a < b
x
densidade
Usando o seu conhecimento para construir suaa priori.
∗Qual o significado deθ?
∗Informa¸c˜oesa priori
θ (0.00 - 0.25) (0.25 - 0.50) (0.50 - 0.75) (0.75 - 1.00)
Prob. 0.10 0.40 0.40 0.10
∗Densidadea priori : θ∼Beta(3,3)
θ (0.00 - 0.25) (0.25 - 0.50) (0.50 - 0.75) (0.75 - 1.00)
Pbeta. 0.1035 0.3965 0.3965 0.1035
Gr´ aficos das densidades a posteriori com n=2 e priori Beta(3,3)
0.0 0.2 0.4 0.6 0.8 1.0
0.01.02.0
Priori e Posteriori, n=2, x=0
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
0.01.02.0
Priori e Posteriori, n=2, x=1
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
0.01.02.0
Priori e Posteriori, n=2, x=2
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
051015
Priori e Posteriori, n=50, x=0
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
0246
Priori e Posteriori, n=50, x=25
x densidade 051015
Priori e Posteriori, n=50, x=50
densidade
Gr´ aficos das densidades a posteriori com n=50 e priori Beta(50,50)
0.0 0.2 0.4 0.6 0.8 1.0
02468
Priori e Posteriori, n=50, x=0 (Priori II)
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
0246810
Priori e Posteriori, n=50, x=25 (Priori II)
x
densidade
0.0 0.2 0.4 0.6 0.8 1.0
02468
Priori e Posteriori, n=50, x=50 (Priori II)
x
densidade
