ABD Parte2

(1)

An´

alise Bayesiana de Decis˜

ao

Parte 2: passeio ”bayesiano” por probabilidades

Paul Kinas

(2)

Distribui¸c˜

oes de Probabilidade

1

_Discretas

Definidas sobre {θ

1

, · · · , θ

n

} ou {θ

1

, θ

2

, · · · }

fun¸cão de massa de probabilidade (fmp) p(θ) = P(Θ = θ) fun¸cão distribui¸cão F (w ) = P(Θ ≤ w ) para todo Real w . Exemplos:Binomial, Poisson

2

Cont´ınuas

Definida num intervalo Real {w

1

< θ < w

2

}

fun¸c˜ao densidade de probabilidade (fdp) p(θ) P(θ < Θ ≤ θ + δ) ≈ p(θ) · δ

fun¸c˜ao distribui¸c˜ao conforme acima Exemplos: Normal (Gauss), Beta, Gama

(3)

Distribui¸c˜

ao Binomial – Bin(n, π)

Uma v.a. Θ tem distribui¸c˜

ao Bin(n, π) para n´

umeros inteiros de 0

at´

e n (inclusive) com 0 < π < 1, se sua f.m.p. ´

e definida por:

p(θ) =

n

θ

· π

θ

· (1 − π)

n−θ

· I

_{{θ=0,1,2,...,n}}

(4)

Distribui¸c˜

ao Binomial – Bin(n = 10, π = 0.3)

0 2 4 6 8 10 0.00 0.05 0.10 0.15 0.20 0.25 teta p(teta|n,pi) 0 2 4 6 8 10 0.0 0.2 0.4 0.6 0.8 1.0 teta F(teta|n,pi)

(5)

Distribui¸c˜

ao Beta – Beta(α, β)

Uma v.a. θ ∈ [0, 1] tem distribui¸c˜

aoo Beta com parˆ

ametros α > 0

e β > 0 se sua f.d.p. for dada por:

p(θ) =

Γ(α + β)

Γ(α)Γ(β)

θ

α−1

_{(1 − θ)}

β−1

_{· I}

{06θ61}

E (Θ) =

α

α + β

;

V (Θ) =

αβ

(α + β)

2

_{(α + β + 1)}

;

moda(Θ) =

α − 1

α + β − 2

(se α > 1 e β > 1)

(6)

Distribui¸c˜

ao Beta – Beta(α = 4, β = 2)

0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.5 1.0 1.5 2.0 teta p(teta|alf a,beta) 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 1.0 X F(teta|alf a,beta)

(7)

Momentos e Separatrizes

E (g (θ)) =

X

g (θ) · p(θ)

1

Momento de ordem k = {0, 1, 2. · · · } ´

e m

_k

= E (θ

k

)

Esperan¸ca µ = m1 Variância σ2_{= m} 2− (m1)2 Desvio padrão σ =√σ2 Precisão τ = σ−2

2

Separatriz q

_h

delimita os h% menores valores de θ

Defini¸c˜ao P(Θ ≤ qh) = F (qh) = h/100

Mediana ´e q50

(8)

Aferi¸c˜

ao de Probabilidades (1)

Tentativas para construir (distribui¸c˜

oes) Prioris que sejam

informativas:

Morgan, M.G.; Henrion, M. (1990) Uncertainty: a guide to dealing

with uncertainty in quantitative risk and policy analysis.

Cambridge University Press.

Chapter 6: Human Judgment about and with Uncertainty

Chapter 7: Performing Probability Assessments (Stanford

Research Institute Assessment Protocol)

(9)

Aferi¸c˜

ao de Probabilidades (2)

1

_{Princ´ıpio da Indiferen¸}

_ca

Se {Ei; i = 1, ..., n} é parti¸cão com indices permutáveis,

ent˜ao P(Ei) = 1/n

Aplica¸c˜ao: urna padr˜ao P(B) = b/n

2

_{Experimento de calibra¸c˜}

_ao

Queremos a aferi¸cão deA=o professor K. é filho único; isto é, queremos aferir P(A|Hyou) sendo Hyou a sua informa¸cão

sobre o prof.

Fixado n e escolhido algum b ∈ {0, ..., n}, decida o que para você é mais provável: A ou B=”a bola amostrada é branca” Varie b até encontrar b0 que para você torna A e B

igualmente prov´aveis

(10)

Aferi¸c˜

ao de Probabilidades (3)

1

Exercicio de calibra¸c˜

ao Nr. 1

A1=Frederic Chopin era francˆes;

Fixado n = 100, escolha em b ∈ {0, ..., n} um valor b0₁que para vocˆe torna A1e B igualmente prov´aveis

Sua aferi¸c˜ao ´e P(A1|Hyou) ≈ b10/n 2

Exercicio de calibra¸c˜

ao Nr. 2

A2=Santiago do Chile fica a leste de New York;

Fixado n = 100, escolha em b ∈ {0, ..., n} um valor b0₂que para vocˆe torna A2e B igualmente prov´aveis

(11)

Aferi¸c˜

ao de Probabilidades (4)

1

_{O que ´}

_{e uma ”BOA” aferi¸c˜}

_ao?

queremos penaliza¸c˜ao pequena

Se A é verdadeiro então penaliza¸cão é 100 ∗ (1 − b0_/n)2

Se A é falso então penaliza¸cão é 100 ∗ (b0_/n)2 2

Vi´

eses de aferi¸

c˜

ao

Tversky and Kahneman (1974) Judgment under uncertainty:

heuristics and biases. Science (185):1124-1131

entender as heur´ısticas e os vi´eses

(a) representatividade; (b) disponibilidade; (c) ancoragem treinar para minimizar seus efeitos

(12)

Aferi¸c˜

ao de Probabilidades (5)

1

Exercicio de calibra¸c˜

ao Nr. 1

A

₁

´

e Falso

Frederic Chopin era POLON ÊS; Cálculo da penaliza¸cão

Q1= 100 ∗ (b10/n)2

2

Exercicio de calibra¸c˜

ao Nr.2

A

₂

´

e Verdadeiro

Santiago (long = 70o _{Oeste); New York (long = 73}o _Oeste);

C´alculo da penaliza¸c˜ao Q2= 100 ∗ (1 − b02/n) 2

3

_{Um Chimpanz´}

_{e teria escore total Q}

₁

_{+ Q}

₁

_{= 25 + 25 = 50}

(13)

Subjetividade e uso de Informa¸c˜

ao a Priori

P(θ|X ) ∝ P(x |θ) · P(θ)

Posteriori ∝ Verossimilhan¸

ca x Priori

1

Subjetive Bayes (Savage, de Finetti) e

Objective Bayes (Jeffreys, Jaynes)

2

Prioris objetivas, segundo Jaynes (2003)

Transformar informa¸cão a priori em distribui¸cão a priori por análise racional (e não por introspeçcão)

De posse das mesmas informa¸c˜oes, diferentes analistas devem construir as mesmas prioris

Como a análise depende dos DADOS e da PRIORI, ambas precisam ser explicitadas na descri¸cão do problema em questão

(14)

Tipos de Distribui¸c˜

oes a PRIORI

1

Prioris Informativas

aferir a partir da informa¸cão dispon´ıvel posteriori de uma análise prévia

2

_{Prioris ”N˜}

_{ao-informativas”}

fracamente informativas ou vagas (weakly informative prior -WIP)

minimamente informativa (least informative prior - LIP) (priori de Jeffreys )

(15)

O Princ´ıpio da Verossimilhan¸ca

1

A fun¸c˜

ao de verossimilhan¸

ca (likelihood): L(θ) = p(x |θ)

2

_{Princ´ıpio de verossimilhan¸}

_{ca: ”a inferˆ}

_{encia sobre hip´}

_{oteses a}

partir dos dados deve avaliar a plausibilidade dos dados

efetivamente observados `

a luz das v´

arias hip´

oteses em

disputa.”

Nota: um TH frequentista avalia a plausibilidade de dados

potenciais `

a luz de uma hip´

otese de referˆ

encia H

0

.

3

Se para todo x tivermos que L

₁

(θ) ∝ L

₂

(θ), ent˜

ao ambos

carregam a mesma informa¸

c˜

ao sobre θ e devem resultar na

mesma inferˆ

encia sobre as hip´

oteses em disputa.

(16)

Teste de Hip´

otese (F) viola o Princ´ıpio da Verossimilhan¸ca

1

Testar a hip´

oteses H

₀

: θ = 0.5 versus H

₁

: θ < 0.5

θ = probabilidade de indiv´ıduo tomado ao acaso seja Fˆ

emea

2

_{Os dados: 12 animais; 3 fˆ}

_{emeas e 9 machos}

amostrou-se 12 animais determinando o n´umero de fˆemeas (Dist. Binomial) Pr (x ≤ 3|H0) = 0.073

(17)

Teste de Hip´

otese (F) viola o Princ´ıpio da Verossimilhan¸ca

1

Testar a hip´

oteses H

₀

: θ = 0.5 versus H

₁

: θ < 0.5

θ = probabilidade de indiv´ıduo tomado ao acaso seja Fˆ

emea

2

Os dados: 12 animais; 3 fˆ

emeas e 9 machos

amostrou-se 12 animais determinando o n´umero de fˆemeas (Dist. Binomial) Pr (x ≤ 3|H0) = 0.073

N˜AO rejeita H0

contamos o número de animais amostrados até conseguirmos 3 fêmeas (Dist. Binomial Negativa) Pr (n ≥ 12|H0) = 0.019

Rejeita H0

3

L

₁

(θ) = dbinom(3, 12, θ) ∝ dnbinom(12 − 3, 3, θ) = L

₂

(θ)

(18)

ABD Parte2

An´

alise Bayesiana de Decis˜

ao

Parte 2: passeio ”bayesiano” por probabilidades

Paul Kinas

Distribui¸c˜

oes de Probabilidade

Discretas

Definidas sobre {θ

, · · · , θ

} ou {θ

, θ

, · · · }

Cont´ınuas

Definida num intervalo Real {w

< θ < w

}

Distribui¸c˜

ao Binomial – Bin(n, π)

Uma v.a. Θ tem distribui¸c˜

ao Bin(n, π) para n´

umeros inteiros de 0

at´

e n (inclusive) com 0 < π < 1, se sua f.m.p. ´

e definida por:

p(θ) =

n

θ



· π

· (1 − π)

· I

Distribui¸c˜

ao Binomial – Bin(n = 10, π = 0.3)

Distribui¸c˜

ao Beta – Beta(α, β)

Uma v.a. θ ∈ [0, 1] tem distribui¸c˜

aoo Beta com parˆ

ametros α > 0

e β > 0 se sua f.d.p. for dada por:

p(θ) =

Γ(α + β)

Γ(α)Γ(β)

θ

(1 − θ)

· I

E (Θ) =

α

α + β

;

V (Θ) =

αβ

(α + β)

(α + β + 1)

;

moda(Θ) =

α − 1

α + β − 2

(se α > 1 e β > 1)

Distribui¸c˜

ao Beta – Beta(α = 4, β = 2)

Momentos e Separatrizes

E (g (θ)) =

X

g (θ) · p(θ)

Momento de ordem k = {0, 1, 2. · · · } ´

e m

= E (θ

)

Separatriz q

delimita os h% menores valores de θ

Aferi¸c˜

ao de Probabilidades (1)

Tentativas para construir (distribui¸c˜

oes) Prioris que sejam

informativas:

Morgan, M.G.; Henrion, M. (1990) Uncertainty: a guide to dealing

with uncertainty in quantitative risk and policy analysis.

Cambridge University Press.

_Discretas

n

_{(1 − θ)}

_{· I}

_{(α + β + 1)}

_{Princ´ıpio da Indiferen¸}

_ca

_{Experimento de calibra¸c˜}

_ao

_{O que ´}

_{e uma ”BOA” aferi¸c˜}

_ao?

_{Um Chimpanz´}

_{e teria escore total Q}

_{+ Q}

_{= 25 + 25 = 50}

_{Prioris ”N˜}

_{ao-informativas”}

_{Princ´ıpio de verossimilhan¸}

_{ca: ”a inferˆ}

_{encia sobre hip´}

_{oteses a}