NotasdeAula2016Vers˜aoParcial RonaldTarginoNojosa Estat´ısticaComputacional

Estat´ıstica Computacional

Ronald Targino Nojosa

DEMA-UFC

Notas de Aula 2016

Vers˜ ao Parcial

Na Estat´ıstica Computacional abordaremos:

programa computacional R

gera¸c˜ ao de n´ umeros pseudo-aleat´ orios m´ etodos para gera¸ c˜ ao de vari´ aveis aleat´ orias

◦ invers˜ ao, rejei¸c˜ ao e composi¸ c˜ ao m´ etodos num´ ericos

◦ Monte Carlo, Newton-Raphson, escore de Fisher t´ ecnicas de reamostragem

◦ bootstrap, jackknife

M´etodos de Monte Carlo

M´ etodos de Monte Carlo: classe de algoritmos de simula¸ c˜ ao Duas principais classes de problemas num´ ericos em inferˆ encia estat´ıstica

Classes de problemas

Otimiza¸ c˜ ao: associado ` a abordagem por M´ ax. Verossimilhan¸ ca

Integra¸ c˜ ao: associado geralmente ` a abordagem bayesiana

Problema geral: calcular a integral Z

χ

h(x)f (x)dx = E f [h(X)]

Princ´ıpio de MC: aproximar integrais da forma acima por

¯ h _n = 1 n

n

X

j=1

h(x _j )

Para isso geramos uma amostra (X 1 , X 2 , . . . , X n ) de f .

¯ h _n converge quase certamente para E _f [h(X)] (LGN)

Regras de Simpson e do Trap´ ezio s˜ ao alternativas ao uso de

m´ etodos de simula¸ c˜ ao para aproximar integrais.

Nota:

h ² _n (X) tendo esperan¸ ca finita sob f , a variˆ ancia assint´ otica da aproxima¸c˜ ao ´ e

var(¯ h _n ) = 1 n

Z

χ

(h(x) − E _f [h(X)]) ² f (x)dx

e pode ser estimada a partir da amostra (X 1 , X 2 , . . . , X n ) por v _n = 1

n ²

n

X

j=1

[h(x _j ) − ¯ h _n ] ²

Nota:

Devido ao TCL, para n grande, (¯ h _n − E _f [h(X)])

√ v n

∼ N (0, 1)

Fun¸c˜ oes no R para aproximar integrais unidimensionais (n˜ ao usam o princ´ıpio de Monte Carlo)

area (biblioteca MASS): n˜ ao trata com limites infinitos

integrate (biblioteca stats): aceita limites infinitos, mas ´ e

fr´ agil e pode produzir resultados n˜ ao confi´ aveis

C´ alculo de probabilidades

Seja X uma vari´ avel aleat´ oria.

P(X ∈ A) = E[I _A (X)] ≈ 1 n

n

X

i=1

I _A (X _i ),

X _i vari´ aveis aleat´ orias i.i.d., i = 1, 2, . . . , n, n grande.

C´ alculo de integrais definidas do tipo I = R b

a h(x)dx (M´ etodo de Monte Carlo Simples)

I = Z b

a

h(x)dx = Z b

a

(b − a)h(x) 1

(b − a) dx = (b − a)E U [h(X)],

em que E _U [h(X)] ´ e a esperan¸ ca calculada considerando uma

distribui¸ c˜ ao U (a, b).

C´ alculo de integrais definidas do tipo I = R b

a h(x)dx (M´ etodo de Monte Carlo Simples)

Note que o c´ alculo da integral se resume ao c´ alculo de uma esperan¸ ca que pode ser “estimada”a partir de uma amostra simulada de uma U (a, b). Portanto,

I ˆ = (b − a) P n

i=1 h(u i )

n ,

com u _i , i = 1, 2, . . . , n, de U ∼ U (a, b).

C´ alculo de integrais impr´ oprias da forma I = Z ∞

0

h(x)dx

Transforma¸ c˜ ao: y = 1 x + 1 Assim, dy = − 1

(x + 1) ² dx ⇒ dx = − dy y ²

e y = 1

x + 1 ⇒ x = 1 − y

y .

Exemplo 1 Para obter a estimativa de MC para a Z 1

0

[cos(50x) + sin(20x)] ² d(x),

podemos considerar h(x) = [cos(50x) + sin(20x)] ² e f (x) = 1.

Como 0 < x < 1, Z 1

0

h(x)f (x)d(x) = E f [h(X)], com X ∼ U (0, 1).

Assim, podemos gerar x ₁ , x ₂ , . . . , x _n de X ∼ U (0, 1) e aproximar a integral por

¯ h _n = P _n

i=1 h(x _i )

n .

Exemplo 2 Para obter a estimativa de MC para a P (X > 4,5), com X ∼ N (0, 1), note que

P(X > 4,5) = Z ∞

4,5

f (x)d(x) = Z ∞

−∞

I (x)

{x>4,5}

f(x)d(x) = E[ I(X)

{x>4,5}

].

Portanto, ¯ h n = 1 n

n

X

j=1

I(x i )

{x

>4,5} .

Problema geral da integra¸ c˜ ao de MC: calcular E _f [h(X)]

E _f [h(X)] = Z

χ

h(x)f (x)dx

Solu¸c˜ ao: aproximar por ¯ h n

¯ h _n = 1 n

n

X

j=1

h(x _j )

Geramos uma a.a. de f : x 1 , x 2 , . . . , x n

Calculamos h(x j ), j = 1, 2, . . . , n, e ¯ h n = 1 n

P n

j=1 h(x j ) V ar(¯ h _n ) = V ar( 1

n

n

X

j=1

h(X _j )) = V ar(h(X _j ))

n = V ar(h(X)) n V ar(h(X)) ´ e estimada por 1

n P n

j=1 [h(x _j ) − h ¯ _n ] ²

Portanto, a variˆ ancia do estimador ¯ h _n de MC ´ e estimada por v n = V ar(¯ d h n ) = 1

n ²

n

X

j=1

[h(x j ) − ¯ h n ] ²

O erro de MC(erro padr˜ ao do estimador de MC) ´ e √

v _n .

Erro de Monte Carlo

O erro de Monte Carlo ´ e “confi´ avel”se v n ´ e um estimador

adequado para a variˆ ancia de ¯ h n . Se v n n˜ ao converge ou n˜ ao

converge r´ apido o bastante para a aplica¸ c˜ ao do TCL, a estimativa

e a regi˜ ao de confian¸ ca associada a ele n˜ ao pode ser “confi´ avel”.

Motiva¸c˜ ao: “Dif´ıcil”simular a partir de f , visando estimar E f [h(X)] =

Z

χ

h(x)f (x)dx

Proposta: Amostragem por Importˆ ancia ou Monte Carlo via Fun¸c˜ ao de Importˆ ancia

O m´ etodo de amostragem por importˆ ancia ´ e baseado em uma

representa¸ c˜ ao alternativa de E _f [h(X)].

Dado uma densidade g que ´ e estritamente positiva quando h × f ´ e diferente de zero, podemos reescrever E _f [h(X)] como

E _f [h(X)] = Z

χ

h(x) f (x)

g(x) g(x)dx = E _g [ h(X)f (X)

g(X) ] = E _g [w(X)]

Assim, definimos o estimador 1 n

n

X

j=1

h(X j )f (X j ) g(X _j ) ,

baseado em uma a.a. X 1 , X 2 , . . . , X n gerada a partir de g.

Segue:

1 n

n

X

j=1

h(X j )f (X j )

g(X _j ) −→ E f [h(X)]

Como E _f [h(X)] pode ser escrita como uma esperan¸ ca sob g, a convergˆ encia acima se verifica pela mesma raz˜ ao que o estimador

¯ h _n converge, qualquer que seja a escolha de g.

Nota:

g ´ e chamada de fun¸ c˜ ao de importˆ ancia O suporte de g deve incluir o suporte de f

As caudas de g devem ser mais pesadas do que as caudas de f

Resultados melhores s˜ ao obtidos quando g for uma boa

aproxima¸ c˜ ao de f

Exemplo 3 Para obter a estimativa de MC para a P(0,3 < X < 0,7), com X ∼ Beta(2, 3), note que

P(0,3 < X < 0,7) = Z 0,7

0,3

f (x)d(x) = Z 0,7

0,3

12x(1− x) ² d(x) =

= Z 1

0

I(x)

(0,3;0,7)

12x(1 − x) ²

g(x) g(x)d(x) = Z 1

0

w(x)g(x) = E g [w(X)],

com g(x) = 1 I (x)

(0,1)

e X ∼ U (0, 1).