Estatística Computacional e Simulação

(1)

Estatística Computacional e Simulação

Capítulo 3. Métodos de Monte Carlo em Inferência Estatística

MEIO MSc ESTATÍSTICA e INVESTIGAÇÃO OPERACIONAL MGI MSc GESTÃO DE INFORMAÇÃO

MAEG MSc MATEMÁTICA APLICADA À ECONOMIA E GESTÃO

DEIO - FCUL

1⁰ Ano - 2⁰ Semestre - 2011/2012 Créditos: 6 ECTS; Carga Horária: 2T + 2P

Maria Isabel Fraga Alves mailto:mialves@fc.ul.pt

http://docentes.deio.fc.ul.pt/fragaalves/

Gabinete 6.4.8

(2)

3. Métodos de Monte Carlo em Inferência Estatística 3.1 Integração de Monte Carlo 3.2 Aplicações em Inferência Estatística

Introdução

Genericamente, são designados por métodos de Monte Carlo todos os métodos computacionais onde se examina propriedades de um distribuição de

probabilidade, gerando uma grande amostra de determinada distribuição e então são estudadas as propriedades estatísticas nesta amostra.

Neste capítulo vamos considerar vários Métodos Monte Carlo de forma a aproximar numericamente o valor médio

E[g(X)]

para uma função real g.

Seja X uma v.a. e g uma função real. Existem vários métodos diferentes de calcular o E[g(X)]:

quando a distribuição de X tem uma densidade f , podemos usar a relação E[g(X)] =

Z

g(x)f(x)dx. (1)

Este método só funciona se podemos resolver a integral resultante.

(3)

Introdução

Genericamente, são designados por métodos de Monte Carlo todos os métodos computacionais onde se examina propriedades de um distribuição de

probabilidade, gerando uma grande amostra de determinada distribuição e então são estudadas as propriedades estatísticas nesta amostra.

Neste capítulo vamos considerar vários Métodos Monte Carlo de forma a aproximar numericamente o valor médio

E[g(X)]

para uma função real g.

Seja X uma v.a. e g uma função real. Existem vários métodos diferentes de calcular o E[g(X)]:

Por vezes podemos encontrar a resposta analiticamente. Por exemplo, quando a distribuição de X tem uma densidade f , podemos usar a relação

E[g(X)] = Z

g(x)f(x)dx. (1)

Este método só funciona se podemos resolver a integral resultante.

(4)

3.1 Integração de Monte Carlo

tentar usar integração numérica para obter uma aproximação para o valor do integral. A integração numérica está fora do tópico da estatística computacional, pelo que não abordaremos esta abordagem.

A técnica que vamos estudar neste capítulo é chamada integração de Monte Carlo. Essa técnica é baseada na Lei Forte dos Grandes Números: Se{Xi}_i∈N é uma sucessão de va's iid a X , então

Nlim→∞

1 N

N

X

i=1

g(Xi) =E[g(X)] (2)

quasi-certamente. Embora o resultado (2) seja válido quando N→ ∞, na prática, usamos a aproximação

E[g(X)]≈ 1 N

N

X

i=1

g(Xi) (3)

quando N é elevado.

(5)

3.1 Integração de Monte Carlo

Se o integral em (1) não pode ser resolvido analiticamente, pode-se tentar usar integração numérica para obter uma aproximação para o valor do integral. A integração numérica está fora do tópico da estatística computacional, pelo que não abordaremos esta abordagem.

Monte Carlo. Essa técnica é baseada na Lei Forte dos Grandes Números: Se{Xi}_i∈N é uma sucessão de va's iid a X , então

Nlim→∞

1 N

N

X

i=1

g(Xi) =E[g(X)] (2)

E[g(X)]≈ 1 N

N

X

i=1

g(Xi) (3)

(6)

3.1 Integração de Monte Carlo

Se o integral em (1) não pode ser resolvido analiticamente, pode-se tentar usar integração numérica para obter uma aproximação para o valor do integral. A integração numérica está fora do tópico da estatística computacional, pelo que não abordaremos esta abordagem.

A técnica que vamos estudar neste capítulo é chamada integração de Monte Carlo. Essa técnica é baseada na Lei Forte dos Grandes Números:

Se{Xi}_i∈N é uma sucessão de va's iid a X , então

Nlim→∞

1 N

N

X

i=1

g(Xi) =E[g(X)] (2)

E[g(X)]≈ 1 N

N

X

i=1

g(Xi) (3)

(7)

O termo "Monte Carlo"(MC) é uma referência para o casino de Monte Carlo (mesas de Roleta são geradores de números aleatórios num certo sentido ), e a palavra "integração"refere-se a (1).

Algoritmo MC input: função g

N ∈N

NPA's : observações de uma sucessão{Xi}_i_∈_N iid a X output: Estimador para E[g(X)]

1: s :=0

2: for i =1,2,· · ·,N do 3: s:=s+g(Xi) 4: end for

5: return s/N

(8)

Exemplo (1.1 Integração MC)

Calcular a estimativa de Monte Carlo para θ=

Z ₁

0 e⁻^xdx e comparar com o valor exacto.

Em R, o algoritmo pode ser simplesmente

> # Integração de Monte Carlo

> m <- 10000

> x <- runif(m)

> theta.hat <- mean(exp(-x))

> print(theta.hat) [1] 0.6321036

> print(1 - exp(-1)) [1] 0.6321206

(9)

Podemos calcular probabilidades usando a integração de Monte Carlo, reescrevendo-los como valores médios: se X é uma va e X_i iid a X , então para N é elevado

P[X ∈A] =E[1_A(X)]≈ 1 N

N

X

i=1

1_A(X_i).

R_b

a g(x)dx usando a integração MC:

Sejam Ui iid a U ∼ U_[_a_,_b_], ie, f_U(x) = _b₋¹_a1[a,b](x) . Então

Z _b

a g(x)dx= (b−a)Z

g(x)fU(x)dx= (b−a)E[g(U)]≈ b−a N

N

X

i=1

g(Ui),

para N elevado.

(10)

Podemos calcular probabilidades usando a integração de Monte Carlo, reescrevendo-los como valores médios: se X é uma va e X_i iid a X , então para N é elevado

P[X ∈A] =E[1_A(X)]≈ 1 N

N

X

i=1

1_A(X_i).

Podemos também calcular integrais denidos do tipo R_b

a g(x)dx usando a integração MC:

Sejam Ui iid a U ∼ U_[_a_,_b_], ie, f_U(x) = _b₋¹_a1[a,b](x) . Então

Z _b

a g(x)dx= (b−a)Z

g(x)fU(x)dx= (b−a)E[g(U)]≈b−a N

N

X

i=1

g(Ui),

para N elevado.

(11)

Exemplo (1.2 Integração MC)

Calcular a estimativa de Monte Carlo para θ=

Z ₄

2 e⁻^xdx e comparar com o valor exacto.

Em R, o algoritmo pode ser simplesmente

> # Integral definido em [a,b] -- Integração MC

> m <- 10000

> x <- runif(m, min=2, max=4)

> theta.hat <- mean(exp(-x)) * 2

> print(theta.hat) [1] 0.1176214

> print(exp(-2) - exp(-4)) [1] 0.1170196

(12)

Exemplo (1.3 Integração MC) Seja X ∼ N(0,1).

Calcular a estimativa de Monte Carlo para P[X ≤a].

Embora não se possa calcular analiticamente, uma estimativa MC é P[X ≤a]≈ 1

N

X

i=1

1{Xi≤a}, com{X_i}^N_i₌₁ iid X , e N elevado.

(13)

Exemplo (1.4 Integração MC) Seja X ∼ N(0,1).

Calcular a estimativa de Monte Carlo para P[X >4.5].

Abordagem 1: uma estimativa MC é P[X >4.5]≈ 1

N XN

i=1

1{Xi>4.5},

com{X_i}^N_i₌₁ iid X , e N elevado. No entanto, este método exige um elevadíssimo número de NPA's N(0,1), dado que se trata de uma valor muito próximo de 0.

(14)

Realmente, só para valores da ordem de N =10⁷, é possível obter estimativas com alguma precisão; fazendo correr o algoritmo

a=4.5 for(i in 5:7){

N=10^i z<-rnorm(N) p.hat=sum(z>4.5)/N p= pnorm(-a)

dif=abs( sum(z>4.5)/N- pnorm(-a)) mylist<-list(N=N,p.hat=p.hat,p=p,dif=dif) print(mylist)

}}

uma saída possível é a seguinte:

$N[1] 1e+05

$p.hat [1] 0

$p[1] 3.397673e-06

$dif

[1] 3.397673e-06

$N[1] 1e+06

$p.hat [1] 2e-06

$p[1] 3.397673e-06

$dif[1] 1.397673e-06

$N[1] 1e+07

$p.hat [1] 3.3e-06

$p[1] 3.397673e-06

$dif[1] 9.767312e-08

(15)

Abordagem 2: Integração MC

Para X ∼N(0,1), os acontecimentos do tipo{X >4.5} podem assim ser "catalogados"de acontecimentos raros.

por outro lado, podemos considerar um modelo auxiliarcom f.d.p. g(x) de fácil geração, e com localização nesse suporte.

Neste caso particular, considere-se para modelo auxiliar a Exponencial unitária deslocada para 4.5; ie,

g(x) =e⁻⁽^x⁻⁴^.⁵⁾, x >4.5 . Utilizaremos a aproximação

P[X >4.5]≈ 1 N

N

X

i=1

φ(X_i) g(Xi),

para X_i i.i.d. com f.d. G(x) =1−e⁻⁽^x⁻⁴^.⁵⁾, correspondente f.d.p. g(x).

(16)

Implementando o algoritmo

#---Normal -- Probabilidade de cauda P[Z>4.5] --- par(mfrow = c(2, 2))

a=4.5

for(i in 2:5){

N=10^i y=rexp(N)+a

fdivg=dnorm(y)/dexp(y-a) vect<-cumsum(fdivg)/1:N

plot(cumsum(fdivg)/1:N,type="l")

abline(h=pnorm(-a),col="green") # probabilidade P[Z>4.5]=P[Z<-4.5]

cat("N=",N,"p.hat=",vect[N]," p=", pnorm(-a),

"dif=", abs(vect[N]-pnorm(-a)),"\n") }

uma saída possível é a seguinte:

N= 100 p.hat= 3.678575e-06 p= 3.397673e-06 dif= 2.809018e-07 N= 1000 p.hat= 3.640066e-06 p= 3.397673e-06 dif= 2.423931e-07 N= 10000 p.hat= 3.390207e-06 p= 3.397673e-06 dif= 7.466403e-09 N= 1e+05 p.hat= 3.398206e-06 p= 3.397673e-06 dif= 5.328124e-10

(17)

(18)

Abordagem 3: Integração MC

Considere um modelo auxiliarcom f.d.p. g(x) de fácil geração, e com localização nesse suporte:

Pareto deslocada; ie,

g(x|α) =α(x −3.5)^−α−¹, x >4.5 . Utilize a aproximação

P[X >4.5]≈ 1 N

N

X

i=1

φ(X_i) g(X_i|α),

para Xi i.i.d. com f.d. G(x|α) =1−(x−3.5)^−α, associada à f.d.p. g(x|α).

Considere valores de α >5.

(19)

Precisão da estimativa MC

Com o método discutido até agora, uma questão em aberto ainda é quão grande se deve escolher N ?

Por um lado, quanto maior for N, mais precisa será a nossa estimativa; como N → ∞ a aproximação Monte Carlo converge para a resposta correta.

Mas por outro lado, quanto maior for N , mais dispendioso é o método, porque precisamos de gerar e processar mais valores NPA X_i.

Uma chave para essa escolha baseia-se nos seguintes dois resultados:

(20)

Precisão da estimativa MC

O estimador MC é centrado para E[g(X)], ie, E

"

1 N

N

X

i=1

g(X_i)

#

= 1 N

N

X

i=1

E[g(X_i)] =E[g(X)]

A Variância para o estimador MC é dada por Var

"

1 N

N

X

i=1

g(X_i)

#

= 1 N²

N

X

i=1

Var[g(X_i)] = 1

NVar[g(X)]

ie, Variância vai para 0, quando N→ ∞ consistência decaindo para zero à velocidade de 1/√

N; quer dizer, para aumentar a precisão por um factor 10, ie, em mais um dígito signicativo, é exigido aumentar o#de Xi's geradas por um factor de 100.

(21)

Precisão da estimativa MC

Para determinar o valor N necessário para atingir uma dada precisão, pode-se proceder da seguinte forma: peladesigualdade de Chebyshev, tem-se que

P

"

1 N

N

X

i=1

g(Xi)−E[g(X)]

≤ε

#

≥1−Var(g(X)) Nε² . Consequentemente, escolhendo N≥^Var(g(X))_αε₂ obtem-se

P

"

1 N

N

X

i=1

g(Xi)−E[g(X)]

≤ε

#

≥1−α.

Suponha-se que dispomos de um majorante para a variância Var(g(X))≤1 por exemplo; para se estimar E[g(X)]com erro quando muitoε=0.01 com uma probabilidade no mínimo de 1−α=0.95, dever-se-ão usar

N≥ 1

αε² = 1

0.05(0.01)² =200000 valores simulados.

(22)

Integração de Monte Carlo

De forma genérica para calcularmos um integral do tipo I =

Z

X

k(x)dx podemos recorrer a uma decomposição

k(x) =g(x)f(x),

com f(x) uma fdp associada a uma v.a. X de suporteX; assim, I =

Z

X

k(x)dx = Z

X

g(x)f(x)dx =E[g(X)].

(23)

Integração de Monte Carlo

Para proceder ao cálculo computacional do integral I , simulam-se N valores NPA's observações do modelo X

x1,x2,· · · ,xN

e o valor simulado de I é dado pela estimativa ˆI = 1

N

X

i=1

g(xi).

A estimativa do Erro de Integração,q

Var(X)

N é a sua contrapartida empírica

rs² N,

denotando s² a variância empírica dos valores simulados g(x1),· · · ,g(x_N).

(24)

Amostragem de importância (ou preferencial)

Este método aproxima o integral I =E[g(X)] =

Z

X

g(x)f(x)dx procedendo a uma representação alternativa

I = Z

X

g(x)f(x) h(x)h(x)dx

obtem-se a estimativa dada por simulação de Monte Carlo ˆI = 1

N XN

i=1

g(x_i)f(x_i)

h(x_i), x_i NPA's com fdp h(x) Uma escolha aconselhável para o modelo h deve obedecer a:

o suporte de h deve incluir o suporte de f

as caudas de h devem ser mais pesadas do que as caudas de f

(25)

3.2 Aplicações em Inferência Estatística

Em inferência estatística normalmente temos uma amostra X1,X2,· · ·,Xn

que se presume ser gerada de acordo com algum modelo estatístico.

O nosso objectivo é obter informações sobre os parâmetros do modelo subjacente aos dados.

Seja

T =T(X1,X2,· · ·,Xn)

uma estatística. Um exemplo importante de uma estatística é o caso onde T é usada para estimar um parâmetro; neste caso T é um estimador.

Frequentemente, em especial para n pequeno, a distribuição de T não é conhecida explicitamente, mas podemos estudá-la usando o método de Monte Carlo.

(26)

Por exemplo,o valor médio µ=E[T]pode ser estimado da seguinte forma:

1 Gerem-se N amostras independentes do modelo para i =1,2,· · · ,N

(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · ·,Xn⁽ⁱ⁾)

2 Calcule-se

T⁽ⁱ⁾=T(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · · ,X_n⁽ⁱ⁾) para i =1,2,· · ·,N

3 Aproxime-se o valor médio de T por µ≈µˆ =T = 1

N

X

i=1

T⁽ⁱ⁾

NOTA:no total geram-se nN valores X_i, com N grande.

(27)

Umintervalo de conança para E[T] =µde grau aproximadamenteα é dado pela relação

P

T −z₁−α/2√S_N

N ≤E[T]≤T +z₁−α/2√S_N N

≈1−α, com:

S_N² =_N¹ P_N

i=1(T⁽ⁱ⁾−T)² a variância empírica associada à amostra (T⁽¹⁾,T⁽²⁾,· · ·,T⁽^N⁾)

z1−α/2= Φ⁻¹(1−α/2)é o quantil de probabilidade(1−α/2)da N(0,1).

Justicação: Teorema de Slutsky,

√N T−E[T] SN

−→d

n→∞Z ∼ N(0,1)

(28)

Outras quantidades de interesse relativamente a uma estatística T podem ser aproximadas por simulação MC:

afunção de distribuição de T no ponto x,

F_T(x) =P[T ≤x], pode ser estimada para cada x por FT(x)≈FˆT(x) = 1

N

X

i=1

1{T⁽ⁱ⁾≤x}

o quantil de probabilidade p da distribuição de T , ie, χ^T_p :P[T ≤χ^T_p] =p pode ser estimado por um long run de N valores simulados T⁽ⁱ⁾, i =1,2,· · ·,N, ordenando-os

T₁:N ≤T₂:N ≤ · · · ≤T_N:N.

O quantil-p da estatística T será estimado (para um n xo) por

χ^T_p ≈χˆ^T_p =T[Np]+1:N, onde [t]é a parte inteira de t.

(29)

Umintervalo de conança paraχ^T_p de grau aproximadamenteα é dado pela relação

Ph

T_r:N ≤χ^T_p ≤T_s:N

i

≈1−α, com:

r=h Np−p

Np(1−p)z1−α/2+¹₂i , s=h

Np+p

Np(1−p)z₁−α/2+¹₂i

z₁−α/2= Φ⁻¹(1−α/2) quantil de probabilidade(1−α/2)daN(0,1).

Justicação: Para uma v.a. contínua T e para r<s, Ph

Tr:N ≤χ^T_p ≤Ts:N

i

=

s−1

X

i=r

N i

!

pⁱ(1−p)^N⁻ⁱ; por aproximação da Binomial pela Normal (com correcção de continuidade) obtem-se o resultado.

(30)

Suponhamos que X ∼F(x|θ)e a estatística é um estimador deθ θˆ= ˆθ(X1,X2,· · · ,Xn).

O viés do estimadorviés(ˆθ) :=Eθ[ˆθ−θ]pode ser estimado por

viés(ˆθ)≈viésd(ˆθ) = 1 N

N

X

i=1

θˆ⁽ⁱ⁾−θ

O Erro Quadrático Médio (EQM) do estimador EQM(ˆθ) :=Eθ[(ˆθ−θ)²]é estimado por

EQM(ˆθ)≈EQM[(ˆθ) = 1 N

N

X

i=1

(ˆθ⁽ⁱ⁾−θ)²

comθˆ⁽ⁱ⁾ = ˆθ⁽ⁱ⁾(X₁,X₂,· · ·,X_n)

(31)

Outra aplicação importante da simulação MC é na área dos testes estatísticos.

Seja T =T(X1,X2,· · ·,Xn)aestatística de testeque permite decidir rejeitar ou não a hipótese nula H0.

O teste de região de rejeiçãoRtemnível de signicânciaαse, sob a validade de H0,

P[T ∈ R]≤α.

Observação: No caso de um teste sobre uma parâmetroθ∈Θdo tipo H0:θ∈Θ₀ vs H1:θ∈Θ₁, com{Θ₀,Θ₁}uma partição deΘo nível de signicância dene-se porα= sup

θ∈Θ₀Pθ[rejeitar H0].

Em muitos casos esta condição só pode ser obtida assintoticamente testes de nível assintótico α e na prática recorre-se a aproximações para n elevado.

Assim, para valores pequenos de n a

probabilidade do Erro de Tipo 1

é na realidade desconhecida e pode ser estimada por simulação de Monte Carlo.

(32)

Para estimar a P[Erro de Tipo 1]para valores de n pequenos, através de simulação de Monte Carlo proceda-se do seguinte modo:

1 Gerar N amostras independentes de acordo com o modelo postulado em H0,

(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · ·,X_n⁽ⁱ⁾), para i =1,2,· · · ,N

2 Calcular

T⁽ⁱ⁾=T(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · · ,Xn⁽ⁱ⁾) para i =1,2,· · · ,N

3 Determinar qual a percentagem de amostras de H₀ que são rejeitadas (erradamente)

P[Erro de Tipo 1] =P[T ∈ R]≈ 1 N

N

X

i=1

1{T⁽ⁱ⁾∈R}

(33)

Para este tipo de Simulação de MC, o parâmetro estimado não é mais do que uma probabilidade, a

p:=P[Erro de Tipo 1], e o estimador não é mais do que uma proporção,

ˆp := 1 N

XN

i=1

1{T⁽ⁱ⁾∈R}.

Então uma estimativa do desvio padrão daquela proporção é

cdp(ˆp) =

rˆp(1−ˆp) N ≤ √0.5

N.

(34)

Exemplo (2.1 Teste de assimetria para a normalidade) Considerar o teste de normalidade baseado no coeciente de assimetria para uma população X

H₀ : p

β₁ =0 vs H₁ : p β₁ 6=0

e estudar a P[Erro de Tipo 1]para valores nitos de n, sob Hipótese de normalidade, quando se consideram os pontos críticos assintóticos.

O coeciente de assimetria√

β₁ para uma v.a. X é denido por pβ₁= E[(X−µ_x)³]

σ³_X , comµ_X =E[X]eσ_X² =Var(X).

Se√

β₁=0 então a distribuição de X é simétrica Se√

β₁>0 então a distribuição de X é assimétrica positivamente.

Se√

β₁<0 então a distribuição de X é assimétrica negativamente.

(35)

O coeciente de assimetria√

b₁ empírico é denido por pb₁=

n1P_n

i=1(X_i −X)³

1nP_n

i=1(X_i −X)²3/2. Se X ∼Normal, então

pn/6p b1−→d

n→∞Z ∼ N(0,1).

A distribuição Normal é simétrica e um teste de normalidade baseado na assimetria rejeita a hipótese de normalidade para grandes valores de

√b₁

. Assim, as hipóteses

H0 : X ∼Normal vs H1 : X Normal podem ser reformuladas, em termos de√

β₁, H₀: p

β₁=0 vs H₁: p

β₁6=0.

(36)

Com nível assintóticoα, região crítica Rassociada à aproximação assintótica para n nito denida por

pb1∼Na (0,6/n) é

R:

pb1

≥z₁^∗−α/2,

com z₁^∗_−α/₂ o quantil de probabilidade 1−α/2 de umaN(0,6/n).

Contudo, a convergência de√

b₁ para a distribuição limite é lenta e a distribuição assintótica não constitui uma boa aproximação para valores moderados de n.

(37)

Sejaα=5%e comecemos por determinar os pontos críticos para valores de n=10,20,30,50,100,500, dados pela aproximação assintótica.

n <- c(10, 20, 30, 50, 100, 500) # dimensões de amostra cv <- qnorm(.975, 0, sqrt(6/n)) # pontos críticos para cada n cv <- round(cv,4)

pontos críticos assintóticos

n 10 20 30 50 100 500

cv 1.5182 1.0735 0.8765 0.6790 0.4801 0.2147

Com estes pontos a forma de proceder será:

para cada dimensão n[i] a Região de Rejeição da Hipótese H0 é denida por

√b1

≥cv[i].

(38)

function para o cálculo do coeciente de assimetria:

sk <- function(x) {

# cálculo do coeficiente de assimetria empírico xbar <- mean(x)

m3 <- mean((x - xbar)^3) m2 <- mean((x - xbar)^2) return( m3 / m2^1.5 ) }

No algoritmo codica-se a rejeição de H₀ com a indicatriz,ie

rejeitar H0 1 não rejeitar H0 0

(39)

Assim, para cada n[i], i=1,2, ... ,6 repetir N=10000 vezes os seguintes passos

a geração de uma amostra normal de dimensão n[i]

respectivo cálculo do coeciente de assimetria function sk decisão do teste é 1 (rej H0) ou 0 registada num vector de dimensão N

no nal calcular a proporção de rejeições de H₀

(40)

# n é o vector das dimensões de amostra

# length(n) simulações diferentes

p.reject <- numeric(length(n)) # armazena resultados da simulação N <- 10000 # número replicas para cada simulação for (i in 1:length(n)) {

sktests <- numeric(N) # decisões do teste for (j in 1:N) {

x <- rnorm(n[i])

# decisão do teste -- 1 (rejeição) ou 0 sktests[j] <- abs(sk(x)) >= cv[i]

}

p.reject[i] <- mean(sktests) # proporção de rejeições }

> p.reject

[1] 0.0117 0.0255 0.0367 0.0417 0.0451 0.0520

(41)

Os resultados de simulação para a P[Erro de Tipo 1]quando se usam os pontos críticos assintóticos está resumida na tabela:

n 10 20 30 50 100 500

probERRO1 0.0117 0.0255 0.0367 0.0417 0.0451 0.0520 Com N =100000 o desvio padrão para cada estimativa é aproximadamentep

0.05×0.95/N ≈0.0022 .

Constata-se realmente, para os valores de n=10,20,30,50, que a probabilidade do Erro de Tipo 1 é bastante inferior ao valor nominal de α=5%, sendo o teste resultante bastante conservativo.

Em suma: a aproximação aos resultados assintóticos não é adequada para valores moderados de n.

(42)

Sabe-se, no entanto, que sob normalidade o valor exacto da variância do coeciente de assimetria é

Var(p

b1) = 6(n−2) (n+1)(n+3),

pelo que será de considerar a substituição dos pontos críticos pelos quantis de probabilidade(1−α/2)daN

0,₍_n⁶₊⁽₁ⁿ₎₍⁻_n²₊⁾₃₎ :

cv <- qnorm(.975, 0, sqrt(6*(n-2)/((n+1)*(n+3))))

> round(cv,4)

[1] 1.1355 0.9268 0.7943 0.6398 0.4660 0.2134

repetindo a simulação para este novo vetor de pontos críticos cv obtêm-se os seguintes resultados:

n 10 20 30 50 100 500

probERRO1 0.0536 0.0516 0.0565 0.0531 0.0505 0.0505 bastante mais próximos do nível de signicância nominalα=5%.

(43)

Exercício (2.1 pontos críticos simulados para√ b₁) Compare através de um histograma de NPA's simulados do coeciente de assimetria√

b₁ com normalidade subjacente, com sobreposição das f.d.p. da distribuição assintótica do mesmo coeciente, com e sem correcção da variância aproximada.

Simule os pontos críticos para o teste de normalidade formulado por H0 : p

β₁ =0 vs H1 : p β₁ 6=0

e compare com os pontos críticos aproximados à normal, com e sem correcção da variância.

Para um valor de n=500, α=5%e N =100000, iremos esboçar o algoritmo efectuado e a representação gráca requerida

(44)

# Pontos críticos simulados de sqrt_b1, n=500 n=500

N=100000 sqrt_b1<-numeric() for (j in 1:N) { x <- rnorm(n) sqrt_b1[j]<-sk(x) }

hist(sqrt_b1, prob = TRUE,main = NULL, xlim=c(-0.4,0.4),ylim=c(0,4.8)) text(0.0,4.8, "Histograma para o coeficiente

de assimetria, n=500") text(0.0,4.5, "N=100000") t<-seq(-1.5,1.5,by=0.001)

lines(t,dnorm(t,0,sqrt(6*(n-2)/((n+1)*(n+3)))), lty=1,type="l",xlim=c(-1,1),

ylim=c(0,5),col="red")

text(0.2,3.7,"fdp N(0,6(n-2)/((n+1)(n+3)))", col="red")

lines(t,dnorm(t,0, sqrt(6/n)),lty=1,type="l", xlim=c(-1,1),ylim=c(0,5),col="blue") text(0.15,3., "fdp N(0,6/n)",col="blue")

SkCoef<-sort(sqrt_b1) q025<- floor(N*.025)+1 q975<- floor(N*.975)+1

# quantil_.025 do Coef Assimetria sqrt_b1 simulado q025<- SkCoef[q025]

# quantil_.975 do Coef Assimetria sqrt_b1 simulado q975<- SkCoef[q975]

# quantil_.025 da N(0,6(n-2)/((n+1)(n+3)))

z1025 <- qnorm(.025, 0, sqrt(6*(n-2)/((n+1)*(n+3))))

# quantil_.975 da N(0,6(n-2)/((n+1)(n+3)))

z1975 <- qnorm(.975, 0, sqrt(6*(n-2)/((n+1)*(n+3))))

# quantil_.025 da N(0,6/n) z2025 <- qnorm(.025, 0, sqrt(6/n))

# quantil_.025 da N(0,6/n)

z2975 <- qnorm(.975, 0, sqrt(6/n)) cat("quantis assintóticos","\n",

" z2_025=", z2025, " z2_975=", z2975,"\n",

"quantis assintóticos com variância exacta","\n",

" z1_025=", z1025, " z1_975=", z1975,"\n",

"quantis exactos de sqrt_b1 simulados","\n",

" q025=", q025, " q975=", q975,"\n" )

(45)

quantis assintóticos

z2_025= -0.2147033 z2_975= 0.2147033 quantis assintóticos com variância exacta

z1_025= -0.2134202 z1_975= 0.2134202 quantis exactos de sqrt_b1 simulados

q025= -0.2138422 q975= 0.2142118

(46)

É claro que a investigação sobre a probabilidade do Erro de Tipo 1, ou ainda genericamente sobre a

probabilidade da estatística de teste pertencer à Região de Rejeição R,

com os pontos críticos exactos obtidos por simulação MC, ie, P[T ∈ R] =1−P[q025<p

b1<q975], faz aqui também todo o sentido;

em particular, é expectável que

P[Erro de Tipo 1] =P[T ∈ R|H0] =1−P[q025<√

b1<q975|H0]

=α=0.05.

(47)

Outro estudo importante acerca de Testes de Hipóteses é o que se refere à Potência para alternativas a estabelecer

H1 : X Normal. Considera-se a

Potência=P[T ∈ R] =

P[Erro de Tipo 1], X ∼Normal 1−P[Erro de Tipo 2], X Normal onde

P[Erro de Tipo 2] =P[não rejeitar H₀|H₁] =P[T ∈ R|/ H₁].

De seguida, vamos dedicar-nos a esse tópico, que tem um tratamento computacional de todo análogo ao anterior acerca da P[Erro de Tipo 1]

(48)

Para estimar a Potência=1−P[Erro de Tipo 2]para valores de n pequenos, através de simulação de Monte Carlo proceda-se do seguinte modo:

1 Gerar N amostras independentes de acordo com o modelo postulado em H1,

(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · ·,X_n⁽ⁱ⁾), para i =1,2,· · · ,N

2 Calcular

T⁽ⁱ⁾=T(X₁⁽ⁱ⁾,X₂⁽ⁱ⁾,· · · ,Xn⁽ⁱ⁾) para i =1,2,· · · ,N

3 Determinar qual a percentagem de amostras de H₀ que são rejeitadas (acertadamente)

1−P[Erro de Tipo 2] =P[T ∈ R|H1]≈ 1 N

N

X

i=1

1{T⁽ⁱ⁾∈R}

(49)

No caso do Teste de normalidade baseado no coeciente de assimetria√

b1, vamos considerar uma família de modelos sob H1, nomeadamente a Normal contaminada

H₁^(ε):X ∼(1−ε)N(µ=0, σ²=1) +εN(µ=0, σ²=100), 0≤ε≤1

que não é mais do que considerar uma mistura de duas normais de pesosεe1−ε, constituindo uma sequência de alternativas H₁^(ε), indexadas porε.

(50)

# curva da POTÊNCIA para o teste de normalidade alpha <- .05

n <- 500 N <- 1000

epsilon <- c(seq(0, .01, .001), seq(.01, 1, .05)) m <- length(epsilon)

pwr <- numeric(m)

#Pontos críticos assintóticops com correcção da variância cv <- qnorm(1-alpha/2, 0, sqrt(6*(n-2) / ((n+1)*(n+3)))) for (j in 1:m) { # para cada epsilon e <- epsilon[j]

sktests <- numeric(N)

for (i in 1:N) { # para cada réplica sigma <- sample(c(1, 10), replace = TRUE,

size = n, prob = c(1-e, e)) x <- rnorm(n, 0, sigma) sktests[i] <- abs(sk(x)) >= cv pwr[j] <- mean(sktests)}

#plot potência vs epsilon com IC} plot(epsilon, pwr, type = "b",

xlab = bquote(epsilon), xlim = c(0,1.),ylim = c(0,1.1), ylab = bquote(Potência (epsilon)))

abline(h = .05, lty = 3)

se <- sqrt(pwr * (1-pwr) / N) #adição do desvio padrão lines(epsilon, pwr+se, lty = 3)

lines(epsilon, pwr-se, lty = 3)

text(0.5,1.1,"Curva da Potência do Teste de normalidade baseado na assimetria") text(0.05,0.03," = nível 5%");text(-0.02,0.03,expression(alpha))

(51)

Note-se que tanto emε=0 eε=1 a Potência é igual a 5%.

(Porquê?)