Lei dos Grandes Números LGN

(1)

Lei dos Grandes N´

umeros LGN

O grande problema para a interpreta¸cão variacional é a existência da covariânica na rela¸cão entre variávies aleatórias, isto é, vimos que

var n+1 X i αiXi ! = n+1 X i α2iσ 2 i + 2 n+1 X i<j αiαiCOV(Xi, Xj)

Simplesmente dizer que a variância da soma das variáveis aleatórias é a soma das variânicias individualmente não é verdade, existe ainda a contribui¸cão da covariância entre elas. Se, e somente se, as variáveis aleatórias são independentes 2X2 então a rela¸cão direta será ver-dade. O que ocorre quando aumentamos a quantidade de variáveis aleatórias quando essas são não independentes? Para melhor explicarmos o fenômeno, vamos entender primeiro o Teorema de Tchebychev.

Inequaldade de Markov

Se X é uma variável aleatória, então para qualquer valor a > 0

P_{[X ≥ a] ≤} E[X]

a (1)

Suponha a esperan¸ca E[X]

E[X] = Z ∞ 0 xf_(x|θ)dx (2) = Z a 0 xf_{(x|θ)dx +} Z ∞ a xf_(x|θ)dx ≥ Z a 0 xf_(x|θ)dx E_{[X] ≥} Z a 0 af_(x|θ)dx E_{[X] ≥ a} Z a 0 f_(x|θ)dx E_{[X] ≥ aP [X ≥ a]} P_{[X ≥ a] ≤} E[X] a

Exercise 1 Suponha que a quantidade de ´ıtens produzido durante a última semana é uma variável aleatória.

(2)

• Se na última semana a média de ´ıtens produzidos foi uma média de 500, qual a

probabilidade da pr´oxima semana ultrapassar 1000 ´ıtens?

P_{[X ≥ 1000] ≤} E[X] 1000 (3) ≤ 500 1000 = 1 2

Teorema de Tchebychev

Seja Xi variáveis aleatórias com µ = E(x) e σ = E[(x−E(x))2] no cont´ınuo. É importante

lembrarmos que f (x|θ) ≥ 0 por defini¸cão. Vamos inicialmente subdividir a integral da variância em três partes: (−∞, −√k_{) ∪ [−}√k,√k_{] ∪ (}√k,_{∞), sendo que o intervalo} [−√k,√k] contenha µ = E(x). σ2 = Z +_∞ −∞ (x − µ)2 f_(x|θ)dx = Z −√k −∞ (x − µ)2 f_{(x|θ)dx +} Z +√k −√k (x − µ)2 f_{(x|θ)dx +} Z +∞ +√k (x − µ)2 f_(x|θ)dx ≥ Z ₋√k −∞ (x − µ) 2 f_{(x|θ)dx +} Z +_∞ +√k(x − µ) 2 f_(x|θ)dx =⇒ Verifique a rela¸cão: |x − µ| ≥√k_{⇒ (x − µ)}2 ≥ k, pois |x − µ| ≡p(x − µ)2 ≥ Z −√k −∞ kf_{(x|θ)dx +} Z +∞ +√k kf_(x|θ)dx ≥ k_· Z +∞ +√k f_(x|θ)dx ≥ k_{· P ((x − µ)}2 ≥ k) ≡ k · P (|x − µ| ≥√k) Ou seja, k_{· P (|x − µ| ≥}√k) _≤ σ2 P_{(|x − µ| ≥}√k) _≤ σ 2 k =⇒ Supondo √k _{≈ n ⇒}√k_{= n · ǫ} Finalmente, P_{(|x − µ| ≥ n · ǫ) ≤} _nσ2_·ǫ22

é o teorema de Tchebychev. Verifica-se pelo teorema que existe alguma rela¸cão entre a variância e a probabilidade da distância entre a média e a variável aleatória observada x. O teorema diz que a probabilidade da variável aleatória de se afastar da média µ tende a zero, de fato:

(3)

lim n→∞P(|x − µ| ≥ n · ǫ) ≤ n→∞lim σ2 n2 · ǫ2 lim n→∞P(|x − µ| ≥ n · ǫ) → 0

Ou, de outra forma

como P_{(|x − µ| ≥ n · ǫ) = 1 − P (|x − µ| ≤ n · ǫ)} lim

n→∞P(|x − µ| ≥ n · ǫ) = n→∞lim(1 − P (|x − µ| ≤ n · ǫ))

lim

n→∞P(|x − µ| ≤ n · ǫ) → 1

Portanto, a probabilidade da variável aleatória x se aproximar da média µ tende a 1 quando n → ∞. Em outras palavras a variável converge em probabilidade para a média populacional.

Exercise 2 Suponha que a quantidade de ´ıtens produzido durante a última semana é uma variável aleatória, com X = 500 ± 10.

• Qual a probabilidade da produ¸c˜ao estar entre 400 e 600 ´ıtens?

P_{(|x − µ| ≥ n · ǫ) ≤} σ 2 n2 · ǫ2 (4) → Bola: nǫ = 100 (5) → 500 ± 100 ≡ (400 − 600) (6) P_{[|X − 500| < 100] ≥ 1 −} σ 2 1002 (7) ≥ 1 − 10 2 1002 ≥ 99 100

A probabilidade dos ´ıtens fabricados estarem entre 400 e 600 ´e de 99%.

Leis dos Grandes N´

umeros

A lei diz que

Sn

n → µ em probabilidade

(4)

Voltemos ao teorema de Tchebychev, P_{(|X − µ| ≥ n · ǫ) ≤} σ 2 n2 · ǫ2 com X = X i xi P_{(|X − E(X)| ≥ n · ǫ) ≤} σ 2 n2 · ǫ2 P X n − E X n ≥ ǫ ≤ σ 2 n2_{· ǫ}2 P P ixi n − E P ixi n ≥ ǫ ≤ σ 2 n2 · ǫ2 P P ixi n − E(¯x) ≥ ǫ ≤ σ 2 n2 · ǫ2 P Sn n − µ ≥ ǫ ≤ σ 2 n2_{· ǫ}2 Para n grande lim n→∞P Sn n − µ ≤ ǫ → 1

o que significa que a m´edia amostral Sn

n tende para a m´edia da popula¸c˜ao µ quando n

é grande (tende para o infinito). Essa é a lei dos grandes números: Sn n → µ em probabilidade 0 20 40 60 80 100 0.0 0.2 0.4 0.6 0.8 1.0 x MA

Figura 1 – Leis dos Grandes N´umeros. MA = Sn

n ´e a soma aritm´etica

A figura anterior mostra-nos os resultados para as seguintes m´edias (ou somas): M.A.= X1+ X2+ X3+ · · · + Xn−1+ Xn

n → µ

(5)

Definition 4 Lei fraca de Tchebychev: Sejam Xi va. iid aos pares com variˆancias

finitas V ar(X) < +∞ e uniformemente limitadas, ent˜ao

Sn− E(Sn)

n → 0

em probabilidade.

Definition 5 Lei fraca de Khintchin: Sejam Xi vari´aveis aleat´orias independentes,

identicamente distribuidas (va. iid) e integráveis tal que exista média comum E(x) = µ, então

Sn

n → µ

em probabilidade.

Definition 6 Lei forte de Kolmogorov: Sejam Xi v.a. identicamente distribu´ıdas

sendo integr´aveis

Pn

i Xi

n −→ µ

quase certamente (q.c.).

Definition 7 Lei dos Grandes Números de Bernoulli: Sejam seqüências de en-saios independentes binomiais Xn = 0, 1, sendo sucesso Xn= 1,

Sn

n → p

em probabilidade.

Exerc´ıcios

Exercise 8 Suponha Xnuma variável aleatória com distribui¸cão desconhecida, com média

e desvio populacional dada por X = 5 ± 0.1. Qual a alternativa correta? (Obs: use ǫ ≈ 1) a) P (4 < X < 6) = 0.18

b) P (4 > X > 6) < 0.99 *c) P (4 < X < 6) ≥ 0.99 d) P (4 < X < 6) ≤ 0.99

Exercise 9 (Barry James) Sejam X1, X2...v.a. independentes com distribui¸c˜ao Poisson.

Enconre o limite da probabilidade da seq¨uˆencia (Yn)n≥1 para

Yn= X2 1 + X 2 2 + X 2 3 + ...+, X 2 n n

(6)

Exercise 10 (Barry James) Sejam X1, X2... v.a. independentes e identicamente

dis-tribu´ıdas com distribui¸cão cont´ınua uniforme X U[0, 1]. Enconre o limite quase certo para a média geométrica

¯ XG = n Y k=1 XK !n1

Programa¸c˜

ao

Software R: > TamanhoAmostra<-1000 > Sn<-cumsum(sample(0:1,length(1:TamanhoAmostra),rep=T)) > n<-1:TamanhoAmostra > Media<-Sn/n > plot(n,Media,type="p",cex=0.3) > segments(1,mean(Media),TamanhoAmostra,mean(Media),col="red")