Introdu¸c˜ao aos Processos Estoc´asticos

(1)

Introdu¸c˜ ao aos Processos Estoc´ asticos

Luiz Renato Fontes

1

(2)

Exemplo — Ru´ına do apostador

Indiv´ıduo inicialmente com R$

x≤N

aposta sucessivamente em sequˆ encia de jogos independentes. Em cada jogo:

prob de ganhar R$ 1 = p = 1−prob de perder R$ 1.

Seja

X_n

= fortuna do apostador ap´ os

n

jogos,

n≥

0. (X

n

) ´ e uma Cadeia de Markov em

S

=

{0,

1, . . . ,

N}

com as probs de transi¸c˜ ao dadas a seguir.

P₀₀

=

P_NN

= 1;

0

<x <N: P_x,x+1

=

p;, Px,x−1

= 1

−p

=

q;p ∈

(0, 1).

𝑥 𝑥 + 1 0

𝑝>

𝑞

1 1

<

𝑥 − 1 𝑁

0 < 𝑥 < 𝑁

(3)

Ru´ına do apostador (cont.)

Objetivo do apostador: obter fortuna de R$

N

e parar. (Mas h´ a a possibilidade de ru´ına.)

P

=

0 · · · x · · · N













0

1

· · · ·

.. . .. . . .. .. . .. . .. .

x · · · q

0

p · · ·

.. . .. . .. . .. . . .. .. .

N · · ·

1 (X

_n

)

∼

CM(δ

_x,P);δ_x

= (δ

_xy,y ∈ S

) Interesse:

prob de ru´ına do apostador =

Px

(X

n

= 0 para algum

n ≥

0) =:

rx

.

3

(4)

Ru´ına do apostador (cont.)

Claramente,

r₀

= 1,

r_N

= 0. Para 0

<x<N:

r_x

=

Px

(ru´ına|X

₁

=

x−

1)

Px

(X

₁

=

x−

1) +

Px

(ru´ına|X

₁

=

x

+ 1)P

x

(X

1

=

x

+ 1)

Markov

=

rx−1q

+

rx+1p

Do que conclu´ımos que, fazendo ∆

_x

=

r_x−r_x+1

e

ρ

=

q/p,

∆

_x

=

ρ∆x−1

,

x

= 1, . . . ,

N−

1; iterando: ∆

_x

=

ρ^x

∆

₀ ⇒ ry =ry−rN =PN−1

x=y ∆x = ∆0PN−1 x=y ρ^x =s1

(_ρy−ρ^N

1−ρ , seρ6= 1 N−y, seρ= 1, 0≤y <N, ondes1= 1−r1. Substy= 0 acima, seρ6= 1: s1= _1−ρ^1−ρN. Logo, ry = ^ρ_1−ρ^y^−ρN^N; seρ= 1: ry = 1−_N^y. (1)

(5)

Estrat´ egia conservadora ou ousada?

Suponha que na situa¸c˜ao acimay = 50 eN= 100, mas vocˆe possa escolher entre apostar R$ 1 em cada jogo ou R$ 10 em cada jogo. Qual a melhor alternativa em termos da prob de atingir o objetivo do jogo?^∗ Note que, para efeito de aplicar (1), o segundo caso se reduz ao primeiro comy = 5 eN= 10.

1) Sep= 1/2 (jogo justo): ρ= 1 e as duas estrat´egias s˜ao igualmente efetivas;

2) sep>1/2 (jogo favorável): ρ <1: a 1a estratégia é a melhor;

3) sep<1/2 (jogo desfavorável): ρ >1: a 2a estratégia é a melhor.

Obs.De fato, no caso desfavorável, a melhor estratégia é apostar R$ 50 de uma vez; no caso, favorável, melhor apostar em cada jogo o menos poss´ıvel (1 centavo, digamos). No caso justo, nenhuma estratégias faz diferen¸ca.

∗Podemos mostrar que esta prob vale 1−ry, ou diretamente, com o mesmo método usado para acharry, ou mostrando que a prob de não atingir o objetivo e não ir à ru´ına se anula.

5

(6)

Compara¸c˜ ao de desempenho de drogas

p_i ∈

(0, 1) = eficiˆ encia da droga i: % de cura,

i

= 1, 2 Teste cl´ınico: pares ao acaso de pacientes doentes

i^o

membro do par recebe a droga

i,i

= 1, 2 (regime duplo cego)

X_j⁽ⁱ⁾

=

(

1, se

i^o

membro do

j^o

par se cura ap´ os trata/o;

0, se

i^o

membro do

j^o

par n˜ ao se cura ap´ os trata/o. ,

i

= 1, 2,

j ≥

1. Aplica-se os trata/os aos pares sequencial/e at´ e que

(X₁⁽¹⁾

+

· · ·

+

X_n⁽¹⁾

)

−

(X

₁⁽²⁾

+

· · ·

+

X_n⁽²⁾

)

=

M,

onde

M >

0 ´ e um n´ umero inteiro pr´ e-estabelecido.

(7)

Compara¸c˜ ao entre drogas (cont.)

Podemos ignorar os pares para os quais

X_j⁽¹⁾

=

X_j⁽²⁾

; para os demais a prob de que

X_j⁽¹⁾−X_j⁽²⁾

= 1 vale

P

(X

_j⁽¹⁾−X_j⁽²⁾

= 1|X

_j⁽¹⁾−X_j⁽²⁾

= 1 ou

X_j⁽¹⁾−X_j⁽²⁾

=

−1)

=

^P^(X

(1)

j =1,X_j⁽²⁾=0)

P(X_j⁽¹⁾=1,X_j⁽²⁾=0)+P(X_j⁽¹⁾=0,X_j⁽²⁾=1)

=

_p ^p¹^(1−p²⁾

1(1−p2)+(1−p1)p2

=:

p

, e a prob de que

X_j⁽¹⁾−X_j⁽²⁾

=

−1 valeq

= 1

−p. Tudo se passa

de forma an´ aloga ` a ru´ına do jogador:

0 1

−𝑀

𝑝>

𝑞

1 1

<

−1 𝑀

7

(8)

Compara¸c˜ ao entre drogas (cont.)

Seja

A_M

a prob de o teste terminar em

M

; neste caso, poder´ıamos dizer que as evidˆ encias s˜ ao favor´ aveis ` a droga 1. De (1) vem:

P

(A

_M

) = 1−

^ρ_1−ρ^M^−ρ_2M^2M

=

_1−ρ^1−ρ2M^M

=

_1+ρ¹M

=

¹

1+ ^q_p^M

=

¹

1+ ^1−p_p ¹

1 p2 1−p2

^M

Ex:

p₁

= 0, 4,

p₂

= 0, 6,

M

= 5:

P

(A

_M

) =

¹

1+ ₆

4

²⁵ '

0.0170

Obs.

1) Neste caso, podemos dizer que a prob de as evidˆ encias serem favor´ aveis ` a pior droga vale 0.017.

2) Se

M

= 10, ent˜ ao

P

(A

_M

) =

¹

1+ ₆

4

²¹⁰ '

0.0003

(9)

Exemplo — Processo de Ramifica¸c˜ ao

Crescimento de popula¸c˜ao

G0= tamanho inicial de uma popula¸c˜ao (gera¸c˜ao 0)

Cada indiv´ıduo de cada gera¸cão, independente dos demais, e de maneira identicamente distribu´ıda, contribui certo número de descendentes para a gera¸cão seguinte.

Matematicamente: sejamX ={X,X_ij,i,j≥1} uma fam´ılia de va’s inteiras n˜ao negativas iid; G₀ va inteira nneg independente deX. Parak≥1, seG_k−1>0, ent˜aoGk =PGk−1

j=1 Xkj; se G_k−1= 0, ent˜aoGk = 0.

Gk é o tamanho dakâ gera¸cão da popula¸cão; seGk−1>0, entãoXkj é o número de descendentes dojô indiv´ıduo da (k−1)â gera¸cão da

popula¸c˜ao,j= 1, . . . ,Gk−1.

(Gn) ´e uma CM(µ,P) emNcomµ= distr deG0, P(x,·) = distr dePx

j=1X_1j, p/x>0, eP(0,·) =δ₀

SeG_k = 0 para algumk ≥0, dizemos que a popse extingue/ ocorre extin¸cãoda pop; do contrário, dizemos que a popsobrevive/ocorre sobrevivênciada pop.

9

(10)

Simula¸c˜ ao do proc ramifica¸c˜ ao

𝐺_!= 1

𝐺_"= 3 𝐺_#= 5 𝐺_$= 3 𝐺_%= 1

𝑋_!!= 3

𝑋_"!= 2 𝑋_""= 2 𝑋_"#= 1

𝑋_##= 1 𝑋_#$= 2

𝑋_#!= 0 𝑋_#"= 0 𝑋_#%= 0

𝑋_$!= 0 𝑋_$"= 0 𝑋_$#= 1

𝑋_%!= 0

𝐺_&= 0 Obs.

Esta popula¸ c˜ ao se extingue na 5

^a

gera¸ c˜ ao.

(11)

Extin¸c˜ ao

Interesse nadicotomiaP(extin¸c˜ao) = 1 ou<1, em particular em crit´erio para distinguir os dois casos, e no valor da prob no segundo caso.

Notemos inicialmente que, p/n≥0,{Gn= 0} ⊂ {Gn+1= 0}, e logo

P(Gn+1= 0)≥P(Gn= 0), e (2)

{extin¸c˜ao}=∪_n≥0{Gn= 0}= lim_n→∞{Gn= 0} (3) Logo,

˜

ρ:=P(extin¸c˜ao) = limn→∞P(Gn= 0) (4) Para achar o limite, vamos trabalhar com fun¸c˜oes geradoras de

probabilidade. Note que

P(G_n= 0) =ψ_n(0), ondeψ_n(s) =E(s^Gⁿ) =P

k≥0P(G_n=k)s^k, s∈[0,1], com a conven¸c˜ao de que 0⁰= 1.

11

(12)

Fun¸c˜ ao geradora de prob de G

n Para 0≤s≤1, temos que p/n≥1 ψn(s) =E(s^Gⁿ) =E[E(s^Gⁿ|Gn−1)] =X

k≥0

E s^P^Gn−1^j=1 ^X^nj|Gn−1=k

P(Gn−1=k) (5) A esperan¸ca condicional dentro da soma vale

E s^P^k^j=1^X^nj|Gn−1=kG₀,X··ind

= E s^P^k^j=1^X^nj

=E Qk

j=1s^X^njXn·ind

= Qk

j=1E s^X^nj

Xn·id

= Qk j=1E s^X

= [E(s^X)]^k= [ϕ(s)]^k, (6) ondeϕ(s) =E(s^X) =P

k≥0P(X =k)s^k. Subst (6) em (5), temos que ψn(s) =P

k≥0[ϕ(s)]^kP(Gn−1=k) =E([ϕ(s)]^Gⁿ⁻¹) =ψn−1◦ϕ(s), (7) onde◦indicacomposi¸c˜ao. Iterando (7), temos que

ψn(s) =ψn−1◦ϕ(s) =ψn−2◦ϕ◦ϕ(s) =· · ·=ψ0◦ϕ⁽ⁿ⁾(s), (8) ondeϕ⁽ⁿ⁾=ϕ◦ · · · ◦ϕ(nvezes).

Obs.No caso em queG0≡1,ψ0= id, e, logo, em particular,

ϕ⁽ⁿ⁾(0) =P¹(Gn= 0). (9)

(13)

P (extin¸c˜ ao)

De (9) e (2), para qualquer distribui¸cão deG₀, e, em particular, para G₀≡1, segue queϕ⁽ⁿ⁾(0) é uma seq monotônica (não decrescente) limitada, e logo

ρ:= limn→∞ϕ⁽ⁿ⁾(0) existe.

Segue da continui// deϕcomo f¸c em [0,1] que ρ= lim

n→∞ϕ⁽ⁿ⁾(0) = lim

n→∞ϕ◦ϕ⁽ⁿ⁻¹⁾(0) =ϕ◦ lim

n→∞ϕ⁽ⁿ⁻¹⁾(0) =ϕ(ρ), e logoρsatisfaz a igualdade

s=ϕ(s). (∗)

Obs.s= 1 ´e sempre sl¸c de (∗).

Segue ainda da continuidade deψ₀que

˜ ρ= lim

n→∞ψn(0)⁽⁸⁾= lim

n→∞ψ0◦ϕ⁽ⁿ⁾(0) =ψ0◦ lim

n→∞ϕ⁽ⁿ⁾(0), e logo

˜

ρ=ψ0(ρ). (∗∗)

13

(14)

ρ = prob de extin¸c˜ ao qdo G

₀

≡ 1

˜

ρ=ψ0(ρ) = 1 se e somente seρ= 1^†, logo vamos focar emρ; em outras palavras, no casoG0≡1.

Sejamp_k =P(X =k),k = 0,1,2, . . .

Casos simples

i) Sep0= 0, ent˜ao clara/eP(Gn= 0) = 0∀ n, e logo ρ= lim_n→∞P(G_n= 0) = 0.

ii) Sep₀>0 ep₀+p₁= 1, então, fazendoT = inf{n≥1 : G_n= 0}^‡, temos queT é uma va Geométrica com prob de sucessop₀>0, e logo

ρ=P(T <∞) = 1.

Suposi¸c˜ ao

De agora em diante, vamos supor quep0>0 epk >0 para algumk≥2.

Neste caso,ϕ´e uma f¸c estrita/e crescente e convexa em [0,1]:

d²

ds²ϕ(s) =P∞

k=2k(k−1)pks^k⁻²>0 em (0,1).

†Excluindo-se o caso trivial em queP(G0= 0) = 1⇔ψ0≡1.

‡inf∅^conv= ∞

(15)

Dois casos — 1

^o

caso

1

1 𝑠

𝜑(𝑠)

0 𝑝!

Neste caso, o gr´afico deϕest´a estritamente acima da id em [0,1), e logoρ= 1.

15

(16)

Dois casos — 2

^o

caso

1

1 𝑠

𝑝!

0 𝜑(𝑠)

𝑠^∗

Neste caso, o gráfico de ϕ inter- cepta o gráfico da id em exatamente um ponto de [0,1), a saber s^∗. Obs. Dada a convexi// estrita de ϕ, já apontada acima, esta condi¸cão

´e equivalente a termos ϕ(s) < s numa vizinhan¸ca de s = 1 com s<1.

(17)

2

^o

caso — zoom em torno de (s

^∗

, s

^∗

)

𝑝_!=𝜑(0) 𝑠^∗

𝜑^!(0) 𝜑^"(0) 𝜑(𝑠^∗) = 𝑠^∗

Zoom em torno de (𝑠^∗, 𝑠^∗)

𝜑^#(0)

A figura captura o fato de que ϕ⁽ⁿ⁾(0)≤s^∗ para todon≥0.

Conclu´ımos disto e (6) queρ≤s^∗, e, logo, queρ=s^∗.

17

(18)

Teorema 1

Seja (G

n

) o processo de ramifica¸ c˜ ao com distribui¸ c˜ ao de descendˆ encia

X

. Seja

ϕ

a f¸c geradora de prob de

X

.

ρ, a prob de extin¸c˜

ao da pop iniciada com

G₀≡

1, ´ e dada pela menor solu¸ c˜ ao de (∗) em [0, 1].

Dem.

Os argumentos ilustrados nas figuras acima estabelecem a

validade do resultado sob a suposi¸ c˜ ao de que

P

(X = 0)

>

0 e

P

(X =

k)>

0 para algum

k ≥

2; a extens˜ ao para as demais distrs

de

X

(em

N) ´

e simples (segue de i e ii do slide 14).

(19)

Exemplos

1) Suponha quep₀+p₁+p₂+p₃= 1, p₀>0 e p₂+p₃>0. Ent˜ao s−ϕ(s) =s−(p₀+p₁s+p₂s²+p₃s³)

=p₀(s−1) +p₂(s−s²) +p₃(s−s³)

= (s−1)[p₀−p₂s−p₃s(1 +s)] = (1−s)(as²+bs−c), ondea=p3,b=p2+p3>0 ec=p0>0.

Logo, sl¸cs n˜ao triviais de (∗) (6= 1) s˜ao dada por sl¸cs deas²+bs−c= 0:

a) sep3= 0, entãos⁰:=p0/p2é a (única) tal sl¸c; logo a.1) sep0<p2, entãoρ=s⁰ =^p_p⁰

2 <1 ´e a sl¸c m´ın de (∗) em [0,1];

a.2) sep0≥p2, ent˜aoρ= 1 ´e a sl¸c m´ınima de (∗) em [0,1];

19

(20)

Exemplo 1 (cont.)

b) sep3>0, então a única sl¸c nneg deas²+bs−c= 0 é dada por

√b²+4ac−b

2a =

√

(p₂+p₃)²+4p₀p₃−(p2+p₃)

2p₃ =:s⁰⁰<1

⇔(p2+p3)²+4p3p0<[(p2+p3)+2p3]²= (p2+p3)²+4p3(p2+p3)+4p²₃

⇔p0<p2+ 2p3

Logo, sep0<p2+ 2p3, ent˜aoρ=s⁰⁰<1; se n˜ao,ρ= 1.

(21)

Exemplo 2: X ∼ Poisson (λ)

ϕ(s) =e^−λ(1−s)

Logo, o 2^o caso ´e equiv aϕ(s)<s= 1−(1−s) p/algums<1 (lembre da obs no slide 16), o que equivale a

1−e^−λ(1−s)

λ(1−s) > _λ¹ numa viz de 1 c/s<1

⇔ ^1−e_t^−t > _λ¹ p/t numa viz positiva de 0

⇔lim_t&0^1−e_t^−t = 1> _λ¹ .

Conclu´ımos que, seλ >1, ent˜aoρ <1; seλ≤1, ent˜aoρ= 1.

Como sempre,ρ´e a sl¸c m´ınima deϕ(s) =s em [0,1], o que neste caso, significa a sl¸c m´ın dee^−λ(1−s) =s em [0,1] .

No caso em queλ >1, acabamos de ver que tal sl¸c ´e<1, mas n˜ao temos uma sl¸c expl´ıcita, como no exemplo anterior.

Neste e noutros casos em que n˜ao tenhamos acesso expl´ıcito aρ, mas sim aϕ, podemos obterρde forma aproximada fazendo a itera¸c˜ao ϕ⁽ⁿ⁾(0) paranbastante grande.

21

(22)

Crit´ erio para decidir qual o caso

Vamos a seguir obter um crit´erio para diferenciar entre os dois casos delineados nos slides 15 e 16 (vamos supor quep₀>0 e p_k >0 p/algum k≥2).

Caso 1

Neste caso, temos queϕ(s)>s para todos∈[0,1); comoϕ´e continua/e diferenci´avel em [0,1], segue que

1−ϕ(s)

1−s = ^{ϕ(1)−ϕ(s)}_1−s ≤1∀s <1 ⇔ϕ⁰(1) = lim_s%1^{ϕ(1)−ϕ(s)}_1−s ≤1.

Caso 2

Neste caso, temos a existˆencia des^∗<1 tqϕ(s^∗) =s^∗, e da continui//

deϕ⁰, do teo do valor intermediário segue a a existência de ˜s∈(s^∗,1) tq ϕ⁰(˜s) = ^ϕ(1)−ϕ(s_1−s∗ ^∗⁾ =^1−s_1−s^∗∗ = 1, e da convexi// estrita deϕ, que implica queϕ⁰ é estritamente crescente em [0,1], segue que

ϕ⁰(1)> ϕ⁰(˜s) = 1.

(23)

Crit´ erio

Finalmente, da obs queϕ⁰(1) =P

k=1kpks^k−1

_s=1=P

k=1kpk =E(X), temos o seguinte resultado.

Teorema 2

Seja (Gn) o processo de ramifica¸cão com distribui¸cão de descendênciaX. Sejaϕa f¸c geradora de prob deX.

Supondo queP(X = 1)<1, temos a seguinte dicotomia.

i) SeE(X)≤1, ent˜aoρ= 1.

ii) SeE(X)>1, ent˜aoρ <1.

Dem.Os argumentos acima estabelecem o resultado sob a suposi¸c˜ao de queP(X = 0)>0 eP(X =k)>0 para algumk ≥2. Os demais casos s˜ao mais simples, e seguem imediata/e de i e ii do slide 14.

Obs.Verifique a consistência deste critério com as conclusões nos Exs 1 e 2 acima.

23

(24)

Valor esperado de G

n

Lembremos que para uma va inteira n˜ao negativaZ com f¸c geradora de probφ: [0,1]→[0,1],φ(s) =E(s^Z), valem

φ(1) = 1 e E(Z) =φ⁰(1) := lim_s%1φ⁰(s).

Disto, de (8) e da regra da cadeia, segue que

E(Gn) =ψ⁰₀◦ϕ⁽ⁿ⁾(1)×ϕ⁰◦ϕ⁽ⁿ⁻¹⁾(1)× · · · ×ϕ⁰(1)

=ψ⁰₀(1)×ϕ⁰(1)× · · · ×ϕ⁰(1) =E(G0)νⁿ, (10) ondeν =E(X).

Obs.1) Seν <1, dizemos que o proc ram est´a nafase subcr´ıtica. Neste caso lim_n→∞E(G_n) = 0 exponencial/e r´apido; disto e da 6= de Markov:

P(G_n>0) =P(G_n≥1)≤E(G_n)→0 (exp/e) qdon→ ∞, e segue queρ= 1 (o que fornece um argu/o alternativo p/Teo 2.i qdo ν <1).

(25)

Obs. (cont.)

2) Nafase cr´ıtica, em queν = 1, tb temos, obvia/e, queP(Gn>0)→0 qdon→ ∞, mas, sob conds relativa/e brandas^§, o decaimento ´e polinomial: P(Gn>0)∼ ^const_n .

3) Nafase supercr´ıtica, em queν >1,E(Gn) cresce exponencial/e r´apido^¶. De fato, podemos mostrar^k que

W = lim_n→∞^G_νⁿ_n

existe quase certa/e, e que, sob conds brandas^∗∗, temos que P(W >0) = 1−ρ˜=P(sobrevivˆencia),

do que se conclui que qdo há sobrevivência, a pop cresce exp/e rápido:

Gn∼Wνⁿ qc.

§E(X²)<∞

¶sempre queG06≡0

kpor métodos que vão além do escopo deste curso

∗∗E(XlogX)<∞

25

(26)

Exemplo — Colecionador de figurinhas

Um ´ album ´ e composto de

M

figurinhas distintas. Um colecionador adquire sucessivamente uma figurinha ao acaso por vez entre as

M

poss´ıveis. Qual ´ e o n´ umero esperado de aquisi¸ c˜ oes at´ e o ´ album ser completado?

Seja

X0

= 0 e

Xn

= o n´ umero de figurinhas distintas na cole¸ c˜ ao ap´ os

n

aquisi¸ c˜ oes. Ent˜ ao (X

_n

) ´ e uma CM com probs de trans como ilustrado a seguir.

𝑥 𝑥 + 1 0

>

𝑥/𝑀

𝑀 0 ≤ 𝑥 ≤ 𝑀

1 − 𝑥/𝑀

(27)

Album de figurinhas (cont.) ´

Seja

Nx

o n´ umero de aquisi¸ c˜ oes at´ e a obten¸ c˜ ao de uma figurinha nova qdo a cole¸c˜ ao cont´ em

x

figurinhas distintas. Ent˜ ao

Nx ∼

Geom´ etrica com prob de sucesso 1

−x/M

. Queremos ent˜ ao

E

(

PM−1

x=0 Nx

) =

PM−1

x=0 E

(N

x

) =

PM−1 x=0

1

1−x/M

=

PM−1 x=0

M M−x

=

MPM−1 x=0 1

M−x

=

MPM x=11

x ∼M

log

M

.

27