Introdu¸c˜ao aos Processos Estoc´asticos

Introdu¸c˜ ao aos Processos Estoc´ asticos

Luiz Renato Fontes

1

Distribui¸c˜ oes invariantes/estacionariedade/convergˆ encia

Seja (X

) ∼ CM(·,

S . Uma medida µ em S

ser´ a dita invariante (ou de equil´ıbrio, ou estacion´ aria) para (X

) (ou

µP = µ (ie, µ

=

x∈S

µ

P

, y ∈ S ). (0) Se µ for uma probabilidade, diremos que µ ´ e uma distribui¸ c˜ ao invariante (ou de equil´ıbrio ou etc).

Obs.

1) µ inv ⇒ µP

= µ, n ≥ 0. (1) 2) Se µ distr inv e X

∼ µ, ent˜ ao X

∼ µ, n ≥ 1.

Def.

Diremos que um processo estoc´ astico (X

)

´ e estacion´ ario se (X

)

∼ (X

)

, ` ≥ 0.

∗i.e.,µ:S →[0,∞), que tb veremos c/um vetor (µx)x∈S c/entradas≥0

Teorema 1

Se µ distr inv para uma CM (X

) e X

∼ µ, ent˜ ao (X

) ´ e estacion´ aria.

Dem.

Basta mostrar que para n, ` ≥ 1, x

, . . . , x

∈ S arbitr´ arios

= x

, X

= x

, . . . , X

= x

)

=

(X

= x

, X

= x

, . . . , X

= x

). (2) O lado direito de (2) vale

P (X

= x

)P

· · · P

inv

= µ

P

· · · P

,

que ´ e o lado esq de (2).

3

Teorema 2

Suponha que S seja finito e que para algum x ∈ S haja um vetor π em S tq

P

→ π

qdo n → ∞ ∀y ∈ S Ent˜ ao, π ´ e uma distribui¸c˜ ao invariante.

Dem.

π

= lim

P

= lim

z∈S

P

P

|S|<∞

=

z∈S

lim

P

P

=

z∈S

π

P

, e como π

≥ 0 ∀y, π ´ e uma medida inv. Agora,

P

y∈S

π

=

y∈S

lim

P

= lim

y∈S

P

= 1,

e π ´ e uma prob.

Obs.

No passeio aleat´ orio discutido no ´ Album 6, temos

P

→ 0 qdo n → ∞ ∀x, y ∈

. (3) (π ≡ 0 n˜ ao deixa de ser uma medida inv, mas n˜ ao ´ e uma prob.) Exemplos

1)

=

1 − α α

β 1 − β

Descontados casos triviais (α + β = 0 ou 2), temos (do que vimos antes): qdo n → ∞

Pⁿ

→

β α+β

α β α+β α+β

α α+β

!

e logo

α+β

,

´

e distr inv para

5

Exemplos (cont)

2)

=





0 1 0

0 1/2 1/2

1/2 0 1/2





Podemos voltar ao que fizemos antes e (tentar) calcular o limite de

para obter uma prob inv. Em vez disto, notemos que a cond (0) para que π seja inv produz um sistema linear de eqs para µ.

Vamos mont´ a-lo e tentar resolvˆ e-lo neste caso; π deve satisfazer:

π

=

; π

= π

+

; π

=

+

⇒ π = π

(1, 2, 2) Como queremos que π seja prob, π

=

, e π =

,

,

.

Note que s´ o temos uma prob inv neste caso, e, logo, se o c´ alculo

do limite sugerido acima vingar (de fato, vinga; verifique), ent˜ ao

deve produzir π como acima.

Exs (cont.)/Recorrˆ encia positiva/nula

3) PAS sim´ etrico em

Neste caso, µP = µ ´ e equivalente a µ

=

µ

+

µ

, x ∈

.

Logo µ

= const ´ e sl¸ c p/qq const, o que de toda forma n˜ ao nos fornece uma distr inv (j´ a que n˜ ao h´ a distr de prob uniforme em

).

De fato, segue de (3) que neste caso (irredut´ıvel e recorrente) n˜ ao h´ a distr inv, o que nos leva ao seguinte conceito central para a existˆ encia de distrs invs em cadeias irredut´ıveis.

Recorrˆ encia positiva/nula

Se x ∈ S for tq m

:=

(T

) < ∞, ent˜ ao dizemos que x ´ e recorrente positivo. Se x for recorrente, mas n˜ ao recorrente positivo, ent˜ ao ser´ a dito recorrente nulo.

7

Teorema 3

SejaPirredut´ıvel. Ent˜ao s˜ao equivalentes as seguintes afirma¸c˜oes.

(i) Todos os estados s˜ao recorrentes positivos;

(ii) Existe um estado recorrente positivo;

(iii)Padmite uma distr invariante.

Al´em disto, sob (iii), sendoπa distr inv, temos: πx =_m¹

x >0,x ∈ S.

Obs.1)Pirred e rec pos⇒π´e ´unica; neste casoµ=π´e a ´unica sl¸c probabil´ıstica deµP=µ^†;

2) Recorrˆencia positiva, resp nula, ´e propriedade de classe (pois cadeia restrita a classe recorrente ´e irredut´ıvel);

†ie,µ:S →[0,∞) satisfaz: a)µP=µeb)P

x∈Sµx = 1

Obs. (cont.)

3) Pode-se mostrar que, se

irred, ent˜ ao a)

rec pos ⇔ ∃ distr inv;

b)

recorr ⇒ ∃! medida inv, a menos de const mult;

c)

recorr nulo ⇒

distr inv;

d)

recorr nulo ⇐ ∃ med inv infinita +

recorr

4) Se S finito e

irredut´ıvel, ent˜ ao

´ e recorrente

; podemos mostrar que neste caso

´ e recorrente positiva.

‡Segue do Teo 4 do ´Album 6.

9

Exemplos

1) PASS emZ(irredut´ıvel, recorrente)

Sejaµ_x ≡1. Ent˜aoµ_x = ¹₂µ_x−1+¹₂µ_x=1, x∈Z, e logoµ´e inv.

Sendoµinfinita, a Obs 3d acima diz que a cadeia ´e rec nula.^§

2) O argumento acima funciona igualmente emZ²;µ≡1 ´e inv tb para o PASS emZ^d,d ≥3, mas neste caso, a cadeia n˜ao ´e recorrente^¶.

3) PAS assim´etrico em Z: Px x−1=q<p=Px x+1,p+q= 1.

µ=Pµ⇔µx =µx−1p+µx+1q,x∈Z (4)

A eq de diferen¸cas (4) tem a seguinte sol geral: µ_x =A+B_p

q

^x

; logo, temos uma fam´ılia a 2 parˆametros,A,B≥0, de medidas invs: n˜ao h´a unici// a menos de cte mult (cadeia transit´oria);

n˜ao h´a distr inv.

§A mesma conclus˜ao segue da an´alise feita no ´Album 3 (vide Slide 10); note que, por simetria,E0(T0) =E1(H0).

¶Este caso ´e contra-ex para rec´ıproca da Obs 3b: Teo de Liouville discreto.

Ex. 4) Castelo de cartas

S=Z⁺={0,1,2. . .};Px x+1=px ∈(0,1), x≥0.

𝑥 𝑥 + 1 0

< 𝑝>_!

𝑞_!= 1 − 𝑝_!

µP=µ⇔µ₀=P∞

x=0µ_xq_x, µ_x =µ_x−1p_x−1,x ≥1.

Iterando: µ_x =µ₀ Qx−1 y=0p_y

=:µ₀Px−1. Logo, ¯µ= (1,P0,P1, . . .), e m´ultiplos positivos s˜ao meds invariantes.

SeM:=P

x≥0P_x <∞, ent˜aoπ= _1+M^µ¯ ´e a distr inv.

Neste caso, comoP´e irredut´ıvel, temos queP´e rec pos.

Exerc´ıcio:Mostre queP´e a) transit´oria sse lim_x→∞Px =Q∞

y=0px >0;

b) rec nula sseQ∞

y=1px = 0 eP

x≥0Px =∞.

(i) Sep_x ≡p, ent˜aoP_x =p^x+1, x≥0, e, logo, 1 +M=P

x≥0p^x = ¹_q, ondeq= 1−p. Segue queπx=p^xq,x≥0, ´e a distr inv neste caso.

11

Ex. 4 (cont)

(ii) Suponha quepx −→

x→ ∞1; ent˜ao,Px =Qx

y=0py =e^{Pxy=0log(1−qy)}, e verificamos prontamente que

e⁻

Px y=0

qy

1−qy ≤ Px ≤e^−Pxy=0qy. (5)

(ii.a) Suponha que existax₀≥1 tqq_x = ^c_x,x≥x₀, ondec>0 ´e uma constante. Segue de (5) que

Px y=0

qy

1−qy,Px

y=0q_y ∼cPx y=1

1

y ∼clogx, e, logo,P_x ∼const _x¹_c. (6) Sec>1, ent˜aoM ∼constP∞

x=1 1

x^c <∞, eP´e rec pos.

Se 0<c≤1, ent˜aoM ∼constP∞ x=1

1

x^c =∞, e, como lim

x→∞Px = 0, segue do exerc´ıcio acima queP´e rec nula.

(ii.b) Se existir x0≥1 tqqx = _x¹c, x≥x0, ondec>1 ´e uma cte, ent˜aoP∞

y=0 qy

1−qy <∞, e segue de (5) que lim_x→∞Px >0. Logo, pelo exerc´ıcio acima, temos queP´e transit´oria neste caso.^k

kPode-se checar ainda que n˜ao h´a medidas invariantes neste caso, a n˜ao ser a trivialµ≡0.

Convergˆ encia ao equil´ıbrio

Def.

x ∈ S ´ e dito aperi´ odico se ∃ n

≥ 1 tq P

> 0 ∀ n ≥ n

.

Pode-se verificar que x ´ e aperi´ odico sse o m´ aximo divisor comum de {n ≥ 1 : P

> 0} for 1.

Lema 1.

Se

for irredut´ıvel e admitir um estado aperi´ odico, ent˜ ao para todo x, y ∈ S , temos que P

> 0 ∀ n bastante gde.

Em particular, todo estado ´ e aperi´ odico.

Dem.

Sejam z ∈ S aper e x, y ∈ S . Irred: ∃ r, s : P

, P

> 0.

Dado n

tq P

> 0 ∀ n ≥ n

, se n ≥ n

:= n

+ r + s:

P

≥ P

P

P

> 0, j´ a que n − r − s ≥ n

.

Aperiodicidade ´ e propriedade de classe.

13

Teorema 4 (Convergˆ encia ao equil´ıbrio)

Suponha que

seja irredut´ıvel, aperi´ odica, e que tenha distr invariante π. Dada uma distr inicial µ qualquer, temos

P

(X

= y) −→

n→∞

π

, ∀y ∈ S. (7)

Alternativamente,

Px

(X

= y ) −→

n→∞

π

, ∀x, y ∈ S. (8)

Obs.

1) O limite n˜ ao depende de µ ou x (perda de mem´ oria).

2) Do Teo 3: podemos subst a frase ”que tenha distr inv π”por

”recorrente positiva”; neste caso, adicionamos depois de (7):

”onde π ´ e a distr inv estipulada pelo Teo 3”.

3) Cadeias irredut´ıveis e recorrentes positivas s˜ ao ditas erg´ odicas.

Cadeias irredut´ıveis finitas s˜ ao erg´ odicas (vide Obs 4 no slide 9).

Dem. Teo 4

Vamos tratar apenas do caso em queS´e finito.

1

caso: P

> 0 para todo x , y ∈ S

Vamos mostrar que para todox,y ∈ S,Pxy⁽ⁿ⁾=P_xyⁿ converge para um limite que n˜ao depende dex qdon→ ∞. Pelos Teos 2 e 3 acima, este limite, vamos denot´a-lo por π_y, fornece ent˜ao a ´unica distr inv deP.

Vamos fixary ∈ S, e sejamM_n=M_n(y) = max_x∈SP_xyⁿ =:P_zⁿ

ny, m_n=m_n(y) = min_x∈SP_xyⁿ =:P_wⁿ

ny e ∆_n= ∆_n(y) =M_n−m_n. Basta mostrar que

a) (Mn) ´e uma seq num´erica decrescente^∗∗; (9)

b) ∆n→0 qdon→ ∞, (10)

pois, fazendoπy = lim_n→∞Mn(y), ent˜ao

|P_xyⁿ −πy| ≤ |P_xyⁿ −Mn(y)|+|Mn(y)−πy|=|P_xyⁿ −P_zⁿ_ny|+|Mn(y)−πy|

≤∆n(y) +|Mn(y)−πy| →0 qdon→ ∞.

∗∗e logo, como a seq ´e obvia/e nneg, ela converge

15

1

caso (cont.)

a) Parav∈ S en≥1, segue dePⁿ⁺¹=PPⁿque P_vyⁿ⁺¹=P

x∈SP_vxP_xyⁿ ≤P

x∈SP_vxP_zⁿ

ny =M_n e, logo,M_n+1≤M_n. a

b) Sejaδ= min_u,v∈SPuv. Note que 0< δ≤1/2. Temos tb que Mn−Mn+1=P_zⁿ_ny −P

u∈SPz_n+1uP_uyⁿ

=P

u∈SPz_n+1u(P_zⁿ_ny−P_uyⁿ)≥Pz_n+1w_n(P_zⁿ_ny−P_wⁿ_ny)≥δ∆n. (11)

Similar/e, mn+1−mn≥δ∆n,n≥1. (12)

Obs.(12) nos diz em particular quemn%emn. Logo ∀n≥1

M_n≥m_n≥m₁≥δ⇒π_y = lim_n→∞M_n(y)≥δ >0,y ∈ S. (13) Continuando, temos que

∆n+1=Mn+1−mn+1= (Mn−mn)−(Mn−Mn+1)−(mn+1−mn)

(11,12)

≤ ∆n−2δ∆n= (1−2δ)∆n 1−2δ=:ξ

≤ ξ²∆_n−1≤ · · · ≤ξⁿ∆1≤ξⁿ.

Note que 0≤ξ <1. (10) segue. ^b

2

caso

Em todo caso, podemos supor que existe K tal que P

> 0 para todo x, y ∈ S

. Segue do 1

caso que

P

→ π

qdo n → ∞ para todo y ∈ S, ie,

P^Kn

→

=







π

.. . π







qdo n → ∞.

Logo, para ` ≥ 1 fixo, segue que

P^Kn+`

=

→

=

qdo n → ∞,

onde = segue de

ser uma matriz estoc´ astica e

ter as entradas das colunas constantes. Conclu´ımos que

Pⁿ

→

qdo n → ∞.

††pela aperiodicidade dePe finitude deS

17

Obs

1) Segue do argumento acima que no caso irredut´ıvel aperi´ odico finito a convergˆ encia

→

´ e exponencial/e r´ apida:

max

|

(X

= y ) − π

| ≤ const ζ

, n ≥ 1, para algum 0 < ζ < 1.

2) Neste mesmo caso, pode-se usar a decomposi¸ c˜ ao de

na forma canˆ onica de Jordan, como indicado no ´ Album 4. Neste caso, podemos mostrar que h´ a apenas um autovalor com m´ odulo 1, que vamos denotar por λ

(de fato, λ

= 1, como j´ a indicamos antes) e que dentre os demais autovalores λ

, . . . , λ

(onde m = |S|), temos que η = max |λ

| < 1. Segue que

max

|

(X

= y ) − π

| ≤ const n

η

, n ≥ 1, onde 0 ≤ k ≤ m − 1 ´ e o tamanho do bloco de Jordan

correspondente a η (o maior tamanho, se houver mais que um

bloco).

Obs (cont.)

3) Segue ainda da demonstra¸c˜ao acima^‡‡, e do Teo 2, que, quandoS for finito, o Teo 4 pode ser enunciado, alternativa/e, da seguinte forma.

Teorema 4

SejamS seja finito ePirredut´ıvel e aperi´odica. Ent˜ao, parax,y ∈ S, i) limn→∞Px(Xn=y) existe en˜ao dependedex;

ii) Fazendoπy = lim_n→∞P^x(Xn=y),y ∈ S, temos queπ= (πx)_x∈S ´e a´unicadistr invariante paraP; al´em disto,πy >0∀y ∈ S.

A unicidade deπsegue de (1) e da demonstra¸c˜ao acima: sejaµuma distr inv p/P; ent˜ao,∀n

µ=µPⁿ; logo,µ= lim_n→∞µPⁿ=µlim_n→∞Pⁿ=µΠ=π;

a positividade deπ_y ∀y foi estabelecida em (13).

Em particular, isto nos diz queµP=µ, visto com um sistema de eqs lineares c/inc´ognitas (µx,x∈ S) tem emµ=πa ´unica sl¸c probabil´ıstica.

‡‡que, note-se, vale apenas paraS finito, enquanto o Teo 4 vale tb paraS infinito (sob as conds de seu enunciado, ´e claro)

19

Convergˆ encia ao equil´ıbrio — Caso irredut´ıvel geral

Para enunciar o caso irredut´ıvel geral (˜n necessaria/e aperi´odico,

˜

n necessaria/e rec pos), come¸camos com um resultado preliminar.

Teorema 5SejaPirredut´ıvel. Ent˜ao∃um inteirod ≥1 (finito) e uma parti¸c˜aoS =C0∪ · · · ∪ Cd−1tq, fazendo Cnd+r =Cr,0≤r <d, (i)Pxy⁽ⁿ⁾>0 s´o sey∈ Cr+n, onder ´e tqx∈ Cr;

(ii) Dadosr ex ∈ C0,y∈ Cr, temos quePxy^(nd+r)>0∀ngrande.

Obs.0)C0, . . . ,Cd−1s˜ao disjuntos.

1)d´e dito oper´ıododa CM/deP; o caso aperi´odico corresponde a d= 1.

2) Pode-se mostrar qued= mdc{n≥1 : Pxx⁽ⁿ⁾ >0}, indep dex ∈ S.

3) A parti¸c˜ao ´e ´unica a menos de qual componente recebe o r´otulo ”0”, no caso em qued >1, o que ´e arbitr´ario entre osd componentes.

4) Este teo nos diz que, para 0≤r <d, seµse concentrar emCr, ent˜ao (Yn)_n≥0= (Xdn)_n≥0´e uma CM(µ,P^d) emCr, irredut´ıvel e aperi´odica, e, logo, a ela se pode aplicar o Teo 4, se for rec pos. Enunciaremos um resultado mais geral no Teorema 6 abaixo.

Obs.(cont.)/Exemplos

4⁰) Na situa¸c˜ao acima, podemos escrever

P^d=

C0 C1 · · · Cd−1















 C0 P₀ 0 · · · 0 C1 0 P₁ · · · 0 ... ... ... . .. ... C_d−1 0 0 · · · P_d−1

, (14)

ondeP_r ´e irredut´ıvel e aperi´odica, 0≤r <d.

Exemplos

1) O Passeio Aleat´orio Simples emZ, com p∈(0,1), ´e irredut´ıvel e tem per´ıodod= 2 com C0={inteiros pares} eC1={inteiros ´ımpares} (ou vice-versa).

2) Cadeias com 4 e 3 estados e matrizes de trans dadas, resp, por









0 ¹₂ 0 ¹₂

1

2 0 ¹₂ 0 0 ¹₂ 0 ¹₂

1

2 0 ¹₂ 0







 e





0 0 1

0 0 1

1 2

1 2 0



. Temos d= 2 em ambos os casos.

21

Teorema 6 (Teo geral de conv p/ cadeias irredut´ıveis)

Suponha quePseja irredut´ıvel e tenha per´ıodo d, e sejaC₀, . . . ,C_d−1 a parti¸c˜ao estabelecida no Teo 5. Sejaµuma prob emS concentrada em C₀, e (X_n)∼CM(µ,P). Ent˜ao, p/r = 0, . . . ,d−1 ey ∈ C_r, temos que

P(Xnd+r=y) −→

n→∞

d

m_y, (15)

ondem_y =Ey(T_y)^∗; em particular, se x∈ C₀, Pxy^(nd+r) −→

n→∞

d

my. (16)

Obs.1) Os casos transit´orio e recorrente nulo est˜ao inclu´ıdos; em ambos o limite se anula identicamente.

2) Usando a nota¸c˜ao de 4⁰) acima, temos que, no caso rec pos do Teo 6,

d

my =π^r_y =dπ_y, onde (π_z^r,z ∈ Cr) ´e a linha cte deΠ_r= lim_n→∞Pⁿ_r e (π_w,w ∈ S) ´e a distr inv p/Pdada no Teo 3.

(Mas isto vale tb nos casos rec nulo e transit´orio, comΠr≡0eπy ≡0.)

∗d

∞ = 0

Obs 3

Seja Π=

C0 C1 · · · Cd−1















 C₀ Π₀ 0 · · · 0 C₁ 0 Π₁ · · · 0 ... ... ... . .. ... Cd−1 0 0 · · · Πd−1

. (17)

Da Obs 2 acima, segue que ΠP= lim

n→∞P^ndP= lim

n→∞P^nd+1= lim

n→∞PP^nd =P lim

n→∞P^nd =PΠ (18) Do Teo 5.i, temos que

P=

C0 C1 C2 · · · Cd−1























 C0 0 R0 0 · · · 0 C1 0 0 R1 · · · 0 ... ... ... ... . .. ... C_d−2 0 0 0 · · · R_d−2 C_d−1 R_d−1 0 0 · · · 0

, (19)

ondeRr ´e uma matriz estoc´astica|Cr| × |Cr+1|, 0≤r <d ^†.

†Lembre queCd=C0. Qdod= 1,P=R0.

23

Obs 3 (cont.)

Para 0≤r <d, fa¸camos ˜π_x^r =

(π_x^r, se x∈ Cr; 0, se x∈ S \ C_r; e

˜

π^r= (˜π^r_x,x ∈ S). De (18), usando (17) e (19), segue que

˜

π^rP= ˜π^r+1, 0≤r <d, (20)

onde ˜π^d = ˜π⁰. Fazendo, finalmente,π= ¹_dPd−1

r=0 π˜^r, temos πP= ¹_dPd−1

r=0 π˜^rP=_d¹Pd−1

r=0 π˜^r+1=π, (21)

e logoπ´e uma distr inv p/P(note queπ´e uma prob).

De fato, pelo argumento utilizado acima, logo abaixo do enunciado do Teo 4⁰, temos queπ´e ´unica.

De novo, como no caso observado no Slide 19, aqui tb, seS for finito, ent˜ao o sistema de eqs lineares µP=µemµtem emµ=πa ´unica sl¸c probabil´ıstica.

Obs final

Neste ´ album, enunciamos sem provar (no caso geral, em que S pode ser infinito) os Teos 3, 4, 5 e 6.

Dos argumentos que apresentamos para o caso em que S ´ e finito, segue maior parte dos Teos 3, 4 e 6 neste caso.

Pontos que n˜ ao foram abordados no caso finito s˜ ao a equivalˆ encia afirmada no Teo 3, e a forma espec´ıfica de π ali estabelecida.

Ambos seguem do Teo Erg´ odico, a ser visto logo abaixo (depois de Reversibilidade).

25