Introdu¸c˜ao aos Processos Estoc´asticos

Introdu¸c˜ ao aos Processos Estoc´ asticos

Luiz Renato Fontes

1

Recorrˆ encia e Transitoriedade

(Xn) cadeia de Markov em S c/ matriz de transi¸c˜aoP.

O estadox ∈ S ´e dito recorrentesePx(Xn=x i.v.) = 1, onde {X_n=x i.v.}={X_n=x infinitas vezes}

={X_n=x para infinitosn’s}

=∩_i≥1∪_j≥i {X_j =x};

={∃n1,n2, . . .: Xn1 =Xn2 =· · ·=x};

ex ´e ditotransit´orio sePx(Xn=x i.v.) = 0.

Recorrˆ encia e Transitoriedade (cont.)

SejaTx o tempo de primeira passagem porx:

Tx = inf{n≥1 : Xn=x}, e fa¸camosTx⁽⁰⁾ = 0 e, parak ≥0,

T_x^(k+1) = inf{n≥T_x^(k)+ 1 : X_n=x} (inf∅=∞).

T_x^(r) ´e o tempo dar-´esima passagem de (X_n) porx,r ≥1.

Note que, se, para algumk ≥1, T_x^(k)=∞, ent˜aoT_x^(k+1)=∞.

Parar ≥1, seja Sx^(r)=

(Tx^(r)−Tx^(r−1), seTx^(r−1) <∞, U_r, c. c. ,

onde (Ur)r≥1 iid U1∼Tx. Note queSx⁽¹⁾=Tx. Pela PFM, (S_x^(r))r≥1 iid.

3

Recorrˆ encia e Transitoriedade (cont.)

SejaV_x o n´umero de visitas de (X_n) ax: V_x =P

n≥01{X_n=x}.

Obs. 1){X_n=x i.v.}={V_x =∞}, logo 2)x ´e recorrente ssePx(Vx =∞) = 1, e 3)x ´e transit´orio ssePx(Vx =∞) = 0.

4)Ex(V_x) =P

n≥0Px(X_n=x) =P

n≥0Pxx⁽ⁿ⁾. (1)

Agora, seX0=x: Vx >r ⇔Tx^(r)<∞ ⇔Sx⁽ⁱ⁾<∞,i ≤r.

Fazendof_x =Px(T_x <∞):

Px(V_x >r) =Px(Sx⁽ⁱ⁾<∞,i ≤r) =

r

Y

i=1

Px(Sx⁽ⁱ⁾<∞) =f_x^r (2) Logo,Ex(V_x) =P

n≥0Px(V_x >n) =P

n≥0f_xⁿ. (3)

Teorema 1

Vale a seguinte dicotomia

(i) SePx(Tx <∞) = 1, ent˜aox ´e recorrente eP

n≥0Pxx⁽ⁿ⁾=∞ (ii) SePx(T_x <∞)<1, ent˜ao x ´e transit´orio eP

n≥0Pxx⁽ⁿ⁾ <∞.

Corol´ario. Todo estado ´e ou recorrente ou transit´orio.

Dem.Se Px(Tx <∞) =fx = 1, ent˜ao de (2):

Px(Vx =∞) = lim_n→∞Px(Vx >n) = limn→∞f_xⁿ= 1 (x ´e rec.), e tbEx(V_x) =P

n≥0Pxx⁽ⁿ⁾=∞; por outro lado, se f_x <1, ent˜ao Ex(Vx) =P

n≥0f_xⁿ= _1−f¹

x <∞ ⇒Px(Vx =∞) = 0, ex ´e trans.

Obs. SobPx,Vx ∼Geom´etrica(1−fx) (conv: Geo(0) =∞).

5

Teorema 2

SejaC uma classe de comunica¸c˜ao. Ent˜ao, ou todos os estados deC s˜ao transit´orios, ou s˜ao todos recorrentes.

Dem.Se x↔y, ent˜ao existemi,j tqPxy⁽ⁱ⁾,Pyx^(j)>0. Logo, Pxx^(i+k+j)

∗

≥Pxy⁽ⁱ⁾Pyy^(k)Pyx^(j) ⇒Pyy^(k) ≤ ¹

Pxy⁽ⁱ⁾Pyx^(j)

Pxx^(i+k+j). Logo, P

k≥0Pyy^(k)≤ ¹

Pxy⁽ⁱ⁾Pyx^(j)

P

k≥0Pxx^(i+k+j)≤ ¹

Pxy⁽ⁱ⁾Pyx^(j)

P

`≥0Pxx<sup>(`)</sup>.

Logo, sex for transit´orio, ent˜aoy tb ´e transit´orio pelo Teo 1.

Obs. Neste contexto, recorrˆencia e transitoriedade s˜ao ditas propriedades de classe, e temos classes recorrentes e classes transit´orias.

∗Pxy^(i+j) CK=P

w∈SPxw⁽ⁱ⁾Pwy^(j)≥Pxz⁽ⁱ⁾Pzy^(j)∀x,y,z∈ S,i,j≥0

Teorema 3

Toda classe recorrente ´e fechada.

Dem.Suponha que C seja uma classe n˜ao fechada;

ent˜ao ∃x ∈ C,y ∈ C/ e i >0 tq Px(X_i =y)>0.

ComoPy(Xn=x para algumn ≥0) = 0^†, segue que Px(X_i =y,X_n=x i.v.) = 0⇒Px(X_n=x i.v.)<1.

Logox n˜ao ´e recorrente^Teo1=⇒ x ´e transit´orio ^Teo2=⇒ C´e transit´oria.

†se n˜ao,y∈ C

7

Teorema 4

Toda classe fechada finita ´e recorrente.

Dem.Suponha que C seja uma classe fechada e finita.

SeX₀ ∈ C, ent˜ao existex∈ C tq

0<P(X_n=x i.v.)^PFM= P(T_x <∞)Px(X_n=x i.v.).

Logo,Px(Xn=x i.v.)>0, e x n˜ao ´e transit´orio.

Logo,x e C s˜ao recorrentes pelos Teos 1 e 2.

Exemplos

1)P=









0 0 ¹₂ ¹₂

1 0 0 0

0 1 0 0

0 1 0 0









cadeia irredut´ıvel e finita: Teo 4⇒ recorrente.

2)P=













1 2

1

2 0 0 0

1 2

1

2 0 0 0

0 0 ¹₂ ¹₂ 0 0 0 ¹₂ ¹₂ 0

1 4

1

4 0 0 ¹₂













C₁ ={1,2} eC₂ ={3,4}recorrentes; C₃ ={5}transit´oria.

(Note queC1eC2s˜ao fechadas e finitas, eP5(T5<∞) = ¹₂ <1.)

9

Recorrˆ encia e transitoriedade no passeio aleat´ orio em Z

1)d = 1, q= 1−p∈(0,1)

Obs. Cadeia irredut´ıvel.

SejaD_n= #{saltos de (X_n) para a direita at´e o tempon}

∼Bin(n,p)

Dado queX₀= 0, temos X_n=D_n−(n−D_n) = 2D_n−n

∴Xn=k ⇔Dn= ^n+k₂

∴ P₀₀⁽ⁿ⁾ = ( _n

n/2

(pq)^n/2, sen= par;

0, sen= ´ımpar. (4)

∴ P

n≥0P₀₀⁽ⁿ⁾=P

n≥0P₀₀⁽²ⁿ⁾=P

n≥0 2n n

(pq)ⁿ (5)

PAS em Z

Se o lado direito de (1) for<∞, ent˜ao o PAS em Z ´e transit´orio;

se n˜ao, ´e recorrente.

Basta avaliar o comportamento assint´otico dos somandos em (5).

2n n

= (2n)!

(n!)²

Stirling

∼ A√

2n(2n)²ⁿe⁻²ⁿ (A√

n(n)ⁿe⁻ⁿ)² =C 1

√n 4ⁿ

∴ ²ⁿ_n

(pq)ⁿ∼C ^√1_n (4pq)ⁿ= ( _C

√n, sep =q;

√C

nλⁿ, sep 6=q, para ctes 0<A,C <∞, onde λ= 4pq^p6=q< 1.

a)p = 1/2: Como P

n≥1√1

n =∞, temos queP

n≥0P₀₀⁽ⁿ⁾=∞, e a cadeia ´e recorrente neste caso.

b)p6= 1/2: ComoP

n≥1 √λⁿ n ≤P

n≥1λ^np6=q< ∞, temos que P

n≥0P₀₀⁽ⁿ⁾<∞, e a cadeia ´e transit´oria neste caso.

11

PAS sim´ etrico em Z

X0 =0 (origem deZ²)

Seja ˆZ² a redeZ² rotacionada por 45^o em torno da origem, e multiplicada por√

2. Ent˜ao, as proje¸c˜oes ortogonais de√

2Xn nos

eixos coord de ˆZ²,X_n⁺ eX_n⁻, s˜ao PAS sim´etricos emZ, indeps.

∴P₀₀⁽ⁿ⁾ =P0(Xn =0) =P0(X_n⁺= 0,X_n⁻= 0|X₀⁺= 0,X₀⁻= 0)

=P0(X_n⁺= 0|X₀⁺= 0)P0(X_n⁻= 0|X₀⁻= 0)

= (P₀₀⁽ⁿ⁾)^{2 (4)}=





 h n

n/2

₁

2ⁿ

i2

∼ ^C_n⁰, n par;

0, n´ımpar.

ComoP

n≥1 1

n =∞, temos que P

n≥1P₀₀⁽ⁿ⁾=∞, e o PASS emd = 2 ´e recorrente.

1/4 1/4

1/4

1/4

PAS sim´ etrico em Z

, d ≥ 3

d = 3,X0 =0

Sejae1= (1,0,0), e2= (0,1,0), e₃= (0,0,1).

Ent˜aoX_n=Pn

i=1B_iV_i, onde indep

(B1,B2, . . .iid∼Ber({−1,+1}; 1/2);

V_i,V₂, . . .iid,P(V₁ =e_i) = 1/3,i = 1,2,3.

n≥1: N_n⁽ⁱ⁾={j ≤n :V_j =ei},Nn⁽ⁱ⁾ =|N_n⁽ⁱ⁾|;i = 1,2,3;

⇒ (Nn⁽¹⁾,Nn⁽²⁾,Nn⁽³⁾)∼Mult(n;¹₃,¹₃,¹₃).

DadosN_n⁽¹⁾,N_n⁽²⁾,N_n⁽³⁾: Un⁽ⁱ⁾ :=P

j∈N_n⁽ⁱ⁾B_j ∼ Bin(Nn⁽ⁱ⁾),i = 1,2,3, independentes

e₁ e₂ e₃

1/6 1/6

1/6 1/6 1/6 1/6

13

PASS em Z

Sen for ´ımpar, ent˜ao P₀₀⁽ⁿ⁾ =P0(X_n=0) = 0; qdo n for par:

P₀₀⁽ⁿ⁾= 1 6ⁿ

X

n1,n2,n3 pares n1 +n2 +n3 =n

n!

n₁!n₂!n₃!

3

Y

i=1

ni

n_i/2

= 1 6ⁿ

X

n1,n2,n3 pares n1 +n2 +n3 =n

n!

(Q3

i=1ni!/2)²

n=2k= 1 6^2k

X

k₁+k₂+k₃=k

(2k)!

(k₁!k₂!k₃!)² = 2k

k 1

2^2k X

k₁+k₂+k₃=k

k k₁k₂k₃

²1 3

^2k

≤ 2k

k 1

2^2k

| {z }

∼const/√ n

×1

3^k max

k1+k2+k3=k

k k1k2k3

No caso em quek = 3m=k1+k2+k3, pode-se checar que 3m

k₁k₂k₃ ‡

≤ 3m

m m m Stirling

∼ A√

3m(3m)^3me^−3m (A√

m m^me^−m)³ =const k 3^k

‡sek1<m<k2: _k^3m

1k₂k₃

< _k ^3m

1+1k₂−1k₃

PASS em Z

(cont.)

Logo, P₀₀⁽ⁿ⁾

(∗)

≤ const/n^3/2, sen= m´ult de 6; = 0, se n= ´ımpar.

Mas note que P₀₀^(6m)≥







1 6

2

P₀₀^(6m−2)

1 6

4

P₀₀^(6m−4)

⇒(∗) vale ∀ n par.

∴P

n≥1P₀₀⁽ⁿ⁾<∞, pois P

n≥1 1

n^3/2 <∞, e logo o PASS emd = 3 ´e transit´orio.

Obs. 1) Similarmente podemos argumentar que o PASS emZ^d ´e transit´orio emd ≥4, e tamb´em em d = 2.

2) O argumento por proje¸c˜ao feito acima, no Slide 12, s´o funciona no caso bidimensional.

15