Introdu¸c˜ao aos Processos Estoc´asticos

(1)

Introdu¸c˜ ao aos Processos Estoc´ asticos

Luiz Renato Fontes

(2)

Cadeias de Markov em tempo cont´ınuo

P^(ε): matriz de transi¸c˜ao em passoε >0

𝜀 2𝜀 𝑛𝜀

0 … … … … … …

𝜀ℕ

t∈εN: P^(t)= matriz de transi¸c˜ao em passo/no tempo t

= (P^(ε))^t/ε = [I+ (P^(ε)−I)]^t/ε

Vamos supor queP^(ε)−I≈εQ. (1)

Ent˜ao,

P^(t) ≈(I+εQ)^t/ε ≈e^tQ,

o que poderia ser estendido para todot∈[0,∞).

2

(3)

Exponencia¸c˜ ao de matrizes

Dada uma matrizA= (Axy)x,y∈S

e^A=P

n≥0 1

n!Aⁿ ∴ e^tQ =P

n≥0 tⁿ n!Qⁿ, o que est´a bem definido de|S|<∞.

Propriedades.

1) SeA₁ e A₂ comutarem, ie, seA₁A₂=A₂A₁, ent˜ao

eÂ¹^+A² =eÂ¹eÂ². (2) 2) SeA for diagonalizável, ie, A=UDU⁻¹, onde D= (Dxy) é diagonal comDxx =λx,x ∈ S, então

e^A=P

n≥0 1

n!Aⁿ=P

n≥0 1

n![UDU⁻¹]ⁿ=P

n≥0 1

n!UDⁿU⁻¹

=U P

n≥0 1

n!Dⁿ U⁻¹=UDU˜ ⁻¹, onde ˜D=e^D = ( ˜Dxy) ´e diagonal com ˜D_xx =e^λ^x,x ∈ S.

(4)

Propriedades de Q

(Lembre de (1).)

1. Diagonal: negativa;

2. Fora da diagonal: positiva;

3. Soma sobre as linhas = 0.

Ou seja, escrevendoQ= (q_xy), temos 1. 0≤ −q_xx <^∗ ∞;

2. qxy ≥0 se x 6=y;

3. P

y∈Sqxy = 0,x ∈ S. Segue queqx :=−q_xx =P

y6=xqxy. Defini¸c˜ao.

Uma matrizQsatisfazendo (1-3) ser´a dita umaQ-matriz.

∗Suposi¸c˜ao adicional.

4

(5)

Teorema 1

Suponha queQ= (qxy)x,y∈S seja uma matriz num conjunto finito S. FazendoP(t) =e^tQ, temos que (P(t),t≥0) satisfaz as seguintes propriedades.

(i) P(t+s) =P(t)P(s)∀t,s (ppdde de semigrupo);

(ii) P(·) é a única solu¸cão das equa¸cão avan¸cada

d

dtP(t) =P(t)Q,P(0) =I;

(iii) P(·) é a única solu¸cão das equa¸cão atrasada

d

dtP(t) =QP(t),P(0) =I;

(iv) Para k≥0: _dt^d^kkP(t)

t=0=Q^k.

Dem.(i) segue de (2) e do fato quetQe sQ comutam.

(ii) e (iii) seguem do fato de que podemos diferenciarP(t) dentro do sinal de soma:

(6)

Dem. do Teo 1 (cont)

d

dtP(t) = _dt^d P

n≥0tⁿ

n!Qⁿ=P

n≥1 tⁿ⁻¹ (n−1)!Qⁿ

=QP

n≥0 tⁿ

(n)!Qⁿ=QP(t)

= P

n≥0 tⁿ

(n)!Qⁿ Q=P(t)Q

e a unicidade segue do fato de que seM(t) satisfizer as eq avan¸cada, ent˜ao

(M(t)e^−tQ)⁰ = _dt^dM(t)e^−tQ−M(t)Qe^−tQ

= _dt^dM(t)−M(t)Q

e^−tQ= 0.

Logo,M(t)e^−tQ = const =M(0) =I,

e segue queM(t) =e^tQ =P(t). Racioc´ınio similar vale p/a unici// da eq atrasada.

(iv) segue da diferencia¸c˜ao k vezes dentro da soma.

Vamos ver a seguir o que acontece no caso deQ-matrizes.

6

(7)

Teorema 2

Uma matrizQnum conjunto finito S ´e umaQ-matriz se e somente seP(t) =e^tQ for estoc´astica para todot ≥0.

Dem.Podemos escrever P(t) =e^tQ =I+tQ+o(t) (3) Vamos come¸car argumentando que

qxy ≥0 ∀x6=y ⇔Pxy(t)≥0 ∀x,y ∈ S e t ≥0. (4) (⇐) Claro

(⇒) Basta considerar o caso em que todas as entradas de Q s˜ao6= 0; o caso geral segue da continuidade de P(t) emQ.

De (3),qxy >0 ∀x6=y⇒Pxy(t)≥0 ∀x,y ∈ S e t >0 bastante pequeno; comoP(t) = [P(t/n)]ⁿ, temos que P_xy(t)≥0∀x,y e t, e (4) est´a estabelecido.

(8)

Dem. Teo 2 (cont)

SeP

y∈Sqxy = 0 para todox ∈ S, ent˜ao, para todo n≥1 X

z∈S

Q_xzⁿ =X

z∈S

X

w∈S

Q_xwⁿ⁻¹q_wz = X

w∈S

Q_xwⁿ⁻¹X

z∈S

q_wz

| {z }

0

= 0,

e X

y∈S

P_xy(t) = 1 +

∞

X

n=1

tⁿ n!

z }| { X

y∈S

Q_xyⁿ = 1.

Por outro lado,P

y∈Sqxy = _dt^d t=0

=1∀t≥0

z }| { X

y∈S

Pxy(t) = 0.

8

(9)

Cadeia de Markov em tempo cont´ınuo (tentativo)

SeP=e^Q para algumaQ-matrizQ, ent˜ao (X_t^(m))_t∈1

mN∼CM(µ,P^(m)=e^m¹^Q) (no cj de tempos _m¹N=_m

n,n∈N ) tem a ppde de que (Xn)n∈N= (X_mt^(m))_t∈¹

mN∼ CM(µ,P)

(no cj de temposN) — pois sua MT ´e (P^(m))^m =e^Q =P).

Logo, ´e natural conjecturar a existˆencia de uma CM em tempo cont´ınuo (X_t)_t∈[0,∞) com a ppde de que (X_n)n∈N∼CM(µ,P).

Definiremos adiante uma CMTC comQ-matriz Qsatisfazendo, para 0≤t0 ≤ · · · ≤tn+1 e x0,≤. . . ,xn+1 ∈ S,

P(X_t_n+1 =x_n+1|X_t_n =x_n, . . . ,X_t₀ =x₀) =P_x_n_x_n+1(t_n+1−t_n), ondePxy(t) = e^tQ)xy.

(10)

Exemplos

1) SejaQ=





−2 1 1

1 −1 0

2 1 −3



.Trata-se de uma Q-matriz.

Eq caracter´ıstica: 0 = det(xI−Q) =x(x+ 2)(x+ 4). Logo,

Q=U





0 0 0

0 −2 0

0 0 −4



U⁻¹; e^tQ=U





1 0 0

0 e^−2t 0 0 0 e^−4t



U⁻¹

Logo,P11(t) =a+be^−2t+ce^−4t. Determina¸c˜ao dos coeficientes:

P11(0) = 1 =a+b+c;P₁₁⁰ (0)^Teo1(iv)= −2 =−2b−4c;

P₁₁⁰⁰(0)^Teo1(iv)= 7 = 4b+ 16c. Resolvendo: a= ³₈,b= ¹₄,c = ³₈.

∴ P11(t) = ³₈ +¹₄e^−2t+ ³₈e^−4t,t≥0.

10

(11)

Exemplos (cont)

2)Q=







−λ λ 0 · · · 0

0 −λ λ 0 · · 0

· ·

0 · · · −λ λ

0 · · · 0







N×N

,Q-matriz supertriangular.

Logo,Qⁿ tb ´e supertriangular∀n⇒Pxy(t) = 0 sex >y. Eq avan¸cada: P⁰(t) =P(t)Q.

P_xx⁰ (t) =−λPxx(t),Pxx(0) = 1,x = 1, . . . ,N−1⇒Pxx(t) =e^−λt. P_xy⁰ (t) =−λPxy(t) +λP_x,y−1(t),Pxy(0) = 0,1≤x <y<N, P_xN⁰ (t) =−λP_x,N−1(t).

(12)

Exemplo 2 (cont)

Para 1≤x<y <N: e^λtPxy(t)

| {z }

P˜xy(t)

0

=λe^λtPx,y−1(t)

| {z }

P˜x,y−1(t)

,

i.e., P˜_xy⁰ (t) =λP˜_x,y−1(t), P˜_xx(t)≡1.

Fazendo ˆP_xy(t) = ˜Px,y−1(t/λ), temos que

Pˆ_xy⁰ (t) =−Pˆx,y−1(t), Pˆxx(t)≡1⇒Pˆxy(t) = _(y−x)!^t^y^−x e, logo,

P_xy(t) =e^{−λt t}_(y−x)!^y−x , 1≤x≤y<N,P_NN(t)≡1.^∗ (Processo de Poisson truncado em N)

∗PxN(t),x<N: por complementa¸c˜ao.

12

(13)

Cadeias de Markov em tempo cont´ınuo (S enumer´ avel)

Processos de salto(não necessaria/e Markoviano): processo passa per´ıodos de tempo numa sucessão de estados; ao final de cada visita a dado estado, salta para o próximo estado.

Trajet´orias cont´ınuas `a direita. Distr de (X_t)_t∈[0,∞) determinada pelas distr finito dimensionais

P(Xt₁ =x1, . . . ,Xt_n =xn), 0≤t1<· · ·<tn,x1, . . . ,xn∈ S,n≥1.

Ex. Dadox ∈ S, P(Xt =x para algumt ≥0)

= 1−lim_n→∞P

x₁,...,x_n6=xP(Xq₁ =x1, . . . ,Xq_n=xn), ondeq₁,q₂. . .é uma enumera¸cão dos números racionais.

(14)

Processo de saltos

SejaT_i o tempo gasto nai-´esima visita do processo,i = 1,2, . . .;

Ti>0,i= 1,2, . . ..

Sn=Pn

i=1Ti = tempo don-´esimo salto do processo, n= 1,2, . . .;

S0= 0.

[S_n−1,Sn) ... intervalo de dura¸c˜ao dan-´esima visita do processo,n≥1.

SejaYn=XS_n,n≥0.

Ent˜aoXt =Yn, se Sn≤t<Sn+1,n≥0. (∗) (Yn)n≥0: cadeia de saltos de (Xt).

14

(15)

Processo de saltos (cont)

H´a 3 poss´ıveis comportamentos:

1)S_n<∞ para todon≥1 eS_n→ ∞ qdo n→ ∞.

Ent˜ao (X_t) est´a bem definido para todot ≥0.

2)T_i =∞ para algum i ≥1. Sejan^∗ = min{i ≥1 : T_i =∞}.

Ent˜aoS_n^∗−1 <∞ e S_n^∗=∞, e (∗) tb funciona; podemos tomar n<n^∗.

3)Sn→ζ <∞ qdon→ ∞. Neste caso, o processo d´a um n´umero infinito de saltos em tempo finito, e (∗) define (X_t) para t∈[0, ζ). E depois?

Uma sa´ıda ´e adicionar um ponto aS, digamos∞, e fazerX_t =∞ parat ≥ζ.

Este ´e o chamado processo m´ınimo (associado a (Yn) e (Ti)).

(16)

Ilustra¸c˜ oes — Comportamento 1

𝑋_!

𝑡 𝒮

16

(17)

Ilustra¸c˜ oes — Comportamento 2

𝑋_!

𝑡 𝒮

(18)

Ilustra¸c˜ oes — Comportamento 3

𝑋_!

𝑡 𝒮

∞

18

(19)

Distribui¸c˜ ao exponencial

(Ingrediente essencial das CMTC)

T ∼ Exp(λ), λ >0: f(t) =f_T(t) =λe^−λt,t >0 P(T >t) =R∞

t λe^−λsds =R∞

λt e^−rdr =−e^−r

∞

λt=e^−λt,t ≥0.

(T ∼Exp(0): P(T =∞) = 1) E(T) =R∞

0 P(T >t)dt =R∞

0 e^−λtdt = ¹_λR∞

0 λe^−λtdt = ¹_λ E(e^−T) =R∞

0 e^−tλe^−λtdt = _1+λ^λ R∞

0 (1 +λ)e^−(1+λ)tdt = _1+λ^λ Teorema 3 (Falta de mem´oria)

Uma v.a. n˜ao negativa apresentafalta de mem´oria, i.e.,

P(T >t+s|T >s) =P(T >t) ∀ s,t ≥0, (4) se e somente seT ∼Exp(λ) para algumλ≥0.

(20)

Dem. Teo 3

(⇐) l.e. (4) = ^P^(T_P(T>s)^>t+s) = ^e^−λ(s+t)_e−λs =e^−λt = l.d. (3) (⇒) (4)⇔P(T >t+s) =P(T >t)P(T >s)∀ s,t ≥0

P(T >kr) =P(T >(k−1)r)P(T >r),k ∈N,r ∈R

=P(T >(k−2)r) [P(T >r)]²=· · ·= [P(T >r)]^k (5) Escolhendok =ner = ¹_n em (5):

P(T >1) =

P T >¹_nⁿ

⇒P T >_n¹

=

P(T >1)_n¹

(6) Tomandoq=k/n,k,n∈N, de (5) e (6):

P(T >q) =

P T > ¹_n^k

= [P(T >1)]^kⁿ = [P(T >1)]^q (7)

20

(21)

dem Teo 3 (cont)

Fazendoλ=−logP(T >1), segue queP(T >1) =e^−λ, e de (7) P(T >q) =e^−λq,q∈Q⁺= n´umeros racionais positivos. (8) Dadot∈R,t >0, sejamq₁, . . . ,q_n≤t ≤q˜₁, . . . ,q˜_n, tais que

limn→∞qn= limn→∞q˜n=t, e de (8)

e^−λ˜^qⁿ=P(T >q˜n)≤P(T >t)≤P(T >qn) =e^−λqⁿ Tomando limites:

e^−λt = lim_n→∞e^−λ˜^qⁿ ≤P(T >t)≤lim_n→∞e^−λqⁿ =e^−λt

(22)

Teorema 4

SejamT₁,T₂, . . . v.a.’s independentes tq T_i ∼Exp(λ_i), e fa¸camosS =P∞

i=1T_i. Temos que S ^qc<∞ se e somente se E(S) =P∞

i=1E(T_i) =P∞ i=1 1

λi <∞.

Dem.(⇐) Claro

(⇒) E(e^−S) =E(e⁻^P^∞ⁱ⁼¹^Tⁱ) =E(limn→∞e⁻^Pⁿⁱ⁼¹^Tⁱ)

= limn→∞E(e⁻^Pⁿⁱ⁼¹^Tⁱ) = limn→∞Qn

i=1E(e^−Tⁱ)

= limn→∞Qn i=1

λi

1+λi =n Q∞

i=1 1 +_λ¹

i

o−1

= 0, seP∞ i=1 1

λi =∞;

neste caso,e^−S = 0 qc ⇒S =∞ qc

22

(23)

Teorema 5

SejamT₁,T₂, . . . v.a.’s independentes tq T_i ∼Exp(λ_i).

Suponha queλ:=P∞

i=1λ_i <∞, e sejaT = inf_i≥1T_i. Então, o inf é qc atingido em um único ´ındiceK. Além disto, K eT são independentes, T ∼Exp(λ) e

P(K =`) = ^λ_λ^`,`≥1.

Dem.P(T >t,K =`) =P(

A^`_t

z }| {

T`>t,Ti >T`,i 6=`)

=R∞

t f_T_`(s)Q

i6=`P(Ti >s)ds= ^λ_λ^`R∞

t λe^−λsds =e^−λt^λ_λ^` SendoP(A^`₀) = ^λ_λ^`, temos que P(∪_`≥1A^`₀) =P

`≥1P(A^`₀) = 1, e notemos que inf ´e ´unico em ∪`≥1A^`₀.

(24)

Teorema 6

SejamS,T v.a.’s independentes tqS ∼ Exp(λ) e T ∼Exp(µ).

Ent˜ao,

λP(S ≤t<S +T) =µP(T ≤t <S+T).

Dem.O l.d. da express˜ao destacada vale µ

Z t

0

λe^−λse^−µ(t−s)ds =λµ Z t

0

e^−λse^−µ(t−s)ds =λµ Z t

0

e^−µse^−λ(t−s)ds e o resultado segue da simetria emλeµexplicitada na ´ultima igualdade.

24