Ergodicidade em cadeias de Markov não-homogêneas e cadeias de Markov com transições raras

(1)

Centro de Ciˆencias Exatas e da Terra

Programa de Pós-Gradua¸cão em Matemática Aplicada e Estat´ıstica

Antonio Marcos Batista do Nascimento

Ergodicidade em Cadeias de Markov

N˜

ao-Homogˆ

eneas e Cadeias de Markov com

Transi¸c˜

oes Raras

(2)

Antonio Marcos Batista do Nascimento

Ergodicidade em Cadeias de Markov

N˜

ao-Homogˆ

eneas e Cadeias de Markov com

Transi¸c˜

oes Raras

Trabalho apresentado ao Programa de Pós-Gradua¸cão em Matemática Aplicada e Estat´ıstica da Universidade Federal do Rio Grande do Norte, em cumprimento com as exigências legais para obten¸cão do t´ıtulo de Mestre.

´

Area de Concentra¸c˜ao: Probabilidade e Estat´ıstica

Orientador:

Prof. Dr. Juan Alberto Rojas Cruz

(3)

UFRN / Biblioteca Central Zila Mamede. Catalogação da Publicação na Fonte.

Nascimento, Antonio Marcos Batista do.

Ergodicidade em cadeias de Markov não-homogêneas e cadeias de Markov com transições raras / Antonio Marcos Batista do Nascimento. – Natal, RN, 2014.

73 f.: il.

Orientador: Prof. Dr. Juan Alberto Rojas Cruz.

Dissertação (Mestrado) – Universidade Federal do Rio Grande do Norte. Centro de Ciências Exatas e da Terra. Pós-Graduação em Matemática Aplicada e Estatística.

1. Cadeias de Markov não-homogêneas - Dissertação. 2. Ergodicidade fraca e forte - Dissertação. 3. Cadeias de Markov com transições raras - Dissertação. 4. W-grafo - Dissertação. I. Cruz, Juan Alberto Rojas. II. Universidade Federal do Rio Grande do Norte. III. Título.

(4)

Antonio Marcos Batista do Nascimento

Ergodicidade em Cadeias de Markov

N˜

ao-Homogˆ

eneas e Cadeias de Markov com

Transi¸c˜

oes Raras

Trabalho apresentado ao Programa de Pós-Gradua¸cão em Matemática Aplicada e Estat´ıstica da Universidade Federal do Rio Grande do Norte, em cumprimento com as exigências legais para obten¸cão do t´ıtulo de Mestre.

´

Area de Concentra¸c˜ao: Probabilidade e Estat´ıstica

Aprovado em: / /

Banca Examinadora

Prof. Dr. Juan Alberto Rojas Cruz - UFRN Presidente

Profa. Dra. D´ebora Borges Ferreira - UFRN Examinador Interno

Profa. Dra. C´atia Regina Gon¸calves - UnB Examinador Externo

(5)

(6)

Agradecimentos

Neste momento de t˜ao grande importˆancia para minha vida e de tanto significado

para aqueles que me cercam, quero agradecer imensamente a Deus por ter me

propor-cionado esta conquista e colocado pessoas maravilhosas no meu caminho.

Agrade¸co aos meus pais, Jos´e e Josefa, pelo apoio e motiva¸c˜ao manisfestados ao

longo desses anos. Saibam que me orgulho muito de vocˆes. N˜ao poderia esquecer-me

de meus irm˜aos Alexandre, Alex, Paula e Jo˜ao, que sempre me estimularam a seguir em

frente e buscar realizar meus sonhos e objetivos, `a vocˆes meu profundo agradecimento.

Amo muito todos vocˆes!

A Dona Fátima e Seu Tavares, além da minha “irmã” Willima, que me acolheram

em sua casa no in´ıcio dessa jornada. Vocˆes agora fazem parte da minha fam´ılia.

Ao Professor Orientador Juan Alberto pela confian¸ca em mim depositada, por sua

paciˆencia, pela experiˆencia repassada, pela ajuda nos momentos dif´ıceis e pelos

impor-tantes conselhos dados. Para mim, foi um privilégio incomensurável tê-lo conhecido.

Serei eternamente grato.

A todos os meus professores do Ensino Básico, Gradua¸cão e Pós-Gradua¸cão. Esta

conquista deve-se à dedica¸cão e conhecimentos repassados por todos vocês.

A Jucimeire pelo apoio, amizade, ensinamentos, conselhos e principalmente, pela

ajuda na postula¸c˜ao do mestrado.

A todos os meus amigos e colegas com quem compartilhei sonhos e objetivos, em

particular, aos meus colegas de mestrado Anna Rafaela, Andressa Siroky, Allyson

Fer-nandes, Bruno, Elvis, Hudson, Wesley, F´abio, Hebert, Eduardo, Wenia, Renato e

Ru-menick.

(7)

(8)

Resumo

O objetivo central de estudo em Cadeias de Markov Não-Homogêneas é o conceito de

ergodicidade fraca e forte. Uma cadeia é ergódica fraca se a dependência da distribui¸cão

inicial desaparece com o tempo, e é ergódica forte se é ergódica fraca e converge em

distribui¸cão. A maioria dos resultados teóricos sobre a ergodicidade forte supõe algum

conhecimento do comportamento limite das distribui¸c˜oes estacion´arias. Neste trabalho,

reunimos alguns resultados gerais sobre ergodicidade fraca e forte para cadeias com

espa¸co de estados enumerável, e também estudamos o comportamento assintótico das

distribui¸c˜oes estacion´arias de um tipo particular de Cadeias de Markov com espa¸co de

estados finito, chamadas Cadeias de Markov com Transi¸c˜oes Raras.

Palavras-chave: Cadeias de Markov N˜ao-Homogˆeneas, Ergodicidade Fraca e Forte,

Cadeias de Markov com Transi¸c˜oes Raras, W-grafo.

(9)

The central objective of a study Non-Homogeneous Markov Chains is the concept

of weak and strong ergodicity. A chain is weak ergodic if the dependence on the

initial distribution vanishes with time, and it is strong ergodic if it is weak ergodic and

converges in distribution. Most theoretical results on strong ergodicity assume some

knowledge of the limit behavior of the stationary distributions. In this work, we collect

some general results on weak and strong ergodicity for chains with space enumerable

states, and also study the asymptotic behavior of the stationary distributions of a

particular type of Markov Chains with finite state space, called Markov Chains with

Rare Transitions.

Keywords: Markov Chains Non-Homogeneous, Weak and Strong Ergodicity,

Mar-kov Chains with Rare Transitions,W-graphs.

(10)

Sum´

ario

1 Introdu¸c˜ao 1

2 Resultados Assintóticos em Cadeias de Markov Não-Homogêneas 3

2.1 Cadeias de Markov Não-Homogêneas à Tempo Discreto . . . 3

2.2 Resultados de Aproxima¸c˜ao em Cadeias com Espa¸co de Estados

Enu-mer´avel . . . 9

2.3 Ergodicidade Fraca e Forte: Condi¸c˜oes para Equivalˆencia . . . 19

3 Resultados Assint´oticos em Cadeias de Markov com Transi¸c˜oes Raras 29

3.1 W-grafos . . . 30 3.2 Teoremas para Cadeias de Markov Irredut´ıveis . . . 32

3.3 Resultados Assintóticos para o Tempo Médio e Distribui¸cões Estacionárias 46

4 Conclus˜oes 53

Referˆencias Bibliogr´aficas 55

A Resultados e Propriedades Gerais 57

B Algumas Demonstra¸c˜oes 59

(11)

Introdu¸c˜

ao

Inúmeros problemas práticos nas mais diferentes áreas do conhecimento têm sido

modelado matematicamente por Cadeias de Markov. Muitos desses modelos usam os

conceitos de cadeias não-homogêneas, onde as probabilidades de transi¸cão mudam de

acordo com o tempo.

Nos ´ultimos anos, o interesse pela busca de condi¸c˜oes que garantam o

comporta-mento ergódico de Cadeias de Markov Não-Homogêneas vem sendo impulsionado pelo

estudo da convergência de algoritmos aleatórios que buscam estimar pontos ótimos

glo-bais (m´ınimos ou máximos) de fun¸cões. Como exemplos, podemos citar o Simulated Annealing e o Algoritmo Genético.

Neste sentido, o objetivo desse trabalho ´e reunir alguns resultados assint´oticos gerais

em Cadeias de Markov Não-Homogêneas, os quais são utilizados com frequência no

estudo da convergˆencia de algoritmos aleat´orios.

O trabalho est´a dividido em duas partes. Na primeira, revisamos alguns resultados

gerais sobre a ergodicidade fraca e forte e sobre condi¸c˜oes que garantam a equivalˆencia

entre ambas usando como fundamenta¸c˜ao te´orica os artigosApproximation Results for Non-Homogeneous Markov Chains and some Applications e Ergodicity in Parametric Nonstationary Markov Chains: An Application to Simulated Annealing Methods de Dorea e Cruz [3] e Anily e Federgruen [1], respectivamente. Destacamos ainda, o

Corol´ario 2.2.1 que ´e de nossa autoria.

Na segunda parte do trabalho, revisamos alguns resultados assint´oticos em uma

classe particular de Cadeias de Markov, chamadas de Cadeias de Markov com

(12)

2

si¸c˜oes Raras. Mais especificamente, revisamos resultados sobre o comportamento

as-sintótico das distribui¸cões estacionárias, que foi recentemente utilizado no estudo da

convergência do Algoritmo Genético (veja Suzuki [10]), e do tempo médio de entrada

em um subconjunto arbitrário não vazio de estados usando o conceito de W-grafo, do qual se obtém uma forma alternativa para determinar a única distribui¸cão estacionária

de uma Cadeia de Markov Homogˆenea irredut´ıvel. Para este estudo, utilizamos como

referencial teórico o artigo Simulated Annealing Algorithms and Markov Chains with rare transitions de Catoni [2]. Nesta parte, destacamos o cálculo da distribui¸cão esta-cionária da Cadeia de Markov associada ao modelo de Ehrenfest, como aplica¸cão da

(13)

Resultados Assint´

oticos em Cadeias

de Markov N˜

ao-Homogˆ

eneas

Neste cap´ıtulo, reunimos alguns resultados gerais sobre a ergodicidade de Cadeias

de Markov Não-Homogêneas com espa¸co de estados enumerável, bem como algumas

nota¸cões e terminologias que são usadas nesta disserta¸cão. Dois tipos de ergodicidade

em Cadeias de Markov s˜ao estudadas: a ergodicidade fraca e a ergodicidade forte.

Intuitivamente, uma cadeia é ergódica fraca se a dependência da distribui¸cão do estado

inicial desaparece com o tempo, e é ergódica forte se é ergódica fraca e converge em

distribui¸c˜ao. Naturalmente, a ergodicidade forte implica em ergodicidade fraca. De

forma mais espec´ıfica, discutimos brevemente sobre cadeias não-homogêneas à tempo

discreto, onde relembramos alguns resultados cl´assicos sobre ergodicidade. Abordamos

os resultados de aproxima¸c˜ao estabelecidos por Dorea e Cruz [3] e finalizamos com as

condi¸c˜oes para equivalˆencia entre os conceitos de ergodicidade estudadas por Anily e

Federgruen [1].

2.1 Cadeias de Markov N˜

ao-Homogˆ

eneas `

a Tempo

Discreto

Uma Cadeia de Markov Não-Homogênea é descrita por uma sequência de matrizes

de probabilidades de transi¸c˜ao, ou simplesmente matrizes de transi¸c˜ao {P(n)}n∈N

de-finidas sob o mesmo espa¸co de estados S _{finito ou infinito enumer´avel. No tempo} _n _a

(14)

2.1 Cadeias de Markov Não-Homogêneas à Tempo Discreto 4

cadeia move-se do estadoi para o estado j com probabilidade pij(n).

Nota¸c˜oes Importantes:

S_{, espa¸co de estados da cadeia;}

i, j, k, l, . . ., elementos de S_;

{P(n)}, sequˆencia de matrizes de transi¸c˜ao, com n∈N_;

P(n,n+1) =P(n) = (pij(n))₍_i,j₎_∈S_×S;

P(k,k+n) =P(k)P(k+ 1). . . P(k+n−1), k∈N_.

O estudo do comportamento assintótico de Cadeias de Markov Não-Homogêneas,

isto é, o que acontece a P(k,k+n) quando n → +∞ para k = 1,2, . . . envolve as no-¸cões de ergodicidade fraca e ergodicidade forte em rela¸cão a alguma norma matricial

apropriada.

Neste trabalho, adotaremos a norma

kPk= sup

i

X

j

|pij|, (2.1)

sendoP = (pij).

Defini¸cão 2.1.1. Uma Cadeia de Markov Não-Homogênea com sequência de matrizes de transi¸cão{P(n)}é dita ergódica fraca (Ef ) se para cada k ∈N_{existe uma sequência}

de matrizes estoc´asticas constantes1 {Qn(k)} tal que

lim

n→+∞kP

(k,k+n)₋_Q

n(k)k= 0. (2.2)

Defini¸cão 2.1.2. Diz-se que uma Cadeia de Markov Não-Homogênea com sequência de matrizes de transi¸cão{P(n)}é ergódica forte (EF) se existe uma matriz estocástica constante Q tal que, para todo k ∈N_,

lim

n→+∞kP

(k,k+n)₋_Q_k_{= 0}_. _(2.3)

Exemplo 1. A Cadeia de Markov Não-Homogênea com a sequência de matrizes de transi¸cão {P(n)} dada por

P(2n−1) =





1 2

1 0



eP(2n) = 0 1

1 0

!

,

(15)

para todon ∈N _{´e Ef.}

De fato, se k é par e n é tal que k+n−1 é par, temos que

P(k,k+n)=P(k)·P(k+ 1)· · ·P(k+n−1) =

  1 2 1 2 0 1  

n−1 2

e, por indu¸c˜ao, podemos verificar que

  1 2 1 2 0 1  

n−1 2 =    1 2

n−1 2

1−

1 2

n−1 2 0 1   . Definindo,

Qn(k) =

0 1 0 1

!

,

temos que

P(k,k+n)−Qn(k) =

   1 2

n−1 2

1−

1 2

n−1 2 0 1   − 0 1 0 1 ! =    1 2

n−1 2

−

1 2

n−1 2 0 0   , donde obtemos lim

n→+∞kP

(k,k+n)₋_Q

n(k)k= lim n→+∞2·

1 2

n−1 2

= 0.

Se k é par e n é tal que k+n−1é ´ımpar, então

P(k,k+n) = P(k)·P(k+ 1)· · ·P(k+n−2)

| {z }

·P(k+n−1) =    1 2

n−1 2

1−

1 2

n−1 2 0 1   ·   1 2 1 2 1 0   =    1− 1 2 n+1 2 ₁

(16)

Definindo

Qn(k) =

1 0 1 0

!

,

temos que

P(k,k+n)−Qn(k) =

   1− 1 2 n+1 2 1

2 n+1 2 1 0   − 1 0 1 0 ! =    − 1 2 n+1 2 ₁

2 n+1 2 0 0   , e da´ı, lim

n→+∞kP

(k,k+n)₋_Q

n(k)k= lim n→+∞2·

1 2

n+1 2

= 0.

Para k´ımpar, utilizamos argumentos similares para verificar que

lim

n→+∞kP

(k,k+n)₋_Q

n(k)k= 0,

nos casos em que k+n−1´e ´ımpar e par.

Portanto, conclu´ımos que {P(n)} ´e Ef. Por outro lado, vemos claramente que

{P(n)} não é EF, já que não existe uma matriz estocástica constante Q satisfazendo (2.3), para todo k≥1.

Al´em da norma definida em (2.1), outras normas podem ser utilizadas no estudo do

comportamento limite de Cadeias de Markov N˜ao-Homogˆeneas. Por exemplo, Hajnal

[5], em seu estudo sobre ergodicidade fraca em Cadeias de Markov com espa¸co de

estados finito, faz uso da norma

kPkH = max i,j∈S|pij|,

que é equivalente à normak · k, se S _{é finito.}

A propriedade chave que justifica o uso da normak · k ´e dada pela seguinte

propo-si¸c˜ao.

Proposi¸c˜ao 2.1.1 (Isaacson e Madsen [6]). Para quaisquer matrizes P e Q, vale a desigualdade

(17)

Para a classe de matrizes estoc´asticas temos ainda a seguinte desigualdade.

Proposi¸cão 2.1.2 (Dorea e Cruz [3]). Dadas duas sequências de matrizes estocásticas

{P(n)} e {Q(n)}, temos que

kP(k,k+n)−Q(k,k+n)k ≤

n−1

X

j=0

kP(k+j)−Q(k+j)k, k≥1. (2.5) Como vimos no Exemplo 1, não é um procedimento fácil mostrar que uma Cadeia

de Markov Não-Homogênea é Ef ou EF diretamente da defini¸cão. Nestes casos, a

prin-cipal dificuldade é encontrar uma expressão fechada que represente P(k,k+n) e, assim, estudarmos seu comportamento limite. Enunciaremos na sequência alguns teoremas

clássicos que estabelecem condi¸cões necessárias e/ou suficientes para uma cadeia ser Ef

ou EF.

Uma maneira equivalente de caracterizarmos a ergodicidade fraca de uma cadeia

não-homogênea é dada usando o coeficiente ergódico de Dobrushin

δ(P) = 1 2i,ksup∈S

X

j∈S

|pij −pkj|, (2.6)

por meio do seguinte teorema.

Teorema 2.1.1 (Isaacson e Madsen [6]). Uma Cadeia de Markov Não-Homogênea é Ef se, e somente se, para todo k≥1

lim

n→+∞δ(P

(k,k+n)_{) = 0}_. _(2.7)

Para cadeias homogˆeneas, ou seja, quando P(n) = P para todo n ∈N_{, Isaacson e}

Madsen [6] apresentam um resultado semelhante para a Ef.

Teorema 2.1.2 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogênea com matriz de transi¸cão P é Ef se, e somente se, δ(Pk)<1 para algum k.

(18)

é a equivalência entre a ergodicidade 2 e a ergodicidade fraca em cadeias homogêneas

com espa¸co de estados finito. Essa equivalˆencia ´e assegurada pelo seguinte resultado.

Teorema 2.1.3 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogênea finita com matriz de transi¸cão P é ergódica se, e somente se,δ(Pk)<1 para algum k.

A proposi¸c˜ao seguinte enumera algumas das principais propriedades do coeficiente

erg´odico.

Proposi¸cão 2.1.3 (Isaacson e Madsen [6]). Sejam P, Q e R matrizes estocásticas. Então:

(i) 0≤δ(P)≤1, (ii) δ(P Q)≤δ(P)δ(Q),

(iii) k(P −Q)Rk ≤ kP −Qkδ(R), (iv) |δ(P)−δ(Q)| ≤ kP −Qk.

Decorre imediatamente do item (ii) da proposi¸cão anterior que, dada uma sequência de matrizes estocásticas{P(n)}, temos:

δ(P(k,k+n)) = δ(P(k)P(k+ 1). . . P(k+n−1))≤

k+n−1

Y

j=k

δ(P(j)).

Assim, pelo Teorema 2.1.1, para determinarmos a ergodicidade fraca de uma cadeia

não-homogênea é suficiente mostrar que

k+n−1

Y

j=k

δ(P(j))→n 0,∀k.

Em particular, se a cadeia é homogênea, então é suficiente verificar se δ(P) < 1, uma vez que

δ(Pn)≤[δ(P)]n.

2_{Dizemos que uma Cadeia de Markov Homogˆenea com matriz de transi¸c˜}_ao_P _{e espa¸co de estados}

S_{´e erg´}_{odica se, para todo}j ∈S_,

lim

n→+∞

pn_ij=πj,

independentemente dei∈S_eX

(19)

Vale ainda ressaltar que se P eQ são matrizes estocásticas 2x2, então vale a igual-dade no item (ii) da Proposi¸cão 2.1.3 (veja Apêndice B).

Teorema 2.1.4(Paz [8]). Seja {P(n)}a sequência de matrizes de transi¸cão de Cadeia de Markov Não-Homogênea. SeP(n) = V(n) +R(n), sendo {R(n)} uma sequência de matrizes estocásticas constantes, então {P(n)}é Ef se, e somente se,

lim

n→+∞kV

(k,k+n)_k_{= 0}_, _∀_k.

A seguir, enunciamos alguns dos principais resultados sobre ergodicidade forte de

Cadeias de Markov N˜ao-Homogˆeneas.

Teorema 2.1.5 (Isaacson e Madsen [6]). Seja {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea Ef. Se existe uma sequência de distribui¸cões estacionárias {π(n)} associada à {P(n)} satisfazendo

X

n≥1

kπ(n)−π(n+ 1)k<+∞.

Ent˜ao{P(n)} ´e EF.

Teorema 2.1.6 (Isaacson e Madsen [6]). Seja {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea e suponha que para cada n a matriz de transi¸cão P(n) admite uma distribui¸cão estacionária π(n). Se existe uma matriz estocástica P Ef tal que kP(n)−Pk→n 0, então a cadeia é EF.

2.2 Resultados de Aproxima¸c˜

ao em Cadeias com

Espa¸co de Estados Enumer´

avel

Seja {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea com espa¸co de estados S₌_{₁_,₂_{, . . .}_}_{. A análise do comportamento}

ergó-dico de Cadeias de Markov Não-Homogêneas, geralmente, exige a existência da

sequên-cia de distribui¸cões estacionárias {π(n)}, bem como, o conhecimento de seu compor-tamento limite. Nesta se¸cão, veremos alguns resultados de aproxima¸cão para cadeias

(20)

2.2 Resultados de Aproxima¸c˜ao em Cadeias com Espa¸co de Estados Enumer´avel 10

Teorema 2.2.1(Dorea e Cruz [3]). Se{P(n)}e{Pˆ(n)} são as sequências de matrizes de transi¸cão de duas Cadeias de Markov Não-Homogêneas satisfazendo

X

n≥1

kP(n)−Pˆ(n)k<+∞, (2.8)

então elas possuem o mesmo comportamento ergódico, isto é, se {P(n)} é Ef (EF) então {Pˆ(n)} também é Ef (EF).

Demonstra¸cão. De (2.8) e do Critério de Cauchy para séries temos que, dado ǫ >0

existek0 ∈N tal que

n−1

X

j=0

kP(k+j)−Pˆ(k+j)k ≤ǫ, (2.9)

quaisquer que sejam k ≥k0 e n ≥1.

Da Proposi¸c˜ao 2.1.2 e de (2.9), obtemos

kP(k,k+n)−Pˆ(k,k+n)k ≤

n−1

X

j=0

kP(k+j)−Pˆ(k+j)k ≤ǫ, (2.10)

para todok ≥k0 e n≥1, donde conclu´ımos que

lim

n→+∞kP

(k,k+n)₋_P_ˆ(k,k+n)_k_{= 0}_, para todok ≥k0.

Suponhamos que {P(n)} ´e Ef. Ent˜ao existe n0 ∈N tal que

δ(P(k,k+n))≤ǫ, ∀k≥1en≥n0. Da Proposi¸c˜ao 2.1.3 e (2.10), vem que

|δ(P(k,k+n))−δ( ˆP(k,k+n))| ≤ kP(k,k+n)−Pˆ(k,k+n)k ≤ǫ,∀k≥k0 en≥n0. e da´ı,

δ( ˆP(k,k+n))≤ǫ, ∀k ≥k0 en≥n0. Mas, para cada k≤k0,

(21)

Logo,

δ( ˆP(k,k+n))≤ǫ, ∀k≥1en ≥n0. E portanto, {Pˆ(n)} ´e Ef.

Agora, suponhamos que {P(n)} é EF e consideremos k ≥ k0. A ideia é mostrar que{Pˆ(k,k+n)} é uma sequência de Cauchy na norma k · k.

De fato, se {P(n)}´e EF, ent˜ao

lim

n→+∞P

(k,k+n)

existe independentemente de k. Logo, para algum n1 ≥1

kP(k,k+m)−P(k,k+n)k ≤ǫ, ∀m, n≥n1. (2.11) Usando (2.10) e (2.11) temos que

kPˆ(k,k+m)−Pˆ(k,k+n)k ≤ kPˆ(k,k+m)−P(k,k+m)k+kP(k,k+m)−P(k,k+n)k

+kP(k,k+n)−Pˆ(k,k+n)k

≤ 3ǫ,

para todok ≥k0 e m, n≥n1.

Logo,{Pˆ(k,k+n)}´e uma sequˆencia de Cauchy, e portanto lim

n→+∞

ˆ

P(k,k+n) existe inde-pendentemente de k.

Seja Q a matriz estoc´astica tal que

lim

n→+∞k

ˆ

P(k,k+n)−Qk= 0.

Assim, existe n2 ∈N tal que

|δ( ˆP(k,k+n))−δ(Q)| ≤ kPˆ(k,k+n)−Qk< ǫ,∀n≥n2, ou seja,

lim

n→+∞δ( ˆP

(k,k+n)_{) =}_δ₍_Q₎_. Mas, {Pˆ(n)}´e Ef, isto ´e, lim

n→+∞δ( ˆP

(k,k+n)_{) = 0}_, _∀_k_{. Logo, pela unicidade do limite,} segue que δ(Q) = 0, e portanto Q ´e uma matriz constante.

(22)

Observa¸cão. Segue da demonstra¸cão do teorema anterior que se {P(n)}é EF e con-verge para uma matriz constante Q, então {Pˆ(n)} também será EF e terá a mesma matriz limite Q.

Exemplo 2. Sejam {P(n)} e {Q(n)} as sequências de matrizes de transi¸cão de Ca-deias de Markov Não-Homogêneas com

P(n) =



 

1−2/n2 1/n2 1/n2

1/n2 0 1−1/n2

0 1−1/n2 1/n2





 eQ(n) =Q= 

 

1 0 0 0 0 1 0 1 0



 .

Observe que

Qn=

(

I sen´e par

Q sen´e ´ımpar , sendo I a matriz identidade.

Como δ(I) = δ(Q) = 1, segue que n˜ao existe k ∈ N _{tal que} _δ₍_Qk₎ _<₁_{. Logo, pelo}

Teorema 2.2.1 {Q(n)} n˜ao ´e Ef. Por outro lado, temos que

P(n)−Q =



 

1−2/n2 1/n2 1/n2

1/n2 0 1−1/n2

0 1−1/n2 1/n2

  −   

1 0 0 0 0 1 0 1 0

   =   

−2/n2 1/n2 1/n2

1/n2 0 −1/n2

0 −1/n2 1/n2



 ,

implicando,

kP(n)−Qk= 4

n2. Logo,

X

n≥1

kP(n)−Qk=X

n≥1

4

n2 <+∞,

consequentemente, pelo Teorema 2.2.1, a cadeia{P(n)} também não é Ef, e portanto, não pode ser EF.

Teorema 2.2.2(Dorea e Cruz [3]). Suponhamos que{P(n)}seja a sequência de matri-zes de transi¸cão de uma Cadeia de Markov Não-Homogênea Ef e que existam matrimatri-zes estocásticas constantes R(1), R(2), . . . e R tais que

X

n≥1

(23)

e

lim

n→+∞kR(n)−Rk= 0. (2.13)

Ent˜ao{P(n)} ´e EF com matriz limite R.

Demonstra¸cão. Defina V(n) =P(n)−R(n+ 1). Como R(1), R(2), . . . são matrizes estocásticas constantes, segue da Proposi¸cão A.0.2 que

R(n)P(n)−R(n+ 1) = R(n)P(n)−R(n)R(n+ 1) = R(n)[P(n)−R(n+ 1)] = R(n)V(n),

e

V(k)R(l) = [P(k)−R(k+ 1)]R(l) = P(k)R(l)−R(k+ 1)R(l) = R(l)−R(l)

= 0,

quaisquer que sejam n, k, l. De

V(k)V(k+ 1) =V(k) [P(k+ 1)−R(k+ 2)] =V(k)P(k+ 1),

temos ainda que

V(l,l+n) = V(l). . . V(l+n−2)V(l+n−1) = V(l). . . V(l+n−2)P(l+n−1)

...

= V(l)V(l+ 1)P(l+2,l+n)

= V(l)P(l+1,l+n).

Por (2.12), dado ǫ >0 existek0 ∈N tal que

X

l≥m

kR(l)V(l)k=X

l≥m

(24)

Assim, usando o fato que kP(l+1,l+n)k= 1, obtemos

X

l≥m

kR(l)V(l,l+n)k (2=.14) X

l≥m

kR(l)V(l)P(l+1,l+n)k

(2.4)

≤ X

l≥m

kR(l)V(l)k

(2.14)

≤ ǫ, (2.15)

para todon ∈N_.

Como {P(n)} ´e Ef, segue do Teorema 2.1.4 que existe n0 =n0(ǫ) tal que

kV(k,k+n)k ≤ǫ, n≥n0. (2.16)

Vejamos ainda que

P(k,k+n)

= [V(k) +R(k+ 1)][V(k+ 1) +R(k+ 2)]P(k+2,k+n)

= [V(k)V(k+ 1) +V(k)R(k+ 2)

+R(k+ 1)V(k+ 1) +R(k+ 1)R(k+ 2)]P(k+2,k+n)

= [V(k,k+2)+V(k)V(k+1,k+2)+R(k+ 2)]P(k+2,k+n)

...

= V(k,k+n)+

k+n−1

X

l=k+1

R(l)V(l,l+n)+R(k+n)

≤ V(k,k+n)+ X

l≥k+1

R(l)V(l,l+n)+R(k+n).

Dessa forma,

kP(k,k+n)−R(k+n)k ≤ kV(k,k+n)+ X

l≥k+1

R(l)V(l,l+n)k ≤ kV(k,k+n)_k₊ X

l≥k+1

kR(l)V(l,l+n)_k (2.15)

≤ kV(k,k+n)k+ X

l≥k+1

(25)

Se k ≥k0, segue de (2.15) e (2.16) que

kP(k,k+n)−R(k+n)k ≤2ǫ, n ≥n0, implicando

lim

n→+∞kP

(k,k+n)₋_R₍_k₊_n₎_k_{= 0}_,

e como kR(n)−Rk→n 0, conclu´ımos que {P(n)} ´e EF com matriz limite R. Caso k < k0, tome n′ =n+k−k0. De kP(k,k0)_k_{= 1} _{temos que}

P(k,k+n)−R(k0+n′) = P(k,k0)P(k0,k+n)−R(k0+n′)

= P(k,k0)_[_P(k0,k0+n′)₋_R₍_k

0+n′)]

⇒ kP(k,k+n)−R(k0+n′)k = kP(k,k0)[P(k0,k0+n

′₎

−R(k0+n′)]k

≤ kP(k0,k0+n′)₋_R₍_k

0+n′)k. e da´ı, basta tomar n tal que n′ ≥n0.

✷

Observa¸cão. Se supusermos que a cadeia {P(n)}admite a existência de uma sequên-cia de distribui¸cões estacionárias {π(n)} satisfazendo

X

n≥1

kπ(n)−π(n+ 1)k<+∞, (2.17)

então o Teorema 2.1.5 torna-se consequência imediata do teorema anterior. Para ver-mos isto, basta tomarver-mos as linhas da matrizR(n) iguais ao vetor π(n), isto é, tomar

Rij(n) = πj(n), ∀i, j. Da´ı, teremos que

X

n≥1

kR(n)P(n)−R(n+ 1)k=X

n≥1

kπ(n)−π(n+ 1)k.

Como (2.17) implica na existˆencia de π tal que kπ(n)−πk→n 0, obtemos

kR(n)−Rk→n 0,

sendo R a matriz constante com Rij =πj, ∀i, j.

Teorema 2.2.3 (Dorea e Cruz [3]). Seja {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea. Suponha que exista uma matriz estocástica

Q Ef tal que

lim

(26)

Ent˜ao{P(n)} ´e EF.

Demonstra¸cão. Sendo Q fracamente ergódica, dado ǫ >0 existem n0 =n0(ǫ) e uma matriz estocástica constante Q∞ tal que

kQn−Q∞k ≤ǫ,

para todon ≥n0.

Observe que para n suficientemente grande

kP(k,k+n−n0)_Qn0 ₋_Q_∞k ₌ _k_P(k,k+n−n0)_Qn0 ₋_P(k,k+n−n0)_Q_∞k

= kP(k,k+n−n0)₍_Qn0 ₋_Q

∞)k

(2.4)

≤ kQn0 ₋_Q_∞k

≤ ǫ.

E pela Proposi¸c˜ao 2.1.2

kP(k,k+n)−P(k,k+n−n0)_Qn0_k ₌ _k_P(k,k+n−n0)₍_P(k+n−n0,k+n)₋_Qn0₎_k

≤ kP(k+n−n0,k+n)₋_Qn0_k

≤

n0−1

X

j=0

kP(k+n−n0 +j)−Qk. Seja ǫ′ ₌ ǫ

n0

. Ent˜ao, de (2.18) existe n1 =n1(ǫ′) tal que

kP(m)−Qk ≤ǫ′,

para todom ≥n1.

Logo, tomando n∈N _{tal que} _k₊_n₋_n₀ _≥_n_{1, temos que}

n0−1

X

j=0

kP(k+n−n0+j)−Qk ≤n0ǫ′ =ǫ, donde conclu´ımos que

kP(k,k+n)−Q∞k ≤ kP(k,k+n)−P(k,k+n−n0)_Qn0_k₊_k_P(k,k+n−n0)_Qn0 ₋_Q_∞k

≤ 2ǫ,

(27)

✷

Observa¸cão. Observe que o teorema anterior é mais forte que o Teorema 2.1.6, já que não foi necessário assumir a existência de uma sequência de distribui¸cões estacionárias.

Como consequência do Teorema 2.2.3, enunciamos o seguinte corolário, válido

so-mente para cadeias com espa¸co de estados finito.

Corolário 2.2.1. Seja {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea com espa¸co de estados finito tal que

P(n) =

(

P1(n), n∈I

P2(n), n∈P

,

sendoI_eP_{os conjuntos dos n´}_{umeros ´ımpares e pares positivos, respectivamente.}

Supo-nha ainda, que existam matrizes estocásticasP eQEf ’s com distribui¸cões estacionárias iguais tais que

lim

n→+∞kP1(n)−Pk= limn→+∞kP2(n)−Qk= 0. (2.19)

Ent˜ao a cadeia{P(n)} ´e EF.

Antes de demonstrar este corol´ario, apresentamos o seguinte lema.

Lema 2.2.1. Sejam P e Q matrizes estocásticas finitas Ef ’s e suponha que ambas possuem mesma distribui¸cão estacionária. Então P Q e QP são Ef ’s e ambas têm mesma distribui¸cão estacionária que P e Q.

Demonstra¸cão. Pelo Teorema 2.1.3, para mostrar que P Q e QP são Ef ’s, basta mostrar que elas são ergódicas.

Seja π a distribui¸cão estacionária de P e Q, isto é,

π =πP =πQ.

Logo,

π =πQ= (πP)·Q=πP Q,

e

π =πP = (πQ)·P =πQP.

Ou seja, P Q e QP são Ef ’s e têm mesma distribui¸cão estacionáriaπ.

(28)

Demonstra¸c˜ao (do Corol´ario 2.2.1). Defina, para todo n ≥1,

V(n) = P(k+ 2n−2)P(k+ 2n−1), k ≥1

e observe que

V(1,n2+1) = V(1)V(2). . . V

_n

2

= P(k)P(k+ 1)P(k+ 2)P(k+ 3). . . P(k+n−2)P(k+n−1) = P(k,k+n),

para todon, k ≥1. Al´em disso, veja que

lim

n→+∞kV(n)−P Qk= limn→+∞kP(k+ 2n−2)P(k+ 2n−1)−P Qk= 0,

se k ∈I_{. E,}

lim

n→+∞kV(n)−QPk= limn→+∞kP(k+ 2n−2)P(k+ 2n−1)−QPk= 0,

se k ∈P_.

Por hipótese, P e Qsão Ef ’s (ergódicas, já que S_{é finito), então existe uma ´}_unica

matriz estoc´astica constante π∞ satisfazendo

lim

n→+∞kP

n₋_π

∞k= lim

n→+∞kQ

n₋_π

∞k= 0.

Assim, elo Lema 2.2.1 temos que P Q e QP s˜ao Ef ’s e

lim

n→+∞k(P Q)

n₋_π

∞k= lim

n→+∞k(QP)

n₋_π

∞k= 0. (2.20)

Se k ∈I _{tem-se que} _k_V₍_n₎₋_{P Q}_k_→n ₀_{. Logo, de (2.20) e do Teorema 2.2.3 segue}

que

lim

n→+∞kP

(k,k+n)₋_π

∞k= 0.

Se k ∈ P _{tem-se que} _k_V₍_n₎₋_QP_k _→n ₀_{. Da´ı, por (2.20) e pelo Teorema 2.2.3}

obtemos

lim

n→+∞kP

(k,k+n)₋_π

∞k= 0.

Como π∞ ´e tal que

lim

n→+∞kP

(k,k+n)₋_π

(29)

para todok ≥1, segue da Defini¸c˜ao 2.1.2 que {P(n)} ´e EF.

✷

Exemplo 3. A Cadeia de Markov Não-Homogênea com sequência de matrizes de tran-si¸cão{P(n)} dada por

P(2n) =

      

1/2 1/4 1/4 1−2/n 1/n 1/n

0 1/2 1/2

      

eP(2n−1) =



 

1/2 0 1/2

1 0 0

0 1 0



 .

´e EF.

De fato, observe que

lim

n→+∞kP(2n)−Pk= limn→+∞kP(2n−1)−Qk= 0,

sendo P =     

1/2 1/4 1/4

1 0 0

0 1/2 1/2



   

eQ=



   

1/2 0 1/2

1 0 0

0 1 0

     .

Note ainda que P e Q são Ef’s (por serem ergódicas, pois o espa¸co de estados é finito) e convergem para a matriz estocástica constante

π∞=



   

1/2 1/4 1/4 1/2 1/4 1/4 1/2 1/4 1/4



   

Então, pelo Corolário 2.2.1{P(n)} é EF.

2.3 Ergodicidade Fraca e Forte: Condi¸c˜

oes para

Equivalˆ

encia

(30)

2.3 Ergodicidade Fraca e Forte: Condi¸c˜oes para Equivalˆencia 20

a matriz de transi¸cão P(n) admite uma distribui¸cão estacionária π(n), isto é, π(n) =

π(n)P(n). Para verificarmos a EF de {P(n)}, geralmente, verificamos se {P(n)} é Ef e, em seguida, se a sequência{π(n)} satisfaz a condi¸cão

X

n≥1

kπ(n)−π(n+ 1)k<+∞. (2.21) Esta última condi¸cão é frequentemente a parte complicada nessas verifica¸cões,

especi-almente nos casos em que o termo geral π(n) não pode ser obtido de forma fechada. Nesta se¸cão, estudamos algumas condi¸cões suficientes para equivalência entre os

conceitos de ergodicidade estabelecidas por Anily e Federgruen [1]. Em resumo,

es-tudamos algumas condi¸c˜oes sobre as entradas pij(n) de modo a garantir que (2.21)

sempre ocorra.

Observa¸cão. E interessante observar que os conceitos de ergodicidade fraca e forte´ são equivalentes se existe uma matriz estocásticaP Ef tal que

lim

n→+∞kP(n)−Pk= 0.

Entretanto, a maioria das matrizes limite das sequˆencias de matrizes de transi¸c˜ao

associadas à algoritmos aleatórios não satisfazem a hipótese da observa¸cão anterior. Em

geral, quando existe tal matrizP, ela é igual a identidade, e a identidade, obviamente, não é Ef, tornando este resultado inaplicável nessas situa¸cões.

A ideia inicial proposta por Anily e Federgruen [1] consiste em dois passos:

1o

) Escrever o Teorema 2.1.5 em termos de extens˜oes cont´ınuas das entradas das

ma-trizes de transi¸cão das Cadeias de Markov Não-Homogêneas.

2o

) Verificar que a condi¸cão (2.21) é equivalente à existência de um vetor-fun¸cão

cont´ı-nuoh(c) de varia¸cão limitada no intervalo (0,1] com a seguinte propriedade: para alguma sequência real (cn) ↓ 0, h(cn) é uma distribui¸cão estacionária da matriz

f(cn) =P(n), para todo n ≥1.

Para usarmos a propriedade de “varia¸c˜ao limitada”, precisamos, primeiramente,

(31)

Isto então nos motiva às seguintes defini¸cões:

Defini¸cão 2.3.1 (Extensão cont´ınua de uma sequência de matrizes estocásticas). Seja

{P(n)} uma sequência de matrizes estocásticas finitas. Dizemos que a fun¸cão

f : (0,1] → M_r_×_r

c 7→ f(c) = (fij(c))

é uma extensão cont´ınua de{P(n)}, se existir uma sequência de números reais positivos

(cn)↓0 tal que f(cn) =P(n), ∀n ≥1.

Exemplo 4. Considere a sequˆencia de matrizes estoc´asticas {P(n)} com

P(n) = 1−1/n 1/n 1/n2 1−1/n2

!

.

Ent˜ao, a fun¸c˜ao f : (0,1]→M_2x2 _{definida por}

f(c) = 1−c c

c2 1−c2

!

´e uma extens˜ao cont´ınua de {P(n)}, pois f(cn) =P(n) para todon ≥1, com cn=

1

n.

Evidentemente há, em geral, diversas extensões cont´ınuas de uma mesma sequência

de matrizes estoc´asticas{P(n)}.

f(c), extens˜ao cont´ınua da sequˆencia {P(n)};

h(c), extens˜ao cont´ınua da sequˆencia {π(n)};

Defini¸cão 2.3.2 (Fun¸cão de varia¸cão limitada). Dizemos que uma fun¸cão

f : (0,1] → M_r_×_s

c 7→ f(c) = (fij(c))

´e de varia¸c˜ao limitada se, para todo i∈ {1,2, . . . , r} e j ∈ {1,2, . . . , s},

sup

( X

n≥1

|fij(cn)−fij(cn+1)|;∀(cn) com 0<· · ·< cn <· · ·< c1 = 1 ecn ↓0

)

<+∞.

(32)

Teorema 2.3.1 (Anily e Federgruen [1]). Sejam {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea Ef e {π(n)} a sequência de dis-tribui¸cões estacionárias associada à {P(n)}. Considere f(c) uma extensão cont´ınua de {P(n)} correspondente a alguma sequência real positiva (cn)↓0.

1. Se h(c) é uma extensão cont´ınua de varia¸cão limitada de {π(n)} satisfazendo

h(c) =h(c)f(c). Ent˜ao {P(n)}´e EF. 2. Se

X

n≥1

kπ(n)−π(n+ 1)k<+∞, (2.23)

então existe uma extensão cont´ınua h(c) de {π(n)} de varia¸cão limitada.

Demonstra¸c˜ao. Por defini¸c˜ao, temos

h(cn) =π(n), ∀n (2.24)

e, sendo h(c) uma extens˜ao de varia¸c˜ao limitada, temos para cada i∈S

sup

( X

n≥1

|hi(cn)−hi(cn+1)|,0<· · ·< cn < . . . < c1 = 1 ecn ↓0

)

<+∞ (2.25)

Usando (2.24), (2.25) e o fato de S _{ser finito, vem:}

X

n≥1

kπ(n)−π(n+ 1)k = X

n≥1

N

X

i=1

|πi(n)−πi(n+ 1)|

= X

n≥1

N

X

i=1

|hi(cn)−hi(cn+1)|

=

N

X

i=1

X

n≥1

|hi(cn)−hi(cn+1)|

≤

N

X

i=1

sup

( X

n≥1

|hi(cn)−hi(cn+1)|

)

| {z }

<+∞

< +∞.

Portanto, segue do Teorema 2.1.5 que{P(n)}´e EF, o que completa a demonstra¸c˜ao de (1).

(33)

Assim,

+∞

X

i=2

kh(ci)−h(ci−1)k

=

+∞

X

i=2

kπ(⌊c−_i 1⌋)−π(⌊c−_i₋1₁⌋)k

=

+∞

X

i=2

kπ(ni)−π(ni−1)k

=

+∞

X

i=2

kπ(ni)−π(ni−1) +π(ni−1) +· · ·+π(ni−1+ 1)−π(ni−1)k

≤

+∞

X

i=2

kπ(ni)−π(ni−1)k+kπ(ni−1)−π(ni−2)k

+· · ·+kπ(ni−1+ 1)−π(ni−1)k

=

+∞

X

i=2

kπ(ni)−π(ni−1)k+· · ·+

+∞

X

i=2

kπ(ni−1+ 1)−π(ni−1)k

≤

+∞

X

n=2

kπ(n)−π(n−1)k+· · ·+

+∞

X

i=2

kπ(n+ 1)−π(n)k.

De (2.23) conclu´ımos que

+∞

X

i=2

kh(ci)−h(ci−1)k<+∞.

✷

Como vimos anteriormente, se uma cadeia não-homogênea é Ef e admite uma

sequência de distribui¸cões estacionárias com extensão cont´ınua de varia¸cão limitada,

então ela é EF. Com esta conclusão, formulamos a seguinte questão: Que propriedades

as entradas das matrizes de transi¸c˜ao devem satisfazer para garantir que a sequˆencia

{π(n)} tenha sua extens˜ao de varia¸c˜ao limitada?

Naturalmente, nossa primeira ideia ´e assumir que todas as pij(n) sejam tais que

suas extensões cont´ınuas fij(c) sejam de varia¸cão limitada no intervalo (0,1]. Porém,

(34)

Exemplo 5. Seja a sequˆencia de matrizes estoc´asticas {P(n)} com

P(n) = 1−e

−n _e−n

e−nsin2nπ 2

1−e−nsin2nπ 2

!

.

Considere a sequência numérica cn = 1/n ↓ 0. Então, a fun¸cão f : (0,1] → M2x2 dada por

f(c) = 1−e

−1/c _e−1/c

e−1/csin2π 2c

1−e−1/csin2π 2c

!

é uma extensão cont´ınua de{P(n)}e, além disso, f é de varia¸cão limitada no intervalo

(0,1].

Com efeito, calculando a derivada de f, obtemos

df dc =    −e −1/c

c2

e−1/c

c2

e−1/c

2c2 [1−cos(π/c)−πsin(π/c)]

e−1/c

2c2 [πsin(π/c) + cos(π/c)−1]



 

e, como

lim

c↓0

df dc =

0 0 0 0

!

segue que f′ _{é cont´ınua em todo o intervalo} ₍₀_,_1]_{. Logo,} _f _{é de varia¸cão limitada no}

intervalo (0,1].

Para determinar o termo geral da sequˆencia {π(n)} basta resolver o sistema de equa¸c˜oes

(

π1+π2 = 1

(1−e−n)π1+

e−nsin2nπ 2

π2 =π1

.

Resolvendo, encontramos que

π(n) = 1 1 + sin−2 nπ

2

, 1

1 + sin2 nπ

2 ! . Como lim

n→+∞π(2n−1) = (1/2,1/2)e n→lim+∞π(2n) = (0,1),

ent˜ao, segue da Proposi¸c˜ao A.0.1 que, X

n≥1

(35)

Defini¸cão 2.3.3. Dizemos que uma fun¸cãog : (0,1]→R_{é assintoticamente monótona}

se existe um número real c∗ >0 tal que g(c) é monótona∀c < c∗.

O resultado a seguir apresenta uma condi¸c˜ao suficiente para queh(c) seja de varia¸c˜ao limitada.

Lema 2.3.1. Seja h(c) ∈ C1 uma extensão cont´ınua da sequência {π(n)}. Se h(c) é assintoticamente monótona, isto é, se cada hi(c) (i = 1,2, . . . , N) é assintoticamente

monótona, então h(c) é de varia¸cão limitada no intervalo (0,1].

Um problema que podemos observar no Exemplo 5 est´a em quocientes de entradas

pij(n) obtidos no cálculo do termo geral π(n), que podem não possuir extensões

con-t´ınuas de varia¸cão limitada, mesmo com todas as entradas da matriz P(n) possuindo extensões cont´ınuas de varia¸cão limitada.

Duas classes de fun¸cões definidas sobre o intervalo (0,1] apresentam propriedades de regularidade sob as quais a condi¸cão de extensão de varia¸cão limitada à h(c) pode ser provada.

Defini¸cão 2.3.4 (Classe de Fun¸cões Assintoticamente Monótonas - CAM). A classe

F ⊂ C1 de fun¸cões definidas no intervalo (0,1] é uma classe de fun¸cões assintotica-mente monótonas se

• f ∈F ⇒f′ ∈F e −f ∈F;

• f, g ∈F ⇒(f +g) e (f·g)∈F;

• toda f ∈F muda de sinal finitas vezes em [0,1].

Defini¸cão 2.3.5 (Classe de Fun¸cões Racionais de Varia¸cão Limitada - CRVL). Diz-se que uma classe F de fun¸cões definidas em (0,1]é uma classe de fun¸cões racionais de varia¸cão limitada se

• f ∈F ⇒f ´e de varia¸c˜ao de limitada em (0,1];

• f ∈F ⇒ −f ∈F;

• f, g ∈F ⇒(f +g) e (f ·g)∈F;

(36)

Defini¸cão 2.3.6 (Extensão Cont´ınua Regular). A sequência de matrizes de transi¸cão

{P(n)} de uma Cadeia de Markov Não-Homogênea é dita ter extensão cont´ınua regular

f(c), se existe um número real c∗ >0tal que a cole¸cão de sub-cadeias def(c)são iguais para todoc < c∗.

Teorema 2.3.2 (Anily e Federgruen [1]). Sejam {P(n)} a sequência de matrizes de transi¸cão de uma Cadeia de Markov Não-Homogênea Ef comS_{finito e} _f₍_c₎_uma

exten-s˜ao cont´ınua regular de{P(n)} tal que todas as fun¸c˜oes fij(c) com i, j ∈ {1,2, . . . , N}

pertencem a

1. Classe de fun¸c˜oes assintoticamente mon´otonas, ou

2. Classe de fun¸c˜oes racionais de varia¸c˜ao limitada.

Então {P(n)} é EF e, para n suficientemente grande, cada P(n) tem uma única dis-tribui¸cão estacionária π(n).

Demonstra¸cão. Primeiramente, iremos provar que para n suficientemente grande, cada P(n) tem única distribui¸cão estacionária π(n) ou, de maneira equivalente, que para c suficientemente pequeno, f(c) possui única distribui¸cão estacionária h(c). Para isso, basta concluirmos que f(c) tem uma única sub-cadeia.

Com efeito, suponhamos que existam dois subconjuntos de estados S1 e S2, tais que

S1 e S2 formam sub-cadeias emf(c). Como f(c)é uma extensão regular, então existe

c∗ >0 tal que S1 e S2 são sub-cadeias iguais, para todo c < c∗, isto é, existe k ≥1 tal queS1 e S2 são sub-cadeias iguais em P(n), ∀n ≥k. Entretanto, note que

∀i∈S1, lim

n→+∞

X

j∈S1

P_ij(k,k+n) = 1e∀i∈S2, lim

n→+∞

X

j∈S1

P_ij(k,k+n)= 0,

contradizendo a ergodicidade fraca da cadeia. Logo, cada P(n) possui uma única sub-cadeia e, portanto única distribui¸cão estacionária π(n).

Seja h(c), para todocsuficientemente pequeno, a única distribui¸cão estacionária de

f(c) e note que h(c) é obtido como a solu¸cão única do sistema:

          

         

h1(c) =

N

X

i=1

hi(c)fi1(c) ...

hN(c) = N

X

i=1

hi(c)fiN(c)

h1(c) +. . .+hN(c) = 1

(37)

Escrevendo o sistema anterior em sua forma matricial (na formaAx=b), obtemos      

1−f1,1(c) · · · −fN−1,1(c) −fN,1(c)

... . .. ... ...

−f1,N−1(c) · · · 1−fN−1,N−1(c) −fN,N−1(c)

1 1 · · · 1 1

     

| {z }

A ·      

h(c)1 ...

h(c)N−1

h(c)N

     

| {z }

x =       0 ... 0 1      

| {z } b

.

Usando a regra de Cramer para resolu¸c˜ao de sistemas lineares, temos que

h(c)i =

Qi(c)

Q(c), i= 1,2, . . . , N,

sendo Qi(c) (i = 1,2, . . . , N) o determinante da matriz obtida de A substituindo-se a

i-´esima coluna pelo vetor b, e Q(c) o determinante da matriz A. Note que Qi(c) (i=

1,2, . . . , N) e Q(c) s˜ao somas (ou diferen¸cas) finitas de produtos finitos de fun¸c˜oes

fij(c).

Se as fun¸cões fij(c) pertencem à classe CRVL, então todas as fun¸cões hi(c) serão

de varia¸c˜ao limitada e pelo Teorema 2.3.1, segue que {P(n)} ´e EF.

Se as fun¸cões fij(c) pertencem à classe CAM, então podemos escrever a derivada

de h(c)i por

h′(c)i =

Q′

i(c)Q(c)−Qi(c)Q′(c)

Q2₍_c₎ ,

o qual o numerador é, agora, a diferen¸ca de duas somas finitas de produtos finitos das fun¸cões fij(c). Como hi′(c) muda de sinal finitas vezes no intervalo (0,1] e são

assintoticamente monótonas, segue que h(c) é de varia¸cão limitada. Novamente pelo Teorema 2.3.1 {P(n)} é EF.

✷

A seguinte proposi¸c˜ao enumera algumas classes de fun¸c˜oes definidas no intervalo

(0,1] que s˜ao CAM e/ou CRVL.

Proposi¸cão 2.3.1 (Anily e Federgruen [1]). As seguintes classes de fun¸cões definidas no intervalo (0,1] são CAM e/ou CRVL.

1. Dos polinˆomios (CAM e CRVL);

2. Das fun¸c˜oes racionais (CAM e CRVL);

(38)

4. Das fun¸c˜oes racionais exponenciais (CAM).

Dessa forma, se {P(n)} é uma cadeia Ef com extensão regular f(c) com c∈(0,1] e com suas componentes pertencentes a alguma das classes de fun¸cões acima, então a

(39)

Resultados Assint´

oticos em Cadeias

de Markov com Transi¸c˜

oes Raras

Seja F = ({Xn}n∈N,S, Pβ)β∈R₊ uma fam´ılia de Cadeias de Markov Homogˆeneas

com espa¸co de estadosS₌_{₁_,₂_{, . . . , N}_}_{e matrizes de transi¸c˜ao} _P_β _{tais que para todo}

i, j ∈S

lim

β→+∞−

1

β logPβ(Xn=j|Xn−1 =i) = V(i, j), (3.1)

sendoV :S_×S_→R₊3_{∪ {}₊_∞}_{. Neste caso, a fam´ılia} _F _{´e dita ter}_{Transi¸c˜oes Raras}_.

Cadeias de Markov com Transi¸c˜oes Raras aparecem nos mais variados contextos,

inclusive, na otimiza¸cão estocástica via algoritmos aleatórios como, por exemplo, o

Simulated AnnealingGeneralizado (veja Catoni [2], Trouvé [11]) e o Algoritmo Genético (veja Suzuki [10]). Muitas questões foram estudadas sobre essa classe de Cadeias de

Markov, entre elas está o comportamento limite de suas distribui¸cões estacionárias,

recentemente usado por Suzuki [10] no estudo da convergˆencia do Algoritmo Gen´etico,

e a distribui¸c˜ao do tempo de entrada em um subconjunto n˜ao vazio de estados.

Neste cap´ıtulo revisamos os resultados sobre o comportamento assint´otico das

dis-tribui¸cões estacionárias (pré-requisito para qualquer outro estudo sobre esse tema) e o

tempo m´edio de entrada em subconjuntos de estados em Cadeias de Markov com

Tran-si¸cões Raras usando o conceito de W-grafo, método gráfico desenvolvido por Freidlin e Wentzell [4] do qual se obtém expressões fechadas para a distribui¸cão estacionária

e o tempo m´edio de entrada em um subconjunto n˜ao vazio de estados de Cadeias de

3_R

+= [0,+∞)

(40)

3.1 W-grafos 30 Markov Homogêneas irredut´ıveis. Destacamos neste cap´ıtulo, o cálculo da distribui¸cão

estacion´aria da Cadeia de Markov associada ao modelo de Ehrenfest, como aplica¸c˜ao

do conceito deW-grafo.

3.1 W

-grafos

Sejam E um conjunto finito de elementos, W ⊂ E um subconjunto n˜ao-vazio de

E e Wc seu complementar. Um W-grafo é um grafo orientado com vértices em E que não contém nenhuma aresta partindo dos vértices emW e é tal que, para todoi∈Wc

existe um ´unico caminho no grafo ligando i a algum j ∈W. Veja a Figura 3.1.

i

j W

Figura 3.1: Exemplo de umW-grafo

g, grafo orientado emE;

(i→j), aresta partindo dei para j em g;

Defini¸c˜ao 3.1.1. Para todo grafo orientado g em E e i∈E, definimos

(41)

e

gn(i) = [

j∈gn−1₍_i₎

g(j) ={j ∈E; (i=i1 →i2 → · · · →in=j)∈g}.

Em outras palavras,g(i) representa o conjunto de elementos deE que est˜ao ligados com i por exatamente uma aresta partindo de i e gn(i) ´e o conjunto de elementos de

E ligados com i por um caminho de exatamente n arestas saindo de i.

Defini¸cão 3.1.2 (W-grafo). Seja W um subconjunto não-vazio arbitrário de E. Um grafo orientadog com vértices em E é dito um W-grafo se, e somente se

1. Nenhuma aresta inicia em v´ertices de W e exatamente uma aresta inicia em cada v´ertice de Wc;

2. Para todo i∈E tem-se que i /∈Og(i), sendo Og(i) =

+∞

[

n=1

gn₍_i₎ _{a ´orbita do v´ertice}

i no grafo g. Em outras palavras, não há ciclos em g. Equivalentemente, podemos substituir a condi¸cão 2 por:

2’. Para todo i ∈ Wc tem-se que Og(i)∩W 6= ∅, ou seja, para todo i ∈ Wc existe

um caminho orientado para algum j ∈W.

G(W), conjunto de todos os W-grafos;

G(i), conjunto de todos os {i}-grafos;

Observa¸cão. Segue da defini¸cão anterior que, para todoi∈Wc existe um únicoj ∈E

tal que (i→j)∈g, ou seja, g(i) ´e ´unico.

Defini¸c˜ao 3.1.3 (Grafos Gi,j(W)). Para todo i∈E e j ∈W, definimos

Gi,j(W) =

  

 

{g ∈G(W);j ∈Og(i)}, se i∈Wc;

G(W), se i=j;

∅, se i∈W\{j}.

Ou seja, Gi,j(W) representa o conjunto de todos os W-grafos que cont´em um

ca-minho ligando o v´ertice i ao v´ertice j. Assim, para todo i ∈ E e j ∈ W tem-se que

Gi,j(W)⊆G(W).

Exemplo 6. Suponhamos um conjunto E com quatro elementos quaisquer, digamos

(42)

3.2 Teoremas para Cadeias de Markov Irredut´ıveis 32

j

k _k

i i k

i

j

k

l

i

j

k

l i

j

l

k i i

l j l

j

k

l

k

l

i

l

j j

g1 g2 g3

g4 g5 g6

g7 g8 G(W)

Figura 3.2

Assim, ter´ıamos os conjuntos Gl,i(W) = {g1, g2, g6, g7}, Gk,j(W) = {g4, g5, g6, g8}, entre outros.

3.2 Teoremas para Cadeias de Markov Irredut´ıveis

Seja{Xn}n∈Numa Cadeia de Markov Homogˆenea irredut´ıvel4com espa¸co de estados

S₌ _{₁_,₂_{, . . . , N}_} _{e matriz de transi¸c˜ao} _P _{= (}_p_ij₎₍_i,j₎_∈_S_×_S_{. Nesta se¸c˜ao, abordamos os}

resultados que estabelecem fórmulas para o cálculo das distribui¸cões estacionárias de

Cadeias de Markov Homogˆeneas irredut´ıveis, bem como para o valor esperado para a

primeira visita da cadeia a um subconjunto n˜ao vazio de estados.

Defini¸cão 3.2.1. SejamP a matriz de transi¸cão de uma Cadeia de Markov Homogênea

4_{Uma Cadeia de Markov Homogˆenea com matriz de transi¸c˜}_ao_P _{´e dita ser irredut´ıvel se, para todo}

(43)

com espa¸cos de estados S _e _W _⊂S _{n˜ao-vazio. Definimos} _P _{restrita `a} _Wc_×_Wc _por

P|Wc_×_Wc = (p_ij)₍_i,j₎_∈_Wc_×_Wc,

Exemplo 7. Considere uma Cadeia de Markov Homogˆenea com espa¸co de estados

S₌_{₁_,₂_,₃_,₄_} _{e matriz de transi¸c˜ao}

P =



   

0 1 0 0

1/2 0 1/4 1/4

0 0 0 1

0 0 1 0



   

.

Seja W ={3}. Logo, Wc ={1,2,4} e

P|Wc_×_Wc =



 

0 1 0

1/2 0 1/4

0 0 0



 .

Defini¸c˜ao 3.2.2. Sejam W ⊂ S _{n˜ao vazio e} _g _∈ _G₍_W₎_{. Definimos a probabilidade}

p(g) por:

p(g) = Y

(i→j)∈g

pij =

Y

(i→j)∈g

P(Xn=j|Xn−1 =i),

sendo (i→j)∈g a aresta partindo do v´ertice i para o v´ertice j no grafo g.

´

E imediato que se uma Cadeia de Markov ´e irredut´ıvel, ent˜ao para todo W ⊂ S

n˜ao vazio existe um grafo g ∈G(W) tal que

p(g)>0.

O teorema a seguir, estabelecido por Catoni [2], ´e usado para escrever as f´ormulas

para o tempo médio de entrada em subconjuntos arbitrários não vazios de estados e

para a distribui¸cão estacionária da matriz de transi¸cão P. Antes, demonstraremos o lema a seguir, que será usado na demonstra¸cão do teorema.

Lema 3.2.1. Sejam P a matriz de transi¸cão de uma Cadeia de Markov Homogênea irredut´ıvel com espa¸co de estados S_, _W _⊂ S _{não vazio e} _{i, j} _∈ _Wc_{. Consideremos os}

conjuntos C1 ={(k, g);k ∈ {i}c, g ∈Gi,j(W ∪ {j})} e C2 ={(k, g);k ∈Wc ∩ {i}c, g ∈

(44)

(a) Se i6=j, ent˜ao a fun¸c˜ao ξ1 :C1 →C2 dada por

ξ1(k, g) =

(

(k, g) seg ∈Gk,j(W ∪ {j})

(g(i),(g∪ {(i→k)})\{(i→g(i))}) seg /∈Gk,j(W ∪ {j})

´e bijetiva e

X

(k,g)∈C1

p(g)pik =

X

(k,g)∈C2

p(g)pik.

(b) Se i=j, ent˜ao a fun¸c˜ao ξ2 :C1∩C2c →G(W) dada por

ξ2(k, g) =g∪ {(j →k)} ´e bijetiva e

X

(k,g)∈C1∩C2c

p(g)pik =

X

g∈G(W)

p(g).

Demonstra¸cão. Suponhamos i6=j. Para verificarmos que ξ1 é bijetiva veremos que, para todo(k, g)∈C2 existe um único par (ˆk,ˆg)∈C1 tal que ξ1(ˆk,gˆ) = (k, g).

De fato, dado (k, g)∈C2, temos que k ∈Wc∩ {i}c _e _g _∈_G

k,j(W ∪ {j}). Observe,

neste caso, quek pode ser j, pois j /∈W e j 6=i, e da´ı, Gk,j(W ∪ {j}) =G(W∪ {j}).

Se j ∈Og(i), ent˜ao g ∈Gi,j(W ∪ {j}).(veja ilustra¸c˜ao na Figura 3.3).

W∪ {j}

i k

j

Figura 3.3

(45)

(ˆk,gˆ)∈C1 e

ξ1(ˆk,gˆ) = (k, g).

Se j /∈ Og(i), então g /∈ Gi,j(W ∪ {j}). Neste caso, considere o único vértice g(i)

tal que a aresta(i→g(i))∈g, e note que g(i)∈ {i}c (veja ilustra¸c˜ao na Figura 3.4).

W∪ {j}

j

k

i

g(i)

Figura 3.4

Tomando ˆk=g(i)egˆ= (g∪ {(i→k)})\{(i→g(i))}, temos que gˆ∈Gi,j(W∪ {j})

(veja ilustra¸c˜ao na Figura 3.5).

W∪ {j}

j

k

i

g(i)

(46)

Assim, o par (ˆk,gˆ)∈C1 e

ξ1(ˆk,gˆ) = (k, g).

Observe que, em ambos os casos, o par (ˆk,ˆg) ∈ C1 foi obtido de maneira ´unica. Logo, segue queξ1 ´e bijetiva.

Do fato de ξ1 bijetiva, temos que

X

(k,g)∈C1

p(g)pik ξ1

= X

(k,g)∈C2

p(g)pik,

donde conclu´ımos a verifica¸c˜ao de (a).

Agora, suponhamosi=j. Para provarmos que ξ2 é bijetiva verificaremos que, para todog ∈G(W)existe um único par(k,gˆ)∈C1∩C2c tal queξ2(k,gˆ) = g. Ou seja, vamos encontrar um único par(k,gˆ)∈ {(k, g)∈(W∩ {i}c)×G(W∪ {i});g /∈Gk,i(W∪ {i})}.

Com efeito, dado g ∈ G(W) considere o ´unico v´ertice g(i) tal que a aresta (i →

g(i)) ∈ g (veja ilustra¸c˜ao na Figura 3.6). Observe, neste caso, que g(i) ∈ W ∩ {i}c, poisi∈Wc.

i

W

g(i)

Figura 3.6

Assim, tomando (k,gˆ) = (g(i), g\{(i → g(i))} teremos (k,gˆ) ∈ C1 ∩ C2c, pois

ˆ

(47)

i

W ∪ {i}

g(i)

Figura 3.7

Como ξ2(k,gˆ) =g e (k,gˆ) é único, por consequência de g(i) ser único, conclu´ımos queξ2 é bijetiva.

De ξ2 ser bijetiva, temos que

X

(k,g)∈C1∩C2c

p(g)pik =

X

(k,g)∈C1∩Cc2

p(g∪ {(j →k)})

ξ2

= X

g∈G(W)

p(g),

o que conclui a prova de (b).

✷

Teorema 3.2.1 (Catoni [2]). Sejam {Xn}n∈N uma Cadeia de Markov Homogˆenea

ir-redut´ıvel com matriz de transi¸c˜ao P e espa¸co de estados S _{finito. Dados} _W _⊂ S _n˜ao

vazio e i, j ∈Wc temos que

(I|Wc−p|_Wc_×_Wc)−1 ij =

+∞

X

n=0

pn_ij|Wc_×_Wc

!

=

P

g∈Gi,j(W∪{j})p(g)

P

g∈G(W)p(g)

,

(48)

Demonstra¸c˜ao. Dados i, j ∈Wc, defina

mij =





X

g∈Gi,j(W∪{j})

p(g)



 

 X

g∈G(W)

p(g)





−1

. (3.2)

Vamos mostrar que

(I|Wc−P|_Wc_×_Wc)m=I|_Wc,

ou seja,

X

k∈Wc

(Iik−pik)mkj =Iij, ∀i, j ∈Wc. (3.3)

Note que a express˜ao (3.3) ´e equivalente a



 X

(k,g)∈C1

pikp(g)



 

 X

g∈G(W)

p(g)





−1

=Iij+



 X

(k,g)∈C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

,

sendo C1 = {(k, g);k ∈ {i}c, g ∈ Gi,j(W ∪ {j})} e C2 = {(k, g);k ∈ (W ∪ {i})c, g ∈

Gk,j(W ∪ {j})}.

De fato, usando a igualdade pii= 1−

X

k∈{i}c

pik, a express˜ao (3.3) ´e reescrita por

X

k∈Wc

(Iik−pik)mkj =Iij

⇒ (Iii−pii)mij +

X

k∈Wc_∩{_i_}c

(Iik−pik)mkj =Iij

⇒ mij −(1−

X

k∈{i}c

pik)mij +

X

k∈Wc_∩{_i_}c

(Iik−pik)mkj =Iij

⇒ X

k∈{i}c

pikmij =Iij −

X

k∈Wc_∩{_i_}c

(Iik−pik)mkj.

Como Iik = 0 para todo k ∈(W ∪ {i}c), vem que

X

k∈{i}c

pikmij =Iij +

X

k∈(W∪{i})c

(49)

e da´ı, substituindo (3.2) em (3.4), obtemos

X

k∈{i}c

pik





X

g∈Gi,j(W∪{j})

p(g)



 

 X

g∈G(W)

p(g)





−1

=

Iij +

X

k∈(W∪{i})c

pik



 X

g∈Gk,j(W∪{j})

p(g)



 

 X

g∈G(W)

p(g)

  −1 , ou seja,   X

(k,g)∈C1

pikp(g)



 

 X

g∈G(W)

p(g)





−1

=Iij +



 X

(k,g)∈C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

,

(3.5)

Pelo Lema 3.2.1(a) temos que



 X

(k,g)∈C1

pikp(g)



 

 X

g∈G(W)

p(g)

  −1 =   X

(k,g)∈C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

,

donde conclu´ımos que Iij = 0 quando i6=j.

Por outro lado, podemos reescrever a equa¸c˜ao (3.2) por



 X

(k,g)∈C1∩C2c

pikp(g) +

X

(k,g)∈C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

=

Iii+



 X

(k,g)∈C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

,

quando i=j. Logo, temos que



 X

(k,g)∈C1\C2

pikp(g)



 

 X

g∈G(W)

p(g)





−1

=Iii.

Pelo Lema 3.2.1(b), segue que

Iii= 1.

✷

Defini¸c˜ao 3.2.3. Sejam {Xn}n∈N uma Cadeia de Markov Homogˆenea com espa¸co de