Comportamento de longo prazo do processo de Markov

Markov

Na maioria das vezes estamos interessados no comportamento de um processo de Markov ap´os um longo per´ıodo de tempo, particularmente se esse compor- tamento se “estabiliza” probabilisticamente. Ser˜ao discutidos trˆes conceitos relacionados ao comportamento de longo prazo, quais sejam: distribui¸c˜oes limite, distribui¸c˜oes estacion´arias e ergodicidade.

Considere uma cadeia de Markov de parˆametro discreto e suponha existir πj sendo a probabilidade de o processo estar no estado j quando o compri-

mento do prazo de execu¸c˜ao do processo tende a infinito. Para tal situa¸c˜ao temos ent˜ao lim

m→∞p (m)

ij = πj, para todo i. Isto ´e, ap´os um longo tempo, a

probabilidade de que o processo esteja no estado j, dado que ele come¸cou no estado i, ´e independente do estado inicial i. Isto significa que Pm _{se aproxima}

de um limite, `a medida que m tende a infinito, a saber, que todas as linhas de Pm _{tornam-se iguais. Neste caso, as probabilidades {π}

de probabilidades de estado estacion´ario ou probabilidades limite da cadeia de Markov.

Considere agora as probabilidades incondicionais de estado ap´os m passos dadas por π(m) _{= π}(0)_Pm_{, Equa¸c˜ao (2.4), isto ´e, π}(m)

j = X i π(0)_i p(m)_ij , ent˜ao: lim m→∞π (m) j = lim m→∞ X i πi(0)p (m) ij = X i πi(0)_m→∞lim p (m) ij = X i π(0)i πj = πj X i π(0)i = πj.

Da´ı π_j(m) converge para o mesmo limite p(m)_ij e ´e independente das proba- bilidades do estado inicial e do parˆametro de tempo m. Quando estas pro- babilidades incondicionais limitantes existem, elas podem ser obtidas como segue.

Da Equa¸c˜ao (2.3), vem lim

m→∞π

(m) _{= lim} m→∞π

(m−1)_{P. Assim, fazendo π =}

(π0, π1, . . . ) representar o vetor limite, temos lim m→∞π (m) _{= lim} m→∞π (m−1) _{= π,} tal que: π = πP. (2.10)

Disto, junto com a condi¸c˜ao de fronteira,P

jπj = 1, podemos obter {πj}.

Estas condi¸c˜oes, bem conhecidas, s˜ao chamadas equa¸c˜oes estacion´arias da cadeia de Markov e sua solu¸c˜ao ´e chamada distribui¸c˜ao estacion´aria. Note que a condi¸c˜ao de fronteira pode ser escrita em nota¸c˜ao vetorial como πe = 1, sendo e um vetor coluna com todos os elementos iguais a 1.

2.1.5

Ergodicidade

Intimamente associado com os conceitos de distribui¸c˜oes limite e estacion´aria est´a a ideia de ergodicidade. A ergodicidade ´e importante na medida em que lida com problemas de determina¸c˜ao das medidas de um processo estoc´astico

X(t) de uma ´unica realiza¸c˜ao, como ´e frequentemente feito em an´alise de sa´ıda de simula¸c˜ao. Um processo estoc´astico X(t) ´e erg´odico, no senso mais geral, se, com probabilidade 1, todas as suas “medidas” podem ser determi- nadas ou bem aproximadas por uma ´unica realiza¸c˜ao, x0(t), do processo. Um

processo estoc´astico ´e erg´odico se o valor esperado ´e calculado “atrav´es da m´edia do conjunto”.

Em geral, n˜ao ´e f´acil mostrar ergodicidade atrav´es de m´etodos diretos. Antes de enunciar os teoremas fundamentais que nos permitir˜ao determinar quando uma solu¸c˜ao para a equa¸c˜ao estacion´aria existir, se uma distribui¸c˜ao limite existe e quando o processo ´e erg´odico ou n˜ao, apresentaremos algu- mas defini¸c˜oes necess´arias para caracterizar cadeias de Markov de parˆametro discreto.

Dois estados i e j se comunicam entre si (i ↔ j) se i pode ser acessado de j (j → i) e j pode ser acessado de i (i → j), ou seja, existem n e m inteiros positivos, tais que a probabilidade de ir do estado i para o estado j em n passos ´e n˜ao nula, assim como, a probabilidade de ir do estado j para o estado i em m passos ´e n˜ao nula.

Uma cadeia ´e chamada irredut´ıvel se todos os seus estados se comunicam, isto ´e, se existe algum nij inteiro positivo, tal que p

(nij)

ij > 0, para todos os

pares (i, j).

O per´ıodo de retorno a um estado k de uma cadeia ´e definido como o maior divisor comum (MDC) do conjunto de inteiros {n} para os quais p(n)_kk > 0. Um estado ´e chamado aperi´odico se o MDC do conjunto de valores n definido anteriormente ´e igual a 1, isto ´e, se seu per´ıodo ´e igual a 1. Diz-se que uma cadeia ´e aperi´odica se cada um de seus estados ´e aperi´odico.

Defina f_jj(n)como a probabilidade que uma cadeia, come¸cando no estado j retornar para j pela primeira vez em n transi¸c˜oes. Por isso, a probabilidade

de a cadeia retornar sempre a j ´e fjj = ∞

X

n=1

f_jj(n).

Se fjj = 1, ent˜ao diz-se que j ´e um estado recorrente. Por sua vez, se

fjj < 1, diz-se que j ´e um estado transiente. Quando fjj = 1, o tempo m´edio

de recorrˆencia, denotado por mjj ´e dado por mjj = ∞

X

n=1

nfjj(n).

Se mjj < ∞, ent˜ao j ´e conhecido como estado recorrente positivo. Se

mjj = ∞, ent˜ao j ´e um estado recorrente nulo.

Defina f_ij(n), i 6= j, como a probabilidade de a primeira passagem do estado i para o estado j ocorrer em n passos. Ent˜ao, a probabilidade de o estado j ter vindo de i ´e fij =

∞

X

n=1

f_ij(n).

Existe uma extensa lista de teoremas na literatura que permitem deter- minar a presen¸ca de recorrˆencia em uma cadeia de Markov e calcular o tempo m´edio de recorrˆencia. Os teoremas a seguir, cujas provas s˜ao omitidas, rela- cionam os conceitos de ergodicidade, probabilidades limite e probabilidades estacion´arias para cadeias de estado discreto.

Teorema 2.1

1. Em uma cadeia de Markov de parˆametro discreto irredut´ıvel e recorrente positiva, uma solu¸c˜ao n˜ao-degenerada para as equa¸c˜oes estacion´arias π = πP, πe = 1 sempre existe, quando o vetor π = {πj} ´e tal que

πj = 1/mjj.

2. Se o vetor de probabilidades de partida π(0) _{´e um conjunto igual ao}

vetor de probabilidades estacion´arias π, a cadeia acima torna-se um processo estoc´astico estacion´ario e, por isso, erg´odico.

3. Se a cadeia ´e aperi´odica, bem como irredut´ıvel e recorrente positiva, ent˜ao o processo ´e erg´odico e possui uma distribui¸cao de probabilidade limite igual `a distribui¸c˜ao estacion´aria.

Note que a existˆencia de uma distribui¸c˜ao limite ´e a condi¸c˜ao mais forte, ergodicidade ´e um pouco mais fraca e a solu¸c˜ao n˜ao-degenerada para as equa¸c˜oes estacion´arias ´e a mais fraca das trˆes condi¸c˜oes.

Teorema 2.2 Uma cadeia irredut´ıvel, aperi´odica ´e recorrente positiva se existe uma solu¸c˜ao n˜ao-negativa do sistema

∞ X j=0 pijxj ≤ xi − 1, para i 6= 0, tal que ∞ X j=0 p0jxj < ∞.