VI SEMANA DE MATEMÁTICA DA UESC

(1)

VI SEMANA DE MATEM ´

ATICA DA UESC

Introdu¸

c˜

ao `

a Cadeias de Markov: Processos Markovianos de

parˆ

ametro discreto

Autores: Msc. Cl´audia Ribeiro Santana Phd. Enio G. Jelihovschi

Msc. Pedro Carlos Elias Ribeiro Junior

(2)

Resumo

Uma grande quantidade de processos estudados na atualidade, são resultados que são medi-dos ao longo do tempo. Dentro destes um grande número tem resultados aleatórios, ou seja, são resultados imprevis´ıveis. Estes processos são chamados de processos estocásticos e são estuda-dos usando a teoria das probabilidades. Como exemplos temos: 1) a varia¸cão de tráfego em um certo cruzamento que envolvem a forma¸cão e a dissipa¸cão de congestionamentos de ve´ıculos. 2) Quantidade de pessoas que chegam ao longo do dia para fazer transa¸cões bancárias nos caixas eletrônicos dentro de um banco e um problema seria de como encontrar o número de caixas eletrônicos para que os clientes passem menos tempo nas filas e não haja muitos caixas ociosos durante o dia. 3) Ru´ına do jogador; um jogador joga uma seqüência de jogos independentes contra um oponente, qual será a probabilidade de um dos jogadores se arruinar se iniciar com um capital N? 4) Muta¸cões genéticas; qual é a probabilidade de uma muta¸cão desaparecer, continuar numa pequena propor¸cão da popula¸cão, ou tomar conta de toda a popula¸cão depois de um certo per´ıodo de tempo?

Um dos modelos que melhor explica uma quantidade importante destes processos, é chamado de Cadeias de Markov, que são processos aleatórios cujo resultado no estágio n depende somente do que aconteceu no estágio n − 1 e não dos resultados anteriores a n − 1, ou seja, um Processo Markoviano de parâmetro discreto será uma seqüência aleatória que satisfaz a identidade:

Pr(jk | j0, j2,..., jk−1) = Pr[Xk = jk | Xk−1 = jk−1] = p( jk | jk−1)

para cada k e para cada seqüência j0, j2,..., jk de estados, onde Xk são variáveis aleatórias que

definem o resultado do processo no est´agio k.

(3)

Cap´ıtulo 1

Defini¸

c˜

oes

Este cap´ıtulo se dedica a definir alguns conceitos que s˜ao necess´arios para o restante do estudo desejado.

Muitas das situa¸cões investigadas no nosso estudo diz respeito à uma experiência aleatótia que não conduz a uma única variável aletaória, mas a toda uma seqência de variáveis aleatórias.

Sequência de variáveis aleatórias tem uma ampla aplica¸cão em diversos casos, a saber: pedidos comerciais, avarias de máquinas, tempo de vida útil de um componente eletrônico, sistemas de comunica¸cão, cintagem de part´ıculas subatômicas, epidimias, sistemas genéticos, e outros.

Qualquer sistema que varie de forma aleatória com o tempo e seja observado em determi-nadas sequências de tempos segue este padrão.

Defini¸cão 1.1. Uma sequência de variáveis aleatórias definidas no mesmo espa¸co amostral é denominada uma Sequência Aleatória ou um Processo Aleatório de Parâmetro Discreto.

Observa¸cão 1.1. O termo Parâmetro Discreto se refere ao ´ındice i na sequência Xi com

i = 1, 2, . . . , n, . . .

Os contradom´ınios das variáveis alatórias podem ser conjuntos cont´ınuos ou discretos. Nosso caso é aquele em que o contradom´ınio é um conjunto discreto, que tem grande vairedade de aplica¸cões.

Defini¸cão 1.2. Dizemos que as variáveis aleatórias na sequência {X1, X2, . . . , Xn, . . .} sejam

Discretas se seus contradom´ınios consistem de conjuntos de elementos Inteiros. Nesta caso pode-se afirmar que a j-ésima variável aleatória tem valor m, ou seja Xj = m, ou então, diz-se

que o sistema está no estado m no j-ésimo estágio, e também, o sistema está no estado m no tempo j.

(4)

O problema consiste em responder alguns questionamentos sobre a fun¸cão densidade da probabilidade conjunta ou da fun¸cão distribui¸cão de X1, X2, . . . , Xn, ou seja, quanto à

p(i1, i2, . . . , in) = P r[X1 = i1; X2 = i2; . . . ; Xn = in]

ou

F (x1, x2, . . . , xn) = P r[X1 ≤ x1; X2 ≤ x2; . . . ; Xn ≤ xn]

quando n é um número suficientemente grande, ou investigar sobre tais questões no caso do limite emq ue n tende ao infinito.

Uma forma de de se conhecer tais probabilidades e através do emprego repetido da fórmula para a probabilidade da interseçcão p(A ∩ B) = p(A) · p(B|A), obtendo que

p(i1, i2, . . . , in) = pX1, X2, ..., Xn−1(i1, i2, . . . , in−1)p(in|i1, i2, . . . , in−1) = . . . .. . p(i1, i2, . . . , in) = p (1)

i1 p(i2|i1)p(i3|i1, i2) . . . p(in|i1, i2, . . . , in−1),

onde p(1)_i₁ ´e a fun¸c˜ao densidade de X1, ou seja, p (1)

i1 = P r[X1 = i1], e o significado de cada uma

das outras probabilidades condicionais ´e natural. Desta forma a equa¸c˜ao anterior se torna

P r[X1 = i1; X2 = i2; . . . ; Xn= in] = P r[X1 = i1]P r[X2 = i2|X1 = i1] . . .

(5)

EXEMPLOS

1. Existem três marcas de automóveis dispon´ıveis no mercado: o Jacaré, o Piranha e o Urubu. O termo aij da matriz A abaixo é a propabilidade de que um dono de carro da

linha i mude para o carro da coluna j, quando comprar um carro novo.

De J P U J 0, 7 0, 3 0, 4 P ara P 0, 2 0, 5 0, 4 U 0, 1 0, 2 0, 2 Os termos da diagonal de A =   7 10 2 10 1 10 3 10 5 10 2 10 4 10 4 10 2 10  d˜ao a probabilidade aii de se comprar um

carro novo da marca.

A2 ₌   59 100 7 25 13 100 11 25 39 100 17 100 12 25 9 25 4 25  . Os termos de A2_{, a}

ij, significam mudar da marca i para a marca

j depois de duas compras:

De fato: a11 = probabilidade de tendo inicialmente um carro da marca J mudar para um

outro carro desta mesma marca, ou seja, J , depois de duas compras.

J 7 10 → J 7 10 → J J 2 10 → P 3 10 → J J 1 10 → U 4 10 → J Da´ı, a11= ₁₀7 · ₁₀7 +₁₀2 · ₁₀3 +₁₀1 ·₁₀4 = ₁₀₀59.

a12 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro

carro da marca P depois de duas compras.

(6)

Da´ı, a12= ₁₀7 · ₁₀2 +₁₀2 · ₁₀5 +₁₀1 ·₁₀4 = ₁₀₀28.

a13 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro

carro da marca U depois de duas compras.

J 7 10 → J 1 10 → U J 2 10 → P 2 10 → U J 1 10 → U 2 10 → U Da´ı, a13= ₁₀7 · ₁₀1 +₁₀2 · ₁₀2 +₁₀1 ·₁₀4 = ₁₀₀13.

a21 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro

carro da marca J depois de duas compras.

P 3 10 → J 7 10 → J P 5 10 → P 3 10 → J P 2 10 → U 4 10 → J Da´ı, a21= ₁₀3 · ₁₀7 +₁₀5 · ₁₀3 +₁₀2 ·₁₀4 = ₁₀₀44.

carro desta mesma marca, ou seja, P , depois de duas compras.

P 3 10 → J 2 10 → P P 5 10 → P 5 10 → P P 2 10 → U 4 10 → P Da´ı, a22= ₁₀3 · ₁₀2 +₁₀5 · ₁₀5 +₁₀2 ·₁₀4 = ₁₀₀39.

(7)

P 3 10 → J 1 10 → U P 5 10 → P 2 10 → U P 2 10 → U 2 10 → U Da´ı, a23= ₁₀7 · ₁₀2 +₁₀2 · ₁₀5 +₁₀1 ·₁₀4 = ₁₀₀16.

a31 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro

carro da marca J depois de duas compras.

U 4 10 → J 7 10 → J U 4 10 → P 3 10 → J U 2 10 → U 4 10 → J Da´ı, a31= ₁₀4 · ₁₀7 +₁₀4 · ₁₀3 +₁₀2 ·₁₀4 = ₁₀₀48.

carro da marca P depois de duas compras.

U 4 10 → J 2 10 → P U 4 10 → P 5 10 → P U 2 10 → U 4 10 → P Da´ı, a32= ₁₀4 · ₁₀2 +₁₀4 · ₁₀5 +₁₀2 ·₁₀4 = ₁₀₀36.

carro da marca U depois de duas compras.

(8)

2. Seja {XN} uma cadeia de Markov com espa¸co dos estados {0, 1, 2}, vetor de probabilidade

inicial p(0) = (1₄,1₂,1₄) e matriz de transi¸c˜ao de 1 passo P :

P =   1 4 3 4 0 1 3 1 3 1 3 0 1₄ 3₄   (a) Calcule p(0, 1, 1) = P r[X0 = 0, X1 = 1, X2 = 1]. (b) Mostre que P [X1 = 1 e X2 = 1|X0 = 0] = p01p11. (c) Calcule p(2)₀₁, p(3)_ij para i, j = 0, 1, 2. RESPOSTAS: (a) p(0, 1, 1) = P r[X0 = 0, X1 = 1, X2 = 1] = = P r[X0 = 0] · [X1 = 1|X0 = 0] · P r[X2 = 1|X1 = 1, X0 = 0] = = P r[X0 = 0] · [X1 = 1|X0 = 0] · P r[X2 = 1|X1 = 1] = 1₄ ·3₄ · 1₃ = ₁₆1. (b) 0 1 4 → 1 3 4 → 1 Ou seja, P [X1 = 1 e X2 = 1|X0 = 0] = p01p11.

(c) Calcule p(2)₀₁ = a probabilidade de passar do estado 0 ao estado 1 depois de 2 passos.

0 1 4 → 0 3 4 → 1 0 3 4 → 1 1 3 → 1 0 0 → 2 1 4 → 1 Da´ı, p(2)₀₁ = 1₄ ·3 4 + 3 4 · 1 3 + 0 · 1 4 = 7 16.

O mesmo resultado pode ser obtido calculando o elemento a12 da 2a potˆencia da

matriz de transi¸c˜ao:   1 4 3 4 0 1 3 1 3 1 3 0 1₄ 3₄  ·   1 4 3 4 0 1 3 1 3 1 3 0 1₄ 3₄  =   5 16 7 16 1 4 7 36 4 9 13 36 1 12 13 48 31 48   P(3) =   43 192 85 192 1 3 85 432 83 216 181 432 1 9 181 576 331 576  

(9)

3. Um sistema de comunica¸cão tem uma probabilidade tal que, se um s´ımbolo é transmitido corretamente, a probabilidade de que o s´ımbolo seguinte seja correto é de 0,9. Se, no en-tanto, um s´ımbolo for transmitido incorretamente, a probabilidade de o próximo também o seja é de 0,5. A trasmissão pode ser modelada pela seqüência markoviana dependente, {X1, X2, · · · } onde Xi = 1 se o i-ésimo s´ımbolo for transmitido corretamente, Xi = 0 se

o i-´esimo s´ımbolo for incorreto. Suponha que a probabilidade de que o primeiro s´ımbolo seja transmitido corretamente seja de 0,7.

(a) Calcule as probabilidades de transmiss˜ao p(in, in−1).

(b) Calcule p(i1, i2, · · · , in).

(c) Calcule P r[X3 = 1].

(d) Se o k-´esimo s´ımbolo for correto, Xk = 1, qual a probabilidade de que (k + 2)-´esimo

s´ımbolo seja correto, isto ´e, Xk+2= 1

RESPOSTAS

(a) as probabilidades de transmiss˜ao p(in, in−1) s˜ao as entradas da seguinte matriz (de

transi¸c˜ao) : A = 9 10 1 10 5 10 5 10 A2 = 43 50 7 50 7 10 3 10

(b) p(i1, i2, · · · , in) = p(i1) · p(i2, i1) · · · p(in, in−1).

(c) P r[X3 = 1] = ₁₀7 · p11· p11+₁₀7 · p12· p21+ ₁₀3 · p21· p11+₁₀3 · p22· p21.

(d) Se o k-´esimo s´ımbolo for correto, Xk = 1, a probabilidade de que (k + 2)-´esimo

(10)

Defini¸cão 1.3. Uma sequência X1, X2, . . . , Xné dita uma Sequência de Variáveis Aleatórias Independentes se p(in|i1, i2, . . . , in−1) = p (n) in e p(i1, i2, . . . , in) = p (1) i1 p (2) i2 . . . p (n) in

Se, além disto, todas as variáveis aleatórias tem a mesma fun¸cão distribui¸cão, ou seja, p(j)_i = pi, para cada j, a sequência é dita Sequência de Variáveis Aleatórias Independentes

com Mesma Distribui¸c˜ao.

EXEMPLO

4. Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se

uma coroa aparecer.

Defini¸cão 1.4. A sequência aleatória {X1, X2, . . . , Xn} é dita Serquência Dependente

de Markov, ou um Processo de Markov caso a probabilidade condicional

p(in|i1, i2, . . . , in−1) = P r[Xn= in|X1 = i1, X2 = i2, . . . , Xn−1= in−1].

Isto significa que

p(in|i1, i2, . . . , in−1) = p(in|in−1)

ou

P r(Xn= in|X1 = i1, X2 = i2, . . . , Xin−1 = in−1) = P r[Xn= in|Xn−1 = in−1].

Exemplo 1.1. Considere uma seuqˆencia independente {X1, X2, . . . , Xm, . . .}, onde cada

Xi = +1 ou Xi = −1, com probabilidade p e q, respectivamente. Agora defina a sequˆencia

Yn = X1+ X2+ . . . + Xn,

para n = 1, 2, . . . , e considere a sequˆencia

(11)

Se a sequência X representa uma sequência independentede passos da unidade de +1 ou −1no eixo real, então Yn representa a posi¸cão depois de n passos. Por esta razão a

sequência {Y1, Y2, . . . , Ym, . . .} é chamado de caminho aleatório. sta sequência aleatória

espec´ıfica é extremamente importante, tnato teoricamente, como em estudos de ordem prática. O estudo de suas propriedades, e determinadas generaliza¸cões ocupa grande parte da teoria de probabilidade. Aqui só se destaca o fato de que a sequência {Y1, Y2, . . . , Ym, . . .}

náo é uma sequência independente, a despeito do fato de ser proveniente de uma sequência independente {X1, X2, . . . , Xm, . . .}. Note que

Yn− Yn−1 = Xn=⇒ Yn= Yn−1+ Xn

Assim, se Yn−1 for dado, Yn depender´a somente de Xn, que ´e independente de qualquer

X‘_{e e Y}‘_{s anteriores. Desta forma}

p(in|in−1) = P r[Yn= in|Yn−1= in−1]

= P r[Yn−1+ Xn= in|Yn−1 = in−1]

= P r[in−1+ Xn|Yn−1 = in−1]

= P r[Xn = in− in−1]

Uma vez que Xn´e independente de X1, X2, . . . , Xn−1e, consequentemente de Yn−1, seque

que p(in|in−1) =    p, se in= in−1+ 1 q, se in= in−1− 1

0, para qualquer outro valor

Assim, observa-se que a sequência tem probabilidade de transi¸cão estacionária

pij =    p, se j = in−1+ 1 q, se j = in−1− 1

0, para qualquer outro valor

(12)

EXERC´ICIOS PROPOSTOS

(a) Seja {X1, X2, · · · } uma seqüência aleatória independente onde cada Xi, assume

somente os valores 1 e 0 com probabilidades p e q, p + q = 1. Mostre que X1, X2, · · · , Xn tem densidade conjunta p(i1, i2, · · · , ik) = ptqn−t onde t =Pn_k=1ik.

Considere Sk=Pk_i=1Xi para k = 1, 2, · · ·

i. Mostre que a seqüência {S1, S2, · · · } é uma seqüência dependente de Markov.

ii. Mostre que as probabilidades de transi¸c˜ao s˜ao dadas a seguir onde α = in−in−1:

p(in, in−1) =

pα_q1−α _{para α = 0 ou 1}

0

(b) Seja {X1, X2, · · · } uma seqüência de variáveis aleatórias discretas independentes.

Seja Sk = k X i=1 Xi para k = 1, 2, · · ·

(13)

RU´INA DO JOGADOR

EXERC´ICIOS PROPOSTOS

(a) Um jogador joga um ”jogo limpo”na qual as chances são 2 contra 1. Em outras palavras em cada jogo ele tem 1₃ de probabilidade de ganhar e 2₃ de perder. Se gan-har, ganhará R$2,00. Se perder, perderá R$1,00. Suponha que os recursos totais em dólar do jogador e do seu oponente sejam N dólares. Se o capital de qualquer um dos jogadores cair abaixo do ponto em que eles pudessem pagar caso perdessem o jogo seguinte, o jogo termina. Que Xn representa o caapital do primeiro jogador

ap´os n jogadas.

i. Determine a matriz de transi¸c˜ao de 1 passo da cadeia de Markov {Xn}.

ii. Suponha que os dois jogadores concordem em que se o capital de qualquer um dos dois cair para R$1,00, eles farão o próximo jogo com chances iguais - gan-harão ou perderão com igual probabilidade. Determine a matriz de transi¸cão de 1 passo para esse caso.

Obs: Considere o seguinte experimento:

Arremessa-se uma moeda 50 vezes e seja Xn= −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Seja {X1, X2, · · · } uma seqüência de variáveis aleatórias

discretas independentes. Seja

Sk = k X i=1 Xi para k = 1, 2, · · · {S1, S2, · · · }

(14)

(b) Arremessa-se uma moeda 50 vezes e seja Xn= −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Defina uma nova seqüência {Yn}, onde a seqüência {Xn},

da seguinte maneira: Y1 = X1, Y2 = X1 + X2 2 , .. . Yn= X1+ X2+ · · · + Xn n .

(c) Identifique a seqüência {Yn}. Trata-se de uma seqüência independente? Uma

seq¨uˆencia de Markov? Um problema da Ru´ına de Jogador?

EXEMPLOS DE MODELOS N ˜AO-MARKOVIANOS

(a) Arremessa-se uma moeda 50 vezes e seja Xn= −1 se uma cara aparecer e Xn = +1

se uma coroa aparecer. Defina uma nova seq¨uˆencia {Zn}, da seguinte maneira:

Z1 = X1, Z2 = X1+ X2 2 , .. . Zn+1 = Xn+ Xn+1 2 . Com n=1, · · · , 49.

(15)

(c) Numa ilha maravilhosa verificou-se que a cor azul ocorre em borboletas de genótipo aa, e não ocorre em Aa e AA. Suponha que a propor¸cão de borboletas azuis seja

1

4. Depois de algumas gera¸cões, qual será a porcentagem das borboletas não azuis,

mas capazes de ter filhotes azuis? RESPOSTA:

Denotando por d, dominante, r, recessivo e h, h´ıbrido, e os repectivos cruzamentos por d × d, d × r, d × h, colocando as probabilidaddes em colunas, podemos montar a seguinte matriz de transi¸c˜ao:

d × d r × r d × r d × h r × h h × h d 1 0 0 0,5 0 0,25 h 0 0 1 0,5 0,5 0,5 r 0 1 0 0 0,5 0,25    p(2)_d p(2)_h p(2)r   =   1 0 0 0, 5 0 0, 25 0 0 1 0, 5 0, 5 0, 5 0 1 0 0 0, 5 0, 25  ·           p(1)_d · p(1)_d p(1)r · p(1)r 2 · p(1)_d · p(1)r 2 · p(1)_d · p(1)_h 2 · p(1)r · p(1)_h p(1)_h · p(1)_h           = =   1 0 0 0, 5 0 0, 25 0 0 1 0, 5 0, 5 0, 5 0 1 0 0 0, 5 0, 25  ·         0, 25 · 0, 25 0, 25 · 0, 25 2 · 0, 25 · 0, 25 2 · 0, 25 · 0, 5 2 · 0, 25 · 0, 5 0, 5 · 0, 5         =   0, 25 0, 5 0, 25  

p(1)_d : porcentagem de indiv´ıduos dominantes. p(1)_h : porcentagem de indiv´ıduos hibridos. p(1)r : porcentagem de indiv´ıduos recessivos.

Obs: p(3)_d = p(2)_d , p(3)_h = p(2)_h , p(3)r = p(2)r . Isto n˜ao ´e casualidade. Existe uma ”lei

(16)

APLICAÇ ÕES DA ÁLGEBRA LINEAR EM CADEIAS DE MARKOV

Frequêntemente se deseja estudar a cadeia de Markov que tenha estado em funcionamento há alguma tempo, ou seja, investigar sobre o comportamento das probabilidades de estado n, com n bem grande, isto é,

vj = lim n→∞p

(n) j

Neste caso vj recebe o nome de Probabilidade de Estado Permanente. Em termos razo´aveis

pode-se esperar que, ao longo de um grande per´ıodo de tempo, a influˆencia do estado inicial no qual o processo come¸cou pode esmorecer e, assim, as probabilidades limites vj

podem não depender do estado inicial. Se for este o caso, então vj também pode ser

interpretado como limite das probabilidades de transi¸c˜ao de n passos pij, vj = lim n→∞p

(n) ij ,

já que p(n)_ij é a probabilidade do porcesso estar no estado j após n passos, dado que inicialmente estava no estado i. Se realmente cada vj não depende do estado inicial, a

matriz P(n) _{= (p}(n)

ij ), convergir´a para uma matriz V conforme n → ∞, e cada linha ser´a

identica ao vetor v, com componetes vj,

P(n)→ V =      v v .. . v      , quando n → ∞, onde v = (v0, v1, . . . , vj, . . .)

Deve-se estar atento ´as algumas perguntas, tais como: os limites que definen vj existem?

Se existitrem, formam uma distribui¸c˜ao de probabilidade? Isto ´e, somam 1, P vj = 1?

Como se pode calcular os vj?

se os limites vj = lim n→∞p

(n)

ij existem e n˜ao dependem do estado inicial, ent˜ao, fazendo

(17)

v = v · P

Qualquer vetor x = (x0, x1, x2, . . .), com xi ≥ 0 tal queP xi = 1, que satisfa¸ca

xj =

X

k

xkpkj, com j = 0, 1, 2, . . . ou x = x · P

´e chamado de Vetor de Probabilidade Estacion´aria.

Teorema 1.1. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim n→∞p

(n) j

existem.

Teorema 1.2. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim n→∞p

(n)

j = lim_n→∞p (n) ij

n˜ao dependem da distribui¸c˜ao inicial.

Teorema 1.3. Em qualquer cadeia aperiódica irredut´ıvel e finita de Markov, o vetor limite v = (v0, v1, v2, . . .) é o único vetor da probabilidade estacionária do processo.

Este ´ultimo teorema implica que, para ca cadeia aperi´odica, irredut´ıvel e finita de Markov, a matriz P(n) _{= (p}(n)

ij ) tende `a uma matriz que tem todas sua linhas iguais, sendo cada

uma delas id entica ao vetor estacion´ario, ou seja,

lim n→∞P (n)₌      v v .. . v      =      v0 v1 v2 . . . v0 v1 v2 . . . .. . ... ... ... v0 v1 v2 . . .     

Exemplo 1.2. Suponha que um equipamento tanto possa estar ocupado como inoperante, e que, se estiver inoperante, possa estar parado para reparos, como aguardando mais trabalho. Indiqueos estados ocupado, em reparo, e aguardando mais trabalho por 0, 1 e 2. Observe o estado do sistema em uma sequência de dias sucessivos, e suponha que haja suficiente falta de memóriano sistema, de forma que possa ser aproximado por uma cadeia de Markov com matriz de transi¸cão de 1 passo

P =   p00 p01 p02 p10 p11 p12 p20 p21 p22  =   0, 8 0, 1 0, 1 0, 1 0, 6 0, 2 0, 6 0 0, 4  

Assim, por exemplo, p01 = 0, 1significa que a probabilidade de que uma m´aquina

ocu-pada quebre ´e de 0, 1, p11 = 0, 6 significa que a probabilidade de que uma m´aquina em

reparo hoje ainda esteja em reparo amanhã é de 0, 6, p21= 0 significa que uma máquina

(18)

Se estiver interessado nas propor¸cões de tmepo à longo prazo que o equipamento gasta em três estados, a distribui¸cão limite deverá ser calculada. O sistema é, claramente, irredut´ıvel (cada estado por ser alca¸cado partindo de cada outro estado, embora não necessariamente em um único passo, pois leva-se, ao menos, 2 passos para ir do estado 2 para o estado 1). É também finito e aperiódico. De acordo com o teorema 1.3 só se precisa encontrar o único vetor de probabilidade estacion´_{aria, resolvendo-se x = xP, com} P xi = 1. Assim,    x0 = (0, 8)x0 + (0, 2)x1 + (0, 6)x2 x1 = (0, 1)x0 + (0, 6)x1 x2 = (0, 1)x0 + (0, 2)x1 + (0, 4)x2 ou    (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0 −(0, 1)x0 + (0, 4)x1 = 0 −(0, 1)x0 − (0, 2)x1 + (0, 6)x2 = 0

Já que a terceira equa¸cão pode ser obtida somando as duas primeiras e multiplicando por −1, a terceira não oferece nenhuma informa¸cão adicional, podendo ser eliminada. As duas primeiras equa¸cões aliadas ao fato de que P xi = 1, determinarão a única solu¸cão,

que ser´a do sistema

   (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0 −(0, 1)x0 + (0, 4)x1 = 0 x0 + x1 + x2 = 1

Das duas primeiras equa¸c˜oes do sistemas, verifica-se que x1 =

1

4x0, x2 = 1

4x0, e substi-tuindo na ´ultima equa¸c˜ao, obtem-se

x0 = 2 3 x1 = 1 6 x2 = 1 6

Assim, o vetor da probabilidade limite ´e v = 2 3, 1 6, 1 6

(19)

EXERC´ICIOS RESOLVIDOS

(a) É observado que as probabilidades de um time de futebol ganhar, perder e empatar uma partida depois de conseguir uma vitória são 1₂,1₅ e ₁₀3 respectivamente; e depois de ser derrotado são ₁₀3 ,₁₀3 e 2₅, respectivamente; e depois de empatar são 1₅,2₅ e 2₅, respectivamente. Se o time não melhorar nem piorar, conseguirá mais vitórias que derrotas a longo prazo?

RESPOSTA:

G P E

G 0,5 0,3 0,2 P 0,2 0,3 0,4 E 0,3 0,4 0,4

Como a matriz das probabilidades ´e regular, podemos aplicar o teorema (1.5.4)[1]:

  0, 5 0, 3 0, 2 0, 2 0, 3 0, 4 0, 3 0, 4 0, 4     pG pP pE  =   pG pP pE  ⇔    −0, 5pG+ 0, 3pP + 0, 2pE = 0 0, 2pG− 0, 7pP + 0, 4pE = 0 0, 3pG+ 0, 4pP − 0, 6pE = 0 .

(20)

(b) Numa cidade industrial, os dados sobre a qualidade do ar são classificados como satisfatório (S) e insatisfatório (I). Assuma que, se um dia é registrado S, a prob-abilidade de se ter S no dia seguinte é 2

5 e que, uma vez registrado I, tem-se 1 5 de

probabilidade de ocorrer S no dia seguinte.

i. Qual ´e a probabilidade do quarto dia ser S, se o primeiro dia ´e I?

ii. O que se pode dizer a longo prazo sobre a probabilidade de termos S ou I?

RESPOSTA:

S I S 0,4 0,2

I 0,6 0,8

Para o item b)Como a matriz das probabilidades ´e regular, podemos aplicar o teo-rema (1.5.4)[1]: 0, 4 0, 2 0, 6 0, 8 p_S pI = pS pI ⇔ −0, 6pS+ 0, 2pI = 0 0, 6pS− 0, 2pI = 0 .

Al´em disso, pS+ pI = 1. Da´ı, pS = 1₄ e pI = 3₄.

Para o item a) I 4 5 → I 4 5 → I 1 5 → S I 4 5 → I 1 5 → S 2 5 → S I 1 5 → S 3 5 → I 1 5 → S I 1 5 → S 2 5 → S 2 5 → S

Portanto, a probabilidade de ocorrer S no quarto dia tendo ocorrido I no primeiro dia ´e igual a ₁₂₅16 +₁₂₅8 + ₁₂₅3 + ₁₂₅4 = ₁₂₅31.

O mesmo resultado pode ser obtido calculando o elemento a12 da 3a potˆencia da

matriz de transi¸c˜ao:

(21)

(c) Considere duas companhias de comidas prontas, M e N. Cada ano, a companhia M conserva 1₃ de seus fregueses, enquanto que 2₃ se transferem para N. Cada ano, N conserva 1

2 de seus fregueses, enquanto 1

2 transferem-se para M. Suponha que a

distribui¸c˜ao inicial do mercado ´e dada por

X0 = ₁ 3 2 3

i. Ache a distribui¸cão do mercado após 1 ano. Um ano mais tarde, a distribui¸cão do mercado é

M N A = 1 3 1 2 2 3 1 2 M N X1 = AX0 = ₁ 3 1 2 2 3 1 2 ₁ 3 2 3

De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este número não varia com o tempo. Ao fim do primeiro ano, M mantém 1₃ de seus fregueses e ganha 1₂ de N, ou seja, M tem 1₃ · (1

3k) + 1 2 · ( 2 3k) = 4 9k fregueses e S tem 2₃ · (1 3k) + 1 2 · ( 2 3k) = 5 9k fregueses.

ii. Ache a distribui¸c˜ao est´avel do mercado.

Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as probabilidades pM e pN a longo prazo satisfazem o seguinte sistema linear:

₁ 3 1 2 2 3 1 2 p_M pN = pM pN ⇔ −4pM + 3pN = 0 4pM − 3pN = 0

Al´em disso, temos que pM + pN = 1. Da´ı, podemos concluir que pM = 3₇ e

(22)

(d) Suponha que somente duas companhias rivais, R e S, manufaturam um certo pro-duto. Cada ano, a companhia R ret´em 1₃ dos seus fregueses, enquanto que 2₃ passam a ser fregueses de S. Cada ano, S mant´em 3

5 se seus fregueses, enquanto que 2 5 se

transfere para R. Estas informa¸c˜oes podem ser mostradas sob a forma matricial como R S A = 1 3 2 5 2 3 3 5 R S

Ao se iniciar a manufatura, R tem 2₃ do mercado (o mercado é composto pelo número total de fregueses), enquanto que S tem 1₃ do mercado. Representamos a distribui¸cão inicial do mercado por

X0 = ₂ 3 1 3

Um ano mais tarde, a distribui¸c˜ao do mercado ´e

X1 = AX0 = ₁ 3 2 5 2 3 3 5 ₂ 3 1 3

De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este número não varia com o tempo. Ao fim do primeiro ano, R mantém 1

3 de seus

fregue-ses e ganha 2₅ de S, ou seja, R tem 1₃ · (2 3k) + 2 5 · ( 1 3k) = 16 45k fregueses e S tem 2 3 · ( 2 3k) + 3 5 · ( 1 3k) = 29 45k fregueses.

Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as prob-abilidades pR e pS a longo prazo satisfazem o seguinte sistema linear:

₁ 3 2 5 2 3 3 5 p_R pS = pR pS ⇔ −5pR+ 3pS = 0 5pR− 3pS = 0 .

(23)

BIBLIOGRAFIA

(a) BOLDRINE, José Luiz. COSTA, Suelli I. Rodrigues. FIGUEREDO, Vera Lúcia. WETZLER, Henry G. Álgebra Linear. 3a edi¸cão. Editora: HARBRA ltda.

(b) CLARKE, A. Bruce. Disney, Ralph L. Traduzido por: Gildásio Amado Filho. Probabilidade e Processos Estocásticos. -Rio de Janeiro: Livros Técnicos e Cient´ıficos, 1979.

(c) FERNANDEZ, Pedro Jesus. Introdu¸cão à Teoria das Probabilidades. Rio de Janeiro, Livros Técnicos e Cient´ıficos; Bras´ılia, Ed. Universidade de Bras´ılia, 1973.