SIMULAÇÃO DE SISTEMAS AULA 3

(1)

1

© UNESP 6 Agosto 2008

Autor: Anibal Tavares de Azevedo

Limeira, 22 de Agosto 2013

SIMULAÇÃO DE SISTEMAS AULA 3

2

Cadeias de Markov

Classificação de Estados em uma Cadeia de Markov:

Antes de estudar em mais detalhes o comportamento das probabilidades de transição para n passos é necessário classificar as matrizes de transição quanto ao tipo.

Caminho e Estado Acessível:

Dados dois estados i e j, um caminho de i para j é uma sequência de transições que começa em i e termina em j tal que cada transição da sequência tem uma probabilidade positiva de ocorrência. O estado j é dito acessível a partir de i se existe um caminho de i para j.

(2)













=

2 . 8 . 0 0 0

1 . 4 . 5 . 0 0

0 7 . 3 . 0 0

0 0 0 5 . 5 .

0 0 0 6 . 4 .

P

1 2 3 4

5

Exemplo 1:

.5 .5 .4

.6

S1 S2

.3 .5

.7

.4 .1

.2

.8

4

4 3

5

Exemplo 1: Existe caminho de: 3 até 5?

S₂

.3 .5

.7

.4 .1

.2

.8

Exemplo 1: Existe caminho de: 1 até 3?

Não, pois não existe uma sequência de transições com probabilidade positiva que saia de 1 e chegue em 3. Ou seja, como pode ser observado na figura, S1, que contém o nó 1, e S2, que contém o nó 3, são grafos sem conexão entre si.

(3)

5

Estados comunicáveis:

Dois estados i e j são ditos estados comunicáveis se j é acessível a partir de i, e se i é acessível a partir de j.

Os estados 3 e 5 são comunicáveis, pois j é acessível a partir de i (existe caminho de j para i) e vice-versa.

4 3

5 S₂

.3 .5

.7

.4 .1

.2

.8

6

Conjunto Fechado:

Um conjunto de estados S é denominado conjunto fechado se nenhum estado fora de S é acessível a partir de qualquer estado pertencente a S.

No Exemplo 1, existem dois conjuntos: S1={1,2} e S2={3,4,5} e ambos são conjuntos fechados, pois nenhum arco de S1 pode ser acessado a partir de S2 e vice-versa.

Estado Absorvente:

Um estado i é um estado absorvente se p_ii = 1.

0 1

1-p

1

2 p

1-p

3 1-p

p

4 p

1

(4)

Estado Transiente:

Um estado i é um estado transiente se existe um estado j que é acessível a partir de i, mas o contrário não é possível, isto é, i não é acessível a partir de j.

0 1

1-p

1

2 p

1-p

3 1-p

p

4 p

1

No Exemplo da Ruína do Jogador os estados 1, 2 e 3 são transientes, pois existem os estados 0 e 4 que podem ser acessados a partir deles. P.ex.: a partir do estado 2 usa-se o caminho 2-3-4 para se atingir o estado 4. O contrário, porém, não pode ocorrer.

8

Estado Transiente:

Após um número suficientemente grande de períodos a probabilidade de o sistema estar em um estado transiente é zero. Cada vez que se entra em um estado i existe uma probabilidade positiva que o sistema irá sair do estado i e terminar em um estado j sem ter como retornar ao estado i.

(5)

9

[0 1 1]

[0 2 0]

[0 0 2]

[2 0 0]

[1 1 0]

[1 0 1]

1 1/2

1/2 1

1/4

1/2

1/2 1/2 1/2

1/4 1/4

1/4 Estado transiente

10

Estado Recorrente:

Se um estado não é transiente, então, é dito recorrente.

Um repórter que cobre o clima (Bill Murray) é enviado

para uma pequena cidade para cobrir uma festa local.

Isso acontece há anos, e ele não esconde sua frustração com tal serviço. Mas algo

mágico acontece: os dias estão se repetindo, sempre que ele acorda no hotel é o

mesmo dia da festa. (...)

(6)

0 1

1-p

1

2 p

1-p

3 1-p

p

4 p

1 Estados absorventes e recorrentes

12

[0 1 1]

[0 2 0]

[0 0 2]

[2 0 0]

[1 1 0]

[1 0 1]

1 1/2

1/2 1

1/4

1/2

1/2 1/2 1/2

1/4 1/4

1/4

Estados recorrentes

(7)

13

Estado Periódico:

Um estado i é dito periódico com período k > 1 se k é o menor número tal que todos os caminhos que saem do estado i e retornam têm comprimento que é um múltiplo de k. Se o estado recorrente não é periódico, então, é denominado de aperiódico.

1 2 3

1 1

1

















=

0 0 1

1 0 0

0 1 0 Q

Na Cadeia de Markov acima se o sistema começa no estado 1, então, o único caminho para retornar ao estado é seguir o caminho 1-2-3-1 de modo que levará 3 transições. De modo geral, o retorno a qualquer estado leva 3 passos.

14

Um estado i é dito periódico com período k > 1 se k é o menor número tal que todos os caminhos que saem do estado i e retornam têm comprimento que é um múltiplo de k. Se o estado recorrente não é periódico, então, é denominado de aperiódico.

A state i is periodic with period k>1 if k is the smallest number such that all paths leading from state i back to state i have a length that is a multiple of k. If recurrent state is not periodic, it is referred to as

aperiodic.

(8)

O período de um estado i é definido como o inteiro t (t>1) tal que p_ii⁽ⁿ⁾ = 0 para todos os valores de n que só podem ser t, 2t, 3t, ... e t é o maior inteiro com esta propriedade. No problema do apostador, se o estado inicial for 1 só é possível acessar o estado 1 apenas nos tempos 2, 4,... e isto pode ser comprovado calculando p₁₁⁽ⁿ⁾ para todos os valores de n e

verificando que p₁₁⁽ⁿ⁾ = 0 só ocorre para n ímpar.

The period of state i is defined to be the integer t (t>1) such that pii(n) = 0 for all values of n other than t, 2t, 3t, ... and t is the largest integer with this property. In the

gambling (...)

16

1 2 3 4

5

Exemplo 1:

.5 .5 .4

.6

S1 S2

.3 .5

.7

.4 .1

.2

.8

Todos os estados são aperiódicos, pois é possível retornar aos estados em 1 passo (k=1).

(9)

17

















=

1 . 5 . 4 .

0 7 . 3 .

2 . 8 . 0 1

P ¹ ²

.8

.3

3 .2

.7 .4

.5

.1

1 2

.8

.3

3 .2

.7 .4

.5

.1

(...) com período k > 1 se k é o

menor número inteiro (...)

18

1 2 3

(...)todos os caminhos que saem do estado i e retornam têm comprimento que é um múltiplo de k.

Caminho 1-2 : 2 passos

Caminho 1-3-2: 3 passos Caminho 1-3-3: 3 passos Caminho 1-2-2: 3 passos

1 2 3

Caminho 1-3 : 2 passos

Caminho 1-3-3-2-2: 5

(10)

0 1

1-p

p

2 p

1-p

3 1-p

p

4 p

1-p Exercício 1: Determinar o período dos estados 1 e 3.

20

0 1

1-p

2 p

1-p

3 1-p

p

4 p

Exercício 1: Determinar o período dos estados 1 e 3.

O período dos estados 1 e 3 é: 2 (A)Caminho do estado 1: 1-2-1 (B)Caminho do estado 3: 3-2-3

p 1-p

(11)

21

Cadeia de Markov Ergódica:

Se todos os estados em uma Cadeia de Markov são recorrentes, aperiódicos e comunicáveis (comunicam entre si), então, a Cadeia é dita ergódica.

0 1

1-p

1

2 p

1-p

3 1-p

p

4 p

1 Não se comunicam entre si (de 3

se chega em 4, mas não o contrário).

Não é Ergódica

22

[0 1 1]

[0 2 0]

[0 0 2]

[2 0 0]

[1 1 0]

[1 0 1]

1 1/2

1/2 1

1/4

1/2

1/2 1/2 1/2

1/4 1/4

1/4 Não se comunicam

(12)

É Ergódica

1 2

 

 



= 

8 . 0 2 . 0

1 . 0 9 . 0 P

¹

2 2

1 0.9

0.1

0.2 0.8

Todos os estados são:

(1)Recorrentes (não são transientes);

(2)Aperiódicos (#de passos = 1 ou sem múltiplo k);

(3)Comunicáveis (j é acessivel a partir i e vice-versa).

24

Exercício 2: Determinar se as matrizes dadas a seguir correspondem ou não a Cadeias de Markov Ergódicas.

















=

4 / 3 4 / 1 0

2 / 1 0 2 / 1

0 3 / 2 3 / 1 1 P

















=

3 / 1 3 / 2 0

0 3 / 1 3 / 2

4 / 1 2 / 1 4 / 1 3 P













=

4 / 3 4 / 1 0 0

3 / 1 3 / 2 0 0

0 0 2 / 1 2 / 1

0 0 2 / 1 2 / 1 2 P

(13)

25

















=

4 / 3 4 / 1 0

2 / 1 0 2 / 1

0 3 / 2 3 / 1 1 P

















=

3 / 1 3 / 2 0

0 3 / 1 3 / 2

4 / 1 2 / 1 4 / 1 3 P

1 2

2/3

1/2

3 1/4

1/2 1/3

3/4 É Ergódica

1 2

1/2

2/3

3 2/3

1/3

1/4 1/3

É Ergódica 1/4

26

1 2

1/2

3 2/3

1/2

4 1/3

3/4 1/2

1/4













=

4 / 3 4 / 1 0 0

3 / 1 3 / 2 0 0

0 0 2 / 1 2 / 1

0 0 2 / 1 2 / 1 2 P

(2)Aperiódicos ((#de passos = 1 ou sem múltiplo k);

(14)

Exercício 3: Considere a matriz de transição :

(A)Quais estados são transientes?

(B)Quais estados são recorrentes?

(C)Identifique todos os conjuntos fechados.

(D)A Cadeia de Markov associada é Ergódica?













=

3 / 2 0 0 0 3 / 1 0

0 0 0 0 0 1

0 0 2 / 1 0 4 / 1 4 / 1

0 1 0 0 0 0

1 0 0 0 0 0

0 0 0 1 0 0

P

28

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3

Estados Recorrentes Estados Transientes (A)Quais estados são transientes?

(B)Quais estados são recorrentes?

(15)

29

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3

Estados Recorrentes Estados Transientes

30

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3

S₁ = { ? } S₂ = { ? } (C)Identifique todos os conjuntos fechados.

(16)

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3

S₁ = {1, 3, 5} S₂ = { ? } (C)Identifique todos os conjuntos fechados.

32

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3

S₁ = {1, 3, 5} S₂ = {2, 6}

(17)

33

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

1/3 2/3 (D)A Cadeia de Markov associada é Ergódica?

34

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

(18)

1

2

3

4

5

6 1

1

1/4 1/4

1/2

1

36

Teorema 1 - Probabilidades de Estado Estacionário:

Seja P a matriz de transição para uma Cadeia Ergódica com S estados. Então, existe um vetor ππππ = [ππππ1 ... ππππs] tal que:













∞ =

→

s s s

n P

π π

π

π π

π

π π

π

L M O M

M

L L

2 1

lim

O vetor ππππ = [ππππ1 ... ππππs] é comumente chamado de

distribuição de estado estacionário ou distribuição de equilíbrio para a Cadeia de Markov.

(19)

37

2

0.9 1 0.1

0.2 0.8

38

Como achar uma distribuição de estado estacionário:

Seja n suficientemente grande, então, para todo i:

j ij

ij n P n

P ( +1)≅ ( )≅

π

(1)

Se P_ij(n+1) = (linha i de Pⁿ)*(coluna j de P), então:

∑

=

= ^S

k

kj k

j p

1

π

⁽²⁾

Em forma matricial (2) pode ser escrita como em (3):

π

P

π

= ⁽³⁾

(20)

No exemplo do refrigerante:

1 2

 

 



= 

8 . 0 2 . 0

1 . 0 9 . 0 P

¹

2 2

1 0.9

0.1

0.2 0.8

Dados P e P², obter P³:



 



= 



 







 



=

= 0.438 0.562

219 . 0 781 . 0 8 . 0 2 . 0

1 . 0 9 . 0 66 . 0 34 . 0

17 . 0 83 . ) 0

( ²

3 P P

P

40

Dados ππππ e P, encontrar ππππ:













+ =

n n n

Pn

π π

π

π π

π

π π

π

L M O M M

L L

2 1

1

→ → → → π = [ π

₁

π

₂

^L π

n

]

[ ] [ ] 



 



= 

8 . 0 2 . 0

1 . 0 9 . 0

2 1 2

1 π π π

π





+

=

+

=

2 1

2

2 1

1

8 . 0 1

. 0

2 . 0 9

. 0

π π

π

π π

→ π

→

→ π

P

π

=

(21)

41

Infelizmente o sistema (3) é indeterminado e possui infinitas soluções, pois o posto da matriz P é sempre

≤ S-1. Para obter uma solução única dos valores das probabilidades de estado permanente pode-se usar que para qualquer n e qualquer i:

1 ) ( )

( )

( ₂

1 n + P n + +P n =

P_i _i L _is ₍₄₎

Seja n→∞→∞→∞→∞ em (4), então:

1

(5)

2

1

+ π + + π

_s

=

π ^L

Substituindo (5) em qualquer equação do sistema (3), então, as probabilidades de estado permanente podem ser obtidas.

42

Exemplo 2: Calcular a probabilidade de estado

estacionário da Cadeia do Problema do refrigerante.

1 2

 

 



= 

8 . 0 2 . 0

1 . 0 9 . 0 P

¹

2 2

0.9 1

0.1

0.2 0.8

[ ] [ ]





 



= 

80 . 20 .

10 . 90 .

2 1 2

1 π π π

π

2 1

2

2 1

1

80 . 10 .

20 . 90 .

π π

π

π π

π

+

=

+

=

Substituindo a segunda equação por ππππ1 + ππππ2 = 1:

2 1

1

20 . 90 .

π π

π +

=

+

=

3 / 1

3 / 2

2 1

=

= π π

(22)

Observações importantes:

(1)O comportamento da Cadeia de Markov antes de atingir o estado estacionário é denominado de comportamento transiente.

(2)Não existe uma equação sobre o número de passos necessários para a Cadeia se tornar estacionária, mas se P contém poucos valores e estes são

próximos de 0 ou 1, então, o estado estacionário é atingido rapidamente.

44

1 2

 

 



= 

8 . 0 2 . 0

05 . 0 95 . 0 P

¹

2 2

0.95 1

0.05

0.2 0.8

Calcular a probabilidade de estado estacionário da nova Cadeia do Problema do refrigerante.

(23)

45

Exemplo 3: Suponha que consumidor consome 1 refrigerante por semana (52 semanas = 1 ano). Suponha que existem 100 milhões de consumidores de refrigerante. O custo de produção de um refrigerante é de R$ 1,00 e o preço de venda é de R$ 2,00. Por R$ 500 milhões por ano, uma empresa de propaganda assegura que pode reduzir de 10%

para 5% os consumidores que trocam o refrigerante 1 pelo refrigerante 2. A companhia que produz o refrigerante 1 deve contratar a empresa de propaganda?

Atualmente, a fração ππππ1 = 2/3 de todos os consumidores que consomem o refrigerante 1. Cada compra do

refrigerante 1 resulta em lucro de R$1 para a companhia tal que:

Lucro = 2/3*52*100.000.000 = 3.466.666.667

46

A firma de propaganda oferece uma mudança na matriz P1:

 

 



= 

80 . 0 20 . 0

05 . 0 95 . 0 1 P

Para P1 as equações de estado estacionário são:

[ ] [ ]





 



= 

80 . 20 .

05 . 95 .

2 1 2

1 π π π

π

2 1

2

2 1

1

80 . 05 .

20 . 95 .

π π

π

π π

π

+

=

+

=

2 1

1

20 . 95 .

π π

π +

=

+

=

2 .

8 .

2 1

=

= π π

(24)

O novo lucro da companhia será dado por:

Lucro = (0.8)*52*100.000.000 - 500.000.000

= 3.660.000.000

Assim, a companhia deve contratar a empresa de propaganda.

48

Tempo Médio antes da Primeira Passagem:

Para uma Cadeia de Markov Ergódica, seja m_ij = número esperado de transições antes de ocorrer a primeira chegada ao estado j dado que o estado atual é i. O valor m_ij é denominado como o tempo médio antes da primeira passagem.

Exemplo 4: Calcular o valor de m₁₂ no problema da compra de refrigerante.

1 2

 

 



= 

8 . 0 2 . 0

1 . 0 9 . 0 P

¹

2 2

0.9 1

0.1

0.2 0.8

(25)

49

Exemplo 4: O valor m₁₂ corresponde ao número de compras do refrigerante 1, dado que a compra atual é o refrigerante 1, antes de se comprar o

refrigerante 2.

Assumindo que o estado atual é i, então, com

probabilidade p_ij haverá uma transição do sistema de i para j. Para k ≠≠≠≠ j, existe um probabilidade p_ik para o sistema ir para o estado k. Neste caso, será necessário, em média, 1+m_kj transições para o sistema ir de i para j. Assim:

∑

≠

+ +

=

j k

kj ik

ij

ij p p m

m (1) (1 )

Mas,se:

∑

≠

= +

j k

ik

ij p

p 1

50

i j

m_ij

i p_ij j

mij = número médio de passos

= ΣΣΣΣprob. × × × ×número de passos

×××× 1 p_ik×××× 1 k

m_kj

∑

≠

+ +

=

j k

kj ik

ij

ij p p m

m (1) (1 )

k

p_kj ×××× 1 j

p_kt ×××× 1 t

m_tj Aplicação recursiva da eq.

(26)

Exemplo 5: Aplicar a equação do número médio de passos m_ij para a cadeia de Markov dada a seguir:

i

j

k

t

∑

≠

+ +

=

j k

kj ik

ij

ij p p m

m (1) (1 )

52

i

j

k

p_kj ××××m_kj t

∑

≠

+ +

=

j k

kj ik

ij

ij p p m

m (1) (1 )

p_ij ×××× 1

p_ik×××× 1

(27)

53

i

j

k

p_kt×××× m_tj t

∑

≠

+ +

=

j t

tj kt kj

kj p p m

m (1) (1 )

p_kj ×××× 1

p_kt ××××1

54

∑

≠

+

=

j k

kj ik

ij p m

m 1 ₍₆₎

Então:

(7)

Resolvendo o sistema linear (6) é obtido que:

i

mii

π

= 1

Aplicando(7) no problema do refrigerante e lembrando que ππππ1 = 2/3 e ππππ2 = 1/3, então, m₁₁ = (1)/(2/3) = 1.5 e m₂₂ = (1)/(1/3) = 3. Aplicando (6) para obter m₁₂ e m₂₁:

21 21

22 21

12 12

11 12

8 . 0 1 1

9 . 0 1 1

m m

p m

m m

p m

+

= +

=

+

= +

=

5 10

21 12

=

= m

m Beber 10x o

refri 1 antes de beber o 2

(28)

1 2

 

 



= 

8 . 0 2 . 0

05 . 0 95 . 0 P

¹

2 2

0.95 1

0.05

0.2 0.8

Calcular o valor m12 corresponde ao número de compras do refrigerante 1, dado que a compra atual é o refrigerante 1, antes de se comprar o refrigerante 2.

56

Seja a matriz P1:

 

 



= 

80 . 0 20 . 0

05 . 0 95 . 0 1 P

Para P1 as equações de estado estacionário são:

[ ] [ ]





 



= 

80 . 20 .

05 . 95 .

2 1 2

1 π π π

π

2 1

2

2 1

1

80 . 05 .

20 . 95 .

π π

π

π π

π

+

=

+

=

2 1

1

20 . 95 .

π π

π +

=

+

=

2 .

8 .

2 1

=

= π π

(29)

57

Seja ππππ1 = .8 e ππππ2 = .2, então, m₁₁ = (1)/(0.8) = 1.25 e m₂₂ = (1)/(0.2) = 5.

21 21

22 21

12 12

11 12

8 . 0 1 1

95 . 0 1 1

m m

p m

m m

p m

+

= +

=

+

= +

=

5 20

21 12

=

= m

m Beber 20x o

refri 1 antes de beber o 2 Aplicando (6) para obter m₁₂ e m₂₁:

∑

≠

+

=

j k

kj ik

ij p m

m 1

(6)

Então:

58

Cadeia Absorventes:

Várias Cadeias de Markov possuem estados absorventes enquanto os demais são estados transientes. Nestes casos, se o estado inicial da Cadeia de Markov é transiente, então, é certo que se sairá do estado transiente e o sistema irá terminar em um estado absorvente.

(30)

Exemplo 6: Suponha que as contas de uma firma são modeladas por uma Cadeia de Markov absorvente.

A firma assume que um pagamento a receber é perdido se este tiver um atraso de mais de 3 meses. Então, no início do mês cada pagamento a receber é

classificado nos seguintes estados:

1 2 3 4 5 6

Nova conta.

Pagamento com 1 mês de atraso.

Pagamento com 2 meses de atraso.

Pagamento com 3 meses de atraso.

Conta quitada.

Pagamento perdido.

60

Considere a matriz de transição:













=

1 0 0 0 0 0

0 1 0 0 0 0

3 . 7 . 0 0 0 0

0 6 . 4 . 0 0 0

0 5 . 0 5 . 0 0

0 4 . 0 0 6 . 0

P

1 2 3 4 5 6

Qual a probabilidade de uma nova conta ser paga?

Estados absorventes

Estados transientes

(31)

61

Para Cadeias absorventes, em geral, deseja-se determinar:

(1) Se a Cadeia começa em um estado transiente, qual o número esperado de vezes que ela entrará em cada estado antes de atingir um estado absorvente? E o número esperado de períodos antes que isso ocorra?

(2) Se a Cadeia começa em um estado transiente, qual a probabilidade dela terminar em um estado absorvente?

Para responder a estas perguntas a matriz P deverá ter seus s elementos ordenados da seguinte forma:

(1)Primeiro os s-m estados de transição.

(2)Depois os m estados absorventes.

62

 

 



= 

I R P Q

0

s-m linhas m linhas

colunass-m m colunas













=

1 0 0 0 0 0

0 1 0 0 0 0

3 . 7 . 0 0 0 0

0 6 . 4 . 0 0 0

0 5 . 0 5 . 0 0

0 4 . 0 0 6 . 0

P