1
© UNESP 6 Agosto 2008
Autor: Anibal Tavares de Azevedo
Limeira, 08 de Agosto 2013
MODELOS E TÉCNICAS DE SIMULAÇÃO AULA 2
2
© UNESP 6 Agosto 2008
Variáveis Aleatórias
Demanda
Como determinar a demanda de um determinado produto?
Responder esta pergunta é importante para:
•Dimensionar o número de peças a serem pedidas;
•Determinar a compra ou não de maquinário;
•Expansão unidade existente ou construção de nova
unidade.
3
© UNESP 6 Agosto 2008
Em várias situações é interessante saber como uma variável aleatória muda ao longo do tempo. Por exemplo:
(1) O preço de uma ação na bolsa de valores;
(2) A demanda de energia elétrica (ou de um outro produto qualquer);
Em particular será estudado um processo estocástico denominado Cadeias de Markov.
Valor de ação Demanda de energia Balança Comercial
4
© UNESP 6 Agosto 2008
Cadeias de Markov
Definição de Processo Estocástico:
Suponha que uma determinada característica de um sistema é observada em pontos discretos do tempo cujos índices são 0,1,2,...).
Seja Xt o valor que a característica do sistema assume no tempo t. Então, na maioria das situações, Xt não é conhecida com certeza antes do tempo t e deve ser vista como uma variável aleatória.
Um processo estocástico discreto no tempo é uma descrição da relação entre as variáveis X0,X1,X2,....
Exemplos de processos estocásticos são ilustrados a seguir.
X0 X1 X3
?
5
© UNESP 6 Agosto 2008
X0
A ruína do apostador
X1 X1
Perde (1-p) Ganha (p)
•••
•••
•••
••• ••••••••••••
Xt Fim de jogo Xt
6
© UNESP 6 Agosto 2008
Cadeias de Markov
Exemplo 1: A ruína do apostador
Suponha que um jogo no qual o saldo inicial, no tempo 0, é de R$2. Nos tempos 1, 2,..., I é realizado o jogo tal que em cada tempo I é apostado R$1. Há uma probabilidade p de se ganhar o jogo e (p-1) de se perder. O objetivo é aumentar o capital para R$4 e se isto ocorrer o jogo termina. Outra forma de terminar o jogo é se o capital for reduzido a R$0. Define-se Xt como o capital após ocorrer o jogo no tempo t (se existir) tal que X0,X1,X2,...,Xt podem ser vistos como um processo estocástico discreto no tempo. Embora o saldo inicial seja uma constante conhecida (X0=2), os demais valores (X1,X2,p.ex.) são aleatórios. Por exemplo, X1=3 com probabilidade p e X1=1 com probabilidade (p-1). Note que se Xt=4, então, Xt+1 e todos os demais Xts serão iguais a 4. Similarmente o mesmo ocorre para Xt=0. Este tipo de situação é chamada de “A ruína do apostador”.
7
© UNESP 6 Agosto 2008
Exercício 1: A ruína do apostador
Quais são os possíveis estados deste jogo?
8
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 1: A ruína do apostador
Quais são os possíveis estados deste jogo?
0 1 2 3 4
9
© UNESP 6 Agosto 2008
Bola na Urna
10
© UNESP 6 Agosto 2008
Cadeias de Markov
Exemplo 2: Bola na urna
Para modelar este problema como um processo estocástico define-se o tempo t como o tempo depois que a moeda foi lançada e a bola escolhida foi pintada. O estado em qualquer tempo é descrito por um vetor [u r b] onde u é o número de bolas brancas na urna, r o número de bolas vermelhas e b o número de bolas pretas na urna. Dado que X0 = [2 0 0]. Após o primeiro lançamento de moeda uma moeda foi pintada de vermelho ou preto tal que o estado será X1 = [1 1 0]
ou X1 = [1 0 1], respectivamente.
Claramente existe um tipo de relacionamento entre os Xt’s. Por exemplo, se Xt = [0 2 0], então, com certeza Xt+1 = [0 1 1].
11
© UNESP 6 Agosto 2008
Exercício 2: Bola na urna
Quais são os possíveis estados deste jogo?
12
© UNESP 6 Agosto 2008
Exercício 2: Bola na urna
Cadeias de Markov
Quais são os possíveis estados deste jogo?
2 0 0 1 1 0 1 0 1
0 1 1 0 2 0 0 0 2
13
© UNESP 6 Agosto 2008
Preço de ações
X0 X1,X2,...,Xt Xt+1
14
© UNESP 6 Agosto 2008
Exemplo 3: Preço de ações
Seja X0 o preço de uma ação no começo do dia. Suponha ainda que Xt é o preço de abertura no t-ésimo dia de operação do mercado no futuro. Saber os valores de X0,X1,X2,...,Xt pode fornecer alguma informação acerca da função de distribuição de probabilidade de Xt+1? Como os valores da ação no passado (anteriores ao tempo t) influenciam no valor de Xt+1?
Estas questões serão melhor discutidas mais adiante.
É importante observar que para o caso do mercado de ações é importante determinar o estado do sistema em qualquer instante de tempo e não somente em instantes discretos de tempo. Para tanto, é necessário empregar processo estocásticos em tempo contínuo que não serão abordados no curso.
Cadeias de Markov
15
© UNESP 6 Agosto 2008
Definição de Cadeia de Markov:
Um tipo especial de processo estocástico discreto no tempo é denominado de Cadeia de Markov. Assumindo que em qualquer instante de tempo o processo estocástico pode estar em um dos seguintes estados finitos indexados 1,2,..., s.
Um processo estocástico discreto no tempo é uma Cadeia de Markov se, para t = 0, 1, 2, ..., e em todos os estados:
P(Xt+1 = it+1|Xt = it, Xt-1 = it-1, ..., X1 = i1, X0 = i0)
= P(Xt+1 = it+1|Xt = it) (1) A equação (1) diz que a função de distribuição de probabilidade do estado no instante t+1 depende do estado no tempo t(it) e não depende dos estados da cadeia percorridos para até se atingir it no tempo t.
16
© UNESP 6 Agosto 2008
Definição de Cadeia de Markov:
Portanto, no estudo de Cadeias de Markov é suposto que para todos os estados i e j e todos os intervalos de tempo t:
P(Xt+1 = it+1|Xt = it)= pij (2)
Cadeias de Markov
onde pij é a probabilidade de que o sistema no estado i no tempo t esteja no estado j no tempo t+1. Se no próximo período o sistema se move do estado i para o estado j, então, é dito que ocorreu um transição de i para j. Assim, os pij´s são chamados de probabilidades de transição da Cadeia de Markov.
A Equação (2) implica que a lei de probabilidade que relaciona o estado atual com o próximo não muda (ou permanece estacionário) no tempo. Assim, (2) é dita a hipótese de estacionariedade e qualquer Cadeia de Markov que satisfaz (2) é dita estacionária.
17
© UNESP 6 Agosto 2008
Definição de Cadeia de Markov:
No estudo de Cadeias de Markov é necessário definir qi que é a probabilidade que a cadeia esteja no estado i no tempo 0; ou seja, P(X0 = i)= qi.
O vetor q = [q1 q2 ... qs] é chamado de função de distribuição de probabilidade inicial para a Cadeia de Markov.
Na maioria das aplicações as probabilidades de transição são dadas por uma matriz P de transição de probabilidade de tamanho s x s.
=
ss s
s
s s
p p
p
p p
p
p p
p P
L M O M M
L L
2 1
2 22
21
1 12
11
18
© UNESP 6 Agosto 2008
Cadeias de Markov
=
ss s
s
s s
p p
p
p p
p
p p
p P
L M O M
M
L L
2 1
2 22
21
1 12
11
1
1 2 s
Estado 2
s
Probabilidade de sair de i (=1) em t e ir para j (=2) em t+1.
∑
∑
∑
∑=1
∑ ∑
= + = = = = =
s
j
s
j ij t
t j X i p
X P
1 1
1 | ) 1
(
≥≥≥≥0
19
© UNESP 6 Agosto 2008
Representação Gráfica:
Uma matriz de transição pode ser representada por um grafo no qual um nó representa o estado e o arco (i,j) representa a probabilidade de transição pij.
i
j pij
1
2
3
4 p11
p12
p13 p14
20
© UNESP 6 Agosto 2008
Cadeias de Markov
X0
A ruína do apostador
X1 X1
Perde (1-p) Ganha (p)
•••
•••
•••
••• ••••••••••••
Xt Fim de jogo Xt
Exercício 3:
Encontrar a matriz P e o grafo deste problema.
21
© UNESP 6 Agosto 2008
−
−
−
=
1 0 0 0
0
0 1
0 0
0 0
1 0
0 0 0
1
0 0 0 0
1
p p
p p
p p
P
0 1
3
∑∑
∑∑=1
∑ ∑
= + = = = = =
s
j
s
j ij t
t j X i p
X P
1 1
1 | ) 1
( 2
4
0 1 2 3 4
Exercício 3:
Encontrar a matriz P e o grafo deste problema.
22
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 3:
Encontrar a matriz P e o grafo deste problema.
0 1
1-p
1
2 p
1-p
3 1-p
p
4 p
1 Ganhou
23
© UNESP 6 Agosto 2008
Bola na Urna Exercício 4: Encontrar a matriz
P e o grafo deste problema.
24
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 4: Encontrar a matriz P e o grafo deste problema.
[0 1 1] [0 2 0] [0 0 2] [2 0 0][1 1 0] [1 0 1]
[0 1 1]
[0 2 0]
[0 0 2]
[2 0 0]
[1 1 0]
[1 0 1]
1ª. Sugestão:
[u r b]
25
© UNESP 6 Agosto 2008
Exercício 4: Encontrar a matriz P e o grafo deste problema.
[0 1 1] [0 2 0] [0 0 2] [2 0 0][1 1 0] [1 0 1]
[1 1 0]
2ª. Sugestão:
1/2
1/2
1/4 1/2
1/4
1/2 1/2
1/2
1/4 1/4
[0 2 0]
[0 1 1]
[1 0 1]
[1 0 1]
26
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 4: Encontrar a matriz P e o grafo deste problema.
[0 1 1] [0 2 0] [0 0 2] [2 0 0][1 1 0] [1 0 1]
[1 1 0]
2ª. Sugestão:
1/2
1/2
1/4 1/2
1/4
1/2 1/2
1/2
1/4 1/4
[0 2 0]
[0 1 1]
[1 0 1]
[1 0 1]
1/4 1/4 1/2
27
© UNESP 6 Agosto 2008
Exercício 4: Encontrar a matriz P e o grafo deste problema.
=
0 2 1 0 4 1 0 4 1
2 1 0 0 0 4 4 1
1
2 1 2 1 0 0 0
0
0 0
0 0 0
1
0 0
0 0 0
1
0 0
0 2 1 2 1 0
P
[0 1 1] [0 2 0] [0 0 2] [2 0 0][1 1 0] [1 0 1]
[0 1 1]
[0 2 0]
[0 0 2]
[2 0 0]
[1 1 0]
[1 0 1]
28
© UNESP 6 Agosto 2008
Cadeias de Markov
[0 1 1]
[0 2 0]
[0 0 2]
[2 0 0]
[1 1 0]
[1 0 1]
1 1/2
1/2 1
1/4
1/2
1/2 1/2 1/2
1/4 1/4
1/4
Exercício 4: Encontrar a matriz P e o grafo deste problema.
29
© UNESP 6 Agosto 2008
Exercício 5: Em uma pequena cidade existe 90% de chance que os dias de Sol sejam sucedidos por dias também de Sol e 80% de chance que os dias de chuva sejam sucedidos por dias de chuva. Encontrar a matriz P e o grafo da Cadeia de Markov deste problema.
30
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 5: Em uma pequena cidade existe 90% de chance que os dias de Sol sejam sucedidos por dias também de Sol e 80% de chance que os dias de chuva sejam sucedidos por dias de chuva. Encontrar a matriz P e o grafo da Cadeia de Markov deste problema.
31
© UNESP 6 Agosto 2008
Exercício 5: Em uma pequena cidade existe 90% de chance que os dias de Sol sejam sucedidos por dias também de Sol e 80% de chance que os dias de chuva sejam sucedidos por dias de chuva. Encontrar a matriz P e o grafo da Cadeia de Markov deste problema.
1 2
=
8 . 0 2 . 0
1 . 0 9 . 0 P 1
2 2
1 0.9
0.1
0.2 0.8
32
© UNESP 6 Agosto 2008
Cadeias de Markov
Exercício 6: Considere um sistema de controle de estoque cuja sequência de operação é dada por:
(1) Observar o nível do estoque (chame de i) no início do período.
(2) Se i ≤ 1, 4 – i unidades são pedidas. Se i ≥≥≥≥ 2, 0 unidades são pedidas. Todos os pedidos são imediatamente entregues.
(3) Com probabilidade 1/3 a demanda d é de 0 unidades;
com probabilidade 1/3 a demanda d é de 1 unidade; e com probabilidade 1/3 a demanda d é de 2 unidades.
Seja o intervalo de tempo do estado como o início do período, então, determinar a matriz de transição e o grafo da Cadeia de Markov para este problema de controle de estoque.
33
© UNESP 6 Agosto 2008
Estados:
0 1 2 3 4
0 1 4 1
1 4
34
© UNESP 6 Agosto 2008
Estados:
Cadeias de Markov
0 1 2 3 4
2 1/3
0 d=2
1/3 d=1 1 2 1/3
d=0
35
© UNESP 6 Agosto 2008
Estados:
0 1 2 3 4
1/3
d=2 1 1/3 d=1
2 1/3
d=0 3
3
1/3
d=2 1/3 d=1
2
1/3
d=0 3 4
4
36
© UNESP 6 Agosto 2008
Cadeias de Markov
0 1
1/3
1 2 1/3
1
3 1/3
4
1/3 1/3
1/3
1/3
1/3 1/3
37
© UNESP 6 Agosto 2008
=
3 / 1 3 / 1 3 / 1 0 0
0 3 / 1 3 / 1 3 / 1 0
0 0 3 / 1 3 / 1 3 / 1
1 0 0 0 0
1 0 0 0 0
P
0 1
3 2
4
0 1 2 3 4
38
© UNESP 6 Agosto 2008
Definição de Probabilidades de Transição em n passos:
Dado que uma Cadeia de Markov no estado i no tempo m, como determinar a probabilidade de que n períodos depois a Cadeia de Markov estará no estado j?
Cadeias de Markov
Supondo que a Cadeia de Markov é estacionária, então, esta probabilidade é independente de m e pode ser escrita por:
P(Xm+n = j|Xm = i) = P(Xn = j|X0 = i) = Pij(n)
Onde: Pij(n) é denominado de a probabilidade de transição do estado i para j em n passos.
39
© UNESP 6 Agosto 2008
Para um passo: Pij(1) = pij
Para se determinar Pij(2) note que neste caso o sistema se encontra agora no estado i e em dois passos deverá estar no estado j. Assim, no passo 1 o sistema deve passar por algum estado intermediário k antes de atingir, no passo 2, o estado j. Isto é:
∑
=
×
= s
k
Pij
1
) j para k de prob.
( k) para i de prob.
( ) 2 (
Empregando os valores da matriz de transição:
∑
=
×
= s
k
kj ik
ij p p
P
1
) 2
( (3)
Pij(2) = pi1 × p1j + pi2 × p2j + ... + pis × psj
40
© UNESP 6 Agosto 2008
Cadeias de Markov
O grafo correspondente a Eq. (3) é como a seguir:
i
1 pi1
2
k
••• j
•••
••••••
s
••••••
••••••
pi2
pik
pis
p1j p2j
pkj
psj
Tempo 1
Tempo 0 Tempo 2
41
© UNESP 6 Agosto 2008
O termo da direita da Eq. (3) corresponde ao produto escalar da linha i com a coluna j da matriz P.
Pij(n) = ij-ésimo elemento de Pn (4)
Assim, Pij(2) é o ij-ésimo elemento da matriz P2. Esta observação pode ser generalizada para n > 1:
∑
= s ×
k
k
k p
p
1
2 1
Para i=1 e j =2:
ss s
s
s s
p p
p
p p
p
p p
p
L M O M M
L L
2 1
2 22
21
1 12
11
=
ss s
s
s s
p p
p
p p
p
p p
p
L M O M M
L L
2 1
2 22
21
1 12
11
××××
42
© UNESP 6 Agosto 2008
Cadeias de Markov
Para n = 0, Pij(0) = P(X0 = j|X0 = i) tal que:
≠
= =
i j
i Pij j
se 0
se ) 1 0 (
43
© UNESP 6 Agosto 2008
Exemplo 4: Consumo de Refrigerantes Suponha que indústria produza apenas dois refrigerantes. Supondo que uma pessoa comprou o refrigerante 1, existe um probabilidade de 90% a próxima compra seja do mesmo. Se ela comprou o refrigerante 2, então,
a chance de comprar o mesmo de novo é de 80%.
××××
1 2
(1) Se a pessoa consome o refrigerante 2, qual a probabilidade de que ela compre o refrigerante 1 após duas compras a partir de agora?
(2) Se a pessoa consome o refrigerante 1, qual a probabilidade de que ela compre o refrigerante 1 na terceira compra contando a partir de agora?
44
© UNESP 6 Agosto 2008
Cadeias de Markov
Resolução: As compras de cada pessoa podem ser representadas por uma Cadeia de Markov cujos estados Xt no tempo t representam o último refrigerante comprado, tal que, X0 é o refrigerante comprado agora e Xn é o refrigerante comprado no tempo, futuro, n.
1 2
=
8 . 0 2 . 0
1 . 0 9 . 0 P 1
2 2
1 0.9
0.1
0.2 0.8
45
© UNESP 6 Agosto 2008
(1) Deseja-se obter P(X2 = 1|X0 = 2) = P21(2) = Pij2:
=
=
66 . 0 34 . 0
17 . 0 83 . 0 8
. 0 2 . 0
1 . 0 9 . 0 8 . 0 2 . 0
1 . 0 9 .
2 0 P
2
2
1
1 p22=0.80
p21=0.20
p21=0.20
p11=0.90
46
© UNESP 6 Agosto 2008
Cadeias de Markov
(2) Deseja-se obter P11(3) = P113:
=
=
= 0.438 0.562
219 . 0 781 . 0 66 . 0 34 . 0
17 . 0 83 . 0 8 . 0 2 . 0
1 . 0 9 . ) 0 ( 2
3 P P
P
1 1 2
2
1 1 2
1 1
p11=.90 p12=.10 p11=.90
p11=.90
p12=.10
p21=.20
p22=.80 p21=.20
p11=.90 p21=.20
0.729 0.018 0.018 0.016
0,781
47
© UNESP 6 Agosto 2008
Em muitas situações não se sabe o estado da Cadeia de Markov no tempo 0. Nestes casos, define-se qi como a probabilidade de que a Cadeia de Markov esteja no estado i no tempo n como dado na Figura:
1 q1
2
i
j
s
P1j(n) P2j(n)
Tempo 0 Tempo n
Pij(n) Psj(n) q2
qi qs
48
© UNESP 6 Agosto 2008
Cadeias de Markov
Em muitas situações não se sabe o estado da Cadeia de Markov no tempo 0. Nestes casos, define-se qi como a probabilidade de que a Cadeia de Markov esteja no estado i no tempo n como dado na Figura:
∑
= ×
= s
k 1 (prob.deipara japósn transições) i)
inicial estado de prob.
(
(5)
Probabilidade de estar no estado j no tempo n
∑=
= s
k ij
iP n
q
1
) (
) P de j coluna
( n
=q
onde q = [q1 q2 ... qs].
49
© UNESP 6 Agosto 2008
Para ilustrar o uso de (5) no Exemplo 4 imagine que Atualmente 60% das pessoas bebem o refrigerante 1 e 40% bebem o 2. Determinar a fração de pessoas que bebem o refrigerante 1 após três compras a partir de agora. Se q = [.6 0.4] e q(coluna 1 de P3) = a probabilidade de que após três compras as pessoas bebam o refrigerante 1:
[0.60 0.40] [0.781]
[0.438]
= 0.6438
Ou seja, após três compras haverá 64% de pessoas que bebem o refrigerante 1.
50
© UNESP 6 Agosto 2008
Exercício 7: Supor que atualmente 30% das pessoas bebam o refrigerante 1 e 70% o refrigerante 2. Determinar a fração de pessoas que bebem o refrigerante 1 após dois e três passos.
Cadeias de Markov
=
66 . 0 34 . 0
17 . 0 83 .
2 0
P
=
562 . 0 438 . 0
219 . 0 781 .
3 0 P
51
© UNESP 6 Agosto 2008
Exercício 7: Supor que atualmente 30% das pessoas bebam o refrigerante 1 e 70% o refrigerante 2. Determinar a fração de pessoas que bebem o refrigerante 1 após dois e três passos.
=
66 . 0 34 . 0
17 . 0 83 .
2 0
P
=
562 . 0 438 . 0
219 . 0 781 .
3 0 P
[0.30 0.70] [0.781]
[0.438]
= 0.5409 [0.30 0.70] [0.83]
[0.34]
= 0.4870
52
© UNESP 6 Agosto 2008
Cadeias de Markov
O comportamento das probabilidades de transição após n-passos com n crescente é como dado a seguir:
n p11(n) p12(n) p21(n) p22(n)
1 .90 .10 .20 .80
2 .83 .17 .34 .66
3 .78 .22 .44 .56
4 .75 .25 .51 .49
5 .72 .28 .56 .44
10 .68 .32 .65 .35
20 .67 .33 .67 .33
30 .67 .33 .67 .33
53
© UNESP 6 Agosto 2008
Para n grande o suficiente tanto P11(n) quanto P21(n) são constantes e tendem ao valor 0.67. Isto significa que, para n grande, não importa o estado inicial a chance de uma pessoa se tornar comprador do refrigerante 1 é de 67%, e portanto, do 2 é de 33%.
n passos
54
© UNESP 6 Agosto 2008
OBRIGADO !!!
FIM !!!