Teoria da Informação - 05 - Revisão - Processos de Markov

(1)

Universidade de Pernambuco

Escola Politécnica de Pernambuco

Teoria da Informação

Revisão

Processos de Markov

Revisão – Processos de Markov

Prof. Márcio Lima

E

E--mailmail:marcio.lima@upe.poli.br :marcio.lima@upe.poli.br

08.09.2009 08.09.2009

(2)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Introdução

Revisão

Revisão Processos de

Processos de Markov

Markov

Andrei Andreyevich Markov (1856, 1922†) – Matemático Russo

• Métodos de frações contínuas em Teoria das ProbabilidadesMétodos de frações contínuas em Teoria das Probabilidades • Teorema do Limite Central – Processos de Markov

De uma maneira geral, as Variáveis Aleatórias obtidas a partir de um processog , p p estocástico não são independentes e, de fato, podem ser estatisticamente dependentes de maneiras muito complexas.

Processos de Markov: Classe de processos aleatórios que possui uma forma

simples de dependência e que é bastante útil na modelagem de problemas práticos.

Definição:

A probabilidade de qualquer comportamento particular futuro do processo, quando seu estado presente é conhecido exatamente, não é alterada por

q p p

(3)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Introdução

Revisão

Revisão Processos de

Processos de Markov

Markov

Em outras palavras, um processo de Markov é um processo com a propriedade de que, dado o valor X_t, os valores de X_s, s > t, não dependem dos valores de X_u,

u < t u < t.

Matematicamente, um processo é dito ser de Markov se

( )

(

( )

)

(

)

( )

(

)

,

1 1 1 1 2 2 1 1 − − − −

=

n n n n n n n n

x

t

X

x

t

X

P

x

t

X

x

t

X

x

t

X

x

t

X

P

L

sempre que . Para simplificar a nootação, pode-se defi-nir n n

t

₁

<

₂

<

L

<

₋₁

<

Em outras palavras um processo aleatório é um processo de Markov se dado o

( )

t

n

X

n

x

n

X

=

Em outras palavras, um processo aleatório é um processo de Markov se dado o “presente”. O “futuro” do processo independe do “passado”.

(4)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Introdução

Revisão

Revisão Processos de

Processos de Markov

Markov

Classificação:

• Tempo (parâmetro)

Processo de tempo discreto

( )

t

,

t

=

0 ,

1 ,

2 ,

_K

X

Processo de tempo contínuo

( )

,

( )

t

,

t

≥

0 X

• Espaço de estados (Conjunto dos Possível Valores do Processo)  Processos com Estados Discretos (Cadeia de Markov)

(5)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Revisão

Revisão Processos de

Processos de Markov

Markov

Cadeias de

Cadeias de Markov

Markov de Tempo Discreto

de Tempo Discreto

Definição: Uma cadeia de Markov discreta no tempo {X_n} é um processo de

Markov cujo espaço de estado é um conjunto finito enumerável e para o qual t = {0 1 2 } {0, 1, 2, ...}.

;

,

'

₀ ₁ ₂ _n

Numerável

Infito

ou

Finito

:

Estados

de

Espaço

X

discretas

s

VA

K

(

,

) (

)

,

;

1 1 1 1 1 1

=

−

=

−

=

−

=

−

=

_n _n _n _n _n _n _n n

x

X

x

X

x

P

X

x

X

x

X

P

Numerável

Infito

ou

Finito

:

Estados

de

Espaço

L

Probabilidade de Transição: As probabilidades condicionais

(

,

)

(

)

,

m

n

P

X

k

X

j

P

_j _k

=

_n

=

_m

=

₍

₎

P n m P = Forma simplificada

são as chamadas probabilidades de transição de estado, ou simplesmente probabilidade de transição. Ou seja, é a probabilidade do sistema estar no

(

)

(

)

,k n m

j

(

_,

)

_, , ,k j k j m n P P =

(6)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Revisão

Revisão Processos de

Processos de Markov

Markov

Cadeias de

Cadeias de Markov

Markov de Tempo Discreto

de Tempo Discreto

Agumas Definições:

• Probabilidade de Transição a um passo (PProbabilidade de Transição a um passo (P_{j k}_j,k(1))(1))

( )

1 (

₁

) (

₁

)

,

P

X

k

X

j

P

X

k

X

j

P

_j _k

=

_t₊

=

_t

=

_n₊

=

_n

=

• Probabilidade do Sistema estar no Estado j no instante n (P_j(n))

( )

n

P

(

X

j

)

,

(7)

Revisão

Revisão –

– Processos de

Processos de Markov

Markov

Revisão

Revisão Processos de

Processos de Markov

Markov

Cadeias de

Cadeias de Markov

Markov de Tempo Discreto

de Tempo Discreto

Representação Diagramática

É comum e prático, em muitas situações, representar um cadeia de Markov por um diagrama na forma de um grafo Formalmete um grado é um par (V VxV) um diagrama, na forma de um grafo. Formalmete, um grado é um par (V, VxV), em que V é um conjunto de vértices (nós) e VxV é um conjunto de arcos conectando os vértices.

Cadeia de Markov com Dois Estados

O exemplo mais simples de cadeia de Markov de interesse é o de dois estados.

1 , 0

P

0

1 P

₁_,₁ 0 , 1

P

0 , 0

P

(8)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Matriz de Probabilidade de Transição

As cadeias de Markov podem ser represemtadas por uma matriz de probabilidade de transisão em um passo ou pelo diagrama de transição correspondente Os elementos da matriz de probabilidade de transição devem correspondente. Os elementos da matriz de probabilidade de transição devem satisfazer a condição

∑

∞

=

≥

_, ,k

0

j k

1 ,

0 ,

1 ,

2 ,

3 ,

j

e

P

j

P

K

A matriz de probabilidade de transição, também conhecida como matriz de Markov é definida por:

=0 k

⎥

⎤

⎢

⎡

L

3 , 1 2 , 1 1 , 1 0 , 1 3 , 0 1 , 0 1 , 0 0 , 0

P

⎥

⎢

=

L

M

L

3 , 2 2 , 2 1 , 2 0 , 2

P

⎥⎦

⎢⎣

P

i,0

P

i,1

P

i,2

P

i,3

L

(9)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Matriz de Probabilidade de Transição

Exemplo: Considere uma linha de montagem de uma fábrica que contém máquinas de encher garrafas de refrigerante. Uma máquina está encarregada de encher as garrafas ao longo do dia Se estiver funcionando em perfeitos de encher as garrafas ao longo do dia. Se estiver funcionando em perfeitos condições, a máquina poderá, no dia seguinte, funcionar com defeito com probabilidade de 0,09, ou pode passar a uma situação de avaria total, com probabilidade de 0,01, o que implica a parada da produção. Se estiver

p , , q p p p ç

trabalhando com defeito, a máquina pode manter-se nesta situação, dia após dia, com probabilidade de 0,55 ou passar à situação de avaria total com probabilidade de 0,45, situação que é definitiva até se proceder algum reparo

p ç q p g p

ou substituição.

Espaço de Estados {1, 2, 3} – X_n V.A. discreta.

C P = 0 09; P = 0 01

Conjunto de índices de dias também é discreto, 1, 2, 3, ...., n,.... • 0 – Máquina em perfeitas consdições;

• 1 – Máquina operando com deifeito; • 2 – Máquina com avaria total

1 45 , 0 ; 55 , 0 01 , 0 ; 09 , 0 2 , 2 2 , 1 1 , 1 2 , 0 1 , 0 = = = = = P P P P P

(10)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Matriz de Probabilidade de Transição

Exemplo: 01 , 0 ; 09 , 0 ₀_,₂ 1 , 0 = P = P 1 45 , 0 ; 55 , 0 2 , 2 2 , 1 1 , 1 = = = P P P

⎥

⎤

⎢

⎡

=

0

55

0

45

01 ,

0

09 ,

0

9 ,

0 P

1 0 55 , 0 1 , 1 = P P0,1 = 0,09 0,9 0 , 0 = P

⎥

⎦

⎢

⎣

=

1

0

45 ,

0

55 ,

0

0 P

2 01 , 0 2 , 0 = P 45 , 0 2 , 1 = P 1 2 , 2 = P 2

(11)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Equações de Chapman0Kolmogorov

A evolução de uma Cadeia de Markov é um processo aleatório e não pode afirmar exatamente qual sequência de estados irá ocorrer após o estado inicial. Entretanto muitas aplicações é desejável ou necessário prever os estados Entretanto, muitas aplicações é desejável ou necessário prever os estados futuros dado o estado atual. Para tal, cosidere:

Sejam as probabilidades de transição de n passo de uma cadeia de Markovj p ç p

( )

(

)

,

n

P

X

k

X

j

P

_j _k

=

_n₊_t

=

_t

=

Diz exatamente a probabilidade de ir do estado k ao estado j em n passos.

tem-se

Diz exatamente a probabilidade de ir do estado k ao estado j em n passos.

( )

=

∑

_j _i

( ) (

_i _k

−

)

,

k j

n

P

u

P

n

u

P

_,

( )

∑

_,

( ) (

_,

)

,

∈E i k i i j k j

n

P

u

P

n

u

P

A probabilidade de sistema sair do estado j para o estado k em n passos é igual à soma de todas as probabilidades (caminho possível) do sistema chegar a uma soma de todas as probabilidades (caminho possível) do sistema chegar a uma estado i qualquer em u passos e nos passos restantes (n – u), sair de i para k.

(12)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Equações de Chapman0Kolmogorov

Matricialmente

( )

n

=

P

( ) (

u

⋅

P

n

−

u

)

P

Um caso particular, de u = 1, tem-se

( )

n

=

P

( ) (

u

⋅

P

n

u

)

,

P

( )

( ) (

)

(

)

Realizando mais um passo, tem-se

( )

n

=

P

( ) (

1 ⋅

P

n

−

1 )

=

P

⋅

P

(

n

−

1 )

,

P

p

( )

n

=

P

⋅

P

⋅

P

(

n

−

2 )

=

P

⋅

P

(

n

−

2 )

,

P

2 Logo

( )

n

P

n

P

n-1

P

n-1

,

P

=

⋅

=

⋅

(13)

Revisão

Revisão –

– Variáveis Aleatórias

Variáveis Aleatórias

Revisão

Revisão Variáveis Aleatórias

Variáveis Aleatórias

Equações de Chapman0Kolmogorov

Voltando ao exemlpo, Quais seriam as probabilidades de transição ao fim de 2 dias. 2 Passos: 2 Passos: