Aplicações das matrizes: Cadeias de Markov

(1)

Aplicações das

matrizes:

Cadeias de Markov

Prof. Dr. Jorge Lizardo Díaz Calle

Dpto. de Ciências Básicas – FZEA – USP Abril de 2020

(2)

Cadeias de Markov

Para casos, quando um sistema físico ou matemático sofre mudanças tais que a cada momento o sistema pode ocupar apenas um dentre um número finito de estados.

Exemplo:

1. Estado chuvoso ou seco de uma região. 2. Compra de um carro de uma marca.

3. O estoque de uma empresa: vazio ou não. 4. Aluno estudando ou não.

(3)

Cadeias de Markov

Vamos supor que podemos observar o sistema em períodos fixos de tempo. Exemplo de período: 1. A cada dia

2. Por hora

3. Uma geração 4. Uma década

A ideia é observar o sistema por muitos períodos para poder prever probabilisticamente o estado no próximo período de observação.

(4)

Cadeias de Markov

Vejamos o caso de um sistema que muda em período diário:

Tempo chuvoso ou seco no campus da USP Por dia.

Observar que podemos registrar o tempo no nosso campus da USP, a cada dia, e podemos chegar a determinar uma probabilidade de o tempo ser

(5)

Cadeias de Markov

Se faz o registro durante 26 dias: C  Tempo chuvoso

S  Tempo seco

C C S S S S C C S S S S C C S S C C S S S C C S S C

Responda:

Qual a probabilidade de se ter um dia seco logo após um dia chuvoso?

(6)

Cadeias de Markov

Responda:

Isto é: Se um dia foi chuvoso como foi o seguinte? Observar: Estamos falando de quantas mudanças

partindo de C (chuvoso) aconteceram? Não quantos dias chuvosos tivemos!!!!

(7)

Cadeias de Markov

Responda:

Isto é: Se um dia foi chuvoso como foi o seguinte? Observar: Aconteceram 10 mudanças, mas foram 11

dias chuvosos.

(8)

Cadeias de Markov

Responda:

Isto é: Se um dia foi chuvoso como foi o seguinte? Mudanças: C C : Aconteceram 5 vezes.

C S : Aconteceram 5 vezes.

(9)

Cadeias de Markov

Pergunta: Se um dia foi chuvoso como foi o seguinte? A pergunta foca na mudança C S.

Respondendo:

Teve 10 mudanças partindo de chuvoso, e 5 de essas mudanças foram  C S.

Probabilidade de chuvoso para seco é = ₁₀5 = 1₂ .

(10)

Cadeias de Markov

Pergunta: Se um dia foi chuvoso como foi o seguinte? A pergunta foca na mudança C S.

Respondendo:

Probabilidade de chuvoso para seco é = ₁₀5 = 1₂ .

Observar que podemos concluir que as mudanças de

chuvoso para chuvoso também é = 1₂ .

Porque a probabilidade total é 1, e só pode acontecer C C ou para C S.

(11)

Cadeias de Markov

Responda outra questão: Qual a probabilidade de se ter um dia chuvoso após um dia seco?

Agora pensamos nas mudanças de S (seco) para C. Pensamos:

Quantas mudanças partindo de S existem?

(12)

Cadeias de Markov

Responda outra questão: Qual a probabilidade de se ter um dia chuvoso após um dia seco?

Agora pensamos nas mudanças de S (seco) para C. Respondemos

Mudanças partindo de S : 15 Mudanças de S para C : 5

(13)

Cadeias de Markov

Observar que essas informações podem ser

armazenadas em uma matriz que relaciona todas as possibilidades:

De Chuvoso para Chuvoso De Chuvoso para Seco

De Seco para Chuvoso De Seco para Seco

Chuvoso Seco

𝑇 = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜 𝑆𝑒𝑐𝑜

(14)

Cadeias de Markov

Também observar que tem chuvoso em dois tempos, o anterior (ChuvosoA) e o seguinte (ChuvosoS).

Identicamente para o Seco (SecoA e SecoS). Assim escreveremos:

De ChuvosoA para ChuvosoS De ChuvosoA para SecoS

De SecoA para ChuvosoS

De SecoA para SecoS Chuvoso

A

Seco

A

𝑇 = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜𝑆 𝑆𝑒𝑐𝑜𝑆

(15)

Cadeias de Markov

A informação obtida:

Probabilidade de mudança:

ChuvosoA para SecoS = 1₂ .

Ch uvoso A Seco A 𝑇 = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜𝑆 𝑆𝑒𝑐𝑜𝑆 1₂

(16)

Cadeias de Markov

A informação obtida:

Probabilidade de mudança: ChuvosoA para SecoS Obviamente como a

probabilidade total é 1,

de ChuvosoA para ChuvosoS

também será = 1₂ . Chuvoso

A Seco A 𝑇 = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜𝑆 𝑆𝑒𝑐𝑜𝑆 1 2 1 2

(17)

Cadeias de Markov

A segunda informação obtida:

Qual a probabilidade de se ter um dia chuvoso após um dia seco?

Probabilidade de mudança:

SecoA para ChuvosoS = 1₃ .

A matriz completa: _Chuvoso

A Seco A 𝑇 = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜𝑆 𝑆𝑒𝑐𝑜𝑆 1 2 1 3 1 2 2 3

(18)

Cadeias de Markov

Observar que a matriz considera todas as

probabilidades de mudança do estado observado, mas apenas de um tempo dado para o próximo.

Essa informação tirada de um tempo para o período seguinte sem considerar outras informações,

chama-se de : eventos de memôria curta.

(19)

Cadeias de Markov

A matriz desse tipo é chamada de matriz de

transição.

A matriz de transição contêm a probabilidade de

mudança de um estado de tempo (anterior) para o tempo seguinte (posterior).

No exemplo dado: Um tempo anterior pode ser hoje e o tempo seguinte é amanhã. De hoje para

(20)

Cadeias de Markov

O estado do tempo pode ser representado utilizando uma matriz de duas linhas e uma coluna. Cada

linha armazena o valor de cada possibilidade. Por exemplo, hoje

𝑋₀ = 1 0

𝐶ℎ𝑢𝑣𝑜𝑠𝑜 𝑆𝑒𝑐𝑜

A matriz coluna com os valores de observação é chamada de vetor de estado.

(21)

Cadeias de Markov

Para conhecer o estado do tempo amanhã, fazemos 𝑋₁ = 𝑇𝑋₀ 𝑋₁ = 𝐶ℎ𝑢𝑣𝑜𝑠𝑜𝑆 𝑆𝑒𝑐𝑜𝑆 1 2 1 2

Para depois de amanhã:

𝑋₂ = 𝑇𝑋₁ 𝑋₂ = 1 2 1 3 1 2 2 3 1 2 1 2 = 5 12 7 12

(22)

Cadeias de Markov

Podemos calcular para futuros períodos: 𝑋₃ = 𝑇𝑋₂ Observar: 𝑋₃ = 𝑇𝑋₂ = 𝑇𝑇𝑋₁ = 𝑇𝑇𝑇𝑋₀ = 𝑇3𝑋₀ 𝑋₃ = 1 2 1 3 1 2 2 3 5 12 7 12 = 29 72 43 72 𝑋₄ = 1 2 1 3 1 2 2 3 29 72 43 72 = 173 432 259 432

(23)

Cadeias de Markov

Podemos calcular para futuros períodos:

𝑋₅ = 1 2 1 3 1 2 2 3 173 432 259 432 = 1037 2592 1555 2592 𝑋₆ = 1 2 1 3 1 2 2 3 1037 2592 1555 2592 = 6221 15552 9331 15552

Será que em algum tempo chega a dar o mesmo valor??

(24)

Cadeias de Markov

Se chegasse a não mudar, significaria que aplicando a matriz de transição sobre um estado o próximo é igual (o mesmo estado)

𝑇𝑋 = 𝑋 𝑇𝑋 − 𝑋 = 0 𝑇𝑋 − 𝐼𝑋 = 0 𝑇 − 𝐼 𝑋 = 0 Resolvendo: 1 2 1 3 1 2 2 3 − 1 0 0 1 𝑥₁ 𝑥₂ = 0₀

(25)

Cadeias de Markov

−1₂ 1₃ 1 2 − 1 3 𝑥₁ 𝑥₂ = 0₀

Observar que as linhas são dependentes. Infinitas soluções. Mas estamos olvidando de que os

vetores são probabilísticos: 𝑥₁ + 𝑥₂ = 1

−1₂ 1₃ 1 2 − 1 3 1 1 𝑥₁ 𝑥₂ = 0 0 1

(26)

Cadeias de Markov

−1₂ 1₃ 1 2 − 1 3 1 1 𝑥₁ 𝑥₂ = 0 0 1

Resolvendo o sistema (por Gauss Jordan)

𝑥₁ 𝑥₂ = 2 5 3 5

Um estado que não muda após aplicar uma matriz de transição é chamado de estado estacionário.

(27)

Resumo: Cadeias de Markov

Cadeia de Markov é um processo cuja probabilidade

de o sistema estar em determinado estado em um da-do períoda-do de observação depende apenas da-do estada-do no período de observação imediatamente anterior.

°°°°°°° →

Hoje

𝑋₀ 𝑋₁ 𝑋₂ 𝑋_𝑛 𝑋_𝑛+1

(28)

Cadeias de Markov

Na nossa disciplina não estamos interessados em construir a matriz de transição dos processos comentados.

Geralmente vamos pegar a matriz de transição, já definida por outros.

Para a disciplina interessa:

Representar os dados em uma matriz de transição Representar os estados do sistema e seu cálculo Calcular os estados estacionários, se existirem.

(29)

Aplicações: Cadeias de Markov

Exemplo: Suponha que duas empresas E1 e E2 são as únicas fornecedoras de um produto P. No primeiro ano de produção E1 tem 3/5 do mercado (E2 terá 2/5). A cada ano a empresa E1 mantem ¼ de seus clientes (3/4 passam para E2) e E2 mantem 2/3 de seus clientes. Qual a distribuição do mercado no segundo ano e no quarto ano.

A distribuição do mercado no primeiro ano é uma matriz 2x1?

(30)

Aplicações: Cadeias de Markov

Exemplo: Suponha que duas empresas E1 e E2 são as únicas fornecedoras de um produto P.

Estado (vetor):

No primeiro ano de produção E1 tem 3/5 do mercado (E2 terá 2/5).

Matriz de transição:

A cada ano a empresa E1 mantem ¼ de seus clientes (3/4 passam para E2) e E2 mantem 2/3 de seus

(31)

Aplicações: Cadeias de Markov

Exemplo: Suponha que duas empresas E1 e E2 são as únicas fornecedoras de um produto P.

Estado (vetor):

No primeiro ano de produção E1 tem 3/5 do mercado (E2 terá 2/5).

𝑋₀ =

3 5 2 5

(32)

Cadeia de Markov (cont)

Pelo informado a distribuição do mercado no

segundo ano será dependente da distribuição no primeiro ano e as mudanças a acontecer. Essa

mudanças podem ser vistas como uma matriz que relaciona a mudança dos clientes entre as duas

empresas. Matriz 2x2? E1 E2 𝑇 = 𝐸1 𝐸2 Ano próximo Ano anterior

(33)

Cadeia de Markov (cont)

Matriz de transição:

A cada ano a empresa E1 mantem ¼ de seus

clientes (3/4 passam para E2) e E2 mantem 2/3 de seus clientes. E1 E2 𝑇 = 𝐸1 𝐸2 1 4 1 3 3 4 2 3 Ano próximo Ano anterior

(34)

Outros exemplos

Um psicólogo comportamental coloca um rato cada dia em uma gaiola com duas portas A e B. O rato pode passar pela porta A, onde recebe um choque, ou pela porta B, onde encontra comida. Mantém-se o registro da porta utilizada pelo rato. No início do experimento, em uma segunda-feira, o rato tem a mesma probabilidade de escolher A ou B. Depois de passar por A, a probabilidade de utilizar a

mesma porta é 0.3. Depois de passar por B, a probabilidade de utilizar a mesma porta é 0.6

(35)

Outros exemplos

Em uma pesquisa descobriu-se que a atividade de um menino, ao se tornar adulto, depende da ativi-dade de seu pai e é dada pela matriz de transição a seguir: P(profissional), A(agricultor), O(operario)

P A O P

A O

Qual a probabilidade de o neto de um profissional ser um profissional?

E de agricultores nas próximas 5 gerações?

0.8 0.3 0.2 0.1 0.5 0.2 0.1 0.2 0.6