De uma forma geral, um modelo de Markov oculto ´e composto por dois processos estoc´asticos dependentes entre si. O primeiro dos processos ´e uma cadeia de Markov e o segundo componente de um HMM ´e um processo de observac¸˜oes, cuja distribuic¸˜ao, a qualquer instante de tempo, ´e completamente determinada pelo estado atual da cadeia correspondente. Uma referˆencia completa sobre modelos de Markov ocultos pode ser en- contrada em [119]. As definic¸˜oes que iremos apresentar nesta sec¸˜ao consideram modelos ocultos em tempo discreto, facilmente obtidos a partir dos modelos ocultos em tempo
cont´ınuo ap´os aplicac¸˜ao da t´ecnica de uniformizac¸˜ao, aplicada tanto ao processo oculto quanto ao de observac¸˜oes (Cap´ıtulo 2). Ou seja, a cada evento do processo uniformizado, com taxa de uniformizac¸˜ao Λ, o valor do processo de observac¸˜ao tamb´em ´e modificado, de acordo com a distribuic¸˜ao de probabilidades que depende somente do estado do pro- cesso oculto.
Seja X∗ = {X∗(k); k ≥ 0} a cadeia de Markov em tempo discreto com estados
pertencentes ao conjunto S, com cardinalidade |S|, sendo esta equivalente a cadeia de Markov em tempo cont´ınuo X = {X(t); t ≥ 0}. A distribuic¸˜ao do estado inicial ´e dada pelo vetor π com |S| elementos:
πi = P [X∗(0) = i]. (5.1)
As probabilidades de transic¸˜ao entre estados s˜ao definidas pela matriz de ordem |S| × |S|, P = {pij}, onde:
pij = P [X∗(k) = j|X∗(k − 1) = i]. (5.2)
O processo de observac¸˜oes Y = {Y (k); k ≥ 0}, tem |R| estados pertencentes ao conjunto R de recompensas de taxa1(no contexto das aplicac¸˜oes deste cap´ıtulo, o termo
emiss˜oes ser´a substitu´ıdo por recompensas), sendo governado pela matriz |S| × |R|, Γ =
{γij}, com:
γij = P [Y (k) = j|X∗(k) = i]. (5.3) Por quest˜ao de notac¸˜ao, o conjunto de parˆametros que define um modelo particular ´e dado pela tripla θ = (π, P, Γ, Λ).
Seja uma cadeia discreta de Markov W = {W (k); k ≥ 0}, com o conjunto de estados T, com cardinalidade |S| × |R|, sendo cada estado constitu´ıdo por um par entre todas as combinac¸˜oes dos elementos dos conjuntos S e R. A matriz de probabilidades de transic¸˜ao ´e definida por ˆP. Estas probabilidades s˜ao obtidas atrav´es da seguinte express˜ao:
ˆ
pi,(j,s) = pijγjs. (5.4)
A equivalˆencia entre as cadeias X∗ e W, em relac¸˜ao a probabilidade de emitir uma
seq¨uˆencia de recompensas R = r1r2r3...rK, com tamanho K, ´e garantida pelo Lema 5.1.
A equivalˆencia ´e provada em relac¸˜ao a emiss˜ao de uma seq¨uˆencia de recompensas dado que a medida de interesse refere-se a vari´avel aleat´oria CR, para o caso onde t → ∞.
Lema 5.1 Seja uma determinada seq¨uˆencia de observac¸˜oes R = r1r2r3...rK, emitida por
um modelo de Markov oculto θ. A probabilidade de emitir esta seq¨uˆencia, dado o modelo
θ, ou seja, P (R|θ), ´e igual a probabilidade de emiss˜ao desta mesma seq¨uˆencia quando
consideramos a cadeia de Markov discreta W (que denominamos cadeia de Markov ex- pandida W), cujo os elementos da matriz de probabilidade de transic¸˜ao entre estados ´e definida por 5.4.
Prova: Para esta prova, primeiramente consideremos a probabilidade de emitir a seq¨uˆencia
R para o modelo de Markov oculto. Seja uma determinada seq¨uˆencia de estados c = {s1s2...sK}no conjunto de todas as seq¨uˆencias C poss´ıveis de tamanho K na cadeia X∗.
Seja c(k) uma func¸˜ao cujo valor ´e o ´ındice de uma das poss´ıveis recompensas que podem ser atribu´ıdas a um estado. Portanto, a cada entrada no estado sk, a recompensa rc(k) ´e es-
colhida com probabilidade γrc(k)
sk . A probabilidade da emiss˜ao da seq¨uˆencia de observac¸˜ao
Rdada a seq¨uˆencia de estados c ´e dada por (conforme [119]): P [R | c, θ] =
K
Y
k=1
P [rk|sk, θ].
Assumindo independˆencia estat´ıstica das observac¸˜oes, temos que: P [R | c, θ] = γrc(1) s1 γ rc(2) s2 γ rc(3) s3 · · · γ rc(K) sK ,
e a probabilidade de uma determinada seq¨uˆencia de estados c ´e dada por: P [c | θ] = πs1ps1s2ps2s3· · · psK−1sK.
A probabilidade conjunta das seq¨uˆencias R e c ´e o produto dos termos P [R | c, θ] e P [c | θ]. A probabilidade da seq¨uˆencia R ´e obtida atrav´es da soma de todas as poss´ıveis seq¨uˆencias de estados pertencentes ao conjunto C:
P [R | θ] = X ∀c∈C P [R | c, θ]P [c, θ] = X s1s2···sK πs1γ rc(1) s1 ps1s2γ rc(2) s2 ps2s3· · · psK−1sKγ rc(K) sK . (5.5) A segunda parte da prova obt´em a probabilidade de emiss˜ao da seq¨uˆencia R con- siderando o processo de Markov expandido W. Neste caso, cada estado est´a associado explicitamente a uma recompensa. Seja um determinado caminho de tamanho K repre- sentado por m pertencente ao conjunto de caminhos M, cuja seq¨uˆencia das recompensas emitidas ´e igual a R. A probabilidade da emiss˜ao desta seq¨uˆencia est´a atrelada a proba- bilidade de percorrer o caminho m e ´e dada por:
Substituindo a Equac¸˜ao 5.4 na Equac¸˜ao 5.6, temos: P [R, m | W] = πs1γ rc(1) s1 ps1s2γ rc(2) s2 ps2s3γ rc(3) s3 · · · psK−1γ rc(K) sK . (5.7)
Somando para todos os caminhos poss´ıveis pertencentes ao conjunto M, temos: P [R | W] = X ∀m∈M P [R, m | W] = X s1s2···sK πs1γ rc(1) s1 ps1s2γ rc(2) s2 ps2s3γ rc(3) s3 · · · psK−1sKγ rc(K) sK . (5.8) As Equac¸˜oes 5.5 e 5.8 s˜ao iguais, o que prova a equivalˆencia do processo de Markov expandido W e o processo de Markov oculto θ, quando consideramos a emiss˜ao de uma
seq¨uˆencia R de recompensas (ou observac¸˜oes). •
A principal caracter´ıstica do processo de Markov W, ´e que o seu espac¸o de estados ´e uma expans˜ao do espac¸o de estados do processo oculto. A Figura 5.2(b) mostra a representac¸˜ao gr´afica do modelo expandido equivalente a cadeia de Markov oculta da Figura 5.2(a). A B pAB pBA r1 (γΑr1) r2 (γΑr2) r1 (γΒr1) r2 (γΒr2)
(a) Modelo de Markov Oculto (Discreto)
A,r1 A,r2 B,r1 B,r2 pBBγΒr1 pBBγΒr2 pABγΒr1 pBAγΑr1 pAAγΒr2 pAAγΒr1 pABγΒr2 pABγΒr1 pBAγΑr1 pABγΒr2 pBAγΑr2 pBAγΑr1
(b) Modelo de Markov Expandido pAAγΒr1 pAAγΒr2 pBBγΒr1 pBBγΒr2 pAA p BB
Figura 5.2: Representac¸˜ao gr´afica do modelo de Markov expandido e o modelo de Markov oculto, para um pequeno exemplo com dois estados ocultos e emiss˜ao de recompensas {r1, r2}.
A aplicac¸˜ao direta do m´etodo descrito em [5], sem um pr´evio estudo da estrutura da matriz ˆP do modelo expandido pode resultar em um alto custo computacional. Este alto custo computacional ´e devido a dimens˜ao |S| × |R| do espac¸o de estados do modelo expandido que pode ser muito grande, inviabilizando a aplicac¸˜ao dos m´etodos citados anteriormente, seja por quest˜ao de custo computacional ou at´e mesmo por problemas num´ericos, devido ao c´alculo de autovalores ou autovetores.