Entrada: UmMMEO λ= (Q,Σ, a, e, π) e uma seqüência de observações s=s1· · ·sn. Saída: Uma seqüência de estadosq∗=q1∗· · ·q∗ntal que Pr(q∗|s) seja máxima.
1: para j= 1, . . . , N faça
2: δ(1, j)←π(j)ej(s1);
3: ψ(1, j)←0;
4: para i= 2, . . . , nfaça
5: para j = 1, . . . , N faça
6: δ(i, j)←maxj0∈Qδ(i−1, j0)aj0jej(si);
7: ψ(i, j)←argmaxj0∈Qδ(i−1, j0)aj0j;
8: qn∗ ←argmaxj∈Qδ(n, j);
9: para i=n−1, . . . ,1 faça
10: qi∗ ←ψ(i+ 1, q∗i+1);
11: Devolvaq∗=q1∗· · ·q∗n;
A propósito, é interessante destacar a similaridade da relação de recorrência das variá-veis δ do Algoritmo Viterbi e das variáveisα do Algoritmo Progressivo: o Algoritmo Viterbi pode ser obtido a partir do Algoritmo Progressivo(a menos da determinação do passeioq∗) pela simples substituição de somas pelo cálculo de máximo.
5.4.2.2.1 Análise de Complexidade No começo do Algoritmo Viterbi, a primeira linha de cada uma das matrizesδ eψ(ambas matrizes de dimensões|s| × |Q|) é inicializada em tempo O(|Q|).
9A observação é relevante porque o que o Algoritmo de Viterbi calcula é a probabilidade conjunta des de do passeio ótimo, enquanto o foco do Problema da Decodificação está na probabilidade condicional de passeios, dadas as seqüências de observações.
5.4 Problemas Básicos de MMEOs 133
A parte principal do algoritmo consiste de dois laços encaixados. A parte mais interna do laço contém um cálculo de máximo sobre os estados de λ (além da determinação do estado em que o máximo é atingido) e ela pode ser realizada em tempo O(|Q|). Como os laços encaixados executam um total de O(|s||Q|) iterações, o tempo para esta parte do algoritmo é deO(|s||Q|2).
O cálculo de q∗n leva tempo O(|Q|). Finalmente, a determinação dos demais estados qi∗ é feita em tempoO(|s|).
Isso tudo significa que o Algoritmo Viterbi pode ser executado em tempo O(|Q|) + O(|s||Q|2) +O(|Q|) +O(|s|) =O(|s||Q|2), a mesma complexidade de tempo dos Algoritmos Progressivoe Regressivo.
Quanto ao espaço, além dos dados de entrada e das variáveis de controle, o Algoritmo Viterbiusa apenas as matrizesδeψ(ambas com|s|linhas por|Q|colunas) e um vetor para devolver a seqüência q∗ (que possui tamanho|s|). Logo, o consumo de espaço do algoritmo é O(|s||Q|). Argumentos similares aos que já usamos para os Algoritmos Progressivo e Regressivopodem nos convencer de que o AlgoritmoViterbipode ser implementado de maneira que o espaço usado seja O(|Q|), se apenas a probabilidade Pr(q∗|s) for desejada.
5.4.2.2.2 Comentários Gerais Uma observação trivial, mas importante em relação ao Problema da Decodificação é que um passeioq∗ pode ser interpretado como uma rotulação das observações de s: com esta interpretação, o símbolo si da seqüência de observações é rotulado com o valorqi∗ (ou com o valor de uma função deqi∗), para cada i.
Por exemplo, no caso do cassino desonesto, se tivéssemos quatro dados sendo lançados com dois deles sendo honestos e os outros dois, viciados, poderíamos estar interessados em saber se, dada uma seqüência s de lançamentos, oi-ésimo resultado provém (com grande probabilidade) de um dado honesto ou de um dado viciado, sem importar qual dado produziu o resultado.
Esse tipo de tratamento de um passeio em umMMEOcomo uma rotulação da seqüência de observações é útil para várias aplicações, incluindo a construção de alinhamentos de seqüências biológicas.
Outro ponto a ressaltar sobre os algoritmos apresentados até aqui é que eles geralmente trabalham com um grande número de produtos de fatores de pequena magnitude (probabili-dades). Isso fica bastante claro ao observar-se, por exemplo, o pseudo-código do Algoritmo Viterbi. Nesses casos, há riscos de que os números em questão fiquem tão pequenos a ponto de não poderem ser representados em computadores convencionais (ocorrência de
“underflow”).
Tal problema pode ser aliviado pelo uso de logaritmos das probabilidades para que se lide com números de magnitudes maiores do que aquelas que surgiriam se as probabilidades fossem usadas diretamente. Essa transformação também apresenta o desejável efeito cola-teral de converter as multiplicações em adições (que normalmente podem ser executadas em menos tempo do que multiplicações nos computadores convencionais).
Por exemplo, para o Algoritmo Viterbi, a modificação é bastante direta ao usarmos logaritmos de probabilidades. Já para os Algoritmos Progressivo e Regressivo, as transformações para uso de logaritmos não são tão imediatas quanto no caso anterior, mas ainda assim são possíveis [DEKM98].
A idéia básica é observar que log(x+y) = logx+log(1+y/x), sex6= 0. Fazendoz=y/x e supondo-sey≤x, temos quez≤1. Daí, o termo log(1 +z) pode ser facilmente calculado a partir de sua série de Taylor (possivelmente via alguma implementação em biblioteca),
de interpolações lineares de uma tabela de log(1 +z) para valores de z entre 0 e 1 ou de alguma mescla de técnicas que sejam adequadas.
Outros métodos podem ainda serem usados para evitar trabalhar com números muito pequenos [DEKM98].
5.4 Problemas Básicos de MMEOs 135
dispor de seqüências de observações do fenômeno e, por algum meio (talvez indireto), ter as seqüências já rotuladas com estados do modelo.
Por exemplo, podemos ter uma coleção de seqüências de DNA que já estejam anotadas, de forma que se saiba, para cada seqüência, quais trechos fazem parte de ilhas CpGe quais trechos não fazem. Essa rotulação pode ser determinada, digamos, por algum método empírico ou por inspeção manual [DEKM98]. Poderíamos, então, estar interessados em construir umMMEOpara sistematizar a rotulação de outras seqüências de DNA em relação a ilhas CpGusando as seqüências já anotadas no treinamento dos parâmetros doMMEO.
Uma vez que o modelo esteja totalmente especificado, ele pode ser usado para rotular uma nova seqüência de DNA cuja estrutura ainda não seja conhecida. Em outras palavras, ele pode ser usado para encontrar uma seqüênciaq∗ de estados doMMEOpara a seqüência de observaçõess, por meio de alguma solução ao Problema da Decodificação (e.g., Algoritmo Viterbi).
Supomos então que, para cada j= 1, . . . , k, tenhamos um par (sj, qj).
Um algoritmo para estimar as probabilidades de transição do modelo λ, fixados Qe Σ e conhecidos s1, . . . , sk e q1, . . . , qk pode ser percorrer o grafo do modelo λ para cada um dos passeios qj, contar quantas vezes cada transição do modelo foi usada e adotar como probabilidade daquela transição a sua freqüência relativa (em relação às transições com mesmo estado de origem).
Mais precisamente, seja Ajxy o número de vezes que a transição do estado x ao estado y foi usada no passeio qj. Com essa definição, segue que Axy = Pkj=1Ajxy é o número de vezes que a transição dexay foi usada por todos os passeios e, além disso, a probabilidade axy da transição dex a y pode assim ser estimada por
axy = Axy P
y0∈QAxy0,
para cada transição (x, y) do modelo. Estes são os estimadores de máxima verossimilhança para as probabilidades de transição [DEKM98].
De maneira parecida, as probabilidades de emissão de símbolos podem ser estimadas também como freqüências relativas de quanto a emissão de um dado símbolo foi gerada em um dado estado. Mais formalmente, seja Exj(b) a quantidade de vezes que o símbolo b foi gerado no estado x pelo passeio qj, para todo b ∈ Σ, x ∈ Q e j = 1, . . . , k. Para cada símbolob e para cada estadox, seja Ex(b) =Pkj=1Exj(b). A freqüência relativa
Ex(b) P
b0∈ΣEx(b0)
pode ser usada para estimar a probabilidade ex(b) e, neste caso, a freqüência relativa é também um estimador de máxima verossimilhança para as probabilidades de emissão de símbolos [DEKM98].
Finalmente, a mesma estratégia pode ser usada para estimar as probabilidades iniciais π. Seja Πj(x) = 1 se qj[1] = x ou Πj(x) = 0 se qj[1]6=x. Definamos Π(x) =Pkj=1Πj(x), isto é, o número de vezes que o estado x∈Qé o início de um passeio no modelo que gerou ask observações.
Com esta notação, para cada x∈Q, a freqüência relativa Π(x)
P
x∈QΠ(x) = Π(x) k
é o estimador de máxima verossimilhança para a probabilidade π(x) de que x inicie um passeio no modeloλ[DEKM98].
Conforme deve ficar claro, a estimação dos parâmetros do modelo (supondo-se que o mo-delo de fato represente o fenômeno em estudo) é tão melhor quanto maior for a quantidade disponível de dados para treinamento. Infelizmente, entretanto, o método de uso de esti-madores de máxima verossimilhança possui a deficiência de que, digamos, se uma transição (x, y) tiver probabilidade muito baixa (mas não-nula) pode acontecer que nenhum dos dados de treinamento (no caso de transições, os passeios no grafo deλ) apresente uma ocorrência de (x, y) e que, desta forma,Axy = 0, de onde segue que a probabilidade estimadaaxy para a transição (x, y) seja 0, o que não é desejado (pois queremos que os modelos estimados atribuam, para cada passeio válido no modelo, uma probabilidade diferente de zero para as seqüências de observações que puderem ser geradas por tais passeios).
Tal situação é a mesma que vimos para a estimação de parâmetros de Cadeias de Markov e também para o presente caso usam-se pseudo-contadores, sendo que uma das estratégias é a Regra de Laplace (isto é, adicionar 1’s como pseudo-contadores de cada parâmetro do modelo). Evita-se, desta forma, o Problema da Probabilidade Zero e, também, qualquer possibilidade de ocorrência de zero nos denominadores dos cálculos das freqüências relativas.
Também como no caso das Cadeias de Markov, as quantias adicionadas podem refletir algum conhecimento prévio de como as probabilidades do modelo devem ser (por outro lado, a Regra de Laplace pode ser usada quando nenhuma informação a mais é conhecida a respeito daquilo que se deseja modelar).
O pseudo-código para o AlgoritmoEstimaPC, que implementa o método, está adiante.
Nele, as contagens de uso de transições, emissões de símbolos e de estados iniciais estão acumuladas diretamente nas matrizes A,E e Π, sem fazer uso das contagens em separado para cada passeio (isto é, sem usarAj,Ej ou Πj).
5.4.3.1.1 Análise de Complexidade A inicialização das matrizesA,Ee Π com 0’s ou com pseudo-contadores é feita em tempo O(|Q|2) +O(|Q||Σ|) +O(|Q|) =O(|Q|2+|Q||Σ|).
As contagens das freqüências de transições, de emissões e de início de geração são feita pelo laço principal do algoritmo em tempo O(1) para cada caractere das seqüências de treinamento, isto é, em tempo totalO(Pjnj), ondenj =|sj|. Denotando porno max{nj}, segue que essa parte do algoritmo pode ser executada em tempoO(kn).
O cálculo das freqüências relativas é feito em três partes. Para a primeira, referente às probabilidades de transições, o algoritmo leva tempo O(|Q|2). Para a segunda, em que as probabilidades de emissão são estimadas, o tempo usado é O(|Q||Σ|). Para a terceira, onde as probabilidades iniciais são estimadas, o tempo é O(|Q|). Logo, o tempo gasto por estes cálculos é O(|Q|2+|Q||Σ|), o mesmo tempo (assintoticamente falando) usado na inicialização de A,E e Π.
O algoritmo leva, portanto, tempoO(|Q|2+|Q||Σ|+kn) para ser executado. Em casos de interesse, a quantidade de dados de treinamento é grande e o termokné dominante na complexidade de tempo.
Para contabilizar o espaço, basta observar que, excetuando-se as variáveis de controle dos laços, as variáveis A0,E0 e Π0 e as matrizes a,e eπ de saída, apenas as matrizes A,E e Π são utilizadas, que possuem tamanho total O(|Q|2+|Q||Σ|+|Q|) =O(|Q|2+|Q||Σ|).
Naturalmente, as matrizes a,e e π possuem, respectivamente, os mesmos tamanhos10 que
10Em uma implementação real do AlgoritmoEstimaPC, as matrizesa,e eπpodem ser as mesmas que A, E e Π, de forma que não é necessário usar espaço em separado para o cálculo das freqüências e das
5.4 Problemas Básicos de MMEOs 137