2.4 Mistura de Especialistas
2.4.2 Mistura Hierárquica de Especialistas
Os modelos de mistura de especialistas podem se apresentar em versões hie- rárquicas sendo similares à arquitetura de árvores de decisão. Nesse sentido, a arquitetura ME é comparável àquela apresentada por Breiman et al. (1984) (CART) com a vantagem de não dividir o espaço de entrada de maneira abrupta e sim por uma transição gradativa entre especialistas (Lima, 2004). Dessa forma, segundo Jordan e Jacobs (1994), o problema de aumento de variância presente na arquitetura CART é reduzido por permitir que mais de um especialista con- tribua para a saída da mistura.
A mistura hierárquica de especialistas (MHE) é uma extensão da ME. Em um problema complexo, dividir o mesmo em subtarefas pode torná-lo mais simples de resolver. Quando essa divisão ainda resultar em subtarefas complexas, o mesmo argumento pode ser utilizado, e uma nova divisão pode ser realizada sobre os subproblemas e assim sucessivamente. A Fig. 2.7 apresentada uma MHE com quatro especialistas e três redes gating: uma rede gating no primeiro nível, dividindo o espaço de entradas original em duas subregiões e duas redes gatingde segundo nível que dividem essas duas subregiões, determinadas pela primeira rede, em outras subregiões. As redes gating podem ser vistas como os nós não-terminais e os especialistas como os nós-folhas de uma árvore.
O mesmo desenvolvimento matemático apresentado para ME pode ser es- tendido para MHE. Seguindo a notação da Fig. 2.7, a saída de cada nó não- terminal i é dada por:
yi =
∑
j
wj|iyij, (2.55)
Figura 2.7: Arquitetura de Mistura Hierárquica de Especialistas.
nesse caso a saída final da MHE, é determinada por:
y=
∑
i
wiyi, (2.56)
e os pesos atribuídos aos especialistas e às saídas dos nós não-terminais são, respectivamente: wj|i = e ξij ∑keξik, (2.57) wi = eξi ∑keξk, (2.58)
em que ξije ξie são o produto interno dos pesos da rede gating, vij e virespecti- vamente, com o vetor de entradas x.
A probabilidade total do valor desejado Φ dada a entrada x e os parâmetros livres das redes especialistas e gating, Θ = [θij, vi, vij], é modelada pela MHE
por, P(Φ|x, Θ) =
∑
i P(i|x, vi)∑
j P(j|i, x, vij)P(Φ|x, θij), (2.59) que produz o seguinte logaritmo da função de verossimilhança, sendo k o rótulo da observação, L(Θ, x, Φ) =∑
k ln∑
i wik∑
j wkj|iP(Φk |xk, θij). (2.60)Da mesma forma apresentada anteriormente, as probabilidades a posteriori dos nós não-terminais da árvore são (Jordan e Jacobs, 1994):
φj|i= wj|iP(Φ|x, θij)
∑jwj|iP(Φ|x, θij), (2.61)
φi= wi∑jwj|iP(Φ|x, θij)
∑iwi∑jwj|iP(Φ|x, θij), (2.62)
e a probabilidade a posteriori conjunta φji, probabilidade do especialista ij ter gerado a saída desejada Φ, produto entre φie φj|i, é dada por
φij = wiwj|iP(Φ|x, θij) ∑iwi∑jwj|iP(Φ|x, θij), (2.63) em que
∑
j∑
i φij =1. (2.64)Uma importante propriedade da probabilidade a posteriori em MHE é a recur- sividade em seu cálculo. A probabilidade a posteriori associada a um especialista é o produto das probabilidades condicionais pertencentes ao trajeto entre a raiz da árvore e o especialista (Jordan e Jacobs, 1994).
Conforme apresentado na Seção 2.4.1, os parâmetros de uma ME podem ser ajustados por meio da maximização da função de verossimilhança. De forma semelhante, os parâmetros da MHE podem ser ajustados pela maximização da função de verossimilhança, ou, de forma mais eficiente, do seu logaritmo na- tural, resultando nas seguintes regras de atualização dos parâmetros a cada
amostra xk, ∆vi =η N
∑
k=1 (φki −wki)xk, (2.65) ∆vij =η N∑
k=1 φik(φkj|i−wkj|i)xk, (2.66) ∆θij =η N∑
k=1 φkji(Φk−ykij)xk, (2.67)com η representando a taxa de aprendizado. Para o desenvolvimento dessas re- gras foi considerado que tanto os especialistas quanto as redes gating são lineares e, ainda, especialistas com probabilidades gaussianas com matriz de covariân- cias iguais à identidade. Observa-se pelas equações de atualização dos parâme- tros das redes gating, vie vij, que o incremento em seus valores é proporcional à diferença entre as probabilidades a posteriori e priori.
Na próxima seção será apresentado o algoritmo iterativo EM (Expectation Maximization) para estimação dos parâmetros livres da ME ou MHE cuja taxa de convergência é mais rápida do que o método do gradiente descrito (Moer- land, 1997b).
2.4.2.1 Aprendizado EM
O algoritmo EM, desenvolvido por Dempster et al. (1977), é uma técnica numé- rica simples e iterativa para maximização da função de verossimilhança, pos- suindo a propriedade de aumentar a verossimilhança a cada passo. O algoritmo é composto de duas etapas: uma etapa chamada Esperança (E), que determina uma função de verossimilhança a cada iteração, e uma etapa de Maximização (M), responsável por maximizar a verossimilhança definida na etapa E.
A aplicação do algoritmo EM parte do princípio de que o conjunto de dados observáveis, χ = {x, Φ}, pode ser visto como conjunto de dados incompletos e um conjunto de variáveis chamadas ausentes, z, é conhecido (Dempster et al., 1977). O conjunto formado pela união dos dados observáveis e ausentes é cha- mado de conjunto de dados completos, ψ = {χ, z}. O primeiro passo do algo- ritmo EM é calcular o valor esperado da verossimilhança dos dados completos em relação ao conjunto de parâmetros Θp, na iteração p, passo E (Dempster et al., 1977),
em que Lc é a função de verossimilhança dos dados completos - logaritmo natu- ral da densidade de probabilidade P(Φ, z|x, Θ)dada por:
P(Φk, zkij|xk, Θ) =
∏
i∏
j { wikwkj|iP(Φk| xk, θij)}zkij, (2.69) Lc(Θ; ψ) =∑
k∑
i∑
j zkij{ln wki +ln wkj|i+ln P(Φk |xk, θij)}, (2.70) sendo zkij = zkj|i zki. As variáveis ausentes zi correspondem aos indicadores binários para as redes gating do nível superior e zj|i correspondem às variáveis ausentes indicadoras das redes gating da camada inferior, de forma que para cada entrada xk existe apenas um zi e um zj|i iguais a 1 e o resto igual a zero. Sendo assim, zij indica qual o especialista responsável pela geração dos dados. Os valores esperados das variáveis ausentes são definidos por (Haykin, 1999),
E{zki} = P(zki =1|xk, Φk, Θp), (2.71) =φki, E{zkj|i} = P(zkj|i =1| xk, Φk, Θp), (2.72) =φkj|i, E{zkij} = E{zki zkj|i} = E{zki}E{zkj|i}, (2.73) =φkij,
sendo Θp a estimativa do vetor de parâmetros Θ na iteração p e φk
i, φkj|i e φijk as probabilidades a posteriori definidas pelas Eq. 2.62, 2.61 e 2.63 respectivamente.
Comparando com o logaritmo da função de verossimilhança para os dados incompletos, Eq. 2.60, pode-se observar que a introdução das variáveis ausentes possibilitou a decomposição do problema em vários subproblemas pois permi- tiu que o logaritmo fosse quebrado em parcelas de soma, simplificando o pro- blema de maximização. A maximização de Q implica a maximização do loga- ritmo da função de verossimilhança dos dados incompletos (Dempster et al., 1977).
Sendo assim, o passo E, Eq. 2.68, que consiste na obtenção da esperança de função de verossimilhança dos dados completos, define a seguinte função:
Q(Θ, Θp) =
∑
k∑
i∑
jA partir da obtenção de Q no passo E, o passo M é então aplicado a fim de maximizar Q em relação à Θ. Como o problema de maximização original (dados incompletos) foi dividido em três problemas de maximização distintos, estes podem ser resolvidos por:
θijp+1 =arg max θij