Classe 2: Variando a carga do sistema

Nesta classe de exemplos consideraremos o estudo da influˆencia do desempenho do algoritmo proposto quando a carga do sistema ´e variada. Esta variac¸˜ao ´e realizada atrav´es do parˆametro µ, que representa a capacidade de servic¸o destinada a fila de fluido.

Primeiramente, seja o HMM, com dois estados ocultos A e B, com taxa de chegada de informac¸˜oes em A igual a δ1 = 0e taxas de chegada em B, δ2 = 10000e δ3 = 15000,

com probabilidades {p2 = 0.2, p3 = 0.8} (como mostrado na Figura 5.7). A taxa de

transic¸˜ao de A → B ´e igual a 5 e de B → A igual a 10. Desta forma, a taxa m´edia de chegada de informac¸˜oes na fila de fluido com tamanho B = 500 ´e de δm´edio = 4666 unidades de informac¸˜ao e µ = 4713. A Figura 5.8 apresenta a soluc¸˜ao aproximada para carga de ρ = 0.99. O seguinte conjunto de recompensas foi atribu´ıdo ao processo de observac¸˜oes Y: {r1 = −4713, r2 = 5287, r3 = 10287}.

O erro absoluto m´aximo para a soluc¸˜ao inicial usada pelo algoritmo aproximativo foi de 2.4266e−3, sendo esta mesma m´etrica, quando utilizada a soluc¸˜ao aproximada, igual a 4.62876e−3. Neste cen´ario a soluc¸˜ao inicial j´a est´a pr´oxima ao resultado exato. Note que a recompensa r3emitida no estado oculto B, ´e aproximadamente apenas 2 vezes maior que

a recompensa r2emitida neste mesmo estado. O total de iterac¸˜oes necess´arias para atingir

o crit´erio de parada utilizado foi de 3, para valor m´aximo de autovalores envolvidos na ordem de 1e−2.

A _B 5

10 {r₁}

{r₂,r₃}

Figura 5.7: HMM utilizado para o segundo conjunto de exemplos. O processo possui dois estados ocultos trˆes recompensas distintas.

0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0 100 200 300 400 500 Solução Exata Solução Aproximada Solução Inicial Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.8: Resultados obtidos pelo algoritmo iterativo para um modelo de Markov oculto com dois estados ocultos e carga no sistema de ρ = 0.99 e B = 500.

Consideremos uma carga no sistema igual a ρ = 0.7. Com as mesmas taxas de trans- miss˜ao descritas anteriormente, a capacidade do canal que serve as informac¸˜oes enviadas a fila de fluido ´e de µ = 6665. As seguintes recompensas s˜ao emitidas pelos estados ocultos: {r1 = −6665, r2 = 3335, r3 = 10334}. A Figura 5.9 mostra os resultados

obtidos para este caso em estudo. O erro absoluto m´aximo para a medida de interesse, considerando a soluc¸˜ao inicial foi de 1.0425e−2. Quando comparado com a soluc¸˜ao apro- ximada decorrente da aplicac¸˜ao do algoritmo proposto, o erro foi de 1.5031e−2, com um total de 3 iterac¸˜oes executadas.

Seja o mesmo HMM descrito anteriormente, para um novo tamanho de fila B = 1000, carga no sistema de ρ = 0.7 e µ = 5951. As seguintes recompensas s˜ao atribu´ıdas ao processo de observac¸˜ao Y: {r1 = −5951, r2 = 4049, r3 = 9049}, com probabilidades

0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0 100 200 300 400 500 Solução Inicial Solução Aproximada Solução Exata Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.9: Resultados obtidos pelo algoritmo iterativo para um HMM com dois estados ocultos e carga no sistema de ρ = 0.7 e B = 500.

sultados. Ap´os a aplicac¸˜ao do algoritmo, o m´aximo erro absoluto diminuiu em 2 vezes, passando de 1.7182e−2 para 7.5870e−3, quando comparado com o erro absoluto m´aximo da soluc¸˜ao inicial. 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 0 200 400 600 800 1000 Solução Inicial Solução Aproximada Solução Exata Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.10: Resultados obtidos pelo algoritmo iterativo para um HMM com dois estados ocultos, B = 1000 e carga no sistema de ρ = 0.7.

Passemos a seguinte carga no sistema: ρ = 0.5 e µ = 8332. Para este sistema, temos os seguintes valores de recompensas podem ser emitidos: {r1 = −8332, r2 = 1668, r3 =

6668}. A Figura 5.11 apresenta os resultados obtidos. Podemos observar que a soluc¸˜ao inicial, onde o termo dado pela Equac¸˜ao 5.30 ´e igualado a zero encontra-se mais distante

do que todos os demais resultados aproximados, com m´aximo erro absoluto da soluc¸˜ao inicial igual a 6.5117e−2. Confirmando o comportamento mostrado na Sec¸˜ao 5.5.1, quanto maior a diferenc¸a entre os valores de recompensas emitidos em um mesmo estado oculto, mais distante encontra-se a soluc¸˜ao inicial. O erro da aproximac¸˜ao proposta, que neste caso foi de 2.8262e−2. Apesar de o valor ser maior que nos casos anteriores, este erro equivale a aproximadamente 5% do menor valor da medida de interesse sendo calculada.

0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 0 200 400 600 800 1000 Solução Inicial Solução Aproximada Solução Exata Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.11: Resultados obtidos pelo algoritmo iterativo para um HMM com dois estados ocultos, B = 1000 e carga no sistema de ρ = 0.5.

Como um segundo conjunto de exemplos, seja um modelo de Markov oculto com S = {A, B, C}, e as seguintes taxas de emiss˜ao de informac¸˜ao: para o estado A, {δ1 =

0, δ2 = 20, δ3 = 50}, com probabilidades {p1 = 0.3, p2 = 0.3, p3 = 0.4}; para o

estado B, {δ4 = 900, δ5 = 800, δ6 = 500}, com probabilidades {p4 = 0.2, p5 =

0.3, p6 = 0.5}; e estado C, {δ7 = 800, δ8 = 500, δ9 = 700}, com probabilidades

{p7 = 0.2, p8 = 0.7, p9 = 0.1}. O tamanho da fila de fluido associada ao HMM ´e de

B = 100. A Figura 5.12 apresenta a representac¸˜ao gr´afica do modelo.

Consideremos a an´alise do resultado da aplicac¸˜ao do algoritmo iterativo proposto quando a carga de informac¸˜oes no sistema ´e de ρ = 0.99, com capacidade de servic¸o de informac¸˜oes µ = 331. Os valores de recompensas emitidas pelo processo Y de observac¸˜oes s˜ao: R = {r1 = −331, r2 = −311, r3 = −271, r4 = 569, r5 = 469, r6 =

169, r7 = 469, r8 = 169, r9 = 369}. A aplicac¸˜ao do algoritmo iterativo aproximativo

reduziu o erro m´aximo absoluto em aproximadamente 2 vezes, em relac¸˜ao ao erro ab- soluto m´aximo da soluc¸˜ao inicial. Foram necess´arias 15 iterac¸˜oes para obter a medida aproximada, sendo a m´axima ordem dos autovalores envolvidos igual a 1e−2. A Figura

A B C 5 10 4 5 2 3 {r₁,r₂,r₃} {r4,r5,r6} {r₇,r₈,r₉}

Figura 5.12: Modelo de Markov oculto utilizado para o segundo conjunto de exemplos. Neste, temos trˆes estados ocultos, com a possibilidade de emiss˜ao de nove recompensas distintas.

5.13 mostra os resultados obtidos.

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 20 40 60 80 100 Solução Exata Solução Inicial Solução Aproximada Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.13: Resultados obtidos pelo algoritmo iterativo para um HMM com trˆes estados ocultos, B = 100 e carga no sistema de ρ = 0.99.

Seja a carga no sistema igual a ρ = 0.9 e µ = 364. As recompensas emitidas s˜ao as seguintes R = {r1 = −364, r2 = −344, r3 = −314, r4 = 536, r5 = 436, r6 =

136, r7 = 436, r8 = 136, r9 = 336}, onde podemos observar que a m´axima diferenc¸a

entre recompensas emitidas por um mesmo estado oculto n˜ao ultrapassa 3 vezes. A Figura 5.14 apresenta os resultados. O erro m´aximo da soluc¸˜ao inicial ocorre no ponto y ≈ 50, onde a soluc¸˜ao aproximada ´e igual a w(50) = 6.9998e−1 e a soluc¸˜ao exata ´e igual a w(50) = 5.9259e−1, ou seja, um erro absoluto de aproximadamente 18% da medida exata. Considerando a soluc¸˜ao aproximada, temos que w(50) = 6.0409e−1, ou seja, um erro de

apenas 2% em relac¸˜ao a medida exata. Em contrapartida, conforme podemos observar, a diminuic¸˜ao do erro n˜ao ´e a mesma para todos os n´ıveis de recompensa acumulada. Por exemplo, consideremos o ponto y = 80. Para este caso, o erro diminuiu de 14% para 6%.

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 20 40 60 80 100 Solução Exata Solução Aproximada Solução Inicial Tamanho da Fila P[CR <= Tamanho Fila]

Figura 5.14: Resultados obtidos pelo algoritmo iterativo para um HMM com trˆes estados ocultos, B = 100 e carga no sistema de ρ = 0.9.

Finalizando, consideremos o caso em que a diferenc¸a entre valores das recompensas emitidas em um determinado estado oculto ´e de, no m´aximo, aproximadamente 5.5 vezes. Este cen´ario ocorre quando consideramos ρ = 0.8 e µ = 410, resultando no seguinte conjunto de recompensas R = {r1 = −410, r2 = −390, r3 = −360, r4 = 490, r5 =

390, r6 = 90, r7 = 390, r8 = 90, r9 = 290}. A Figura 5.15 ilustra os resultados obtidos.

O erro absoluto m´aximo, quando considerada a soluc¸˜ao inicial, foi de 1.7850e−1, ocorrido no ponto y ≈ 50, resultando em um erro de 25% da medida exata. Ap´os a aplicac¸˜ao do algoritmo iterativo, este erro diminui para 7% da medida exata. O m´aximo erro absoluto da soluc¸˜ao aproximada foi igual a 7.9628e−2, ocorrido no ponto y ≈ 80, e, portanto, inferior a 10% da medida real.