Avalia¸c˜ao Experimental da Metodologia - Alguns Resultados Anal´ıticos

3.2 Alguns Resultados Anal´ıticos

3.2.2 Avalia¸c˜ao Experimental da Metodologia

Para avaliar a performance, da metodologia proposta, resolvemos analisar, experi- mentalmente, o seu desempenho, aplicando-a à simula¸cão do (único) caso em que se conhecem alguns resultados anal´ıticos e que já usámos na seçcão anterior: uma fila de espera M/M/1, em três situa¸cões não estacionárias distintas, caracterizadas pelos seguintes valores do factor de utiliza¸cão:

a) ρ = 1, com λ = 1 e µ = 1 (cr´ıtico);

b) ρ = 1.5, com λ = 1.5 e µ = 1 (super-cr´ıtico); e c) ρ = 2, com λ = 2 e µ = 1 (hiper-cr´ıtico).

Com esta análise, pretend´ıamos verificar, até que ponto, era poss´ıvel identificar um metamodelo, adequado, para descrever o valor esperado do número de entidades no sistema e se, através da constru¸cão de intervalos de confian¸ca, a 95%, para o valor esperado do número de entidades no sistema, no instante t, a probabilidade de cobertura, estimada com base em 100 desses intervalos, se aproximava do valor teórico (conhecido).

Para este efeito, efectuámos um estudo de Monte Carlo, consistindo em 100 repeti¸cões do procedimento básico (que sintetiza a nossa metodologia), cada uma delas baseada em 30 réplicas independentes (runs) de cada um dos modelos de simula¸cão atrás referidos, num total de 100×30×3 execu¸cões independentes do(s) modelo(s) de simula¸cão da fila de espera M/M/1. Como no caso da seçcão anterior, considerámos, para condi¸cões iniciais, a fila vazia e o sistema inactivo.

Também à semelhan¸ca do que se verificou para a seçcão anterior, escolhemos, para dura¸cão da simula¸cão, 200 unidades de tempo, e decidimos efectuar a recolha do número de entidades no sistema (passo 1 da metodologia) em instantes consecutivos, separados de uma unidade de tempo, come¸cando a recolha no instante 0. Em seguida,

3.2 Alguns Resultados Anal´ıticos 59

calculámos, para cada instante t, a respectiva média amostral, com base nos valores correspondentes das 30 réplicas independentes, dando origem a uma série cronológica média de 200 observa¸cões; no mesmo instante t e a partir das mesmas observa¸cões cor- respondentes, nos 30 runs, calculámos, igualmente, a variância corrigida da amostra, utilizando o estimador ˆ σ2 t = 1 r − 1 r X j=1 (Yj,t− Yt)2, para t = 0, 1, . . . , 199 e r = 30.

Como resultado das 100 repeti¸cões deste procedimento básico, obtivemos, da recolha e respectivo tratamento dos dados, 100 séries médias e 100 séries com as variâncias estimadas, cada uma delas baseadas em 30 réplicas independentes.

O passo seguinte (passo 2 da metodologia) consiste em identificar o tipo de metamodelo, adequado, para descrever o comportamento das série médias. Para ilustra¸cão dos passos seguidos, vamos considerar uma série média, de cada uma das três fi- las de espera, descritas no in´ıcio desta seçcão. Em primeiro lugar, constru´ımos um cronograma para cada uma das séries; ver a Figura 3.5.

0 50 100 150 200 0 5 10 15 ρ =1 Tempo

Número médio de entidades no sistema

0 50 100 150 200 0 20 40 60 80 ρ =1.5 Tempo

Número médio de entidades no sistema

0 50 100 150 200 0 50 100 150 200 ρ =2 Tempo

Número médio de entidades no sistema

Figura 3.5: S´eries m´edias da fila M/M/1 (para ρ = 1, ρ = 1.5 e ρ = 2)

Observando a representa¸cão gráfica das três séries médias, constata-se que, ao contrário das duas últimas (que têm um comportamento, claramente, linear), a curva da primeira apresenta uma concavidade acentuada, pelo que decidimos, em primeiro lugar, tentar ajustar os seguintes metamodelos:

60 Análise de Simula¸cões Não Estacionárias Yt = β1 √ t + ut, para ρ = 1, (3.19) e Yt = β1t + ut, para ρ = 1.5 e ρ = 2, (3.20)

onde ut representa a componente estoc´astica do metamodelo.

Note-se que, para as três situa¸cões, a curva escolhida passa na origem, o que é justificado pelas condi¸cões iniciais dos respectivos modelos de simula¸cão.

Escolhido o metamodelo e como, neste caso, estamos perante metamodelos lineares (em rela¸cão aos parâmetros a estimar), de acordo com o passo 3 da metodologia, efectuámos uma estima¸cão preliminar, utilizando o método dos m´ınimos quadrados usuais. Aos res´ıduos desta estima¸cão, tentámos ajustar, em primeiro lugar, um modelo ARMA(p, q), analisando, como é habitual, o comportamento da fun¸cão de autocor- rela¸cão (FAC) e da fun¸cão de autocorrela¸cão parcial (FACP) estimadas. Para a série média correspondente a ρ = 1, representada, na Figura 3.5, a FAC e a FACP dos res´ıduos da estima¸cão preliminar estão representadas na Figura 3.6.

0 5 10 15 20 0.0 0.4 0.8 Lag FAC 5 10 15 20 −0.2 0.2 0.6 Lag FACP

Figura 3.6: FAC e FACP dos res´ıduos da estima¸cão preliminar da série média para ρ = 1

Apesar da FAC apresentar um lento decaimento para zero, verificou-se que era poss´ıvel ajustar um modelo AR(1) válido aos res´ıduos. O modelo AR(1) estimado pas- sou no teste de Ljung-Box, os parâmetros eram significativos e verificou-se, ainda, que os res´ıduos, obtidos da estima¸cão do modelo AR(1), eram normalmente distribu´ıdos. Conhecida a estrutura de autocorrela¸cão dos res´ıduos da estima¸cão preliminar, cal- culámos, então, as estimativas de máxima verosimilhan¸ca do metamodelo

Yt= β1 √

3.2 Alguns Resultados Anal´ıticos 61

onde se assume que εt ∼ N(0, σε2). Este processo foi repetido para as outras duas

s´eries, representadas na Figura 3.5, em que os metamodelos considerados foram

Yt = β1t + φ1ut−1+ εt, para ρ = 1.5,

Yt= β1t + φ1ut−1+ φ2ut−2+ εt, para ρ = 2.

As estimativas, obtidas para os parâmetros, os respectivos desvios padrão e o valor da estat´ıstica ti dada pela equa¸cão (3.6), são apresentados na Tabela 3.2.

Tabela 3.2: Metamodelos estimados para a fila M/M/1 (para ρ = 1, ρ = 1.5 e ρ = 2)

Metamodelo Parˆametro Estimativa Desvio Padr˜ao ti

ρ = 1 β1 1.1833 0.0276 42.8732 φ1 0.9397 0.0226 41.5796 ρ = 1.5 β1 0.4736 0.0070 67.6571 φ₁ 0.9814 0.0124 79.1452 ρ = 2 β₁ 1.0042 0.0064 156.9063 φ1 0.9254 0.0709 13.0522 φ2 0.0544 0.0710 0.7662

Finalmente, aos res´ıduos obtidos, nesta segunda estima¸cão, foi novamente efectu- ada uma análise, para verificar a adequa¸cão, dos metamodelos ajustados, aos dados (passo 4 da metodologia). Esta análise consistiu em verificar se os res´ıduos eram não correlacionados (teste de Ljung-Box) e se eram normalmente distribu´ıdos (teste de Shapiro-Wilk). Estes critérios foram satisfeitos, pelo que, os metamodelos foram aceites.

Para verificar, até que ponto, a nossa abordagem permite discriminar, entre modelos semelhantes, experimentou-se, também, ajustar outros metamodelos à série média, para o caso de ρ = 1, nomeadamente, um metamodelo polinomial de ordem 2 e um metamodelo não linear. As expressões destes metamodelos são, respectivamente,

Yt= β1t + β2t2+ ut e Yt = β1tβ2 + ut.

A estima¸cão, dos parâmetros destes metamodelos, seguiu os mesmos passos, que descrevemos, anteriormente, para o caso dos metamodelos (3.19) e (3.20); isto é, estima¸cão preliminar, análise dos res´ıduos, estima¸cão final e análise dos res´ıduos finais.

62 Análise de Simula¸cões Não Estacionárias

A única diferen¸ca é que, para efectuar a estima¸cão preliminar do metamodelo não linear, é utilizado o método dos m´ınimos quadrados não lineares.

As estimativas, obtidas para os parâmetros, os respectivos desvios padrão e o valor da estat´ıstica ti, para os dois metamodelos alternativos, são apresentados na Tabela

3.3.

Tabela 3.3: Metamodelos alternativos (fila M/M/1, com ρ = 1)

Metamodelo Parˆametro Estimativa Desvio Padr˜ao ti

β1 0.1647 0.0110 14.9727 Yt= β1t + β2t2+ φ1ut−1+ εt β2 -0.0004 6×10−5 -6.6667 φ1 0.9510 0.0218 43.6239 β1 0.8721 0.1445 6.0353 Y_t= β₁tβ2 _{+ φ} 1ut−1+ εt β2 0.5634 0.0339 16.6195 φ1 0.9282 0.0248 37.4274

Na Tabela 3.4, apresentamos algumas estat´ısticas de diagnóstico dos três metamodelos estimados, nomeadamente, a soma dos quadrados dos res´ıduos (SSE), o erro quadrático médio (MSE), o critério de Akaike (AIC) e o critério de Schwarz (BIC). É de salientar que, as estat´ısticas SSE e MSE são calculadas com base nos res´ıduos da componente determin´ıstica.

Tabela 3.4: Compara¸c˜ao de metamodelos alternativos (fila M/M/1, com ρ = 1)

Metamodelo SSE MSE AIC BIC

Yt= β1 √ t + φ1ut−1+ εt 119.2204 0.5961 28.9585 38.8535 Yt= β1t + β2t2+ φ1ut−1+ εt 151.3294 0.7566 39.0237 52.217 Y_t= β₁tβ2+ φ 1ut−1+ εt 97.0328 0.4852 26.9226 40.1159

Como podemos observar, o metamodelo, com melhores resultados em três das estat´ısticas, é o metamodelo não linear. Apesar disso, como os valores do metamodelo linear são muito próximos do metamodelo não linear e atendendo a que é, geralmente, prefer´ıvel trabalhar com metamodelos lineares, a nossa escolha recaiu sobre este.

Assim, considerando o metamodelo (3.19), para o caso de ρ = 1, e o metamodelo (3.20), para ρ = 1.5 e ρ = 2, procedeu-se à estima¸cão dos parâmetros, dos mesmos, para as restantes 99 séries médias.

3.2 Alguns Resultados Anal´ıticos 63

Após a estima¸cão do conjunto total de 100 séries, verificou-se que, para o caso de

ρ = 1, a utiliza¸c˜ao do metamodelo linear (3.19) nem sempre permitia descrever, con-

venientemente, a componente determin´ıstica dos modelos simulados, como podemos observar na Figura 3.7 (a curva, a preto, representa a série média e a curva, a azul, a componente determin´ıstica do metamodelo estimado). A t´ıtulo de exemplo, para o metamodelo, representado no gráfico (c), o valor de SSE é 2942.5096, claramente um valor muito elevado.

0 50 100 150 200 0 5 10 15 20 (a) Tempo