Elasticidade horizontal

Os resultados de precisão dos modelos ilustrados na Figura 6.2 demonstram que para as VNFs de menor complexidade (NAT e Firewall ), o ARENA Horizontal apresentou uma precisão perfeita na determinação do número de instâncias em adequação à demanda en- quanto o Baseline Horizontal só teve sucesso semelhante para a primeira VNF. Estas foram as funções de menor PRU entre todas, portanto tendem a suportar um maior vo- lume de tráfego sem ainda atingir o limiar de ocupação necessário, apresentando variação praticamente nula no número de instâncias ao longo da simulação.

Para a função de monitoramento de tráfego (TrafMonit ) a precisão foi a mais baixa obtida entre todas. Esta VNF apresentou característica exatamente oposta ao compor- tamento das duas primeiras, com maior variação no número de instâncias ao longo da simulação. Por possuir maior PRU entre todas, foi a VNF mais sensível à variação de tráfego, portanto aquela mais suscetível à variação entre o valor de demanda predito e o ocorrido de fato. Enquanto o ARENA obteve precisão de aproximadamente 30% nas decisões, o Baseline Horizontal apresentou um resultado de 0%.

Para as duas últimas funções, de otimização de WAN (WanOpt ) e inspecionador de pacotes (IDS), o ARENA foi mais preciso nas escolhas que o Baseline Horizontal, alcan- çando precisão próxima de 90 e 80% contra aproximadamente 65 e 0, respectivamente.

NAT Firewall TrafMonit WanOpt IDS VNF 0.0 0.2 0.4 0.6 0.8 1.0 Precision Score ARENA Horizontal Baseline Horizontal

Figura 6.2: Precisão dos modelos

em avaliação, pois a fração de verdadeiros positivos sobre o total de decisões indica a proporção de decisões perfeitamente equilibradas, isto é, que atenderam à demanda sem extrapolar o uso dos recursos. Nesse sentido, o ARENA Horizontal demonstrou assertivi- dade superior para todas as VNFs, o que não significa dizer que o Baseline Horizontal não está sendo capaz de se adequar às variações de demanda, conforme veremos nos demais resultados a seguir.

A Figura 6.3 apresenta os resultados de erro médio absoluto dos mecanismos de elas- ticidade avaliados. Podemos notar que o ARENA Horizontal apresentou menor distância média entre o número de instâncias determinado e o ótimo em relação ao Baseline Ho- rizontal, que apresentou uma distância média de 6 e 8 instâncias para as funções IDS e TrafMonit, respectivamente. É importante destacar que apesar do pior resultado de pre- cisão apresentado para a função TrafMonit, o ARENA apresentou erro médio abaixo de 1 para esta VNF e para todas as outras. Isto significa que, se considerarmos uma espécie de limiar de assertividade, o ARENA oferece um maior número de decisões próximas do ótimo para cada janela na comparação com o Baseline.

Para o cálculo da taxa de atendimento, foram registradas 2015 decisões de elasticidade horizontal durante os sete dias simulados para ambos os modelos. Aqui vamos conside- rar não apenas as decisões ótimas, mas aquelas que foram capazes de atender ou não a

NAT Firewall TrafMonit WanOpt IDS VNF 0 1 2 3 4 5 6 7 8 Mean Absolute Error ARENA Horizontal Baseline Horizontal Figura 6.3: MAE demanda esperada.

A partir da Figura 6.4 percebemos que a baixa precisão apresentada pelo Baseline Horizontal se explica pela tendência que este modelo apresentou de exceder a quantidade de instâncias em relação ao cenário ótimo. Desta forma, apresentou atendimento de 100% para todas as VNFs, exceto para WanOpt (77%), enquanto o ARENA Horizontal apresen- tou atendimento acima de 75% nas funções em que não obteve 100% de precisão. Apesar da desvantagem para o ARENA, os resultados demonstram um possível desequilíbrio no gerenciamento de custos do Baseline enquanto o resultado anterior de erro médio abso- luto mostra que as decisões abaixo da expectativa do ARENA seguem próximas do valor esperado.

A seguir são ilustradas as matrizes de confusão para as três últimas VNFs da cadeia de serviços. Matrizes de confusão ajudam a complementar os resultados anteriores, pois permitem visualizar a abrangência das decisões tomadas, onde quanto mais colorida for a diagonal principal e maior a concentração de decisões no triângulo superior da matriz, maior a assertividade do mecanismo.

A Figura 6.5 mostra as matrizes referentes à função NAT enquanto a Figura 6.6 refere- se à função de Firewall, com o registro da precisão de 100% do ARENA para ambas e a característica da escolha do Baseline, que acertou 98,5% das decisões para NAT, mas

NA T (ARENA) NA T (Baseline) Firew all (ARENA) Firew all (Baseline) T rafMonit (ARENA) T rafMonit (Baseline) W anOpt (ARENA) W anOpt (Baseline) IDS (ARENA) IDPS (Baseline) 0 250 500 750 1000 1250 1500 1750 2000 T otal of autoscaling decisions

Exact target matching Above target matching Below target matching

Figura 6.4: Taxa de atendimento para o cenário horizontal

excedeu o número de instancias para Firewall 77% das vezes.

(a) ARENA (b) Baseline Horizontal

Figura 6.5: Matrizes de Confusão - NAT

A Figura 6.7 ilustra a matriz de confusão para a VNF de monitoramento de tráfego. A partir dela percebe-se que o principal motivo para uma menor precisão para esta VNF

(a) ARENA (b) Baseline Horizontal

Figura 6.6: Matrizes de Confusão - Firewall

se deu por decidir pela quantidade de 6 instâncias, quando o valor ótimo em nenhum momento determinou essa mesma quantidade. Do total de decisões por 6 instâncias (650), 44% delas atenderam à demanda. Esta foi a VNF que mais ofereceu dificuldade de decisões assertivas para o ARENA, dada sua característica de PRU. Mesmo assim, as decisões se mantiveram sempre próximas da expectativa, conforme pode ser visto a partir da preenchimento diagonal da matriz.

A matriz do Baseline Horizontal mostra que o modelo optou por determinar 13 ins- tâncias durante praticamente todo o experimento, enquanto o valor ótimo oscilou entre 3 e 10 instâncias, confirmando sua tendência de desequilíbrio nos objetivos de custo.

(a) ARENA (b) Baseline Horizontal

Figura 6.7: Matrizes de Confusão - TrafMonit

A Figura 6.8 ilustra a matriz de confusão para a VNF de detecção de intrusão. Os resultados mostram que as decisões do ARENA muito próximas da diagonal principal,

enquanto o Baseline apresentou o mesmo comportamento de TrafMonit, escolhendo quase sempre 10 instâncias quando o cenário ótimo variou entre 2 e 7.

(a) ARENA (b) Baseline Horizontal

Figura 6.8: Matrizes de Confusão - IDS

Por fim, a matriz de confusão para a VNF WanOpt na Figura 6.9 apresentou para o ARENA decisões no triângulo superior representando 88,6% do total (1787 decisões pelo menos iguais à expectativa) contra 76,7% do Baseline (1547 decisões), com uma característica de decisão do Baseline Horizontal que mais se assemelhou ao ARENA entre todas, isto é, com decisões próximas daquelas registradas pelo cenário ótimo.

(a) ARENA (b) Baseline Horizontal

Figura 6.9: Matrizes de Confusão - WanOpt

Os resultados apresentados demonstram que o ARENA Horizontal foi superior na média das VNFs em termos de precisão (78,1% contra 36,7% do Baseline) e menor erro absoluto médio (0,23 contra 3,07 do Baseline), embora tenha apresentado taxa de atendi- mento inferior de 89,3% contra 95,4% do Baseline, graças a característica que este segundo

apresentou de extrapolar o número de instâncias principalmente nas VNFs de maior PRU, aquelas mais sensíveis à variação de demanda.

Mesmo assim, o menor erro absoluto médio mostra que o ARENA consegue se manter sempre mais próximo das decisões assertivas que o seu concorrente, confirmando a hipótese H1 levantada para Q1 de que pode-se obter um mecanismo de elasticidade proativa com alto nível de assertividade mediante auxílio de modelo de precisão e mapeamento entre demanda recursos, levando em conta os diferentes requisitos de cada uma das funções que compõem uma cadeia de serviços, sendo este superior neste quesito a um mecanismo proativo do estado da arte.