Parametrizar, Validar e Calibrar os Modelos

Esta atividade desenvolvida pelo Avaliador é responsável pela construção de um modelo de desempenho voltado para avaliação das métricas do sistema. O primeiro passo é a obtenção dos valores para os parâmetros do Modelo de

Referência do Sistema. Em seguida, o modelo precisa ser validado e calibrado

para representar o comportamento de desempenho do sistema real. Ao fim dessa atividade o artefato gerado é o Modelo Refinado do Sistema.

3.6.1 Parametrização

O Modelo de Referência é um modelo sob o qual é derivado um modelo específico para a plataforma onde o sistema encontra-se implantado. Essa derivação é realizada através do cálculo dos parâmetros de entrada do modelo (parâmetros do sistema, dos recursos, e da carga de trabalho). Esse cálculo é realizado a partir de medições específicas do SUT, que são suportadas por ferramentas descritas no próximo capítulo.

Depois que o Modelo de Referência recebe os valores dos seus parâmetros de entrada, torna-se um modelo específico para a plataforma alvo chamado Modelo

recursos computacionais que descrevem a configuração da arquitetura, o software, e a carga de trabalho do SUT.

3.6.2 Validação

A validação de um modelo garante que ele representa com certa fidelidade o comportamento do sistema real. Para realizar essa validação é necessário realizar primeiramente um teste de consistência que verifica se o modelo se comporta de forma coerente e consistente quando os valores dos parâmetros de entrada são modificados de forma harmônica.

Por exemplo, suponha que você está avaliando o MOM recebendo 10mps (mensagens por segundo) de apenas um produtor, e que você modifica para que ele passe a receber 5mps de dois produtores, ou seja, teoricamente o comportamento do MOM deveria ser similar, pois a carga é similar.

Na Seção 3.3.3 são definidos possíveis impactos no desempenho do MOM a partir da variação dos principais parâmetros. Esse conjunto de hipóteses pode e deve ser utilizado para verificar a consistência do modelo.

Após o teste de consistência, é necessário realizar um teste comparativo com o sistema real. Para isso, é necessário escolher cenários de validação que explorem os aspectos gerais e específicos do sistema.

Esses cenários precisam ser implementados tanto no modelo quanto no sistema real. Em seguida, o sistema real deve ser submetido a uma atividade de medição para avaliar métricas de desempenho escolhidas para o sistema. Os resultados obtidos na medição são comparados com os resultados obtidos por simulação ou resolução analítica do modelo.

Menascé [Menascé e Almeida 2002] define que para o planejamento de capacidade, resultados obtidos através de modelos que possuam taxas de erro entre 10% a 30% dos valores reais é bastante satisfatório.

3.6.3 Calibragem

Considerando que durante a validação o modelo apresente distorções nos resultados, seja na verficação de consistência, ou mesmo na validação comparativa com o sistema real, faz-se necessário a calibragem do modelo para que seus resultados passem a ser satisfatórios.

A calibragem normalmente consiste em refinamento estatístico dos valores dos parâmetros do modelo. Algumas vezes o procedimento para obtenção dos parâmetros embutiu erros estatísticos elevados, ou até mesmo os valores não passaram por tratamentos de outliers, por exemplo. O importante nesse passo é garantir que os parâmetros são representados de forma mais fiel possível. Mais detalhes sobre tratamento estatístico de medições pode ser encontrado no Apêndice A.

Uma vez realizado esse refinamento dos parâmetros o modelo precisa novamente passar pelo passo da Validação até que o modelo esteja representando com a fidelidade desejada o sistema real.

Por conta de tudo isso esse passo é muitas vezes denominado de refinamento, e produz ao final o Modelo Refinado do Sistema.

70 Prever a Evolução da Carga de Trabalho

3.7

Prever a Evolução da Carga de Trabalho

Esta atividade desenvolvida pelo Gerente de Capacidade é responsável pela previsão da evolução da carga de trabalho, garantindo que o MOM não comprometerá o processo de integração.

Para isso, o Gerente de Capacidade necessita dos artefatos Arquitetura do

Serviço de Integração e do Modelo de Carga de Trabalho e precisa realizar os

seguintes passos: selecionar as demandas de serviço, definir métricas de negócio, estimar crescimento do negócio e relacionar métricas de negócio com a demanda por serviços.

Ao final, é produzido o artefato com os Cenários de Carga estimados para o futuro como uma evolução da carga de trabalho atual. A idéia central é estabelecer possíveis situações de evolução em que o sistema será submetido e ser capaz de avaliar a resposta de desempenho que o sistema deverá produzir em cada um dos cenários.

3.7.1 Selecionar as Demandas de Serviço

Algumas demandas de serviço precisam ser mapeadas como sendo objeto da previsão. Ou seja, a previsão deve estebelecer possíveis cenários de evolução das demandas escolhidas.

No contexto de integração de aplicações corporativas, a quantidade de mensagens geradas pelas interações de integração é uma boa demanda de serviço.

3.7.2 Definir Métricas de Negócio

As métricas de negócio que se relacionam com o contexto de integração podem ser obtidas pela observância das ocorrências de eventos geradores das interações de integração, ou seja, eventos que resultam em uma sequência de troca de mensagens. Na atividade de caracterização da carga de trabalho esses eventos foram identificados e modelados no Modelo de Carga de Trabalho. 3.7.3 Estimar Crescimento do Negócio

O próximo passo é a estimativa de crescimento do negócio em função das métricas de negócio definidas. No contexto de integração de aplicações utilizando MOMs, é natural procurar respostas para questões relacionadas ao crescimento da utilização dessas aplicações envolvidas na integração. Quanto mais usuários e transações, a tendência é que exista mais trabalho para o MOM. Ou seja, nesse passo procura-se entender a evolução do negócio para determinar depois o impacto na infra-estrutura de integração.

3.7.4 Relacionar Métricas de Negócio com Demandas de Serviço

O passo seguinte é relacionar dados históricos de demandas de serviço a indicadores de negócio.

Por fim, baseado na estimativa de crescimento do negócio e na relação entre medidas de negócio e demandas por recursos, elabora-se uma previsão de futuro construindo cenários possíveis para a evolução da carga de trabalho.