A verificação do modelo de simulação consiste em verificar se o modelo desenvolvido foi implementado correctamente e se o seu funcionamento está conforme o esperado, ou pretendido, por outras palavras é um conjunto de acções cuja meta é certificar se o modelo conceptual foi transcrito de forma adequada quando do uso da linguagem de simulação ou de programação. Consiste em verificar se o programa está a trabalhar como se espera. A verificação tem como objectivo a detecção e remoção de erros, relacionados com a lógica do modelo (Shannon (1998)).
A validação consiste na determinação se o modelo é uma representação aceitável do sistema. O objectivo da validação é passar confiança ao utilizador, mostrando que qualquer execução do modelo irá apresentar resultados que se coadunam com a realidade do sistema estudado. A validação do modelo desenvolvido é conseguida executando o modelo e comparando os seus resultados com os provenientes do sistema real. Se os resultados da execução da simulação se aproximarem dos valores reais, dentro de um nível de confiança desejado, o modelo será validado. A validação do modelo é muito importante, se as simulações são consistentes com a realidade, levam a que tanto o analista como o utilizador, ganhem confiança no modelo.
Figura 5-1: Fases de um estudo de simulação (adaptado de Law e McComas (1991))
Durante o processo de validação do modelo, é possível verificar se as abstracções e simplificações introduzidas no modelo conceptual, introduzem erros grosseiros nos resultados. A validade de um modelo está directamente relacionada com os seus objectivos e, de um modo geral, são efectuados diversos testes e avaliações até se obter um grau de confiança suficiente para considerar um modelo válido relativamente aos seus propósitos (Sargent(2000)).
Diversos autores como Law e Kelton (1991), Pedgen, et al. (1995) e Banks (1998), apresentam e descrevem várias técnicas utilizadas na verificação e validação de modelos de simulação. As diferentes técnicas deverão ser usadas conjuntamente uma
vez que, a sua utilização individual, não garante a correcta implementação do modelo e a sua adequação aos objectivos propostos (Ramos (2001)).
As principais técnicas e acções de verificação utilizadas neste estudo foram as seguintes:
• Controlar a execução interactivamente (‘debugger’): o controlador de execução possibilitou a monitorização do estado das variáveis e o controlo da execução do modelo de um modo interactivo, ou seja, permitiu executar o modelo passo a passo, suspender a execução do modelo em pontos críticos, e desta maneira permitem analisar os dados e resultados, alterar o valor de determinadas variáveis para forçar a ocorrência de erros. Para ajudar no “debugger” e permitir de uma forma mais rápida a alteração de algumas variáveis mais críticas foi adicionado um écran (Figura 5-2) que aparece sempre no arranque do programa e sempre que o utilizador interrompe o programa para verificar o estado das variáveis e resultados.
Figura 5-2: Ecrã de arranque e paragem do modelo
O utilizador pode desta maneira interagir como a seguir descrevo:
1- Activar/Desactivando as torres permitindo que estas peçam ou não peçam, caixas aos armazéns;
2- Alterar o número de caixas criadas pela simulação;
4- Alterar o número de pares médio em cada caixa;
5- Alterar o número de caixas a deslocarem-se para as torres em simultâneo.
• Teste de valores de entrada: a alteração dos valores dos parâmetros de entrada na execução do modelo permitiu avaliar o comportamento do modelo e verificar como se comportavam os parâmetros de saída, sobretudo com valores de entrada extremos ou errados. O écran apresentado na Figura 4-52 contribuiu em boa medida para esses testes.
• Observar a animação: através da animação, houve a possibilidade de detecção de determinados erros relacionados com a interacção dos diferentes componentes do sistema através da visualização dinâmica do comportamento do modelo desenvolvido durante a execução do mesmo.
Se o modelo de simulação é complexo, ou se o sistema a modelar não existe, ou não está instalado, a dificuldade em validar o modelo de simulação aumenta. Neste estudo as dificuldades foram um pouco amenizadas apesar do sistema modelado ser relativamente complexo, pelo facto de haver um sistema real já instalado. Contudo, a existência da instalação ajudou alguma coisa mas não muito, porque durante a fase do presente estudo, o sistema instalado movimentou muito menos caixas do que as inicialmente previstas.
As principais técnicas ou acções empregues segundo Ramos (2001), e adaptadas para o presente caso de estudo, para validar o modelo desenvolvido consistiram em :
• Análise de sensibilidade: consistiu na alteração dos valores dos parâmetros de entrada e analisar a sensibilidade (comportamento) dos parâmetros de saída.
• Testes piloto e teste de ‘turing’: a utilização de testes piloto, fase 5 da Figura 5-1, permitiu um tipo de validação subjectiva teste “Turing”, que consiste, na comparação dos dados obtidos pela simulação com os dados obtidos pelo sistema real, num mesmo formato. Posteriormente a apresentação dos dois resultados apresentados aos especialistas do sistema em forma de tabelas de nº de caixas para cada secção. Uma outra avaliação subjectiva, seria o recurso de especialistas “expert”, consistindo em submeter os dados gerados, a especialistas notórios da área. Estes baseados em suas experiências emitiriam pareceres sobre a confiabilidade do modelo. Este tipo de validação é aplicado quando não existe o sistema real, ou quando este não é utilizável (Silva (2005)), o que não foi o caso de estudo.
• Validade do analista: a execução de várias execuções do modelo, permitindo verificar a variabilidade estocástica do modelo.
• Análise com a equipa da empresa: o modelo conceptual de simulação e o seu comportamento foram discutidos com os membros da organização e foram avaliadas a sua razoabilidade.
• Animação do sistema modelado: a observação, por parte dos especialistas do modelo verificando o desempenho ao longo da execução da simulação permitiu contribuir para a validade do modelo desenvolvido.
No processo de validação do modelo foram verificados vários pontos considerados importantes para os quais a animação contribuiu significativamente:
- Entrada de caixas no sistema;
- A entrada e saída de caixas nos armazéns de gravidade; - Armazéns de gravidade – ocupação dos subarmazéns; - A entrada e saída de caixas no Armazém com o robô; - Armazém com robô – ocupação dos alvéolos;
- Ocupação dos armazéns (taxa de ocupação);
- Cruzamentos – verificação da correcta direcção das caixas; - ‘Buffers’ de entrada e saída de caixas nas torres;
- Saídas das torres (incrementos dos apontadores das caixas nas gamas operatórias, tempos da operação seguinte e destino da caixa);
- Verificar o algoritmo de pedido de caixas;
- Visualização dos atributos das caixas no espaço temporal da execução do modelo.
A utilização do conjunto de técnicas atrás referidas permitiu confirmar um correcto desenvolvimento do modelo de simulação e possibilitou a avaliação da sua precisão e adequação relativamente aos objectivos inicialmente definidos. A verificação e validação do modelo permitiram também ganhar confiança sobre os valores das variáveis de saída (resultados) sendo possível prosseguir o estudo e passar às fases de experimentação e análise de resultados.