Os dados a analisar são obtidos através de ficheiros com informação estruturada, gerada pelos veículos aéreos, terrestres, marítimos e submergíveis.
Para cada simulação efectuada por uma equipa de veículos, é criada uma pasta onde são armazenados todos os ficheiros de log produzidos na mesma, ou seja, todos os ficheiros produzidos por todos os veículos intervenientes (ver Figura 68). Deve-se notar que durante a simulação efectuada, um veículo pode efectuar vários tipos de tarefas/missões. Por exemplo, um veículo terrestre pode efectuar, durante uma simulação, uma missão de procura e outra missão de salvamento.
Figura 68 – Cada simulação efectuada regista os logs dentro de uma pasta específica
Na aplicação, após seleccionada a pasta que contém todos os dados de uma determinada simulação, todos os dados são imediatamente carregados.
Após carregados, as potencialidades do sistema passam a estar disponíveis. Torna-se possível efectuar as análises de desempenho pretendidas, sejam elas a uma determinada equipa ou a um conjunto de equipas, a um veículo de uma equipa.
Uma das características dinâmicas da aplicação é verificada pela possibilidade de adição de novas métricas de avaliação, seja métricas de avaliação de veículos, seja métricas de avaliação de equipas através da aplicação. Para tal, no menu de configurações, é possível fazê- lo, atribuindo um nome à métrica, um nome de função da métrica e o tipo de métrica que se trata (veículos ou equipas). Cada métrica tem uma função de avaliação associada sendo que as funções de avaliação têm um formato comum de argumentos. Significa que, além das funções de avaliação construídas neste trabalho, é possível acrescentar novas bastando para tal
acrescentar o algoritmo pretendido ao programa, sem ser necessário alterar mais nenhuma parte da aplicação. No caso de funções já inutilizadas ou em caso de erro, é possível também eliminar funções existentes no sistema. A Figura 69 apresenta a interface principal da aplicação, onde se podem efectuar as configurações descritas.
Figura 69 – Interface principal da aplicação da Análise de Performance Na interface principal da aplicação, após carregar os dados, uma das primeiras acções a efectuar é a configuração dos tipos de missões. São listados os vários tipos de missões existentes e após seleccionar a que pretendemos configurar, abre-se um novo menu de configuração da missão. Aí, para uma missão podemos criar ou eliminar perfis. Como anteriormente foi referido, o perfil é associado a um tipo de avaliação, a um veículo ou a uma equipa. Após criado o perfil, é possível editar todo o seu conteúdo. A partir das opções disponibilizadas, é possível adicionar ao perfil novas métricas de avaliação. É apresentada uma lista de métricas disponíveis para o perfil que podem ser adicionadas ao perfil. Por outro lado, é possível também remover do perfil métricas que haviam sido adicionadas mas que não são necessárias. O utilizador pode então atribuir os pesos a cada umas das métricas pertencentes ao perfil em avaliação. Como referido, os pesos são uma avaliação quantitativa numa escala de 0 – 100. Após guardar as alterações, é possível adicionar e remover novos perfis à missão. O utilizador pode e deve efectuar esta configuração para todos os tipos de missões existentes nos logs carregados através da interface demonstrada na Figura 70.
No menu de configuração principal, o utilizador tem a possibilidade de seleccionar o tipo de análise que pretende fazer, se ao veículo, se à equipa, se a várias equipas. No caso de ser a várias equipas, selecciona as que pretende na checklist que é criada dinamicamente e que contém todas as simulações carregadas. A forma de carregamento de simulações é igual, seja para carregar uma, seja para carregar n simulações.
Caso contrário, selecciona apenas a equipa que pretende analisar e no caso de querer analisar o desempenho de um veículo em específico, deve seleccionar o veículo a analisar.
Finalmente, a última configuração a efectuar são a escolha dos perfis a utilizar na avaliação. Para isso, são listadas todas os tipos de missões existentes, dinamicamente, e para cada um o utilizador selecciona qual dos perfis, configurados anteriormente, deseja utilizar para efectuar a avaliação.
Após todas estas configurações, dá-se o pedido de efectuar o cálculo das estatísticas do sistema.
Figura 70 – Interface de configuração de Métricas pertencentes à avaliação de uma Missão
As estatísticas são dispostas, para cada métrica, em gráficos de percentagem de utilidade em função do tempo e qual a percentagem de utilidade conseguida por cada métrica. O último gráfico corresponde à agregação do desempenho das várias métricas com os seus pesos respectivos, ao mesmo tempo que é classificada, no geral, o desempenho final de toda a simulação. A Figura 71 demonstra um exemplo bastante simples, com apenas duas métricas em análise e o gráfico referente à agregação de todas as métricas intervenientes. Como se pode observar pelo gráfico agregado, o peso das duas métricas neste exemplo é equivalente.
Com esta aplicação dinâmica e configurável, torna-se possível efectuar a análise de desempenho de qualquer simulação efectuada. Isso, e com a apresentação dos gráficos em função do tempo de execução tanto das métricas como da função de avaliação final, permite uma análise pormenorizada e cuidada da simulação e com isso, torna-se possível estudar e implementar melhorias nos agentes que controlam os veículos de forma a melhorarem a qualidade de simulação e a rapidez de atingir os seus objectivos.
5.6 Resumo
Desenvolveu-se uma aplicação dinâmica e extensível que permite carregar logs de execução de veículos e condições de cenário e a partir dos mesmos efectuar uma análise de desempenho de forma a perceber quais os aspectos que podem ser melhorados na execução de missões. Foram também desenvolvidas métricas de análise de desempenho para um grupo de missões restrito mas a aplicação suporta a inclusão de novas métricas para análise de desempenho de missões não abordadas sem necessitar de alterar a sua arquitectura.
6 – Conclusões e Trabalho Futuro
Neste capítulo pretende-se apresentar a apreciação final e global da satisfação dos objectivos propostos para o projecto assim como as principais direcções e recomendações para trabalho futuro.