4.2 Execução dos livros de testes e problemas encontrados
4.2.1 Medidor inteligente
Para o medidor inteligente foi encontrada a seguinte quantidade de bugs mostrada na Tabela 16 e exposta na Figura 18.
Tabela 16 – Quantidade de bugs encontrados para o Medidor Inteligente.
Modelo Quantidade de bugs Somente medidor Monofásico 12
Somente medidor Polifásico 91
Ambos os modelos 307
Fonte: o autor.
Os bugs encontrados foram divididos em graus de criticidade, nível de prioridade de resolução e capacidade de reprodução (reprodutibilidade). O grau de criticidade foi segmentado em: pequeno e grande; o nível de prioridade de resolução foi fragmentado em: normal, alto e urgente; e a reprodutibilidade foi divida em: sempre, as vezes e randômico. Nas Tabelas 17, 18
Figura 17 – Ambiente de relato da plataforma Mantis Bug Tracker
Figura 18 – Quantidade de bugs encontrados por modelo
Fonte – o autor.
e 19 são expostos os dados quantitativos para as classes de avaliação dos bugs descritas neste parágrafo, respectivamente. E nos gráficos das Figuras 19, 20 e 21 os dados são expostos na forma percentual com o objetivo de clarificar o impacto de cada classe.
Tabela 17 – Grau de criticidade.
Grau de criticidade Quantidade de bugs por classe
Pequeno 264
Grande 146
Fonte: o autor.
Figura 19 – Grau de criticidade
Fonte – o autor.
Todos os bugs encontrados foram evidenciados e reportados à equipe responsável pelo desenvolvimento do produto. Após a análise, os problemas que foram solucionados são retestados e averiguado o impacto da resolução em outras funcionalidades. Na Tabela 20 está
Tabela 18 – Nível de prioridade de resolução.
Nível de prioridade de resolução Quantidade de bugs por classe
Normal 307
Alto 51
Urgente 52
Fonte: o autor.
Figura 20 – Nível de prioridade resolução
Fonte – o autor.
Tabela 19 – Capacidade de reprodução.
Reprodutibilidade Quantidade de bugs por classe
Sempre 358
As vezes 34
Randômico 18
Fonte: o autor.
Figura 21 – Capacidade de reprodução
Fonte – o autor.
listado o estado de resolução do bug, que foi categorizado em: resolvido e em aberto; e a quantidade de bugs por categoria. A Figura 22 apresenta os dados da Tabela 20 no formato de
gráfico do tipo pizza.
Tabela 20 – Estado de resolução dos bugs.
Estado de resolução Quantidade de bugs por classe
Resolvido 360
Em aberto 50
Fonte: o autor.
Figura 22 – Estado de resolução de bugs
Fonte – o autor.
4.2.2 Sistema de Medição Centralizada
Para o SMC foram seguidos os mesmos padrões de quantificação e qualificação de bugsencontrados para os medidores inteligentes.
Na Tabela 21 tem-se a quantidade de bugs encontrados para os dispositivos testados que compõem o SMC, e na Figura 23 tem-se o percentual de bugs identificados por equipamento que constitui o sistema final.
Tabela 21 – Quantidade de bugs encontrados para os dispositivos que constitui o SMC.
Dispositivo Quantidade de bugs
CPU 83
Módulo de Medição 70
Mostrador 56
Concentrador Primário e Secundário 132 Fonte: o autor.
Figura 23 – Percentual de bugs encontrados para os dispositivos que compõem o SMC.
Fonte – o autor.
Nas Tabelas 22, 23 e 24 são expostos os dados quantitativos para as classes de avaliação dos bugs. E nos gráficos das Figuras 24, 25 e 26 os dados são expostos na forma percentual com o objetivo de clarificar o impacto de cada classe.
Tabela 22 – Grau de criticidade.
Grau de criticidade Quantidade de bugs por classe
Pequeno 287
Grande 54
Fonte: o autor.
Figura 24 – Grau de criticidade
Fonte – o autor.
Na Tabela 25 está listado o estado de resolução do bug, que foi categorizado em: resolvido e em aberto; e a quantidade de bugs por categoria. A Figura 27 apresenta os dados da Tabela 25 no formato de gráfico do tipo pizza.
Tabela 23 – Nível de prioridade de resolução.
Nível de prioridade de resolução Quantidade de bugs por classe
Normal 211
Alto 121
Urgente 9
Fonte: o autor.
Figura 25 – Nível de prioridade resolução
Fonte – o autor.
Tabela 24 – Capacidade de reprodução.
Reprodutibilidade Quantidade de bugs por classe
Sempre 288
As vezes 24
Randômico 29
Fonte: o autor.
Figura 26 – Capacidade de reprodução
Fonte – o autor.
A taxa de resolução dos problemas encontrados foi superior a 83%, para os medidores inteligentes e para o sistema de medição centralizada. Os outros problemas se encontram em
estado de avaliação para futura resolução pelo desenvolvedor. Tabela 25 – Estado de resolução dos bugs.
Estado de resolução Quantidade de bugs por classe
Resolvido 284
Em aberto 57
Fonte: o autor.
Figura 27 – Estado de resolução de bugs
5 CONCLUSÕES E TRABALHOS FUTUROS
Este trabalho foi desenvolvido com o objetivo de avaliar a implementação de uma metodologia de teste em sistemas embarcados, especificamente em medidores inteligentes e sistemas de medição centralizada. A metodologia teve seu desenvolvimento baseado na norma IEEE STD 829, e neste estudo foi proposto a estruturação do Livro de Teste e dos Casos de Teste que o compõem.
Foi apresentado dados referentes à quantidade de casos de testes escritos para cada sistema, e para os dispositivos que o integra. Além disso, foi feito um apanhado de todos os bugs encontrados ao longo do ano de 2018 e do primeiro semestre de 2019, período o qual a metodologia foi desenvolvida e aplicada em fase experimental.
Os bugs encontrados foram divididos em graus de criticidade, nível de prioridade de resolução e capacidade de reprodução. O grau de criticidade foi segmentado em: normal e alto; o nível de prioridade de resolução foi fragmentado em: pequeno, grande eurgente; e a reprodutibilidade foi divida em: sempre, as vezes e randômico.
Os dados coletados e analisados mostraram que a metodologia de teste proposta se mostrou eficiente na elaboração dos Livros de Testes e na capacidade de detecção de problemas que impactariam na experiência do usuário final e da concessionária de energia elétrica. Para os dois sistemas avaliados, a taxa de resolução dos problemas encontrados foi superior a 83%, enquanto os demais se encontram em estado de avaliação para futura resolução.