Capítulo 6 Infra-estrutura Computacional de Apoio à Seleção de TTBMs
6.6 Avaliação da Infra-Estrutura Computacional
Para avaliação da infra-estrutura computacional desenvolvida para apoiar o processo de seleção de TTBMs provido por Porantim foi realizado um estudo de avaliação em uma organização de software sediada nos EUA que utiliza TBM em seus projetos.
6.6.1 Planejamento do Estudo
6.6.1.1 Definição do Objetivo Global
O objetivo deste estudo é avaliar as funcionalidades providas pela infra- estrutura computacional de apoio à abordagem Porantim, analisando o comportamento e viabilidade da infra-estrutura desenvolvida em relação à seleção provida por especialistas em TBM. Serão avaliadas: (1) a indicação de um subconjunto de TTBMs mais adequadas a um projeto e (2) a geração de indicadores analisando o impacto da combinação de mais de uma TTBM selecionada para um mesmo projeto que apóiam na seleção.
Com o propósito de caracterizar
Com respeito à efetividade, eficiência e usabilidade na indicação de TTBMs e geração de indicadores de impacto da combinação de TTBMs
No ponto de vista de engenheiros de software que atuam com TTBMs No contexto de projetos de software pré-caracterizados.
6.6.1.3 Questões de Pesquisa
A Tabela 6.2 descreve os diferentes aspectos que serão avaliados sobre
Porantim durante o estudo.
Tabela 6.2. Questões a serem respondidas durante o experimento
Aspecto Questões
Eficiência
Quanto tempo leva a seleção de TTBMs usando o apoio ferramental provido por
Porantim? E sem tal apoio?
Quanto tempo leva para decidir se uma TTBM será usada ou não em um projeto usando o apoio ferramental provido por Porantim? E sem tal apoio?
Efetividade
Porantim indica as TTBMs mais adequadas a um projeto de software? Ou seja, os
participantes concordam com as técnicas descartadas por Porantim?
Os indicadores de impacto da combinação de TTBMs providos por Porantim são adequados? Ou seja, os indicadores gerados fazem sentido e efetivamente apóiam a seleção de TTBMs?
As funcionalidades providas por Porantim direcionam a equipe de teste na escolha combinada de TTBMs que mais se adéquam ao projeto?
Usabilidade
Quais são as vantagens e desvantagens do uso de Porantim e seu apoio ferramental? Quais melhorias poderiam ser feitas?
O uso do apoio ferramental provido por Porantim simplifica o processo de seleção de TTBMs?
6.6.1.4 Medições
Estas medidas devem ser coletadas com e sem a ferramenta construída para apoiar Porantim.
Q1: Qual é a eficiência da infra-estrutura computacional?
Métrica 1.1: tempo gasto na caracterização do projeto de software. Métrica 1.3: tempo gasto na análise de cada TTBM.
Métrica 1.2: tempo total gasto no processo seleção.
Q2: Qual é a efetividade da infra-estrutura computacional?
Métrica 2.1: TTBM removida da lista por ser a menos adequada ao projeto. Métrica 2.2: TTBMs selecionadas para o projeto por serem as mais adequadas
6.6.1.5 Fatores e Suas Alternativas
As variáveis cujos valores serão alterados são: o instrumento para seleção e o projeto de software.
Abordagem de Seleção
O fator instrumento para seleção terá duas possíveis alternativas: o apoio ferramental provido por Porantim e a execução manual (sem qualquer apoio ferramental).
o Seleção usando a infra-estrutura computacional: os participantes receberão o repositório de TTBMs através de um apoio ferramental que será responsável por excluir 1 TTBM que é considerada a menos adequada ao projeto, e em seguida os participantes devem selecionar 2 TTBMs que eles escolheriam de forma combinada para os projetos de software aos quais foram alocados utilizando a abordagem Porantim.
o Seleção manual: os participantes receberão o mesmo repositório de TTBMs, porém em um documento impresso. A partir disso eles deverão inicialmente remover 1 TTBM que eles julgam menos adequada ao projeto, e em seguida devem selecionar 2 TTBMs que eles escolheriam de forma combinada para os projetos de software aos quais foram alocados.
Para ambos os métodos serão usadas as mesmas técnicas de TBM.
Projeto de Software
O fator projeto de software inclui todas as características do projeto, incluindo não apenas o software a ser desenvolvido, mas requisitos de teste para o projeto a ser desenvolvido. Neste estudo, foram selecionados dois projetos de software já utilizados no estudo experimental descrito no Capítulo 5:
o Gerenciamento de Vídeo-Locadora (V): Sistema de Informação baseado em banco de dados – o objetivo é construir um sistema de gerenciamento de uma vídeo-locadora.
A caracterização detalhada dos projetos de software está apresentada na Tabela 5.1 e Tabela 5.3.
6.6.1.6 Participantes do Estudo
Participaram deste estudo 2 gerentes de teste especialistas em TBM, caracterizados na Tabela 6.3. Observa-se que o Participante 1 foi caracterizado como o menos experiente, enquanto que o Participante 2 seria o mais experiente.
Tabela 6.3. Caracterização dos Participantes do Estudo de Avaliação
Item avaliado
Participante 1 (- experiente)
Participante 2 (+ experiente)
Formação Acadêmica Doutorado Doutorado
Anos trabalhando com TBM 4 10
No de Projetos usando TBM que participou 2 4
Experiência em TBM Média Alta
Já realizou a seleção de TTBMs antes? Não Sim
6.6.2 Projeto Experimental
O objetivo primário deste estudo é encontrar qual a influência que o apoio ferramental provido por Porantim possui no processo de seleção de TTBMs em um projeto de software, ao comparamos com a execução desta tarefa sem qualquer apoio ferramental. Para isso, a tarefa foi planejada em duas etapas, sendo que a primeira Etapa consiste na seleção de TTBMs sem qualquer apoio ferramental e a segunda Etapa, na seleção de TTBMs usando o apoio ferramental provido por Porantim.
Cada participante deverá fazer duas seleções. Como existem dois projetos diferentes, para cada dupla de participantes, o primeiro receberá o Projeto Vídeo para a etapa 1 e o Projeto Estacionamento para a etapa 2. Já o segundo receberá o Projeto
Estacionamento para a Etapa 1 e o Projeto Vídeo para a Etapa 2, conforme a Tabela
6.4.
Tabela 6.4. Alocação de projetos por dupla de participantes Participantes
Projetos
Vídeo Estacionamento
Participante 1 Seleção 1 Seleção 2
6.6.2.1 Técnicas usadas por Projeto
Para cada projeto, serão disponibilizadas 5 TTBM de diferentes características. A escolha das técnicas foi feita por conveniência pelos pesquisadores, selecionado 5 entre 13 TTBMs adotadas no experimento descrito no Capítulo 5. Foi ainda definido um oráculo por especialistas em TBM indicando quais seriam as 2 TTBMs mais adequadas, quando combinadas, para cada projeto e qual seria a TTBM menos adequada que deveria ser a primeira opção a ser excluída. A lista de TTBMs adotadas neste estudo está descrita na Tabela 6.5
.
A descrição e caracterização de cada TTBM citada estão disponíveis na Seção AP B.2.Tabela 6.5. TTBMs utilizadas para cada projeto e Oráculo do Estudo
Projetos TTBMs disponibilizadas TTBM a ser
excluída
TTBMs mais adequadas
Vídeo
Técnica 1 – Abdurazik e Offut (2000) Técnica 2 – Briand e Labiche (2002) Técnica 4 – Hartmann e Nagin (2000) Técnica 5 – Kim et al. (1999)
Técnica 11 – Chung et al. (1999)
Técnica 11 Técnicas 1 e 2
Estacionamento
Técnica 2 – Briand e Labiche (2002) Técnica 4 – Hartmann e Nagin (2000) Técnica 10 – Du Bousquet et al. (1999) Técnica 11 – Chung et al. (1999) Técnica 12 – Parissis e Vassey (2003)
Técnica 11 Técnicas 10 e 12
Os graus de adequação de cada TTBM para cada projeto utilizando a estratégia Porantim estão apresentados na Tabela 6.6. Esses valores apenas serão apresentados para os participantes quando estiverem usando o apoio ferramental provido por Porantim. Em negrito na última coluna está destacada a combinação de TTBMs mais adequada para cada projeto segundo dois especialistas em TBM consultados ao longo deste trabalho.
Tabela 6.6. Grau de Adequação das TTBMs usadas no estudo por Projeto
Projetos Técnicas de TBM
disponibilizadas
Técnica
descartada Técnicas a serem selecionadas
Vídeo # 2 (GA = 60,01%) # 4 (GA = 55,83%) # 1 (GA = 50,68%) # 5 (GA = 42,74%) # 11 (GA =13,89%) Técnica 11 #2 e #4: 83,33% / 50% / 80% #2 e #1: 100% / 54,17% / 75% #2 e #5: 66,67% / 50% / 75% #4 e #1: 94.44% / 45% / 100% #4 e #5: 66,67% / 50% / 100% #1 e #5: 77,78% / 41,67% / 100% # 12 (GA =47,98%) # 10 (GA =47,98%) #12 e #10: 68,89% / 100% / 66,67% #12 e #4: 65,56% / 35% / 80% #12 e #2: 72,22% / 32,14% / 60%
6.6.2.2 Passos para seleção de TTBMs
O primeiro passo a ser realizado antes do início do estudo é o preenchimento do Formulário de caracterização do participante (E0), apresentado no Apêndice C – Seção AP C.1.1. Após isso, cada participante do estudo ao iniciá-lo, deverá seguir um conjunto de passos de acordo com a etapa que está realizando (seleção com ou sem apoio ferramental). Esses passos estão descritos a seguir:
Passos a serem realizados sem apoio ferramental
1. O participante receberá um pacote do estudo contendo os seguintes documentos:
o Formulário de caracterização do projeto já preenchido.
o Documento descrevendo as 5 TTBMs disponíveis para o projeto.
o Formulário E1 – Execução do Exercício sem apoio ferramental (disponível no Apêndice C – Seção AP C.1.2).
2. A seguir, o participante deverá analisar os dados do projeto e das 5 TTBMs para indicar 1 das TTBMs a ser descartada logo de início por não se adequar às características do projeto.
o O tempo gasto para realizar essa tarefa deve ser registrado no Formulário E1.
o A TTBM descartada deve ser indicada no Formulário E1.
3. Feito isso, o participante deverá escolher, entre as 4 TTBMs restantes, obrigatoriamente 2 para serem selecionadas para o projeto por serem mais adequadas ao projeto quando combinadas, ou seja, elas se complementam.
o O tempo gasto para realizar essa tarefa deve ser registrado no Formulário E1.
o As TTBMs selecionadas devem ser indicadas no Formulário E1.
4. Esta fase está conclçuída.
Passos a serem realizados com a ferramenta construída para apoiar Porantim
1. O participante receberá um pacote do estudo contendo os seguintes documentos:
o Documento descrevendo as 5 TTBMs disponíveis para o projeto.
o Formulário E2 – Execução do Exercício com o apoio ferramental provido por Porantim (disponível no Apêndice C – Seção AP C.1.3).
o Formulário E3 – Formulário de Avaliação do apoio ferramental provido por
Porantim (disponível no Apêndice C – Seção AP C.1.4).
2. A seguir, o participante deverá preencher a caracterização do projeto na ferramenta e salvar os dados.
o A ferramenta irá calcular o grau de adequação das técnicas e irá remover automaticamente 1 TTBM.
o O tempo gasto para realizar essa tarefa deve ser registrado no Formulário E2.
3. Feito isso, o participante através da ferramenta irá para o passo a seguir, onde irá escolher, entre as 4 TTBMs restantes, obrigatoriamente 2 para serem selecionadas para o projeto por serem mais adequadas ao projeto quando combinadas, ou seja, elas se complementam.
o Para isso, o participante deve consultar as funcionalidades disponibilizadas pelo apoio ferramental: análise individual de adequação de uma TTBM e análise do impacto da combinação de TTBMs para o projeto.
o O tempo gasto para realizar essa tarefa deve ser registrado no Formulário E2.
o As TTBMs selecionadas devem ser indicadas no Formulário E2.
4. Por fim, o participante deve analisar as 5 TTBMs disponibilizadas para que ele indique quais delas ele descartaria da seleção no início do processo.
o A TTBM que seria descartada deve ser indicada no Formulário E2.
5. O participante deve preencher o Formulário E3.
6. O estudo está encerrado.
6.6.3 Análise dos Dados Quantitativos
A Tabela 6.7 apresenta os resultados quantitativos fornecidos por cada participante ao longo do estudo através de um questionário.
Tabela 6.7. Resultados obtidos na avaliação da infra-estrutura computacional
Item avaliado Participante 1 Participante 2
Fase 1 – Seleção manual de TTBMs
Projeto usado da seleção manual de TTBMs Vídeo Estacionamento
Tempo (min) para caracterização do projeto de software sem
apoio computacional 10 minutos 10 minutos
Tempo (min) para seleção manual de TTBMs 15 minutos 5 minutos
Tempo total (min) para execução do processo de seleção 25 minutos 15 minutos
TTBM excluída Técnica 11 Técnica 11
TTBMs selecionadas Técnicas 1 e 2 Técnicas 10 e 12
Fase 2 – Seleção de TTBMs com o apoio da infra-estrutura
Projeto usado da seleção de TTBMs Estacionamento Vídeo
Tempo (min) para caracterização do projeto de software sem
apoio computacional 6 minutos 5 minutos
Tempo (min) para seleção de TTBMs usando a infra-estrutura 8 minutos 2 minutos Tempo total (min) para execução do processo de seleção 14 minutos 7 minutos
TTBM excluída Técnica 11 Técnica 11
TTBMs selecionadas Técnicas 10 e 12 Técnicas 1 e 2
Apesar de poucos, os dados indicam que o uso da infra-estrutura reduziu à metade o tempo total para caracterização do projeto de software (Figura 6.17), para seleção de TTBMs (Figura 6.18) e, consequentemente, para a execução do processo de seleção de TTBMs (Figura 6.19) independente do projeto usado e do grau de experiência do profissional.
Figura 6.18. Análise do Tempo para Seleção de TTBMs
Figura 6.19. Análise do Tempo para Seleção de TTBMs
A análise dos dados por experiência dos participantes permite observar, no gráfico apresentado na Figura 6.20, que o uso do apoio pelo participante menos experiente o aproximou do tempo obtido pelo participante mais experiente para o projeto Vídeo. Já quando o mais experiente usou o apoio provido, seu tempo caiu significativamente (projeto Estacionamento).
Em termos de acertos em relação à exclusão da TTBM que menos se adéqüe ao projeto de software e em relação à seleção das 2 TTBMs que combinadas mais se adéquam ao projeto, os resultados obtidos pelos participantes foram similares ao oráculo pré-definido para o estudo, indicando que o apoio provido por Porantim direciona a escolha de TTBMs a um resultado equivalente ao obtido por um especialista em TBM realizando a seleção sem qualquer apoio.
6.6.4 Análise dos Dados Qualitativos
Após a conclusão do exercício, cada participante recebeu um questionário a ser preenchido informando uma análise subjetiva a respeito do uso da infra-estrutura computacional que apóia a abordagem Porantim. A análise foi direcionada a partir de algumas perguntas realizadas:
Quais os aspectos negativos em usar a infra-estrutura computacional?
Ambos os participantes indicaram a ausência de um mecanismo que possibilite filtrar TTBMs escolhendo quais atributos de caracterização usar durante o cálculo do grau de adequação de TTBMs. No entanto, esta funcionalidade existe na área de configuração dos parâmetros de Porantim, descrita na Seção 6.4.2. Os participantes receberam a infra-estrutura já configurada, por isso não tiveram acesso a esta funcionalidade.
Quais os aspectos positivos em usar a infra-estrutura computacional?
Os participantes relataram que a infra-estrutura é bastante simples de ser usada e provê várias informações que auxiliam na escolha de TTBMs mais adequadas. Com isso, o processo de seleção se torna mais ágil, auxiliando a decisão final a respeito de quais TTBMs adotar em um projeto de software.
Quais melhorias você sugere para a caracterização do projeto de software?
O participante 2 sugeriu a possibilidade de configurar a infra-estrutura para indicar quais atributos seriam aplicados primeiramente para se calcular a adequação, criando algo como um filtro sequencial de TTBMs por atributos. Atualmente a infra- estrutura só possui 1 nível para filtro de TTBMs.
O grau de adequação fornecido por Porantim e o gráfico de radar provido pela infra-estrutura foram úteis durante a seleção de TTBMs?
O participante 1 indicou que o gráfico auxilia no processo de seleção, pois permite saber quais atributos estão sendo cobertos pelas TTBMs, porém há muita informação disponível, o que pode dificultar na seleção. O participante 2 sugeriu prover uma funcionalidade para sobrepor gráficos de radar de diferentes TTBMs, algo não provido atualmente. Apesar de tal sugestão, o participante elogiou o recurso.
Os indicadores de análise de combinação de TTBMs e os gráficos de Gauge provido pela infra-estrutura foram úteis durante a decisão de quais TTBMs combinar para um projeto de software?
Ambos os participantes elogiaram tal recurso.
Qual o grau de dificuldade em usar a infra-estrutura computacional?
Por fim, em relação à avaliação do uso da infra-estrutura, ambos os participantes indicaram que o grau de dificuldade em relação ao uso foi bastante baixo em relação ao apoio provido durante o processo de seleção.
A infra-estrutura computacional desenvolvida neste trabalho foi ainda aplicada com estudantes de pós-graduação em engenharia de software na COPPE/UFRJ no contexto de uma disciplina cujo objetivo era seguir as diferentes etapas para o desenvolvimento de um sistema ubíquo real. Nesse contexto, uma das etapas realizadas foi a seleção de TTBMs, além do planejamento dos testes para tal projeto. O objetivo não foi realizar um estudo de avaliação, mas apenas observar a viabilidade do uso da infra-estrutura no contexto de um projeto real.
Ao final, os estudantes preencheram um questionário indicando qual a impressão que tiveram com o uso da infra-estrutura. Os resultados indicaram que os participantes avaliaram de forma positiva as funcionalidades providas por Maraká para apoiar a seleção de TTBM utilizando a abordagem Porantim.
aplicação da abordagem de apoio à seleção de TTBMs proposta neste trabalho,
Porantim.
Dentre as suas principais funcionalidades de apoio à abordagem Porantim, esta infra-estrutura provê mecanismos de apoio para o cálculo automatizado dos graus de adequação entre um projeto de software previamente caracterizado e TTBMs disponíveis num repositório, além do cálculo automatizado dos indicadores providos por Porantim para apoiar na análise da combinação de TTBMs para projetos de software. Além disso, ela provê uma representação visual do grau de adequação de TTBMs utilizando Gráfico de Radar e dos indicadores de apoio à análise da combinação de TTBMs utilizando gráficos de Gauge.
O próximo Capítulo apresenta as considerações finais deste trabalho, descrevendo suas conclusões, resultados obtidos, limitações e futuras linhas de pesquisas a serem seguidas para continuidade desta pesquisa.