ATMM uma ferramenta para gerenciamento de métricas de teste no contexto de métodos ágeis

(1)

Motiva¸cão e Objetivos Teste de Software em Métodos Ágeis Métricas de Software Estudo de Caso Conclusões Referências

ATMM uma ferramenta para gerenciamento de m´

etricas

de teste no contexto de m´

etodos ´

ageis

M.Sc. Andr´

e Abe Vicente, Dr. M´

arcio Eduardo Delamaro

Instituto de Ciências Matemáticas e de Computa¸cão – ICMC Universidade de São Paulo – USP

Laborat´orio de Engenharia de Software – LabES

Workshop Brasileiro de M´etodos ´Ageis (WBMA) - Agile Brazil 2010

(2)

Roteiro

1

Motiva¸

c˜

ao e Objetivos

2

Teste de Software em M´

etodos ´

Ageis

3

_M´

_{etricas de Software}

M´

etricas de Acompanhamento de Teste

Ferramenta ATMM

4

Estudo de Caso

M´

etodo e M´

etricas Avaliadas

An´

alise dos Resultados

(3)

Introdu¸c˜

ao e Motiva¸c˜

ao

Mudan¸

cas:

necessidades do cliente (satisfa¸

c˜

ao). N˜

ao podem

afetar: cronograma e or¸

camento.

M´

etodos ´

ageis: valores, princ´ıpios e boas pr´

aticas de

desenvolvimento e condu¸

c˜

ao de projeto.

Feedback e melhoria cont´ınua

Testes ´ageis: Constante feedback do cliente.

Executado com frequência para detectar defeitos o mais cedo poss´ıvel. Métricas de teste: Acompanhamento, melhoria do processo e práticas.

Avaliar e estabelecer metas de qualidade (artefatos).

C´odigo de teste de qualidade → medir de forma eficiente software produzido.

(4)

Introdu¸c˜

ao e Motiva¸c˜

ao

Mudan¸

cas:

necessidades do cliente (satisfa¸

c˜

ao). N˜

ao podem

afetar: cronograma e or¸

camento.

M´

etodos ´

ageis: valores, princ´ıpios e boas pr´

aticas de

desenvolvimento e condu¸

c˜

ao de projeto.

Feedback e melhoria cont´ınua

Testes ´ageis: Constante feedback do cliente.

Executado com frequência para detectar defeitos o mais cedo poss´ıvel. Métricas de teste: Acompanhamento, melhoria do processo e práticas.

Avaliar e estabelecer metas de qualidade (artefatos).

C´odigo de teste de qualidade → medir de forma eficiente software produzido.

(5)

Trabalhos Relacionados e Objetivos

Trabalhos Relacionados

Abordagens para escolha e utiliza¸c˜

ao de m´

etricas em projetos ´

ageis

(Sato, 2007; Williams et al., 2004; Hartmann e Dymond, 2006;

Crispin e Gregory, 2009).

M´

etricas de teste: objetivos e fatores que influenciam essas

m´

etricas, ferramentas para coleta, gerenciamento e an´

alise de

m´

etricas.

Objetivos

Propor ado¸cão de um conjunto de métricas de acompanhamento de teste. Objetivo Métricas: melhoria cont´ınua do processo de testes e dos artefatos de teste (problemas ou evolu¸cões e metas de qualidade). Validar as Métricas com um estudo de caso.

(6)

Teste de Software em M´

etodos ´

Ageis

Papel central em atividades de Garantia de Qualidade de Software. Objetivos: Revelar a presen¸ca de erros ou defeitos no produto e aumentar confian¸ca de que o produto esteja correto (Myers et al.,2004). Aplicado em v´arios est´agios, com diferentes objetivos.

Teste de Software ´Agil

Executados frequentemente, procurando detectar defeitos o mais cedo poss´ıvel.

Testando sob o ponto de vista do cliente (aceita¸c˜ao).

Desenvolvimento Dirigido a Testes (TDD), testes de aceita¸c˜ao, testes explorat´orios, de usabilidade e sistema.

(7)

M´

etricas de software e M´

etricas ´

ageis

Métricas de software: padrões quantitativos de medidas de vários aspectos do projeto de software (Pressman, 2006; Crispin e Gregory, 2009).

Apoiar estimativas e medir progresso. Produtividade da equipe.

Controle de qualidade (desvios do objetivo, ou a equipe est´a no caminho correto).

Controle do projeto.

Boas Métricas Ágeis: Refor¸car princ´ıpios ágeis (Hartmann e Dymond, 2006).

Minimiza¸cão de métricas e facilidade para serem coletadas. Influências de outras métricas.

Feedback frequente e regular.

Atualizadas, discutidas e disponibilizadas. Incentivar melhoria e alto n´ıvel de qualidade.

(8)

M´etricas de Acompanhamento de Teste

M´

etricas de acompanhamento de teste

M´

etricas de acompanhamento de teste

Criadas a partir de uma lista de verifica¸

c˜

ao (Hartmann e Dymond,

2006).

Objetivo, base da medi¸cão, quando utilizar, tendência esperada, formas de manipula¸cão...

Categorias:

Apoio ao teste de unidade (4 métricas) Apoio ao teste de aceita¸cão (3 métricas) Apoio geral (2 métricas)

(9)

M´etricas de Acompanhamento de Teste

M´

etricas de acompanhamento de teste

M´

etricas de teste adotadas/propostas

M1. Cobertura de C´odigo [1,2] M2. Fator de Teste [4]

M3. Quantidade de Casos de Teste e Assertivas [1,2]

M4. Porcentagem de Assertivas de Teste de Unidade Passando e Falhando M5. Quantidade de Testes de Aceita¸c˜ao por Funcionalidades [3]

M6. Porcentagem de Assertivas de Teste de Aceita¸c˜ao Passando e Falhando M7. Funcionalidades Testadas e Entregues (Running Tested Features ou RTF) [4] M8. Tempo de Execu¸c˜ao de Testes

M9. Quantidade de Defeitos Encontrados [1]

Fonte: [1] XP-EF (Williams et al., 2004), [2] Nagappan et al. (2005), [3] (Nagappan, 2004) e [4] (Sato, 2007).

(10)

Ferramenta ATMM

Agile Testing Metrics Management (ATMM) (1/3)

Apoiar teste de unidade, gerenciar itera¸cões e exibir métricas (código e teste). Métricas implementadas: M1 (Cobertura), M2 (Fator de Teste), M3 (CTs e Assertivas), M4 (Assertivas Passando/Falhando), M8 (Tempo)

(11)

Ferramenta ATMM

(12)

Ferramenta ATMM

(13)

Estudo de Caso

Objetivo: avaliar a aplica¸cão das métricas de teste de software propostas. Kalibro (Métricas): Utilizou método XP, desenvolvido pela AgilCoop (IME-USP).

(14)

M´etodo e M´etricas Avaliadas

M´

etodo e M´

etricas Avaliadas

Fontes de Informa¸

c˜

ao (Estudo de Caso)

Ferramenta ATMM: m´

etricas de teste e m´

etricas c´

odigo-fonte.

Scripts JaBUTi: cobertura requisitos de teste (fluxo de controle e

dados)

Ferramenta Kalibro: algumas das m´

etricas (qualidade do c´

odigo)

-qualidade dos m´

etodos, coes˜

ao e acoplamento.

Question´

ario (XP-EF): caracteriza¸

c˜

ao dos projetos (Williams et al.,

2004).

Ferramentas, práticas ágeis e práticas de teste. Aderência e maturidade da atividade de teste.

(15)

An´alise dos Resultados

An´

alise dos Resultados - Maturidade e Aderˆ

encia

Aderˆ

encia atividades de teste (0 a 4):

Testes de Unidade Automatizados: 3 Testes de Aceita¸c˜ao com o cliente: 1 Desenvolvimento Dirigido a testes (TDD): 2

Resultado: n´ıvel alto teste de unidade, teste de aceita¸c˜ao e TDD n˜ao utilizados totalmente.

Maturidade da atividade de teste (0 a 5):

Teste de Unidade e TDD: 5 Processo e Melhoria: 3,75 Teste de Aceita¸c˜ao e Sistema: 2,5 Automa¸c˜ao Teste: 2

Total Pr´aticas de Teste: 2,1

Resultado: Maturidade teste de unidade. preocupa¸c˜ao com processo e melhoria e teste de aceita¸c˜ao.

(16)

(17)

An´

alise dos Resultados - Qtde c´

odigo e teste (Kalibro) (2/2)

(18)

(19)

An´alise dos Resultados - Qualidade do c´odigo

M´etricas de Qualidade

AMLOC (Average Lines per Method) MMLOC (Max Method LOC)

LCOM4 (Lack of Cohesion in Methods): m´etodos relacionados.

ACC (Afferent Connections per Class): classe acessa m´etodo ou atributo de outra classe.

CBO (Coupling Between Objects): qtde de classes utilizadas pela classe analisada.

Resultados

Métodos pequenos (facilita entendimento), métodos com bom grau de coesão, baixo acoplamento entre as classes.

(20)

An´

alise dos Resultados - Evolu¸c˜

ao Cobertura (Kalibro)

(21)

An´

alise dos Resultados - Evolu¸c˜

ao Cobertura (Kalibro)

(22)

Discuss˜ao e Conclus˜oes

Discuss˜

ao e Conclus˜

oes

Aderência e maturidade da atividade de testes Evolu¸cão do código-fonte, testes e cobertura

Itera¸cões maior ênfase aos testes → aumento cobertura. Framework Fest (GUI) contribuiu para o aumento cobertura. Qualidade do código

Coleta de M´etricas de Acompanhamento de Teste Feedback constante durante as itera¸c˜oes.

Utilizar informa¸cões em reuniões diárias e retrospectivas. Melhoria do processo e também dos artefatos produzidos.

Detectar problemas ou evolu¸cões (qualidade dos CTs produzidos). Metodologia para metas de qualidade e intervalos de referência. Automa¸cão: rapidez (coleta), sa´ıdas devem ser fáceis de serem interpretadas.

(23)

Conclus˜oes

Contribui¸c˜

oes

Caracteriza¸cão do processo, estratégias e práticas de teste de software em métodos ágeis.

Descri¸cão conjunto de métricas (atividade de teste em projetos ágeis). Ferramenta ATMM: gerência de itera¸cões e algumas das métricas de teste. Cenário de uso de como a equipe poderia utilizar a ferramenta em um projeto ágil.

An´alise de projeto de software que utilizou o m´etodo XP.

Questionário info. gerais de um projeto ágil baseado no (XP-EF): proposta de novas categorias relacionadas a práticas, aderência e maturidade da atividade de teste.

(24)

Conclus˜oes

Trabalhos Futuros

Valida¸

c˜

ao mais aprofundada das m´

etricas.

Conduzir outro estudo de caso (valores de referˆ

encia e compor novas

m´

etricas).

Aplica¸

c˜

ao em projetos reais, durante o seu desenvolvimento.

Melhoria da ferramenta ATMM: outras linguagens, m´

etricas de teste

de aceita¸

c˜

ao, coletar c´

odigo diretamente reposit´

orio, integra¸

c˜

ao

Kalibro (valores de referˆ

encia).

(25)

Motiva¸cão e Objetivos Teste de Software em Métodos Ágeis Métricas de Software Estudo de Caso Conclusões Referências Conclusões

FIM

Obrigado...Quest˜

oes???

e-mail: andvicente@gmail.com

www: andvicente.wordpress.com

Dakar 2010 on January 1, 2010 in Buenos Aires (Maxi Failla/AFP/Getty Images) Big Picture (http://www.boston.com/bigpicture)

(26)

Motiva¸cão e Objetivos Teste de Software em Métodos Ágeis Métricas de Software Estudo de Caso Conclusões Referências Conclusões

Referˆ

encias I

Crispin, L.; Gregory, J. Agile testing: A practical guide for testers and agile teams. Addison-Wesley Professional, 2009.

Hartmann, D.; Dymond, R. Appropriate agile measurement: Using metrics and diagnostics to deliver business value. In: Proceedings of Agile Conference 2006 (AGILE ’06). Minnesota, USA, Washington, DC, USA: IEEE Computer Society, 2006, p. 126–134.

Nagappan, N. Toward a software testing and reliability early warning metric suite. In: 26th International Conference on Software Engineering (ICSE 2004), Edinburgh, United Kingdom, IEEE Computer Society, 2004, p. 60–62.

Nagappan, N.; Williams, L.; Osborne, J.; Vouk, M.; Abrahamsson, P. Providing test quality feedback using static source code and automatic test suite metrics. In: 16th IEEE International Symposium on Software Reliability Engineering, 2005 (ISSRE 2005), Chicago, IL, USA, IEEE Computer Society, 2005, p. 85–94.

Pressman, R. S. Engenharia de software. 6 ed. São Paulo: McGraw-Hill, 2006. Sato, D. T. Uso eficaz de métricas em métodos Ágeis de desenvolvimento de software.

Disserta¸cão de Mestrado, Instituto de Matemática e Estat´ıstica - Universidade de São Paulo, São Paulo, SP, Orientador: Prof. Dr. Alfredo Goldman, 2007.

Williams, L.; Krebs, W.; Layman, L.; Ant´on, A. I.; Abrahamsson, P. Toward a framework for evaluating extreme programming. In: Empirical Assessment in Software Engineering