SIPTEST System Intelligent Process Testing. Estudo Comparativo de Ferramentas de Teste.

(1)

SIPTEST - System Intelligent Testing Link Consulting,SA | Pág. 0 de 7

SIPTEST – System Intelligent Process Testing.

Estudo Comparativo de Ferramentas de Teste.

(2)

SIPTEST - System Intelligent Process Testing Link Consulting,SA | Pág. 1 de 7

Índice

1 Introdução ... 2

1.1 Objectivo do documento ... 2

1.2 Estrutura do documento ... 2

2 Ferramentas de gestão de testes ... 3

(3)

1 Introdução

1.1 Objectivo do documento

Este documento apresenta o resultado da pesquisa efetuada sobre ferramentas de gestão de testes e suas funcionalidades no âmbito do projeto SIPTEST.

1.2 Estrutura do documento

A secção 2 apresenta um conjunto de características a ter em conta na análise comparativa de ferramentas de gestão de testes, um conjunto de ferramentas de gestão de testes e uma tabela comparativa dessas ferramentas. A secção 3 apresenta um conjunto comentado de referências para trabalhos sobre a importância e boas práticas da gestão de testes e os apontadores para os sites oficiais das ferramentas analisadas.

(4)

2 Ferramentas de gestão de testes

O desenvolvimento de testes funcionais e não-funcionais antes e durante da criação de uma aplicação é considerado fundamental para a deteção de erros e potenciais falhas no produto final [4]. Ferramentas de gestão de testes, por sua vez, são aplicações úteis para a gestão, hierarquização e execução destes testes, contribuindo indiretamente para o desenvolvimento de software ao ajudar a garantir tanto a qualidade do software como a sua validez/utilidade [1].

Neste trabalho, é reunida informação sobre algumas das mais conotadas ferramentas de gestão de testes de software. É apresentada uma tabela (Tabela 1) contendo informação sobre as funcionalidades mais

significativas das ferramentas, de maneira a poderem ser comparadas e escolhida(s) a(s) mais apropriada(s), dependendo da utilização pretendida. Nesta tabela, são apresentadas as seguintes características:

 Gestão de Requisitos – capacidade da aplicação em fazer a gestão relacionada com requisitos funcionais e/ou não funcionais do sistema, considerando a interdependência entre requisitos;  Planos de teste – capacidade da aplicação de suportar a geração ou exportar planos de teste;  Relatórios – capacidade da aplicação de gerar relatórios com o resultado da execução dos testes ou

planos de teste;

 Bug-Tracking – indica se a aplicação contém um sistema integrado para rastreabilidade de erros aquando da execução dos testes;

 Testes Unitários – capacidade da aplicação de executar testes unitários de forma automática;  Testes a Pedido – capacidade da aplicação de executar testes não automatizados, i.e. com input do

utilizador para o início ou para os testes em si;

 Interface de Gestão e Análise – existência de uma interface da aplicação capaz de gerir, guardar, analisar e mostrar os resultados.

Devido à escassez de informação quanto aos preçários da maior parte das aplicações, este critério não foi incluído nos dados da Tabela 1, tendo esta informação de ser consultada através de revendedores ou de contacto direto com a própria empresa.

De notar que esta tabela foi construída a partir da documentação oficial existente, que pode ser consultada através das hiperligações nas referências. Cada funcionalidade na tabela foi declarada apenas como

suportada (indicado com “Sim”) no caso de a documentação ser explícita quanto ao seu suporte por parte da aplicação; em ambos os casos em que a documentação omite se a funcionalidade é suportada e em que a funcionalidade não é suportada, nada é dito na tabela

(5)

SIPTEST - System Intelligent Process Testing Link Consulting,SA | Pág. 4 de 7 Nome do Produto Empresa Tipo de Licença Gestão de Requisitos Planos de Teste Relatórios Bug-Tracking Testes Unitários Testes a Pedido Interface de Gestão e Análise XStudio

[10]

XQual Proprietária + GNU

Sim Sim Sim Sim Sim Sim Sim

HP Quality Center

[11]

HP (antiga Mercury)

Proprietária Sim Sim Sim Sim Sim Sim

QADirector

[12]

Micro Focus

Proprietária Sim Sim Sim

QMetry

[13]

QMetry Proprietária Sim Sim Sim Sim Sim Sim Sim

Rational TestManag er

[14]

IBM (antiga Rational)

Proprietária Sim Sim Sim Sim Sim

SilkCentral Test Manager

[15]

Borland (antiga Segue)

Proprietária Sim Sim Sim Sim Sim

Testuff

[16]

Testuff Proprietária Sim Sim Sim Sim Sim Sim Sim

TestWave

[17]

Automation Consultants

Proprietária Sim Sim Sim Sim Sim Sim

Zephyr

[18]

Zephyr Proprietária Sim Sim Sim Sim Sim Sim Sim

Rth

[19]

Rth GNU/GPL Sim Sim Sim Sim

Test Case Web

[20]

Test Case Web

GNU/GPL Sim Sim Sim

Bugzilla / Testopia

[21]

Mozzilla / Testopia

Freeware Sim Sim Sim Sim

Salome TMF

[22]

Salome TMF

Freeware Sim Sim Sim Sim

TestLink

[23]

TeamTest Freeware Sim Sim Sim Sim

(6)

3 Referências

Importância da gestão de testes e boas práticas

[1] - Martin R. Woodward, Michael A. Hennell – “Strategic benefits of software test management: a case study”, Journal of Engineering and Technology Management, p. 113-140, 2005

Neste artigo, é apresentado um caso de estudo que enfatiza o facto de que, embora testes funcionais e testes estruturais pareçam técnicas opostas, podem realmente complementar-se e produzir uma estratégia de teste de software mais poderosa do que qualquer uma das duas separadas. Isto é conseguido através de um caso de estudo que comprova que partes do software ficam por testar se for usada apenas uma das duas técnicas. [2] - Michael W. Evans – “Productive Software Test Management”, John Wiley & Sons, Inc., New York, NY, 1984

Livro que tem como objetivo explorar como testadores devem abordar a criação de testes e boas práticas para evitar “buracos” na cobertura dos testes. O livro também aborda números princípios que testadores devem ter em consideração e explica algumas técnicas de organização de testes.

[3] - Johnson et al. – “Method and system for test management”, patent number US 2004/0073890 A1, 2002 Patente registada no âmbito de teste de software, com via a simplificar a importação e migração de

configurações de testes.

[4] - Iris Pinkster et al. – “Successful Test Management: An Integral Approach”, Springer, 1998

Testes de software estão cada vez mais a ganhar popularidade no âmbito de ICT. Este livro tem como objetivo demostrar quais as grandes componentes do teste de software, ensinando conceitos por trás dos diferentes tipos de testes, boas práticas, erros comuns na elaboração de testes e gestão de testes no geral.

[5] - Eickelmann, N.S. – “An evaluation of software test environment architectures”, Proceedings of the 18th International Conference on Software Engineering, 1996

Artigo que visa otimizar ambientes de teste de software (STE) com base numa re-estruturação da arquitetura desse mesmo ambiente. Particularmente, os autores propõem um arquitetura mais generalizada e

comprovam o seu valor acrescentado e o ganho em eficácia por comparação a tradicionais ambientes de teste.

[6] - Jonathan Bach - “Session-Based Test Management”, Software Testing and Quality Engineering magazine, 2000

Neste artigo são analisadas e discutidas sessões de teste de software. São explicados os tipos de suporte que uma ferramenta de teste deve dar, métricas de testes e alguns conselhos do autor na resolução de

problemas.

[7] - Griselda Giraudo, Paolo Tonella - “Designing and Conducting an Empirical Study on Test Management Automation”, Empirical Software Engineering, volume 8, 2003

Os autores deste artigo visam passar ao leitor a sua própria experiência na gestão de testes automatizados. Mais concretamente, é analisada a metodologia de testes adotada durante o projeto ITALO e é feita uma projeção dos resultados esperados. Finalmente, a nova metodologia é usada e os seus resultados são discutidos.

(7)

[8] - Rudolf Ramler, Stefan Biffl, Paul Grünbacher - “Value-Based Management of Software Testing”, Springer-Verlag, Pages: 225-244, 2006

Artigo focado em maximizar o retorno do investimento em testes de software. O trabalho em si descreve a motivação por detrás de “value-based testing”, descrevendo boas práticas que podem ser adotadas e descrever e demonstrar uma framework para a gestão deste tipo de testes.

[9] - Hefner, R.H. - “Collaborative test management”, Proceedings. 26th Annual NASA Goddard Software Engineering Workshop, 2001

Este artigo apresenta problemas mais comuns em testes formais de sistemas de larga escala e detalha uma abordagem à gestão colaborativa de testes de software. Para tal, como exemplo, apresenta uma tecnologia de informação baseada na Web, já aplicada em vários sistemas de teste da agência NASA.

Ferramentas de gestão de testes – sites Web: [10] - http://www.xqual.com/products/xstudio.html [11] - http://www8.hp.com/uk/en/software/software-product.html?compURI=tcm:183-937045 [12] - http://supportline.microfocus.com/documentation/ASQ/QADirectordocs.aspx [13] - http://www.qmetry.com/products/features/ [14] - http://www-01.ibm.com/software/awdtools/test/manager/ [15] - http://www.borland.com/us/products/silk/silkcentral_test/index.aspx [16] - http://www.testuff.com/product/ [17] - http://www.testwave.co.uk/features.php [18] - http://www.getzephyr.com/zephyr/zephyr_test_management_overview.php [19] - http://sourceforge.net/projects/rth/ [20] - http://sourceforge.net/projects/tcw/ [21] - http://www.mozilla.org/projects/testopia/ [22] - http://wiki.ow2.org/salome-tmf/ [23] - http://testlink.sourceforge.net/docs/testLink.php