3 FERRAMENTAS
Este capítulo tem o objetivo de apresentar as ferramentas de gestão de testes e de defeitos encontradas através de pesquisas na internet realizadas no primeiro semestre de 2015. Serão explicados os critérios adotados para selecionar e avaliar as ferramentas que servirão de base para a elicitação dos requisitos necessários para o desenvolvimento da ferramenta desejada por este trabalho.
DoneDone Sim Não www.getdonedone.com eTraxis Sim Para até 5 usuários www.etraxis.com
Eventum Sim Sim www.launchpad.net/eventum
Flyspray Sim Sim www.flyspray.org
FogBugz Sim Para até 2 usuários www.fogcreek.com
Fossil Sim Sim www.fossil-scm.org
Gemini Sim Não www.countersoft.com
JIRA Sim Não www.atlassian.com
JTrac Sim Sim www.jtrac.info
Kayako Sim Não www.kayako.com
Kwok Sim Sim www.kwoksys.com
Lighthouse Sim Não www.lighthouseapp.com
Mantis Sim Sim www.mantisbt.org
oops-easytrack Sim Sim www.oops-easytrack.sourceforge.net
phpBugTracker Sim Sim www.github.com/a-v-k/phpBugTracker
Pivotal Sim Para até 3 usuários www.pivotaltracker.com
qTest Sim Não www.qasymphony.com
Redmine Sim Sim www.redmine.org
Request Tracker Sim Sim www.bestpractical.com
Roundup Sim Sim www.roundup.sourceforge.net
RTH Sim Sim www.requirementsandtestinghub.
wordpress.com
Scarab Sim Sim www.memocomp.de/scarab/1.0.22
Sifter Sim Não www.sifterapp.com
Snowy Evening Sim Para até 3 usuários www.snowy-evening.com
The Bug Genie Sim Não www.thebuggenie.com
TISYM Sim Para até 5 usuários www.tisym.com
Trac Sim Sim www.trac.edgewall.org
Unfuddle Sim Não www.unfuddle.com
VersionOne Sim Não www.versionone.com
WebIssues Sim Sim webissues.mimec.org
Youtrack Sim Para até 10 usuários www.jetbrains.com
zenTrack Sim Sim sourceforge.net/projects/
zentrack
Das ferramentas citadas, as que atenderam aos critérios foram: Bloodhound, Bug-A-Boo, BugNET, BugTracker.NET, Bugzilla, Eventum, Flyspray, Fossil, JTrac, Kwok, Mantis, oops-easytrack, phpBugTracker, Redmine, Request Tracker, Roundup, RTH, Scarab, Trac, WebIssues e zenTrack.
Com a seleção dessas ferramentas, a próxima etapa foi tentar encontrar pesquisas que apontassem as três ferramentas mais utilizadas. Foi encontrado um artigo elaborado pela revista Testing Experience que se baseou em uma discussão criada no Linkedin9 pelo engenheiro de testes
9 Linkedin é uma rede social utilizada por profissionais e empresas de qualquer área de atuação.
Chakradhara Pernumarthi no grupo Software Testing & Quality Assurance. Ele perguntou se alguém conhecia uma boa ferramenta de gerenciamento de testes e de defeitos open source10. O tópico recebeu 120 comentários dos membros do grupo. Esta pesquisa foi iniciada em Abril de 2010 e foi motivada por outra discussão criada anteriormente neste mesmo grupo intitulada “qual sua ferramenta de bug tracker preferida?” a qual teve 260 comentários. O resultado da pesquisa pode ser visto na Figura 17.
Figura 17. Popularidade das ferramentas bug trackers open source.
Fonte: Testing Experience (2010).
As duas discussões proporcionaram a oportunidade de avaliar a popularidade não somente das ferramentas open source, mas também as comerciais que também foram citadas por membros. A Figura 18 apresenta outro gráfico, dessa vez incluindo as ferramentas comercias citadas nas discussões na rede social (em azul) e comparando com os resultados obtidos de uma outra pesquisa, a Open Source Developer Report 2010, conduzida pela comunidade Eclipse (em vermelho).
Figura 18. Popularidade das ferramentas bug trackers open source e comerciais.
Fonte: Testing Experience (2010).
Analisando os resultados da discussão no Linkedin e a pesquisa realizada pela comunidade Eclipse, a revista chegou a conclusão que as ferramentas de bug tracker mais populares foram Bugzilla, Jira, Mantis e Trac, sendo que o Jira é uma ferramenta comercial.
Com o intuito de confirmar os resultados apresentados por esta revista em 2010 e verificar se houve mudança de popularidade nestes últimos 5 anos, optou-se por utilizar o Google Trends11 para
11 Google Trends é uma ferramenta do Google que mostra os termos mais populares buscados ao longo do tempo. Permite comparar até cinco termos por vez, através de gráficos. O eixo horizontal do gráfico representa o tempo (a partir de 2004), e o vertical é com que frequência é procurado um termo, globalmente.
realizar um comparativo de popularidade de busca por estas ferramentas. Partiu-se do pressuposto que as mais buscadas são as mais populares, logo as mais utilizadas.
As pesquisas com o Google Trends foram realizadas no dia 1 de Maio de 2015. O filtro de país foi configurado com a opção “Todo o mundo”, pois a pesquisa com o filtro “Brasil” apresentava mensagem: “não há volume de pesquisas suficiente para exibir os resultados”. O período da aferição de 2004 até a data de realização do comparativo. Catetoria “Todas as categorias”. O canal de buscas selecionado foi “Pesquisa na Web do Google”. Os termos utilizados para a comparação foram o nome da ferramenta sucedidas pelo termo bug tracker.
A Figura 19 apresenta o comparativo entre as ferramentas Bloodhound, Bug-A-Boo, BugNET, BugTracker e Bugzilla. Pode-se perceber que apenas o Bugzilla apresentou o gráfico de volume de pesquisas.
Figura 19. Comparativo Bloodhound, Bug-A-Boo, BugNET, BugTracker e Bugzilla.
A Figura 20 apresenta o comparativo entre as ferramentas Eventum, Flyspray, Fossil, JTrac e Kwok bug tracker. Nenhuma delas apresentou volume de pesquisas suficiente para exibir gráficos.
Figura 20. Comparativo Eventum, Flyspray, Fossil, JTrac e Kwok bug tracker.
A Figura 21 apresenta o comparativo entre as ferramentas Mantis, oops-easytrack, phpBugTracker, Redmine e Request Tracker. Pode-se perceber que o Mantis apresentou um volume de pesquisas maior, enquanto que Redmine apresentou um volume bem inferior.
Figura 21. Comparativo Mantis, oops-easytrack, phpBugTracker, Redmine e Request Tracker.
A Figura 22 apresenta o comparativo entre as ferramentas Roundup, RTH, Scarab, Trac e WebIssues. Nota-se que somente Trac apresentou volumes de pesquisas, mas não em todos os anos.
Figura 22. Comparativo Roundup, RTH, Scarab, Trac e WebIssues.
A Figura 23 mostra que a ferramenta zenTrack não possuía volume de pesquisas suficiente para exibir gráficos.
Figura 23. Comparativo zenTrack.
Os mesmos comparativos foram feitos com o nome da ferramenta sucedida também pelo termo bug tracking, issue tracker e issue tracking. Diante dos resultados concluiu-se que Bugzilla, Mantis, Redmine e Trac são as ferramentas para gestão de defeitos mais populares. Comparando esta pesquisa com a pesquisa realizada pela revista Testing Experience, chegou-se à mesma conclusão: Bugzilla e Mantis têm uma representação mais expressiva de popularidade, provavelmente por serem ferramentas específicas para gestão de defeitos e por isso oferecem mais recursos que ferramentas como Trac e Redmine, que, apesar de aparecerem nos resultados, tem uma representação bem menor por não serem ferramentas com foco em gestão de defeitos e sim em gerenciamento de projetos, por isso possuem recursos básicos para gestão de defeitos. Analisando esses fatos, as ferramentas Bugzilla e Mantis já foram escolhidas para serem avaliadas. Como as pontuações das ferramentas a partir da terceira posição não tiveram grande expressividade, buscou-se a próxima ferramenta que apresentasse mais recursos e boas práticas de usabilidade baseadas nos 10 princípios heurísticos de Nielsen (1993) e outras apresentadas por Krug (2006). Portanto, agregaria mais valor ao levantamento de requisitos para desenvolver a ferramenta proposta por este trabalho. Com isso, a ferramenta BugNET foi escolhida por ser específica para gestão de defeitos e possuir recursos semelhantes ao Bugzilla e Mantis. Além disso, por possuir interface de usuário com usabilidade aparentemente melhor que as duas primeiras. Então, as três ferramentas de gestão de defeitos que serão avaliadas são Bugzilla, Mantis e BugNET.
Partiu-se então para a busca por ferramentas de gestão de testes, mantendo-se os mesmos critérios adotados na busca por ferramentas de gestão de defeitos. Foram encontradas ferramentas
específicas para gestão de casos de testes e outras que possuíam outros módulos como gestão de defeitos e cadastro de requisitos. A Tabela 5 apresenta as ferramentas encontradas.
Tabela 3. Seleção das ferramentas de gestão de testes.
Nome Web Gratuita Site oficial
ALTM Sim Não www.bstriker.com
ApTest Sim Não www.aptest.com
Aqua Não Não www.andagon.com
Silk Central Sim Não www.borland.com
CodeBeamer Sim Não www.codebeamer.com
Enterprise Tester Sim Não www.catchsoftware.com
Gemini Sim Não www.countersoft.com
Quality Center Sim Não www.hp.com
Rational Quality Manager Sim Não www-03.ibm.com
InformUP Sim Não www.informup.com
Jira Zephyr Sim Não www.getzephyr.com
Klaros Sim Não www.klaros-testmanagement.com
Microsoft Test Manager Sim Não www.visualstudio.com
Occygen Sim Não www.occygen.com
Overlook Sim Não www.overlook.io
PractiTest Sim Não www.practitest.com
QAComplete Sim Não www.smartbear.com
QATraq Sim Sim sourceforge.net/projects/qatraq
QMetry Sim Não www.qmetry.com
qTest Sim Não www.qasymphony.com
Radi-testdir Sim Sim radi-
testdir.sourceforge.net/radi_home.html
Rainforest QA Sim Não www.rainforestqa.com
RTH Sim Sim requirementsandtestinghub.
wordpress.com
Sitechco Sim Sim www.sitechco.com
SmarteQM Sim Não www.smartesoft.com
SpiraTest Sim Não www.inflectra.com
Tematoo Sim Sim até 1
projeto e 5 usuários
www.tematoo.com
Test Case Web Sim Sim tcw.sourceforge.net
Test Collab Sim Não www.testcollab.com
Tesly Sim Sim tesly.sourceforge.net
Testersuite Sim Não www.testersuite.com
Testia Tarantula Sim Sim www.tarantula.fi
Testitool Sim Sim www.majordojo.com
Testlab Sim Não www.melioratestlab.com
TestLink Sim Sim www.testlink.org
TestLodge Sim Não www.testlodge.com
TestLog Sim Não www.testlog.com
Testmaster Sim Sim testmaster.sourceforge.net
Testpad Sim Não ontestpad.com
TestRail Sim Não www.gurock.com/testrail
TestRun Sim Não www.runtestrun.com
Testopia Sim Sim sourceforge.net/projects/testopia
TestTrack Sim Não www.seapine.com
Testuff Sim Não www.testuff.com
TestWave Sim Não www.testwave.co.uk
Tricentis Sim Não www.tricentis.com
VersionOne Sim Não www.versionone.com
XORICON TestLab Sim Não www.xoricon-testlab.com
XQual Sim Sim até 10
usuários
www.xqual.com
Zephyr Sim Não www.getzephyr.com
Das ferramentas citadas, as que atenderam aos critérios foram: QATraq, Radi-testdir, RTH Sitechco, Test Case Web, Tesly, Testia Tarantula, Testitool, TestLink, Testmaster e Testopia.
Para definir as três ferramentas de gestão de testes mais utilizadas, recorreu-se à pesquisa apresentada pela revista Testing Experience. O resultado da pesquisa de popularidade das ferramentas de gestão de testes open source é apresentado na Figura 24.
Figura 24. Popularidade das ferramentas de gestão de testes open source.
Fonte: Revista Testing Experience (2010).
O Google Trends foi utilizado para comprovar o resultado apresentado pela revista e verificar se houve mudança de popularidade desde que a pesquisa foi realizada em 2010. Da mesma forma que foi feito com as ferramentas de gestão de defeitos, partiu-se do pressuposto que as ferramentas de gestão de testes mais buscadas são as mais populares, logo as mais utilizadas.
As pesquisas com o Google Trends foram realizadas no dia 1 de Maio de 2015. O filtro de país foi configurado com a opção “Todo o mundo”, pois a pesquisa com o filtro “Brasil” apresentava mensagem: “não há volume de pesquisas suficiente para exibir os resultados”. O período da aferição de 2004 até a data de realização do comparativo. Catetoria “Todas as categorias”. O canal de buscas selecionado foi “Pesquisa na Web do Google”. Os termos utilizados para a comparação foram o nome da ferramenta sucedidas pelo termo test management.
A Figura 25 apresenta o comparativo entre as ferramentas QATraq, Radi-testdir, RTH e Sitechco. Pode-se notar que nenhuma das ferramentas apresentou volume de pesquisas suficiente para exibir gráficos.
Figura 25. Comparativo QATraq, Radi-testdir, RTH e Sitechco.
A Figura 26 apresenta o comparativo entre as ferramentas Tesly, Test Case Web, Testia Tarantula e Testitool. Pode-se notar que nenhuma das ferramentas apresentou volume de pesquisas suficiente para exibir gráficos.
Figura 26. Comparativo Tesly, Test Case Web, Testia Tarantula e Testitool.
A Figura 27 apresenta o comparativo entre as ferramentas TestLink, Testmaster e Testopia.
Pode-se perceber que somente TestLink apresentou volume de pesquisas e, mesmo assim, apenas nos últimos anos.
Figura 27. Comparativo TestLink, Testmaster e Testopia.
De todas as ferramentas de gestão de testes usadas na pesquisa, apenas TestLink apresentou um pequeno volume de interesse. Somando-se ao fato de que a pesquisa realizada pela revista Testing Experience apontou TestLink como sendo a ferramenta mais popular, então esta ferramenta de gestão de testes já foi definida como uma das três a serem avaliadas. Como as outras ferramentas não tiveram representação nas pesquisas do Google Trends, passou-se a considerar apenas os resultados apresentados pela revista. Esta apontou que a segunda ferramenta mais popular foi Testopia, um plugin que pode ser instalado ao bug tracker Bugzilla para adicionar funcionalidades de gestão de testes.
Então, esta ferramenta também será avaliada neste trabalho. A terceira ferramenta citada na pesquisa foi Redmine, que não será avaliada por este trabalho por ser uma ferramenta para gestão de projetos e não possuir funcionalidades específicas para gestão de testes. A próxima ferramenta citada foi RTH que é uma ferramenta que integra requisitos, gestão de defeitos e de testes, porém já está a quase dez anos sem receber atualizações. Na sequência, XQual Studio possui uma versão gratuita, mas limitada a 10 usuários, 1000 testes e poucos recursos. Como as pontuações das ferramentas a partir da terceira posição não tiveram grande expressividade, buscou-se a próxima ferramenta que apresentasse mais recursos e boas práticas de usabilidade baseadas nos 10 princípios heurísticos de Nielsen (1993) e outras apresentadas por Krug (2006). Portanto, agregaria mais valor ao levantamento de requisitos para desenvolver a ferramenta proposta por este trabalho. Com isso, a ferramenta Testia Tarantula foi escolhida por ser específica para gestão de testes e possuir recursos semelhantes ao TestLink. Apesar de possui menos recursos, possui interface de usuário com usabilidade aparentemente melhor que TestLink. Portanto, as três ferramentas de gestão de testes que serão avaliadas neste trabalho serão Testlink, Testopia e Testia Tarantula.