Questionário
Nível Avaliado
Função/característica
do produto Perguntas Pontuação Selenium BadBoy Canoo
Não (0) x x x
Gestão dos dados do plano de teste (51)
A ferramenta auxilia a geração de um
plano de teste? Sim (10)
Não (0) x x x
Satisfatório (5) Estimador de
complexidade de caso de uso (72)
A ferramenta consegue estimar a complexidade de um caso de uso?
Sim (10)
Não (0) x x x
Estimador de prazo para execução de tarefa de teste (51)
A ferramenta auxilia a estimativa de tempo para a execução de uma tarefa
de desenvolvimento de teste? Sim (10)
Não (0) x x x
A ferramenta registra dados sobre esforço envolvido na execução das
atividades de teste? Sim (10)
Não (0) x x x
Satisfatório (5) Base de dados
histórica de projetos (102)
A ferramenta permite a busca de itens no histórico através de parâmetros como data, hora, dia, funcionalidade testada e
outras? Sim (10)
Não (0) x x x
Satisfatório (5) Calculador de
produtividade (75)
A ferramenta é capaz de calcular a produtividade de um testador?
Sim (10)
Não (0) x x x
A ferramenta possui um registro das
tarefas a serem executadas? Sim (10)
Não (0) x x x
Registro de tarefas (63)
A ferramenta possui um registro das
tarefas que foram executadas? Sim (10)
Não (0) x x x
Satisfatório (5) Alocador inteligente de
tarefa (33)
A ferramenta auxilia na alocação de tarefas, sugerindo uma alocação ótima, levando em consideração produtividade dos testadores, complexidade, esforço e
tempo disponível? Sim (10)
Não (0) x x x G e ra d o r d e p la n o d e t e s te Integração com ferramentas de gerenciamento de projetos (42)
A ferramenta pode ser integrada a ferramentas de gerenciamento de projetos? Sim (10) Não (0) x x x Satisfatório (5) Gerador de objetos (168)
A ferramenta é capaz de gerar um objeto exigido em um teste, preenchendo todos os atributos obrigatórios existentes e levando em consideração as regras de negócio
associadas? Sim (10)
Não (0) x x x
Satisfatório (5) Gerador de povoador
(45)
A ferramenta permite gerar código (em alguma linguagem de programação) para povoamento de dados persistente
no banco de dados? Sim (10)
Não (0) x x x
Satisfatório (5) A ferramenta consegue gerar dados
aleatórios para tipos primitivos de dados? Sim (10) Não (0) x x x Satisfatório (5) G e ra d o r d e d a d o s Gerador de valores
(144) A ferramenta consegue gerar dados
aleatórios seguindo critérios (particionamento em classes de
equivalência, análise de valor limite)? Sim (10)
Não (0) x x x Satisfatório (5) G e ra d o r d e te s te s fu n c io n a is Gerador de entradas utilizando critérios (168)
Com a ferramenta é possível configurar critérios para a geração de dados de entrada para os casos de teste?
Não (0) x x x A ferramenta sugere entradas
pré-definidas (como iniciar com números,
utilizar símbolos, acentos) ? Sim (10)
Não (0) x x x
Satisfatório (5) Oráculo para gerar as
saídas esperadas (126)
A ferramenta gera as saídas esperadas com base nas entradas e nos
procedimentos de teste? Sim (10) Não (0) x x x Satisfatório (5) Interpretador de condições modeladas em uma linguagem formal (168)
A ferramenta consegue interpretar restrições expressas em OCL (linguagem associada à UML) ou em
alguma outra linguagem formal? Sim (10)
Não (0) x x x
Satisfatório (5) Extrator de dados de
modelos descrevendo o sistema (135)
A ferramenta possui um mecanismo de extração de dados do modelo que descreve o sistema sob teste?
Sim (10) Não (0) Mecanismo de
captura-reprodução (47)
A ferramenta gera testes a partir da gravação de ações realizadas pelo usuário ou integração com essas ferramentas?
Sim (10) x x x
Não (0) x x x
Gerador de teste com apoio da especificação
(41)
A ferramenta possibilidade a sugestão de entradas e saídas para os casos de
testes? Sim (10)
Não (0) x
Satisfatório (5) x
A ferramenta possibilidade o uso de linguagem de alto nível na criação dos
testes? 1 Sim (10) x Não (0) x Satisfatório (5) x Uso de linguagens de alto nível (60)
A ferramenta exporta o código de teste
para linguagens de alto nível ? 2
Sim (10) x
Não (0) x
Acesso as funções do SO (129)
A ferramenta possibilita o acesso a
informações (configurações) do S.O.? Sim (10) x x
Não (0) Satisfatório (5) x x G e ra d o r m a n u a l d e t e s te s Acesso ao mecanismo de persistência (129)
A ferramenta permite acessar diretamente um mecanismo de persistência (como banco de dados e
arquivos)? 3 Sim (10) x
Não (0) x x x
A ferramenta possui facilidade de integração com ferramentas de cadastro
de requisitos? Sim (10)
Não (0) x x x
Integração com ferramentas de gestão
de requisitos (129) A ferramenta verifica mudanças no
cadastro de requisitos? Sim (10)
Não (0) x x x Satisfatório (5) R a s tr e a d o r Detector de alterações entre as visões, exibindo partes afetadas (27)
A ferramenta possui acesso aos artefatos do sistema e ao cadastro de requisitos verificando alterações entre
itens relacionados ? 4 Sim (10)
Não (0) x x x
Satisfatório (5) A ferramenta acessa uma ferramenta de
acompanhamento de falhas,
possibilitando o cadastro automático das
mesmas? Sim (10) Não (0) x x x Satisfatório (5) Integração com ferramentas de acompanhamento de
bugs (90) A ferramenta utiliza dados do cadastro
de falhas para estatísticas de teste?
Sim (10) Não (0) x x x Satisfatório (5) In te g ra d o r Integração com ferramentas de gestão de configuração (90)
A ferramenta consegue acessar um repositório central para consultar e alterar os artefatos de testes existentes?
Não (0) x x x Representação dos
testes usando um modelo independente
de tecnologia (196)
A ferramenta utiliza uma modelagem para os testes independente da
tecnologia a ser utilizada para a geração e execução do teste, seguindo algo similar ao MDA? Sim (10) Não (0) x x x Satisfatório (5) Regra de transformação entre modelos (171)
É possível realizar a transformação entre modelos representando os testes, permitindo, por exemplo, a geração dos
testes em diferentes tecnologias? Sim (10)
Não (0) x x x
Satisfatório (5) Especificação de
modelos para descrição do sistema (146)
A ferramenta usa modelos
representando o software como insumo para a automação de parte do teste?
Sim (10)
Não (0) x x x
Satisfatório (5) A ferramenta utiliza uma linguagem
formal para expressar restrições no software? Sim (10) Não (0) x x x Satisfatório (5) M o d e lo d e t e s te Adoção de uma linguagem para especificação de restrições no modelo
(145) A linguagem usada pela ferramenta
possui suporte para sua interpretação?
Sim (10)
Não (0) x
Satisfatório (5) x x
Avaliador de cobertura (75)
A ferramenta se integra com
ferramentas de avaliação de cobertura, permitindo a obtenção do grau de
cobertura alcançado? Sim (10)
Não (0) x x x A v a lia d o r d e t e s te s Analisador de qualidade de testes baseado em mutação (18) A ferramenta implementa ou é
compatível com ferramentas de analise
de mutantes? Sim (10) Não (0) x x x G e ra d o r d e t e s te s n ã o -fu n c io n a is Integração com ferramentas para manipulação de requisições e respostas em transações (36)
A ferramenta permite manipular requisições, possibilitando a invocação de chamadas falsas, facilitando assim o
teste de segurança? Sim (10)
Não (0) x x x
Satisfatório (5) Gerador de relatório
com formato definido pelo usuário (81)
A ferramenta gera relatórios sobre os testes, com especificações definidas pelo usuário, incluindo as fontes de
dados a serem utilizadas? Sim (10)
Não (0) x x x
Satisfatório (5) Gerador de gráficos
com fonte de dados e formato definido pelo
usuário (54)
A ferramenta permite gerar gráficos com o resultado dos testes e especificação de formato definido pelo usuário e
seleção de fontes de dados? Sim (10)
Não (0) x x x Satisfatório (5) Acesso a qualquer informação de teste existente no modelo de testes (81)
A ferramenta consegue utilizar qualquer informação contida no modelo de teste independente de plataforma ?
Sim (10)
Não (0) x x
Satisfatório (5) A ferramenta possui navegação entre
partes do relatório ? Sim (10) x Não (0) x x Satisfatório (5) x G e ra d o r d e R e la tó ri o s Uso de hiperlinks e agrupadores nos
relatórios (18) A ferramenta gera relatórios
organizando os testes agrupados? 5
Não (0) x x x Cadastro de usuários
(94)
A ferramenta possibilita cadastramento
de usuários? Sim (10)
Não (0) x x x
Cadastro de grupos (94)
A ferramenta possibilita cadastramento
de grupos de usuários? Sim (10)
Não (0) x x x
Cadastro de projeto (103)
A ferramenta faz cadastramento dos
projetos? Sim (10) Não (0) x x x S u p o rt e d a f e rr a m e n ta Cadastro de equipe (103)
A ferramenta possibilita o cadastro de
equipes de teste? Sim (10)
Não (0) Uso de software livres
(24)
A ferramenta se integra com outras
ferramentas gratuitas? Sim (10) x x x
Não (0) A ferramenta funciona em ambiente
Web? Sim (10) x x x
Não (0) Uso de tecnologia Web
(60) A ferramenta para funcionar na Web não
requer instalação de algum
componente? Sim (10) x x x
Não (0) x
Satisfatório (5) Seguir um guia de
estilo (27)
A ferramenta utiliza um padrão para o desenho da interface com o usuário ?
Sim (10) x x
Não (0) Satisfatório (5) A ferramenta usa termos conhecidos,
apoiados por padrões da indústria como IEEE, ISO e ABNT?
Sim (10) x x x Não (0) x Satisfatório (5) x A rq u it e tu ra d a f e rr a m e n ta Utilizar terminologia adequada ao contexto (45)
A ferramenta possui uma linguagem de
fácil entendimento? 6
Sim (10) x
Não (0) Satisfatório (5) A ferramenta possui ajuda on-line
através de documentação?
Sim (10) x x x
Não (0) Help on-line (36)
A ferramenta mantêm um help-desk ?
Sim (10) x x x
Não (0)
Satisfatório (5) x
Manual de usuário (36) A ferramenta apresenta documentação
ou manual de utilização inteligível? 7
Sim (10) x x
Não (0) A ferramenta possui um site, blog, etc.
de apoio com manuais e exemplos de
uso? Sim (10) x x x
Não (0) x
Satisfatório (5) x x
Sítio de apoio com exemplos de uso (36)
A ferramenta explica funcionalidade
utilizando exemplos passo a passo ? 8
Sim (10) Não (0) x x x A u x íl io d a f e rr a m e n ta
Curso de formação (27) A ferramenta possui treinamento formal
explicando como utilizar o software? Sim (10)
Não (0) x Satisfatório (5) x Gerenciador de grids para execução distribuída de testes (39)
A ferramenta possibilita a execução dos
testes utilizando grids? 9
Sim (10) x
Não (0) A ferramenta permite parar a execução
do teste a qualquer instante? Sim (10) x x x
Não (0) x
A ferramenta permite reiniciar a execução dos testes após a execução
ter sido suspensa? Sim (10) x x
Não (0) E x e c u to r d e t e s te
Executor de teste com possibilidade de pausa
e retomada da
execução (90) A ferramenta apresenta a possibilidade
de adicionar comentários aos casos de
Não (0)
Satisfatório (5) x
A ferramenta permite escalonar quais casos de testes serão executados
dentre uma bateria de testes? 10
Sim (10) x x
Não (0) Agrupador e
escalonador de testes (64)
A ferramenta permite agrupar os casos
de testes? Sim (10) x x x
Não (0) x x
Satisfatório (5) A ferramenta gera log de execução
permitindo visualização gráfica? 11
Sim (10) x
Não (0)
Satisfatório (5) x x
A ferramenta gera log de execução com
estatísticas? 12
Sim (10) x
Não (0)
Satisfatório (5) x
O log de execução da ferramenta permite a identificação do momento e
causas possíveis da falha? 13
Sim (10) x x Não (0) x x x Satisfatório (5) Gerador de log de execução de testes (84)
A partir do log de execução a ferramenta consegue sugerir possíveis soluções de falhas?
Sim (10) Não (0)
Satisfatório (5) x x x
A ferramenta permite a comunicação
com interface de hardware? 14
Sim (10) Não (0) Satisfatório (5) x x x Simulador de interfaces de hardware e software (54)
A ferramenta permite a comunicação
com interface de software? 15
Sim (10)
Não (0) x x x
Integração com uma linguagem de script para configuração do ambiente de teste (18)
A ferramenta permite criação e execução de scripts automatizando a
configuração do ambiente de teste? Sim (10)
Não (0) x x x Satisfatório (5) Comparador de arquivos ignorando padrões configuráveis (63)
A ferramenta consegue comparar artefatos seguindo critérios definidos pelo usuário ? Sim (10) Não (0) x x x Satisfatório (5) Povoador de dados (108)
A ferramenta permite a realização de um povoamento no mecanismo de
persistência, para preparação do
ambiente de teste, a partir do gerador de
objetos ou de um gerador de povoador? Sim (10)
Não (0) x x x
Satisfatório (5) Gerenciador de
transações (162)
A ferramenta possui mecanismos para iniciar, finalizar e cancelar transações? É possível ter transações aninhadas?
Sim (10)
Não (0) x x x
Satisfatório (5) A ferramenta faz avaliação e
classificação da falhas descobertas ?
Sim (10)
Não (0) x x x
Analisador de falhas
(29) A ferramenta faz comparativos de falhas
descobertas com as mantidas no
histórico ? Sim (10)
Não (0) x x x
Cadastramento automático de falhas
(41)
A ferramenta consegue cadastrar falhas através da integração com ferramenta
Justificativas
1 Satisfatório - a ferramenta permite usar apenas uma linguagem: Groovy
Sim - a ferramenta permite o uso de várias linguagens como Java, Python, Ruby, PHP
2 Satisfatório - a ferramenta permite exportar apenas para uma linguagem: Groovy
Sim - a ferramenta permite exportar para várias linguagens como Java, Python, Ruby, PHP
3 Satisfatório - o aceso ao banco de dados ocorre atraves da linguagem de alto nivel
4 Satisfatório - o aceso ao banco de dados ocorre atraves da linguagem de alto nivel
5 Satisfatório - os passos do caso de teste são agrupados de forma simples, bem como os próprios casos de teste,
dentro de conjuntos de testes.
6 Satisfatório - apresenta alguns termos e funcionalidades que é preciso explorar e executar para saber o que realmente
faz
7 Satisfatório - a documentação apenas lista e descreve cada comando e mostra um pequeno exemplo. Dificulta mais
ainda, pois não tem interface gráfica
8 Satisfatório - existe uma organização não explicita de passo a passo, mas percebe-se a apresentação e incrementação
de funcionalidades que simula o real desenvolvimento dos testes
9 Satisfatório - por meio do uso da linguagem de programação
Sim - o Selenium possui o Selenium Grid para essa função
10 Satisfatório - apenas adicionando ou retirando o caso de teste do conjunto de testes (test suite). Procedimento feito
editando arquivo xml
11 Sim - o Canoo apresenta gráficos com o numero de execução de sucesso, falha e incompletos e também com o tempo
utilizado
12
Satisfatório - selenium: quantos casos de testes retornaram sucesso, falharam, incompletos e o tempo total da execução dos testes ; Badboy: sucessos, falharam, alertas, asserções, tempo de execução médio e o máximo do conjunto de testes
Sim - apresenta além dos números de casos de teste de sucesso e falha, também a porcentagem e o tempo de execução
13 Satisfatório - Badboy não mostra o em que tempo ocorreu o erro e apenas menciona o que estava esperando
Sim - ocorrem comparações de valores, causa do erro como time out, e até orienta aonde buscar ajuda
14 Satisfatório - por meio da linguagem de programação utilizando bibliotecas da mesma é possível acessar a interface de
hardware
15 Satisfatório - por meio da linguagem de programação utilizando bibliotecas da mesma é possível acessar a interface de
