Visão
Reduzir os custos inerentes à
existência de defeitos em
produção, em sistemas de alta
complexidade funcional e de
elevada heterogeneidade
tecnológica, através de um
conjunto de práticas que
minimizem a sua ocorrência e
antecipem a sua detecção para as
fases iniciais da implementação,
sem impactar os tempos de
A origem e o custo dos erros
3
Quanto mais tarde,
mais caro
Desenho: 50 € Construção: 100 € Teste Unitário: 200 € Teste Integrado: 500 € Produção: 1500 €A complexidade dos sistemas, leva a que…:
•
exista uma explosão das possibilidades de teste;
•
tipicamente as equipas de desenvolvimento não
possuam uma visão abrangente do sistema, focando-se
apenas na qualidade dos módulos de que são
responsáveis;
•
os erros não detectados propaguem-se a outros
Como mitigar o risco?
•
Planear os testes usando
métodos consolidados
e
recorrendo a
ferramentas
de gestão de testes
adequadas;
•
Simular a realidade do utilizador em ambientes
computacionais em
condições idênticas
ao ambiente
de produção;
•
Garantir que esta tarefa é realizada por equipas
especializadas
e
autónomas
às equipas de
desenvolvimento.
Oferta System Quality Assurance
C & M
Consultadoria & MentoringT F
Testes FuncionaisTC S
Testes de Carga e Segurança Recomendações e práticas a serem seguidas pelos clientes com vista ao incremento da qualidade dos seus sistemas.Planeamento e gestão de testes manuais e/ou automáticos a sistemas ou serviços.
Avaliação dos tempos de resposta e identificação de vulnerabilidades dos sistemas.
Consultadoria & Mentoring
• Test Management • Operacionalização de equipas de testes • Selecção de plataformas • Metodologias de implementação Analise a processos e procedimentos ligados à qualidade na implementação de sistemas e/ou serviços de TI. Apoio na selecção e implantação de plataformas de suporte para melhoria do processo produtivo. Definição de práticas e metodologias para planeamento e gestão dos testes Recrutamento e organização de equipas de testes. Suporte técnico à selecção e implantação de ferramentas de testes.Metodologias de implementação
• Análise a processos e procedimentos ligados à implementação de
sistemas e/ou serviços de TI:
– Projectos de desenvolvimento de sistemas TI por fornecedores externos; – Desenvolvimento interno de software;
– Implantação e configuração de plataformas de ALM e/ou EPM.
• Análise aos processos e procedimentos actuais (baseado em entrevistas,
modelos de processos, templates, plataformas, …) e produção de
relatórios de análise com sugestão de melhorias:
– Áreas de foco:
• Gestão de projecto: Alinhamento com boas práticas PMBok, IPMA Competence Baseline e CMMI -DEV
• Desenvolvimento de software: Alinhamento com boas práticas CMMI • Testes: Alinhamento com boas práticas TPI, TMM, TMAP, IEEE
• Suporte: Alinhamento com boas práticas ITIL
Selecção de plataformas
•
Avaliação e implantação de
plataformas de suporte ao
processo produtivo
;
•
Alinhamento de
metodologia de implementação
(ex.
plataformas de apoio a projectos);
•
Alinhamento da metodologia de
gestão da mudança
;
•
Implantação
de plataformas (ex. ALM, EPM, Gestão de
Test Management
•
Definição de práticas de testes alinhadas com as
principais normas de qualidade: CMMI, TPI, TMM,
TMAP, IEEE;
•
Metodologias de concepção
de
planos de testes
;
•
Práticas de gestão e manutenção dos planos de
testes;
•
Estratégias para definição de metas de execução de
testes.
Operacionalização de equipas de teste
•
Recrutamente e organização das equipas de testes
dos clientes (internas ou externas);
•
Suporte técnico aos clientes na selecção e
instalação das ferramentas de testes;
•
Acções de formação às equipas de teste:
– Indução à metodologia de testes;
Testes Funcionais: Caracterização da oferta
• Validação e verificação de requisitos funcionais (forma e conteúdo);
• Elaboração de casos de testes (partindo dos requisitos), com todas as etapas de execução bem definidas e documentadas;
• Setup dos ambientes de teste e da massa de dados de teste;
• Execução e gestão de casos de teste;
• Reporting de ocorrências (defeitos);
• Metodologia de testes baseada nas principais normas de qualidade:
– CMMI, TPI, TMM, TMAP, IEEE;
• Domínio de ferramentas de testes de vários fornecedores (HP/Mercury,
Compuware, IBM Rational, Micro Focus, Oracle) que permitem implementar a
Testes Funcionais: Principais competências
• Testes de ponta a ponta a serviços: Testes a toda a constelação de
sistemas/aplicações e respectivas integrações que permitem a
operacionalização de um serviço; (Ex: Testes ao serviço de roaming de um operador de telecomunicações em todas as suas vertentes de operação: Aprovisionamento; adesão e tarifação do serviço);
• Teste a SAP:
– Testes funcionais a SAP
– Automação de testes em SAP, utilizando SAP Test Accelaration and Optimization (TAO) e HP Quick Test Pro (QTP);
• Testes a arquitecturas SOA:
– Testes funcionais a sistemas baseados em arquitecturas SOA;
– Experiência na utilização de ferramentas para a execução de testes automáticos e de carga a webservices (Ex: soapUI, loadUI);
Testes Funcionais: Principais competências
• Automação de testes: Domínio de ferramentas de automação de testes para diferentes tecnologias (Web, SAP, SOA) e de diversos fornecedores (HP,
Oracle, Micro Focus, IBM).
• Projectos BPM:
– Forte conhecimento funcional e experiência em testes a projectos de BPM adquirida em projectos internos;
• Projectos de migração:
– Forte experiência em projectos de testes de migração de aplicações ou dados; – Metodologia própria;
– Domínio de ferramentas de testes à migração;
• Testes de usabilidade:
– Avaliação heurística da usabilidade; – Avaliação da acessibilidade;
Testes Funcionais: Modelos de serviço
Outsourcing tradicional:
•
Apropriado a prestações de
serviço de
curta
duração e de
volume de testes
reduzido
;
•
Dimensão das
equipas
de
testes
estanque
;
•
Pouco flexível
à flutuação
dos picos de teste- Risco do
lado do cliente;
•
Time & Materials
.
•
Tendencialmente
insite
Fábrica:
•
Apropriado a prestações de
serviço de
média/longa
duração e de volume de
testes
médio/elevado
.
•
Flexibilidade
no
dimensionamento das
equipas e optimização de
recursos;
•
Cotação prévia
dos pedidos
de testes – Risco transferido
para o lado da fábrica.
•
Tendencialmente
offsite
Principais características
• Industrialização do modelo de operação;
• Contratação assente em SLA;
• Baseline de recursos alocados por frente de testes preestabelecido;
• Modelo de negócio baseado em cotação prévia;
• Escalabilidade assegurada por meio de optimização e partilha de recursos;
• Estabelecimento de metas e fornecimento de indicadores de acompanhamento;
• Preços mais competitivos;
Industrialização do modelo de operação
• Cada sistema/aplicação testado consiste numa frente de testes, gerida autonomamente;
• A existência de várias frentes de testes dentro da fábrica permitem uma
optimização e partilha de recursos;
• Gestão dos recursos de teste totalmente a cargo da fábrica;
• Grande flexibilidade de adaptação da capacidade de cada frente à flutuações
dos picos de teste.
SLA
• Serviço assente em SLA que reflectem o compromisso da fábrica com a
solução final dos clientes;
• SLAs tradicionais:
• Tempo de produção das estimativas;
• Percentagem de falsos defeitos detectados;
• Cumprimento das metas de execução dos testes;
• Total de defeitos detectados por Key User (em fase de testes de aceitação) versus defeitos detectados pela fábrica.
• Poderão ser estabelecidos entre o cliente e a fábrica SLAs associados ao
numero de defeitos detectados em produção, assim que a analise do
histórico de uma frente de testes permita a construção destes SLAs.
Modelo de negócio
• O cliente estabelece com a fábrica um baseline (tipicamente nivelado por
baixo) dos recursos alocados a cada frente de testes da fábrica (Ex: 5 homens/mês para os testes na frente SAP);
• Existem regras previamente acordadas com cliente de alteração do
baseline (para cima ou para baixo);
• Periodicamente é feita uma reavaliação da capacidade de testes necessária para o futuro em cada frente;
• Todas os pedidos de testes são sujeitos a uma estimativa do esforço a um
planeamento que permite prever antecipadamente a capacidade necessária para cada frente.
Implantação do modelo de Fábrica
• Numa primeira fase operação
deverá ser insite (instalações do cliente) com a agregação gradual de frentes de testes;
• Tendencialmente a operação deverá
passar para um regime offsite,
quando:
– O cliente estiver familiarizado com o modelo de fábrica;
– Volume de testes e recursos escalar (tipicamente acima de 5 frentes e mais de 8 recursos);
– Existir a necessidade de reduzir custos de estrutura do lado do cliente;
• Mesmo em regime offsite existirá
sempre a necessidade de um gestor
de serviço, que garanta a ponte entre a fábrica e o cliente.
V
olume
Funcionamento Off-site
23
Coordenadores
Testers
Fábrica de Testes
Instalações do Cliente
Ambiente de teste Ferramenta de gestão da fábrica Diretores / Gestores de projeto Users Gestores de serviço Ferramenta de gestão de testes Link dedicado
Ferramenta de Gestão de Fábrica
• Visibilidadepara o Cliente
– Consumo da Fábrica
– Visão detalhada do consumo da fábrica com detalhes dos pedidos
• Gestão dos pedidos de teste
– Centralização da comunicação
– Controle do fluxo dos pedidos de teste – Acompanhamento do SLA online
• Disponibilização de indicadores sobre as várias frentes:
– Ranking de maturidade dos sistemas/frentes testadas – Tempo médio (dias) para resolução de defeitos
– Percentagem de reabertura de defeitos corrigidos – Quantidade de defeitos fechados e principais motivos – Quantidade de falsos defeitos detectados e
principais motivos
– Média de defeitos por caso de teste (Defeitos/ Casos de Testes)
Workflow dos pedidos de teste
25
•Cálculo do esforço em Horas
•Avaliação da qualidadade das especificações (Requisitos de SW)
Estimativa
•Ajuste do esforço estimado ao cronograma do cliente e da fábrica •Alocação de Recursos
•Previsão de consumo de capacidade semanal e mensal
Planeamento
•Criação de cenários e casos de testes •Revisão pelo cliente
Especificação
•Criação de Check Points
•Metas definidas para medição de SLAs de execução
Definição de Metas
•Execução dos casos de testes
•Abertura e acompanhamento de defeitos •Medição dos SLAs
Execução
•Homologação da Entrega
Testes funcionais
Modelos de Serviço Especialização Tecnológica Áreas funcionais Outsourcing Fábrica Insite Fábrica Offsite SAP BPM SOA Automação Serviços ponta-a-ponta Telcos Banca Seguros Utilities DistribuiçãoTeste de carga
• Testes de carga: Avaliar os tempos de resposta de uma aplicação em
situações de carga similares (ou mesmo mais exigentes) que às que se irão verificar em produção .
• Testes de desempenho: Monitorização dos tempos de resposta de
uma aplicação em produção.
1-Definição de metas e objectivos 2 - Desenho e preparação de testes 4 -Optimizações
Testes de segurança
• Identificação de vulnerabilidades ao nível aplicacional e ao nível dos sistemas que suportam a aplicação.
• Recuso a ferramentas que exploram automaticamente as
vulnerabilidades das aplicações (EX: HP WebInspect).
• Complemento dos relatórios produzidos pela ferramenta, com
recomendações de segurança e detecção de falsos positivos.
Referências da Link
Secretaria Geral
JOSÉ MARQUES
JOSE.M.MARQUES@LINK.PT
