3. Definição do catálogo de Medidas
3.3. Consolidação do catálogo
3.3.4. Especificação dos indicadores e consolidação do catálogo
A partir da identificação do conjunto de 15 indicadores de desempenho, que agrupam
as 37 medidas selecionadas para o catálogo, foi possível iniciar a especificação detalhada dos
indicadores. As seções seguintes apresentam as especificações de cada indicador e suas
medidas, conforme o modelo de documento de especificação adaptado para esta pesquisa.
3.3.4.1.
Análise de valor agregado
Descrição da necessidade de informação
Necessidade de
informação Qual é o desempenho de prazo, custo e escopo do projeto, quando avaliados de forma integrada?
Categoria de
informação •• Prazo Custo
• Escopo
Objetivo de medição
Objetivo de medição Avaliar o desempenho do escopo realizado do projeto em relação ao planejamento, e
Entidade e atributos
Entidades relevantes Projeto ou atividades do projeto
Atributos 1. Escopo planejado: Linha de base de escopo planejado para a tarefa ou projeto. 2. Prazo planejado: Linha de base de prazo planejado para a tarefa ou projeto.
Normalmente estimado com base no escopo planejado em relação aos recursos disponíveis e produtividade destes para realização das tarefas.
3. Custo planejado: Linha de base de custo planejado para a tarefa ou projeto. 4. Custo realizado: Valor real de custo executado até o determinado momento. 5. Prazo realizado: Valor real de prazo executado até o determinado momento. 6. Escopo realizado: Valor real de escopo executado até o determinado momento.
Especificação de medida básica
Medidas básicas 1. Valor planejado (VP) 2. Custo real (CR) 3. Valor agregado (VA) 4. Orçamento no término (ONT)
Métodos de medição 1. Estimativa do custo total planejado para execução do trabalho de uma atividade ou projeto até um determinado momento, obtida da linha de base do projeto. Este custo é normalmente estimado com base no custo dos recursos alocados para realização das tarefas do projeto.
2. Cálculo do custo total realizado na execução do trabalho de uma atividade ou projeto até um determinado momento, normalmente obtido através do custo acumulado dos recursos utilizados para a realização da tarefa ou projeto.
3. Cálculo do custo total planejado para execução do trabalho realmente terminado na atividade ou projeto até um determinado momento. Este valor de custo corresponde ao valor planejado, multiplicado pelo percentual de conclusão da atividade ou projeto,
4. Estimativa de custo planejado para execução do trabalho de todo o projeto, baseado no planejamento original mais mudanças autorizadas (VP total).
Tipos de métodos 1. Objetivo 2. Objetivo 3. Objetivo 4. Objetivo
Escala 1. Decimais, de zero a infinito 2. Decimais, de zero a infinito 3. Decimais, de zero a infinito
4. Decimais, maior do que zero a infinito
Tipos de escalas 1. Razão 2. Razão 3. Razão 4. Razão
Unidade de medição 1. Valor monetário (R$) 2. Valor monetário (R$) 3. Valor monetário (R$) 4. Valor monetário (R$)
Especificação de medida derivada
Medidas derivadas 1. Índice de desempenho de custos (IDC) 2. Índice de desempenho de prazo (IDP) 3. Variação de custo (VC)
4. Variação de custo percentual (VC %) 5. Estimativa para terminar (EPT) 6. Estimativa no término (ENT) 7. Variação no término (VNT)
Função de medição 1. IDC = VA / CR 2. IDP = VA / VP 3. VC = VA – CR 4. VC% = (VA – CR) / VA 5.
5.1. EPT Ł Estimativa para terminar baseada em uma nova estimativa, independente e não calculada, para o trabalho restante do projeto
5.2. EPT = (ONT - VA) Ł Estimativa para terminar baseada em variações típicas: Esta abordagem é mais freqüentemente usada quando as variações atuais são consideradas atípicas e a expectativa da equipe é de que variações semelhantes não irão ocorrer no futuro. 5.3. EPT = (ONT - VA) / IDC Ł Estimativa para terminar
baseada em variações típicas: Esta abordagem é mais freqüentemente usada quando as variações atuais são consideradas típicas, sendo que deverão se repetir no futuro.
6. ENT = CR + EPT 7. VNT = ONT – ENT
Especificação de indicador
Descrição do
indicador e amostra 1. Índice de desempenho de prazo (IDP) e Índice de desempenho de custos (IDC): As medidas de IDC e IDP são apresentadas separadamente em gráficos
XmR para avaliação da estabilidade do processo (Figura 7 e Figura 8).
Figura 8: Índice de desempenho de prazo (XmR)
2. Valor agregado (VA), Custo real (CR) e Valor planejado (VP): As medidas
básicas da análise de valor agregado são apresentadas em conjunto em um gráfico de Curva S (Figura 9).
Figura 9: Valor agregado (Curva S)
3. Variação de custo (VC) e Variação de custo percentual (VC%): As medidas de
variação de custo são analisadas em relação a uma escala temporal, apresentando tanto o valor monetário da variação quanto o percentual mensal e acumulado (Figura 10).
-1 6,36 % -71 ,47 % -10 2,0 1% -23 ,12 % 11 ,1 4% -22 8,9 0% -37 ,60 % -59 ,22%-49 ,2 7% -52,58% -174 ,65 % -4 0,7 0% -1 6,36 % -35 ,61 % -53 ,05 % -37 ,57 % -21 ,33 % -50 ,02 % -46 ,38 % -49 ,87% -49 ,7 4% -50,2 4% -6 8,8 6% -6 3,3 0% -2 50 ,00 % -2 00 ,00 % -1 50 ,00 % -1 00 ,00 % -50 ,00 % 0 ,0 0% 5 0,00 % R$ (1 00 .00 0,00 ) R$ (80 .000 ,00 ) R$ (60 .000 ,00 ) R$ (40 .000 ,00 ) R$ (20 .000 ,00 ) R$ - R$ 2 0.0 00,0 0
jan / 08 fe v/ 08 mar / 0 8 abr / 0 8 mai/ 0 8 jun / 08 jul/ 0 8 ago/ 0 8 se t/ 0 8 o ut / 0 8 no v/ 08 de z/ 08 Variação de custo
Var iação de cust o (VC) Var iação de cu st o pe r cen tu al (VC %) Var iação de cu st o acum ulado p er ce nt ual (VCa %)
Figura 10: Variação de custo
4. Orçamento no término (ONT), Estimativa no término (ENT) e Variação no término (VNT): As medidas que avaliam o custo planejado e real ao término do
projeto são apresentadas em relação a uma escala temporal, comparando a estimativa no término (ENT) com o orçamento no término (ONT) (Figura 11).
R$ 1 .79 5.00 0,0 0 R$ (1 .50 0.00 0,0 0) R$ (1 .00 0.00 0,0 0) R$ (50 0.0 00 ,00) R$ - R$ 5 00 .00 0,00 R$ 1.0 00 .00 0,00 R$ 1.5 00 .00 0,00 R$ 2.0 00 .00 0,00 R$ 2.5 00 .00 0,00 R$ 3.0 00 .00 0,00 R$ 3.5 00 .00 0,00
jan / 08 fe v/ 08 mar / 0 8 abr / 0 8 mai/ 0 8 jun / 08 ju l/ 08 ago / 0 8 set / 0 8 o ut / 08 no v/ 08 de z/ 0 8 Orçam ento no térm ino
Est imativa n o t ér m ino (ENT) Var iação n o t ér m ino (VNT) Or çame nt o no té r min o (ONT)
Figura 11: Orçamento no término
Modelo de analise 1. As medidas IDC e IDP são apresentadas separadamente em Gráficos de Controle X e mR (XmR) e de forma conjunta em um Diagrama de Dispersão:
1.1. O gráfico de controle XmR apresenta o desempenho do processo ao longo do tempo com o objetivo de avaliar a estabilidade do mesmo. A análise deste gráfico deve procurar por sinais de desvios, ou seja, variações excepcionais do processo que necessitam de investigação detalhada para identificação e correção das causas de variação. O cálculo da linha central e limites de controle deste gráfico são realizados de acordo com o procedimento apresentado na seção 2.3.5.4.
2. As medidas VA, CR e VP são apresentadas de forma cumulada em uma Curva S, onde á possível comparar o valor do trabalho executado (VA) em relação ao custo despendido para a realização do trabalho (CR) e ao valor de trabalho planejado (VP). A cada observação destas três medidas, os valores plotados na curva S permitem avaliar as variações de prazo em valores de tempo e monetário (Setas 1 e 2 na Figura 9, respectivamente) e a variação de custo em valor monetário (Seta 3 na Figura 9). Idealmente, as curvas das medidas VA, CR e VP deveriam ser plotadas de forma sobreposta, indicando que o projeto ou tarefa está sendo realizado exatamente dentro do custo e prazo previstos. Valores de CR e VP superiores a VA indicam que o projeto ou tarefa encontra-se em desvio de execução em relação ao custo e prazo planejados.
3. As medidas de VC e VC% são apresentadas em um único gráfico temporal de freqüência mensal, que combina os valores coletados para as medidas com a
variação de custo percentual acumulada. Variações de custo negativas, tanto em valor monetário quanto percentual, representam que o projeto ou tarefa encontra-se em desvio em relação ao planejamento. A variação de custo mensal deve ser analisada, porém o foco de melhoria deve ser sempre a variação acumulada, pois esta representa a tendência de resultado final para o projeto ou tarefa.
4. As medidas ONT, ENT e VNT são apresentadas em um único gráfico temporal de freqüência mensal, onde cada mês identifica a estimativa de custo ao término do projeto, com base no desempenho dos meses anteriores (variação típica). A medida ENT, apresentada em gráfico de barras, deve ser comparada em relação à medida ONT, apresentada como linha pontilhada. Observações de ENT superiores a ONT, bem como observações negativas de VNT, que indicam que o custo estimado do projeto deverá ser maior do que o planejado.
Os indicadores apresentados para análise de valor agregado devem ser analisados individualmente, conforme apresentado acima, e em conjunto a partir do seguinte modelo de análise:
• Eventuais desvios nos indicadores de IDC e IDP devem cruzados com as informações providas pela curva S. Nesta curva, devem ser identificados os pontos onde o valor agregado (VA) torna-se inferior ao custo real (CR) ou ao valor planejado (VA). A partir da identificação de tendência de desvio, devem ser analisados os processos técnicos com o objetivo de mapear as causas e propor ações corretivas.
• O valor de IDC deve ser cruzado com as tendências de desvio de variação de custo e variação de custo percentual, bem como com os indicadores de estimativa no término, estimativa para terminar e variação no término. Desvios no desempenho de custos mensal e acumulado são refletidos na previsão futura de custo final do projeto a partir da aplicação do IDC na fórmula de cálculo de ENT e EPT.
Critério de decisão 1. As medidas de IDC e IDP são apresentadas em gráficos XmR e em Diagrama de dispersão. Os critérios de decisão são diferentes para cada uma das formas de apresentação, conforme segue:
1.1. As representações no gráfico de controle XmR possuem como critérios de decisão as regras de instabilidade de processo para cada um dos gráficos que representam o indicador, conforme descrito na seção 2.3.5.5.
2. A avaliação do gráfico de Curva S para as medidas básicas de valor agregado permite obter as mesmas conclusões que os indicadores de IDC, IDP e VC. Portanto, como critério de decisão para a Curva S sugere-se que valores de CR e VP superiores a VA, apresentados de forma crescente em pelo menos dois meses consecutivos indicam tendência de desvio da tarefa e/ou projeto. Nestes casos, ações gerenciais são necessárias para recuperar o desvio e trazer o desempenho do projeto (EV e CR) o mais próximo possível do valor planejado (VP).
3. A avaliação do gráfico de variação de custo permite obter as mesmas conclusões que os indicadores de IDC, IDP e Curva S. O gráfico de variação de custo possui como critério de decisão que observações de variação de custo percentual (VC%) e/ou variação de custo acumulado percentual (VCa%) negativo são consideradas desvios e, portanto necessitam de ações gerenciais para identificação e resolução das causas de desvio.
4. A avaliação do gráfico de orçamento no término possui como critério de decisão que caso uma observação das medidas apresenta valores para ENT superior a ONT ou uma observação negativas de VNT deve ser tratada como desvio, sendo identificadas as causas e executadas ações para resolução.
Interpretação do
indicador 1. Para as medidas de IDC e IDP: 1.1. Tanto o gráfico de controle X como o mR para a medida IDC demonstram que o processo em questão encontra-se estável, não tendo apresentado nenhum dos padrões de desempenho descritos nas regras dos critérios de decisão. Neste caso, nenhuma ação gerencial é necessária.
1.2. O gráfico X da medida IDP não possui causas especiais de variação, porém, o gráfico mR de IDP apresenta na observação realizada em outubro de 2008 um sinal de instabilidade de acordo com Regra 1. Neste caso, o processo é considerado instável ou fora de controle e, portanto as causas deverão ser
identificadas e tratadas.
2. A curva S do exemplo apresenta, a partir da observação realizada em Março de 2008, tendência de desvio já que os valores de CR e VA são inferiores ao valor de PV por dois meses consecutivos. Sendo assim, ações gerenciais devem ser realizadas para tratar os desvios.
3. A partir do gráfico de variação de custos mostrado no exemplo anterior é possível concluir que em todos os meses apresentados no gráfico, o projeto ou tarefa medido apresentou desvio superior ao limite estabelecido nos critérios de decisão. Portanto, neste caso, desde o primeiro mês de medição seria necessário realizar ações para correção do desempenho do projeto, tornando compatíveis o custo real e valor agregado pelo trabalho realizado.
4. O gráfico de orçamento no término apresentado no exemplo identifica que os valores de ENT são superiores a ONT desde a primeira observação das medições. Sendo assim, são necessárias ações gerenciais para tornar a estimativa de custo final do projeto igual ou inferior ao valor de ONT.
Procedimento de coleta de dados (para cada medida básica)
Freqüência da coleta
de dados 1. Diariamente. Coleta do valor de valor planejado para as atividades e/ou projeto planejadas para realização até a data da coleta. 2. Diariamente. Coleta do custo realizado na execução das atividades até a data da
coleta.
3. Diariamente. Coleta do valor de valor agregado nas atividades realizadas até a data da coleta.
4. Mensalmente ou a cada mudança. Coleta do orçamento planejado para todo o projeto a cada oportunidade de reporte da medida ou a cada mudança aprovada no orçamento do projeto.
Responsável O Gerente do Projeto coleta os valores das medidas básicas de valor agregado.
Fase ou atividade de
coleta de dados Em todas as fases do ciclo de vida do projeto. Ferramentas
utilizadas para coleta de dados
1. Ferramenta de gerenciamento de cronograma e alocação de recursos. 2. Ferramenta de gerenciamento de cronograma e alocação de recursos. 3. Ferramenta de gerenciamento de cronograma e alocação de recursos. 4. Ferramenta de gerenciamento de cronograma e alocação de recursos.
Verificação e
Validação Auditorias nas linhas de base de planejamento e nos registros de desempenho, esforço e custo reportados pelas equipes da ferramenta de gerenciamento de cronograma.
Repositório de dados
coletados Repositório de medições da organização.
Procedimento de análise de dados (para cada indicador)
Freqüência de
reporte dos dados Mensalmente.
Para os meses onde o indicador não for coletado, repetir os valores da última análise.
Responsável • Analista de métricas do projeto e Gerente de projetos (nível do projeto)
• Analista de métricas da organização (nível da organização)
Fase ou atividade de
análise dos dados Em todas as fases do ciclo de vida do projeto. Fonte de dados para
análise Repositório de medições da organização. Ferramentas
utilizadas para análise de dados
Repositório de medições da organização.
Revisão, reporte e
usuário Equipe do projeto, Gerente de projetos e Gerente organizacional (nível do projeto) Gerente organizacional e Gerente sênior (nível organizacional)
Informação adicional
Guia de análise adicional
Considerações de
implementação • Os indicadores e medidas apresentadas nesta especificação apresentam diferentes visões do desempenho de escopo, custo e prazo do projeto. Pode-se concluir que as representações gráficas apresentadas possuem redundâncias de informação e objetivos. Sendo assim, não é necessário que todas as representações descritas sejam utilizadas, desde que a organização e os envolvidos sejam capazes de obter a visão desejada da análise de valor agregado.
• Quantidade de dados mínimos: A quantidade de dados mínimos para a análise de desempenho do processo é definida conforme exposto na seção 2.3.5.4.
3.3.4.2.
Cobertura de testes
Descrição da necessidade de informação
Necessidade de
informação Quanto do produto de software teve sua qualidade efetivamente validada por atividades de testes?
Categoria de
informação Qualidade
Objetivo de medição
Objetivo de medição Avaliar o percentual do escopo do produto de software validado através da execução de
testes.
Entidade e atributos
Entidades relevantes Pacote ou unidade de software
Atributos 1. Tamanho
Especificação de medida básica
Medidas básicas 1. Tamanho do produto de software testado, sendo representado por: 1.1. Quantidade de linhas de código, ou
1.2. Quantidade de pontos de função, ou 1.3. Quantidade de requisitos
2. Tamanho total do produto de software, sendo representado por: 2.1. Quantidade de linhas de código, ou
2.2. Quantidade de pontos de função, ou 2.3. Quantidade de requisitos
Métodos de medição 1. Contagem do tamanho de um pacote ou unidade de software para o qual foram realizadas atividades de testes
1.1. Contagem da quantidade de linhas de código (SEI, 1992) 1.2. Contagem da quantidade de pontos de função (IFPUG, 2004) 1.3. Contagem do número de requisitos funcionais do software. 2. Contagem do tamanho total de um pacote ou unidade de software
2.1. Contagem da quantidade de linhas de código (SEI, 1992) 2.2. Contagem da quantidade de pontos de função (IFPUG, 2004) 2.3. Contagem do número de requisitos funcionais do software.
Tipos de métodos 1. Objetivo 2. Objetivo
Escala 1.
1.1. Inteiros, de zero a infinito 1.2. Decimais, de zero a infinito 1.3. Inteiros, de zero a infinito 2.
2.1. Inteiros, de zero a infinito 2.2. Decimais, de zero a infinito 2.3. Inteiros, de zero a infinito
Tipos de escalas 1. 1.1. Absoluta 1.2. Razão 1.3. Absoluta 2. 2.1. Absoluta 2.2. Razão 2.3. Absoluta Unidade de medição 1. 1.1. Linhas de código 1.2. Pontos de função 1.3. Requisitos 2. 2.1. Linhas de código 2.2. Pontos de função 2.3. Requisitos
Especificação de medida derivada
Medidas derivadas 1. Cobertura de testes
Função de medição 1.
*100
software
de
produto
do
total
Tamanho
testado
software
de
produto
do
Tamanho
Especificação de indicador Descrição doindicador e amostra 1. Cobertura de testes: Este indicador apresenta na Figura 12 o percentual do produto de software testado, em relação ao tamanho total do produto de software.
Figura 12: Cobertura de testes (XmR)
Modelo de analise 1. A medida de Cobertura de testes é apresentada em Gráficos de Controle X e mR (XmR):
1.1. O gráfico de controle XmR apresenta o desempenho do processo ao longo do tempo com o objetivo de avaliar a estabilidade do mesmo. A análise deste gráfico deve procurar por sinais de desvios, ou seja, variações excepcionais do processo que necessitam de investigação detalhada para identificação e correção das causas de variação. O cálculo da linha central e limites de controle deste gráfico são realizados de acordo com o procedimento apresentado na seção 2.3.5.4.
Critério de decisão 1. A medida de Cobertura de testes possui como critérios de decisão as regras de instabilidade de processo para cada um dos gráficos que representam o indicador, conforme descrito na seção 2.3.5.5.
Interpretação do
indicador 1. Os gráficos de controle X e mR da medida de Cobertura de testes do exemplo acima apresentam desvios na medição coletada no Build 7, já que a medição excede o limite de controle de 3 sigmas da linha central. Neste caso é necessário avaliar as causas da baixa cobertura de testes para este Build, inclusive analisando se houve queda na qualidade para do produto entregue ao cliente.
Procedimento de coleta de dados (para cada medida básica)
Freqüência da coleta
de dados 1. A cada pacote ou unidade de software entregue ao Cliente (Build). Coleta do tamanho do pacote ou unidade de software testado antes da entrega ao cliente. 2. A cada pacote ou unidade de software entregue ao Cliente (Build). Coleta do
tamanho total do pacote ou unidade de software entrega ao cliente.
Responsável O Analista de métricas obtém os dados de tamanho do projeto.
Fase ou atividade de
coleta de dados Nas fases de Construção e Transição do ciclo de vida do projeto e prosseguir durante a fase de Operação do ciclo de vida do produto: Os dados devem ser coletados a partir do momento em que os primeiros testes forem realizados nos pacotes ou unidades de software até a implantação do produto. Opcionalmente, a medida pode permanecer sendo coletada durante a operação ou garantia do produto em ambiente de produção.
Ferramentas
utilizadas para coleta de dados
1.
1.1. Ferramenta de contagem de linhas de código
1.2. Ferramenta ou Relatório de análise de pontos de função 1.3. Ferramenta ou Lista de requisitos
2.
2.1. Ferramenta de contagem de linhas de código
2.2. Ferramenta ou Relatório de análise de pontos de função 2.3. Ferramenta ou Lista de requisitos
Verificação e Validação
Auditorias dos registros de tamanho do projeto de software.
Repositório de dados
coletados Repositório de medições da organização.
Procedimento de análise de dados (para cada indicador)
Freqüência de
reporte dos dados A cada pacote ou unidade de software entregue ao Cliente (Build).
Responsável • Analista de métricas do projeto e Gerente de projetos (nível do projeto)
• Analista de métricas da organização (nível da organização)
Fase ou atividade de
análise dos dados Nas fases de Construção e Transição do ciclo de vida do projeto e prosseguir durante a fase de Operação do ciclo de vida do produto: Os dados devem ser analisados a partir do momento em que os primeiros testes forem realizados nos pacotes ou unidades de software até a implantação do produto. Opcionalmente, a medida pode permanecer sendo analisada durante a operação ou garantia do produto em ambiente de produção.
Fonte de dados para
análise Repositório de medições da organização. Ferramentas
utilizadas para análise de dados
Repositório de medições da organização.
Revisão, reporte e
usuário Equipe do projeto, Gerente de projetos e Gerente organizacional (nível do projeto) Gerente organizacional e Gerente sênior (nível organizacional)
Informação adicional
Guia de análise
adicional Não aplicável. Considerações de
implementação • Fase ou atividade do ciclo de vida: A organização deve adaptar o momento de coleta e análise dos dados do indicador de acordo com as fases e atividades definidas no modelo de ciclo de vida em prática nos projetos (Ex.: Cascata ou iterativo).
• Quantidade de dados mínimos: A quantidade de dados mínimos para a análise de desempenho do processo é definida conforme exposto na seção 2.3.5.4.
3.3.4.3.
Custo da qualidade
Descrição da necessidade de informação