Quinto Estudo de Viabilidade da Técnica de GVA com Dados Históricos de

O quinto estudo de viabilidade foi publicado em (SOUZA, 2013b) e (SOUZA, 2013c). O quinto estudo de viabilidade avaliou se houve ganho ou perda de exatidão e de precisão, quando aplicada a técnica que integra dados históricos de qualidade a técnica de Gerenciamento de Valor Agregado, conforme apresentada no capítulo 03.

Foram identificadas as seguintes hipóteses para exatidão neste estudo de viabilidade:

 H0Exatidão: a técnica de GVA tradicional apresenta exatidão da ENT igual à técnica de GVA com Dados Histórico de Qualidade.

o ErroENTGVA Tradicional – ErroENT GVAQualidade = 0

 H1Exatidão: a técnica de GVA tradicional apresenta exatidão da ENT inferior à técnica de GVA com Dados Histórico de Qualidade.

o Erro ENT GVA Tradicional – Erro ENT GVA Qualidade> 0

Foram identificadas ainda as seguintes hipóteses para precisão neste estudo de viabilidade:

 H0Precisão: a técnica de GVA tradicional apresenta precisão da IDCAcum igual à técnica de GVA com Dados Histórico de Qualidade.

o Variação IDC GVA Tradicional – Variação IDC GVA Qualidade = 0

 H1Precisão: a técnica de GVA tradicional apresenta precisão da IDCAcum inferior à técnica de GVA com Dados Histórico de Qualidade.

o Variação IDC GVA Tradicional – Variação IDC GVA Qualidade> 0

Foram testadas também, hipóteses secundárias relacionadas à exatidão e a precisa quando os projetos tinham sido 25%, 50% e 75% executados.

125

A exatidão ou redução do erro da Estimativa No Término (ENT), da técnica proposta, foi medida por atividade, utilizando a equação a seguir:

Erro ENTQualidade = |1-

CRAcum

ENTQualidade|, (35)

Onde ENTQualidade corresponde a equação (30) do Capítulo 03:

ENTQual = 𝑬𝑵𝑻

𝑰𝑫𝑪 𝑨𝒄𝒖𝒎 + VCQ,

A exatidão ou redução do erro da Estimativa No Término (ENT), da técnica tradicional, foi medida por atividade, utilizando a equação a seguir:

Erro ENT Tradicional = |1-

CRAcum

ENT |, (36)

O uso das equações (35) e (36), poderiam gerar resultados positivos e/ou negativos. Em função disso, foram utilizados osvalores absolutos (ou o módulo) das equações, pois valores positivos e negativos poderiam se anular ao se calcular o valor do erro médio, mascarando assim os resultados obtidos.

Para calcular o erro médio de ambas as técnicas, foi utilizada a equação a seguir

Erro MédioENT<<Técnica>> =

∑ Erro ENT≪Técnica≫N₁

N , (37)

Para medir a redução da variação do IDCAcum ou a precisão das técnicas, o IDCAcum de cada atividade foi comparado com o IDCAcum da atividade anterior.

Isso foi feito utilizando a equação a seguir:

VariaçãoIDC Atividade (N) =|1 – (

𝐈𝐃𝐂𝐀𝐭𝐢𝐯𝐢𝐝𝐚𝐝𝐞(𝐍)

𝐈𝐃𝐂𝐀𝐭𝐢𝐯𝐢𝐝𝐚𝐝𝐞(𝐍+𝟏))|, (38) Novamente o valor absoluto da equação (38) foi utilizado para calcular a variação do IDCAcum por atividades.

A variação média, utilizada para a realização dos testes de hipóteses, foi calculada utilizando a equação a seguir:

Variação Média<<Técnica>> =

∑ 𝐕𝐚𝐫𝐢𝐚çã𝐨𝐈𝐃𝐂𝐀𝐭𝐢𝐯𝐢𝐝𝐚𝐝𝐞 (𝐍)𝐍_𝟏

(𝐍−𝟏) , (39)

Assim como nos estudos anteriores, este estudo foi conduzido utilizando-se simulação dos dados dos projetos. As simulações de dados históricos de desempenho de custo, referentes aos estudos de viabilidade anterior foram reutilizadas para a execução destas simulações. Entretanto, foram acrescentados dados relacionados ao desempenho de

126

qualidade, para cada fase do ciclo de vida presente na simulação, conforme ilustra a Tabela 4.25.

Tabela 4.25 – Dados da Simulação de Qualidade

Para simular a existência de defeitos, foram utilizadas as colunas “HoEst“, “Ocorreu?”, “Foi corrigido?”, “CRQual”, “CRTrad“ da Tabela 4.25. A coluna “HoEst“ representa o esforço estimado de correção do defeito e contém a função “aleatório”. A função aleatório podia gerar um número entre 4 e 12 horas para as linhas de 1 a 10.

As “HoEst“ das linhas de 11 a 14 simulavam a tendência da fase de ciclo de vida de apresentar mais ou menos defeitos, conforme as fases anteriores fossem executadas, ou seja, caso a fase anterior apresentasse menos defeitos que o histórico da organização, a fase atual teria uma tendência a apresentar uma quantidade menor de defeitos. Essa tendência foi adicionada da seguinte maneira: o percentual de defeitos históricos era calculado através da divisão do campo “NC”, que corresponde aos defeitos apurados, pelo campo “Med hist”, que corresponde a média histórica de defeitos. Caso esse percentual ficasse entre 20% e 40% maior que o histórico, a coluna “HoEst“ geraria o valor 8, caso o percentual

127

fosse maior que 40% geraria o valor 12, caso ficasse entre -20% e -40%, seria gerado um valor -4 (para que o custo da fase fosse reduzido), e se percentual fosse menor que -40%, seria gerado o valor -12.

A coluna “Ocorreu?” continha função “aleatório”, que poderia gerar apenas os números 0 ou 1, determinando a existência ou não de defeitos.

A coluna CRQual corresponde ao custo real estimado da atividade de correção do defeito, e foi calculada através do esforço estimado, multiplicado pela coluna “Ocorreu?” e pelo custo médio da atividade. Se a coluna “Ocorreu”, fosse igual a zero, a coluna CRQual também seria igual a zero. Esse custo normalmente só é computado, na técnica tradicional de GVA, após o defeito ser corrigido. Desta forma, um projeto com IDC igual a 1, e com um grande número de defeitos não corrigidos, passa a impressão de que não tem problemas de desempenho de custo. Essa pode ser uma das justificativas, para o conhecido problema da queda de desempenho de custo observada no final dos projetos por (LIPKE, 2009).

A coluna CRTrad representa o custo real de correção de um defeito. Essa coluna pode ser calculada multiplicando-se as colunas “HoEst“,“Ocorreu?” e “Foi corrigido?”. Vale lembrar que a coluna “Foi corrigido?” também contém a função “aleatório”, com valores variando entre 0 e 1, o que determina se o defeito foi ou não corrigido. Se as colunas “Ocorreu?” ou “Foi corrigido?” forem iguais a zero, o CRTrad também será igual a zero. Esse custo normalmente é agregado ao CR na metodologia tradicional de GVA. Foram aplicadas essas regras a todas as fases utilizadas, ou seja, foram utilizados dados de qualidade de todas as fases que compunham o ciclo de vida de desenvolvimento de software.

As equações (18) a (30) do capítulo 3 foram então aplicadas a amostra de dados geradas pela simulação e os erros da ENT e as variaçõesdo IDCAcum das técnicas foram obtidos aplicando as equações (35) a (39) deste capítulo.

A aplicações dessas equações geraram os dados presentes na Tabela 4.26, que também são exibidos na Figura 4.9. O eixo X dessa Figura mostra os projetos simulados e o eixo Y o erro médio da ENT apresentado por cada técnica. A técnica proposta apresentou maior ganho de exatidão no projeto 4, e a menor diferença entre a técnica proposta e a técnica tradicional foi encontrada no projeto 3, ambos podem ser vistos na Figura 4.9.

128

Figura 4.9–Variação Total do IDCAcumas Técnicas

Tabela 4.26 –Erro Médio da ENTApresentados pela Técnica de GVA com Dados

de Qualidade e GVA Tradicional

%Executado P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 Média 25% Trad. 15,4 13,0 1,5 17,3 16,4 13,7 7,0 3,6 5,6 12,1 10,6 25% Qual. 1,8 0,5 17,4 1,1 6,2 3,8 0,1 9,9 0,5 4,1 4,5 50% Trad. 10,3 12,0 9,2 10,0 8,9 11,0 5,4 10,4 4,7 6,7 8,8 50% Qual. 3,5 2,9 2,5 2,4 4,1 6,4 2,7 2,9 4,9 1,4 3,4 75% Trad. 15,6 10,0 15,1 9,6 14,0 13,2 8,0 13,8 12,0 10,1 12,2 75% Qual. 5,2 1,7 5,4 0,2 1,7 1,7 1,1 1,8 4,1 3,2 2,6 Total Trad. 41,3 35,0 25,8 36,9 39,3 37,9 20,4 27,8 22,3 28,9 31,6 Total Qual. 10,5 5,1 25,3 3,8 12,0 11,9 4,0 14,5 9,6 8,8 10,5

Foram realizados os testes de hipótese para confirmar se houve redução do erro médio da ENT (ganho de exatidão) e/ou redução da variação do IDCAcum da técnica proposta

Os testes de hipóteses realizados sobre a amostra da Tabela 4.26 são exibidos na Tabela 4.27. Foi adotado um nível de significância de 95% para o teste de hipótese.

33,3% 32,2% 22,1% 30,2% 35,2% 28,7% 16,9% 20,1% 22,0% 23,3% 7,2% 11,1% 25,7% 1,9% 11,3% 5,5% 2,7% 12,1% 11,3% 9,0% 0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 30,0% 35,0% 40,0% 1 2 3 4 5 6 7 8 9 10

Variation CPI EVMVar _{ENT GVA} Variation CPI QualityVar ENT GVA Qualidade

Projetos V ar ia çã o E N TT éc ni ca s

129

Todos os testes de hipóteses realizados considerando o ganho de exatidão apresentaram resultados significativos, indicando que a técnica proposta é superior a tradicional, dentro do contexto da simulação conforme ilustra a Tabela 4.27.

Tabela 4.27 – Testes de Hipótese de Erro da ENT ou Exatidão

Hipótese Teste T Valor de p Conclusão H0Exat25% ErroENTGVA Tradicional 25% –

ErroENTGVAQualidade25% = 0

6,46 5,9 x 10-5 Refutar H0

H0Exat50% Erro ENTGVA Tradicional 50% – Erro ENTGVA Qualidade

50% = 0

6,40 6,24 x 10-5 Refutar H0

H0Exat75% Erro ENTGVA Tradicional 75% – Erro ENTGVA Qualidade

75% = 0

6,39 6,3 x 10-5 _{Refutar H0}

H0ExatTotal

Erro ENTGVA Tradicional Total – Erro ENTGVA Qualidade

Total = 0

14,8 6,1 x 10-8 Refutar H0

Foram realizados os testes de hipótese para confirmar se houve ganho de precisão da técnica. Foram utilizados os dados presentes na amostra da Tabela 4.26. Os dados da Tabela 4.28 também são exibidos na Figura 4.10. O eixo X dessa Figura mostra os projetos da amostra e o eixo Y a variação total apresentada por cada técnica.

Tabela 4.28 –Variação Total do IDCAcum Apresentados pela Técnica GVA Tradicional e GVA com Dados de Qualidade – GVAHDQ

%Executed P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 Ave. 25% Trad. 15,4 13,0 1,5 17,3 16,4 13,7 7,0 3,6 5,6 12,1 10,6 25% Qual. 1,8 0,5 17,4 1,1 6,2 3,8 0,1 9,9 0,5 4,1 4,5 50% Trad. 2,3 9,2 5,4 3,3 4,7 1,8 1,8 2,6 4,4 1,0 3,67 50% Qual. 0,3 8,9 2,9 0,6 3,4 0,0 1,5 0,4 6,6 1,6 2,62 75% Trad. 15,6 10,0 15,1 9,6 14,0 13,2 8,0 13,8 12,0 10,1 12,2 75% Qual. 5,2 1,7 5,4 0,2 1,7 1,7 1,1 1,8 4,1 3,2 2,6 Total Trad. 33,3 32,2 22,1 30,2 35,2 28,7 16,9 20,1 22,0 23,3 26,4 Total Qual. 7,2 11,1 25,7 1,9 11,3 5,5 2,7 12,1 11,3 9,0 9,8

130

Todos os testes de hipóteses realizados considerando o ganho de precisão apresentaram resultados significativos, indicando que a técnica proposta é superior a tradicional, dentro do contexto da simulação conforme ilustra a Tabela 4.29.

Os testes de hipóteses realizados sobre a amostra da Tabela 4.28 são exibidos na Tabela 4.29. Foi adotado um nível de significância de 95% para o teste de hipótese.

Tabela 4.29 – Testes de Hipótese de Variaçãodo IDCAcum ou Precisão

Hipótese Teste T Valor de p Conclusão

H0Var25%

VariaçãoENTGVA Tradicional 25% – VariaçãoENTGVA Qualidade 25% = 0

4,03 0,0015 Refuta H0

H0Var50%

Variação ENTGVA Tradicional 50% – Variação ENTGVA Qualidade 50% = 0

1,93 0,042 Refutar H0

H0Var75%

Variação ENTGVA Tradicional 75% – Variação ENTGVA Qualidade 75% = 0

2,30 0,0197 Refutar H0

H0 Var Total

Variação ENTGVA Tradicional Total – Variação ENTGVA Qualidade Total = 0

14,8 6,2x10-8 Refutar H0

4.6.1 Lições Aprendidas com o Quinto Estudo de Caso

Apesar da técnica proposta apresentar melhoria em relação a técnica tradicional, e dos resultados serem significativos segundo o teste de hipótese. Na simulação realizada, foram definidas como premissa que os custos relacionados a qualidade estariam em torno de 30% do custo total do projeto. A técnica proposta calcula e corrigi os custos finais dos projetos, dado um indicador de desempenho de custo, relacionado a qualidade. Entretanto, uma eventual correção da técnica proposta da ordem de 10% dos custos relacionados a qualidade, representariam em um projeto, cerca de 3,0% do total dos custos do projeto (10% de 30%), representando pouca diferença.

Portanto, um estudo de caso com dados de projetos reais seria uma evidência mais forte de viabilidade da técnica proposta.

131