3 NORMAS E MODELOS DE QUALIDADE DO PROCESSO DE SOFTWARE
3.3.2 Estudos sobre a efetividade dos modelos CMM®/CMMI®
Na linha de trabalhos que procuram avaliar a efetividade da melhoria em processos, o estudo de Kuilboer e Ashrati (2000) apresenta uma pesquisa que avaliou a efetividade e o impacto em qualidade, custos e entregas no prazo, das práticas de melhoria do processo de software (SPI – Software Process Improvement). A pesquisa consistiu na elaboração de um questionário e sua aplicação com desenvolvedores de software de New England, Estados Unidos, totalizando 67 respostas.
O questionário foi divido em três partes. A primeira parte foi destinada à identificação da metodologia de SPI em uso (CMM®, ISO, etc.), e sobre o tipo e tamanho dos projetos em que os respondentes estavam envolvidos. Na segunda parte as perguntas eram pertinentes ao impacto do SPI em custo, cronograma e qualidade. Na terceira parte, as perguntas procuravam avaliar a importância dos fatores de qualidade aos desenvolvedores de software (KUILBOER; ASHRATI, 2000). Os resultados levantaram evidências como o aumento de custo e prazo de entrega, e que para os desenvolvedores o fator mais importante de qualidade é a corretividade2, mas apresentando discrepância entre a classificação de importância e impacto desse item. Outro aspecto importante apresentado é que (KUILBOER; ASHRATI, 2000, p. 29):
• 100% das empresas que utilizavam simultaneamente ISO 9000 e CMM® declararam aumentar a satisfação do cliente;
• 80% das que seguiam somente o modelo CMM® também declararam aumentar a satisfação do cliente; e,
2
• 20% das que utilizavam somente a ISO 9000 informaram algum aumento na satisfação do cliente.
Outros estudos que também analisam a efetividade da melhoria em processos, particularmente com base no modelo CMM®, foram os conduzidos por Quintela e parceiros (QUINTELA; OSÓRIO, 2002; QUINTELA; TOLEDO; MOKDISSE, 2005; QUINTELA et. al, 2006).
No primeiro estudo, Quintela e Osório (2002), apresentam uma avaliação da percepção dos usuários sob os serviços prestados, em uma área de desenvolvimento de software que seguiam práticas e proposições do CMM®, utilizando para tal avaliação o instrumento SERVQUAL. Os resultados foram coletados em uma amostra de 20 projetos de desenvolvimento, com 60 participantes desses projetos, todos da mesma empresa. Como principal achado, apresenta a confirmação da hipótese de que o uso do CMM® no desenvolvimento de software promove a melhoria da qualidade percebida pelo usuário (QUINTELA; OSÓRIO, 2002).
No trabalho seguinte, Quintela, Toledo e Mokdisse (2005), também utilizando o SERVQUAL, propõem uma análise das percepções dos usuários acerca do serviço de uma área de desenvolvimento de software que, além do CMM®, emprega práticas do SIX SIGMA (WIKIPÉDIA, 2007). A amostra de dados contou com 2 projetos e 4 usuários responsáveis por tais projetos, todos pertencentes à mesma empresa. Como resultado foi encontrada uma tendência não significativa, de que a qualidade é melhor percebida quando são utilizados SIX SIGMA (WIKIPÉDIA, 2007) e o CMM® conjuntamente (QUINTELA; TOLEDO; MOKDISSE, 2005).
No estudo mais recente, Quintela et. al (2006), continuam avaliando o serviço prestado com o SERVQUAL, porém, focado em uma área de testes de software de uma empresa, que baseia seus processos de verificação, validação e testes no modelo CMMI®. Foram
selecionados para a pesquisa 40 produtos produzidos por essa área, sendo que 12 (doze) foram classificados como não aderentes ao CMMI® e 28 (vinte e oito) aderentes. Os respondentes foram selecionados entre usuários e/ou equipes de atendimento dos produtos, perfazendo um número total de 40 (quarenta) participantes. Em suas conclusões, os autores afirmam que há um impacto parcial na visão do cliente quando são aplicados processos de teste baseados no CMMI® (QUINTELA et. al, 2006).
Todavia, estes estudos apresentaram algumas limitações consideráveis, como: • a representatividade e tamanho da amostra;
o Quintela e Osório (2002) – 09 (nove) projetos no nível 01 (um) do CMM e 10 em evolução para o nível 02 (dois), instrumento aplicado a 60 (sessenta) usuários/equipes de atendimento.
o Quintela, Toledo e Mokdisse (2002) – 02 (dois) projetos, com instrumento aplicado a 04 (quatro) usuários principais ao todo.
o Quintela et al. (2006) – 40 (quarenta) produtos de software (12 não aderentes e 28 aderentes ao CMMI), instrumento aplicado a 40 (quarenta) usuários/equipes de atendimento.
• pesquisas realizadas avaliando uma única organização;
• falta de dados comparativos de avaliação da qualidade de serviço de empresas não avaliadas no CMM®/CMMI®;
• apenas uma das organizações prestadoras do serviço, presente nos trabalhos, era formalmente avaliada no modelo CMM®.
Outro problema grave identificado foi o procedimento utilizado para identificar se um projeto de uma área de desenvolvimento/teste estava aderente ou não às práticas dos modelos de maturidade. Um questionário era conduzido com analistas e/ou responsáveis e, se o nível de aderência fosse maior ou igual a três, o projeto era classificado como aderente
(QUINTELA; OSÓRIO, 2002; QUINTELA et. al, 2006). Além de não se assemelhar a uma avaliação formal conduzida pelos órgãos avaliadores credenciados pelo SEI, esse tipo de análise apresentou classificações sobre projetos que estariam no nível 01 (um) indo para o nível 02 (dois), o que não existe para os modelos CMM®/CMMI® (QUINTELA; OSÓRIO, 2002).
Partindo para uma linha experimental, pode-se destacar o trabalho de Smidts, Huang e Widmaier (2002), que conduziram um experimento em que foi solicitado a um provedor formalmente avaliado no CMM® nível 04 (quatro) e a um sem essa avaliação, que desenvolvessem o mesmo software. Software este que posteriormente foi avaliado e testado pelos pesquisadores quanto à sua confiabilidade.
Segundo os autores as primeiras diferenças já apareceram na estimativa e planejamento do projeto, em que o provedor com CMM® nível 04 (quatro) utilizou o dobro de recursos humanos (6) em relação ao fornecedor sem a avaliação (3). O total de horas gastas também foi 36,8% maior para o provedor CMM® nível 04 (quatro) (SMIDTS; HUANG; WIDMAIER, 2002, p. 221).
Outro problema identificado foi que durante a análise de requisitos o provedor CMM® nível 04 (quatro) não envolveu todos os interessados necessários para detectar inconsistências, e, consequentemente, o produto entregue refletiu somente a interpretação do programador sobre os requisitos (SMIDTS; HUANG; WIDMAIER, 2002, p. 222).
Nos testes realizados nos dois produtos entregues, foi identificado que o produto do provedor CMM® nível 04 (quatro) apresentou 09 (nove) falhas e o produto do fornecedor não avaliado apresentou 03 (três) falhas. Os testes ainda monstram que a confiabilidade em relação aos defeitos críticos (nível 01) foi menor para o provedor CMM® nível 04 (quatro) (0,56) do que para o não avaliado (0,77). Em contrapartida, a documentação entregue pelo provedor CMM® nível 04 (quatro), foi amplamente maior, incluindo manuais, plano de
testes, medições de qualidade, especificação de requisitos, especificação de projeto, entre outros (SMIDTS; HUANG; WIDMAIER, 2002, p. 223).
Especificamente para o modelo CMMI® (2002) é encontrado no site do SEI, resultados de desempenho coletados a partir das avaliações realizadas em 25 organizações até dezembro de 2005. Os resultados foram organizados em 06 tópicos: custo, cronograma, produtividade, qualidade, satisfação do cliente e retorno do investimento. Notadamente as categorias de produtividade, qualidade e cronograma apresentaram resultados expressivos de melhorias. Todavia, o item satisfação do cliente não apresentou os melhores resultados, sendo o único fator que em seu menor valor obteve uma avaliação negativa e o seu maior valor, percentualmente, ficou bem abaixo dos demais. Entretanto, há de se observar que esse foi o quesito com o menor número de dados reportados, como pode ser observado na Tabela 2.
Tabela 2 – Resultado de desempenho de empresas avaliadas no modelo CMMI® (CMMI, 2006). Categoria de Desempenho Mediana Nº. de pontos de dados Mínimo Máximo
Custos 20% 21 3% 87% Cronograma 37% 19 2% 90% Produtividade 62% 17 9% 255% Qualidade 50% 20 7% 132% Satisfação do Cliente 14% 6 -4% 55% Retorno do Investimento 4.7 : 1 16 2 : 1 27.7 : 1
3.4 - CONSIDERAÇÕES FINAIS DO CAPÍTULO
Neste capítulo foi apresentado o referencial sobre modelos de melhoria do processo de software, com destaque aos dois modelos desenvolvidos pelo SEI o CMM® e sua evolução o CMMI®, exibindo os principais conceitos envolvidos e dados de sua implantação no Brasil e no mundo. Foi também apresentado o formato de alguns outros modelos, como o Trillium, o
Bootstrap, a norma ISO/IEC 15504 e o MPS.BR. Por fim, foram apresentados estudos que exibem a efetividade da implantação dos modelos CMM® e CMMI®.
Apesar da existência de diversos outros modelos, como citado anteriormente, os modelos CMM®/CMMI® destacaram-se no cenário mundial com uma proposta de metodologia evolutiva e abrangente. Resultados comprovam o crescimento da utilização desses modelos, e com a sua adoção algumas empresas apresentaram expressivos ganhos em relação à redução de custo, cronograma e produtividade. Porém, um fator muito importante que apresentou resultados pouco expressivos foi a satisfação do cliente que, em alguns casos, piorou após a implementação dos modelos.
Como pôde ser observado, os estudos de Quintela e parceiros (QUINTELA; OSÓRIO, 2002; QUINTELA; TOLEDO; MOKDISSE, 2005; QUINTELA et. al, 2006) propuseram uma avaliação da qualidade de serviço de provedores, utilizando o modelo de avaliação SERVQUAL, a fim de verificar se a adoção de práticas do CMM®/CMMI® influenciavam em uma boa percepção do serviço pelo cliente. Porém, várias limitações estão presentes nesses estudos como: representatividade e tamanho da amostra, pesquisas realizadas avaliando uma única organização, falta de dados comparativos de empresas não avaliadas no CMM®/CMMI® e o fato de a maioria das organizações prestadoras do serviço, presente nos trabalhos, não ser formalmente avaliada no modelo CMM®.
No próximo capítulo será apresentada em detalhe a metodologia de pesquisa utilizada na execução deste trabalho.
4 METODOLOGIA
“Qualquer atividade se torna criativa quando quem a exerce se preocupa em fazê-la direito ou melhor” John Updike
Neste capítulo é apresentada a metodologia de pesquisa empregada na execução deste trabalho, informando a classificação da pesquisa, a caracterização da amostra, o processo de coleta de dados, bem como os procedimentos utilizados para validação do instrumento e análise dos resultados.
4.1 - CLASSIFICAÇÃO DA PESQUISA
Segundo Moresi (2003), uma pesquisa pode ser classificada quanto à sua natureza, abordagem, fins e meios. Portanto, este trabalho pode ser classificado quanto à sua natureza como aplicado por objetivar identificar se os provedores de serviço de desenvolvimento de software, com avaliação formal CMM®/CMMI®, estão atendendo às expectativas dos clientes.
Quanto à sua abordagem este trabalho é categorizado como quantitativo, pois houve a aplicação de dois instrumentos de identificação, um somente da qualidade esperada e outro da qualidade do serviço (Esperada e Percebida) pelo cliente. Assim este trabalho também pode ser qualificado quanto aos meios como sendo de campo. Para os fins, este é do tipo descritivo, pois retrata a opinião dos entrevistados quanto a qualidade esperada e a percebida dos serviços prestados por tais provedores.
4.2 - HIPÓTESES
Dado o objetivo principal do trabalho que era identificar a qualidade dos serviços providos (Expectativas e Percepções), na visão dos clientes ou possíveis clientes dos
provedores formalmente avaliados nos modelos CMM®/CMMI®, foram formuladas duas hipóteses:
• A qualidade percebida pelos clientes não atende suas expectativas, e;
• Clientes e possíveis clientes possuem alta expectativa em relação à prestação, ou possível prestação de serviço com tais provedores.
Segundo Malhotra (2001, p. 405) existem dois tipos de hipóteses que podem ser formuladas: A hipótese nula, ou seja, uma afirmação do estado atual do problema em questão, naqual não são verificados qualquer diferença ou efeito; e, a hipótese alternativa, que seria a hipótese onde se espera alguma diferença ou efeito, como mudanças de opiniões ou atitudes. Nesse cenário, a hipótese alternativa é categorizada como oposta da hipótese nula.
Portanto, as hipóteses foram reorganizadas e formalizadas da seguinte maneira:
• Hipótese nula (H0_1) – A qualidade percebida pelos clientes atende às suas expectativas, ou seja, não existe diferença significativa entre a qualidade percebida e a esperada para a realidade estudada;
o H0_1: Percepção – Expectativa = 0;
• Hipótese alternativa (H1_1) - A qualidade percebida pelos clientes é inferior às suas expectativas, ou seja, a qualidade percebida é significativamente inferior à qualidade esperada para a realidade estudada;
o H1_1: Percepção – Expectativa < 0; com nível de significância < 0,05;
Devido a inexistência de trabalhos correlatos que avaliassem as expectativas de clientes/possíveis clientes dos provedores CMM®/CMMI®, optou-se por formular a segunda hipótese comparando os resultados obtidos com o ponto central da escala de respostas utilizadas (01 – discordo plenamente até 07 – concordo plenamente), ou seja, valores inferiores a 04 (quatro) foram considerados como baixa expectativa e valores iguais a 04 (quatro) foram considerados como expectativa neutra.
Assim a hipótese nula e a alternativa foram formuladas como:
• Hipótese nula (H0_2) - Clientes e possíveis clientes possuem baixa ou neutra expectativa em relação à prestação, ou possível prestação de serviço com provedores formalmente avaliados nos modelos CMM®/CMMI®;
o H0_2: µ ≤ 04;
• Hipótese Alternativa (H1_2) - Clientes e possíveis clientes possuem alta expectativa em relação à prestação, ou possível prestação de serviço com provedores formalmente avaliados nos modelos CMM®/CMMI®.
o H1_2 :µ > 04.