Neste tópico são apresentados os resultados dos modelos de análise discriminante e de regressão logística ajustados aos dados, relacionados ao desempenho dos projetos de desenvolvimento de software conduzidos com o uso de Métodos Ágeis. Conforme exposto anteriormente, a análise discriminante é utilizada para classificar objetos ou indivíduos em um número pré-estabelecido de grupos, a partir de medições de diversas variáveis. É utilizada também para se determinar uma equação discriminante capaz de predizer o resultado de uma nova observação, com uma chance de acerto específica. O modelo de regressão logística, por sua vez, é utilizado nesta pesquisa exclusivamente como forma de validar a estratégia de modelagem e os resultados encontrados na análise discriminante.
4.2.1 Resultados da Análise Discriminante
Nesta etapa da pesquisa, a análise discriminante é conduzida de forma a promover uma separação entre as duas categorias de desempenho do projeto de desenvolvimento de software – “Sucesso” e “Sucesso Parcial”. Esta discriminação em apenas dois grupos, apesar da variável dependente relativa ao desempenho do projeto prever três classificações, deve-se ao fato de nenhum respondente ter qualificado seu projeto como de “insucesso”, como mostra a Tabela 32 (ver Anexo B) .
A alocação entre os grupos é determinada, então, pela resposta dada à Q7 do instrumento de pesquisa (ver Anexo A), relativa ao desempenho do projeto. As variáveis explicativas (preditoras) usadas para discriminar os indivíduos correspondem às questões Q13 a Q34 do instrumento de pesquisa, referentes às técnicas e características dos Métodos Ágeis.
A possibilidade de se ter 22 variáveis preditoras, restringindo a seleção a no máximo quatro questões com o melhor poder de discriminação entre os dois grupos, levou à adoção da estratégia de seleção de busca exaustiva. Sendo assim, foram ajustados todos os possíveis modelos de análise discriminante com uma até quatro variáveis explicativas, chegando a um total de 9.108 modelos, resultantes das várias combinações possíveis, a saber:
Número de modelos de
análise discriminante = 9.108 = (C(22,1) + C(22,2) + C(22,3) + C(22,4)).
onde, C(22,x) é:
(
22 x)
: operador combinação.Para cada modelo foram calculados a proporção de acertos e o número de “falsos positivos”. Por “falso positivo” entende-se quantas vezes o desempenho do projeto foi classificado pelo modelo como “Sucesso”, mas na verdade era “Sucesso Parcial”.
Dentre os 9.108 modelos de análise discriminante gerados, foram escolhidos os 100 melhores, considerando-se a proporção de acertos. Os dez melhores modelos de predição para a Q7, com as respectivas proporções de acerto, número de falsos positivos e tamanho amostral, podem ser visualizados na Tabela 103 (ver Anexo C).
A partir da análise da lista reduzida dos 100 melhores modelos, foram selecionadas três questões – Q25, Q30 e Q32 – presentes em mais de 60% dos modelos ajustados. É importante explicar que o critério de seleção das questões adotado foi a presença em vários modelos e não a simples presença no melhor modelo, uma vez que vários modelos ajustados apresentaram o mesmo valor preditivo.
Ao se avaliar a distribuição da proporção de acertos para os 9.108 modelos gerados, por meio de gráficos de boxplot, percebe-se um sensível aumento nesta proporção de acerto entre os modelos que incorporam as três questões indicadas acima. Os modelos que não incluem as questões Q25, Q30 e Q32 têm uma chance de acerto média em torno de 72%. Já os modelos que incluem estas questões têm uma chance de acerto média de cerca de 79%, conforme mostra o Gráfico 2 (ver Anexo C). Pode-se dizer então que, considerando a amostra disponível, a presença das referidas questões tende a melhorar a proporção de acerto dos modelos de análise discriminante gerados, oferecendo sustentação à escolha realizada. A chance de acerto do melhor modelo ajustado é de 84% (ver Tabela 103 – Anexo C).
A equação discriminante final para o desempenho dos projetos de desenvolvimento de software realizado com o uso de Métodos Ágeis, considerando-se a amostra desta pesquisa, é:
D = 0,572*Q30 – 0,616*Q32 + 1,065*Q25.
A distribuição de acertos para o modelo proposto acima pode ser visualizada na Tabela 104 do Anexo C. Analisando os dados desta tabela percebe-se que o modelo de análise discriminante final apresenta uma tendência otimista: quando se trata de “sucesso” há um erro de 5%, ou seja, apenas 5% dos casos originais de sucesso são classificados pelo modelo como “sucesso parcial”, entretanto, 53% dos casos que originalmente são considerados como “sucesso parcial”, são classificados como “sucesso”.
Enfocando as variáveis que compõem o modelo de análise discriminante selecionado, percebe-se que as questões 25 e 30 já haviam sido destacadas durante a etapa de estatística descritiva. Já a questão 32, cujo enunciado é apresentado abaixo, aparece pela primeira vez:
- Q32: Houve um clima de descontração, alegria e diversão durante o desenvolvimento.
A Q25 é a questão de maior importância no modelo de análise discriminante para o desempenho do projeto, o que pode ser percebido pelo seu maior coeficiente ou peso na equação (1,065). Além disso, a Q25 está presente nos 100 principais modelos preditivos gerados relacionados ao desempenho dos projetos de desenvolvimento de software realizados com o uso de Métodos Ágeis. Seu forte poder de influência no desempenho destes projetos já havia sido percebido e discutido no tópico 4.1.4, uma vez que o pareamento Q25 versus Q7 apresentou o nível de associação mais significativo, dentre todos os pareamentos possíveis com a Q7. Deve-se ressaltar ainda, que o sinal positivo do coeficiente vinculado à Q25 indica que quanto maior a motivação da equipe, melhor o desempenho do projeto. Sendo assim, a motivação da equipe de desenvolvimento pode ser considerada o principal fator crítico de sucesso dos projetos de desenvolvimento de software conduzido com o uso de Métodos Ágeis.
A Q30, por sua vez, presente em 60% dos melhores modelos de análise discriminante, também já foi discutida anteriormente, sendo que seu nível de associação com a Q7 foi o segundo mais significativo, perdendo somente para a Q25. Dado o sinal positivo do coeficiente relacionado a esta variável (0,572), pode-se dizer que a familiaridade e o emprego das práticas relativas os Métodos Ágeis no desenvolvimento diário de software só vem a
aumentar a chance de sucesso do projeto em questão. Este é considerado, então, o segundo fator crítico de sucesso para os projetos de desenvolvimento de software realizado com o uso de Métodos Ágeis.
Com relação à Q32, há um ponto interessante a ser comentado. Apesar da análise descritiva da associação Q32 versus Q7 (ver Tabela 68 – Anexo B) indicar que 85% dos respondentes que qualificaram seu projeto como bem-sucedido concordaram que houve um clima de descontração, alegria e diversão durante o desenvolvimento do software, esta questão, ao ser inserida na equação de análise discriminante, apresenta um coeficiente com sinal negativo (-0,616). Isto parece indicar que na presença das demais variáveis Q25 e Q30, a Q32 funcione como um moderador para determinar o desempenho final do projeto. Destaca-se também, que a associação Q32 versus Q7 não se mostrou estatisticamente significativa.
Aparentemente, os resultados encontrados através da análise discriminante se mostraram bastante alinhados aos resultados da estatística descritiva e à teoria apresentada, uma vez que as duas principais variáveis – motivação da equipe e emprego das técnicas relativas aos Métodos Ágeis (representadas pela Q25 e Q30) – foram destacadas em ambas as análises, além de serem comentadas nos trabalhos de vários autores, como Cockburn e Highsmith (2001b), Reifer (2002), Lazarevic (2003), Cohn e Ford (2003), Cohen et al (2003), Gawlas (2004), Bonato (2004), Highsmith (2004) e Nerur et al (2005).
É importante mencionar ainda que outros modelos, integrantes da lista dos dez melhores modelos de análise discriminante gerados, apresentados na Tabela 103 (ver Anexo C), utilizam além das questões Q25 e Q30, outras questões que também foram discutidas na etapa de análise descritiva como, por exemplo, as questões Q31 e Q32, ou mesmo as questões Q14 e Q34, que apresentaram associação com o enfoque de gerenciamento de projetos.
4.2.2 Resultados da Regressão Logística
Como forma de validar os resultados encontrados, procedeu-se à análise por regressão logística. Dada a limitação do grau de liberdade que impossibilitou o ajuste do modelo de regressão logística com as 22 potenciais variáveis preditoras simultaneamente, foi selecionado
um subconjunto destas variáveis. Como critério para esta pré-seleção foram adotados os níveis de significância obtidos nos perfis marginais na etapa de análise descritiva (ver Tabelas 39 a 70 – Anexo B). Sendo assim, foram selecionadas as seguintes questões: Q13, Q16, Q23, Q25, Q27, Q31, Q32, Q33 e Q34.
Em seguida, foi conduzido um procedimento stepwise de seleção de modelos pelo Critério de Informação de Akaike (AKAIKE, 1974). Ao final desse procedimento, chegou-se ao modelo final com as variáveis Q25, Q31 e Q32, cujas estimativas encontram-se indicadas na Tabela 107 (ver Anexo D). Esse modelo gerado de forma totalmente independente se mostrou altamente concordante com o resultado obtido por busca em profundidade, através de modelos de análise discriminante. Cabe lembrar que a Q31 diz respeito a uma técnica específica dos Métodos Ágeis (revisão da codificação por outro programador), podendo ser inserida no contexto da Q30.
Assim, esta modelagem alternativa complementa a estratégia anterior, dando sustentação aos resultados obtidos nessa etapa da pesquisa.