Os resultados foram discutidos: (i) quanto à preditibilidade das variáveis em relação à qualidade do processo de desenvolvimento de software, contemplando as fases de teste, homologação e produção, e (ii) em relação a resultados encontrados na literatura. Notou-se que algumas das variáveis do processo apresentaram maior correlação com os resultados. Uma análise mais detalhada foi realizada com base nessas variáveis, independente do modelo em que a melhor correlação foi obtida.
A seguir, nas Tabelas de 24 a 29 e nas Figuras de 8 a 9, são apresentados os valores dos pesos das variáveis independentes gerados pelos modelos para cada técnica de regressão aplicada, juntamente com suas respectivas análises. Os dados faltantes nessas tabelas indicam que os algoritmos não geram indicadores sobre a importância da variável na predição dos resultados. A análise dos resultados alcan- çados foi feita com base nos valores destas tabelas. Os valores de peso negativos em algumas das tabelas denotam proporcionalidades inversas em relação à quali- dade do produto, na fase em questão (WITTEN, 2005, p. 210-211).
Cabe lembrar que a variável independente DENSIDADE DE DEFEITOS NA FASE DE TESTES foi incluída nas Tabelas 26 a 29 como variável dependente devido à possibi- lidade da mesma ter influência na qualidade do produto, durante a fase de homolo- gação. A variável independente DENSIDADE DE DEFEITOS NA FASE DE HOMOLOGAÇÃO também foi incluída nas Tabelas 28 e 29 como variável dependente pela mesma ra- zão, porém durante a fase de produção.
Tabela 24 – Pesos no modelo para densidade de defeitos na fase de testes para desenvol-
vimento
Regressão
Linear SMOREG LeastMedSq Média percentual de aderência do projeto ao processo [C] 0,0049 -0,1605 0,0016
Número de outros sistemas impactados [G] 0,1600 -0,0354 0,1030 Produtividade [J] -0,0300 2º 0,2115 0,0239 Treinamento da equipe [D] - -0,0127 0,0645 Linguagem de programação [K] 1º 0,4000 0,1163 0,0791 Banco de dados [I] 3º 0,2100 0,1897 -0,0072 Ciclo de vida adotado [E] 0,0900 0,0186 0,0932
Métodos [A] - -0,0133 -0,1051
Percentual de volatilidade dos requisitos do projeto [F] -0,0200 0,1036 0,0008 Tamanho em PF [B] -0,0002 -0,0631 -0,0001 Esforço relativo por PF [H] - 0,2005 0,1144 Figura 7 – Visualização gráfica dos pesos no modelo para densidade de defeitos na fase de
Tabela 25 – Pesos no modelo para densidade de defeitos na fase de testes para
manutenção
Figura 8 – Visualização gráfica dos pesos no modelo para densidade de defeitos na fase de
testes para manutenção em ordem crescente Regressão
Linear SMOREG LeastMedSq Média percentual de aderência do projeto ao processo [E] - 0,1119 -0,0022
Tipo do projeto [B] - - -
Número de outros sistemas impactados [C] - -0,1592 - Produtividade [A] - 3º -0,2955 -
Treinamento da Equipe [E] - - -
Linguagem de programação [J] 1º 2,7448 2º 0,7167 0,0532
Banco de dados [G] - - 0
Ciclo de vida adotado [D] - -0,0823 -0,1323
Métodos [H] - - 0,0353
Percentual de volatilidade dos requisitos do projeto [I] - 0,0679 0,0025 Tamanho em PF [F] - -0,1577 -0,0001 Esforço relativo por PF [B] - -0,1606 -0,1814
Tabela 26 – Pesos no modelo para densidade de defeitos na fase de homologação para
desenvolvimento
Figura 9 – Visualização gráfica dos pesos no modelo para densidade de defeitos na fase de
homologação para desenvolvimento Regressão
Linear SMOREG Média percentual de aderência do projeto ao processo [A] - -0,0009
Número de outros sistemas impactados [I] 3º 0,0281 0,0009 Produtividade [F] - 0,0004 Treinamento da equipe [K] 2º 0,0336 0,0028 Linguagem de programação [J] 1º 0,0362 0,0011 Banco de dados [D] - 0,0010 Ciclo de vida adotado [G] 0,0265 0,0007
Métodos [H] - 0,0009
Percentual de volatilidade dos requisitos do projeto [C] - -0,0009 Esforço relativo por PF [E] - 0,0002 Densidade de defeitos na fase de testes [B] -0,0265 -0,0026
Tabela 27 – Pesos no modelo para densidade de defeitos na fase de homologação para
manutenção
Regressão
Linear SMOREG Média percentual de aderência do projeto ao processo [I] - 0,0791
Tipo do projeto - -
Número de outros sistemas impactados [C] - -0,1370 Produtividade [B] - -0,0426 Treinamento da equipe - - Linguagem de programação [J] 1º 0,8349 3º 0,1523
Banco de dados - -
Ciclo de vida adotado [G] - -0,0120
Métodos [H] - 0,0284
Percentual de volatilidade dos requisitos do projeto [F] - -0,0058 Tamanho em PF [E] - -0,0471 Esforço relativo por PF [D] - -0,0532 Densidade de defeitos na fase de testes [A] 2º -0,4549 -0,2519
Figura 10 – Visualização gráfica dos pesos no modelo para densidade de defeitos na fase
Tabela 28 – Pesos no modelo para quantidade de manutenções corretivas após
implantação por PF para desenvolvimento
Figura 11 – Visualização gráfica dos pesos no modelo para quantidade de manutenções
corretivas após implantação por PF para desenvolvimento Regressão
Linear SMOREG LeastMedSq Média percentual de aderência do projeto ao processo [D] -0,0014 3º -0,0924 -0,0007
Tipo do projeto [E] - - -
Número de outros sistemas impactados [H] 0,0408 0,0230 0,0148 Produtividade [G] - -0,0515 -0,0007 Treinamento da equipe [B] 0,0393 0,0139 0,0036 Linguagem de programação [N] 0,0904 1º 0,3286 0,0029 Banco de dados [J] 0,0374 2º 0,1519 0,0026 Ciclo de vida adotado [C] 0,0598 0,0105 0,0054
Métodos [K] - 0,0022 0,0020
Percentual de volatilidade dos requisitos do projeto [F] - 0,0214 -
Tamanho em PF [L] - -0,0503 -
Esforço relativo por PF [M] - -0,0100 -0,0032 Densidade de defeitos na fase de testes [I] 0,0305 0,0545 0,0026 Densidade de defeitos na fase de homologação [A] - 0,0094 0,0046
Tabela 29 – Pesos no modelo para quantidade de manutenções corretivas após
implantação por PF para manutenção
SMOREG Média percentual de aderência do projeto ao processo [E] -0,0101
Tipo do projeto - Número de outros sistemas impactados [K] 1º 0,0703
Produtividade [F] -0,0065 Treinamento da equipe - Linguagem de programação [H] 0,0198
Banco de dados - Ciclo de vida adotado [J] 2º 0,0224
Métodos [G] -0,0013 Percentual de volatilidade dos requisitos do projeto [A] -0,0200 Tamanho em PF [I] 3º 0,0206 Esforço relativo por PF [C] -0,0135 Densidade de defeitos na fase de testes [B] -0,0164 Densidade de defeitos na fase de homologação [D] -0,0116
Figura 12 – Visualização gráfica dos pesos no modelo para Quantidade de manutenções
A Tabela 24 e a Figura 7 mostram os pesos do modelo gerado para a variável DENSIDADE DE DEFEITOS NA FASE DE TESTES, para projetos de desenvolvimento. Con- forme apresentado, a LINGUAGEM DE PROGRAMAÇÃO, a PRODUTIVIDADE e a LINGUAGEM DE MANIPULAÇÃO DE BANCO DE DADOS são as variáveis independentes que se mostra- ram mais relevantes para modelar a qualidade de produto, porém apresentaram pe- sos positivos, ou seja, contribuem negativamente para a qualidade do produto na fa- se de testes. Neste sentido, de certa forma, os resultados contrariam o senso co- mum. Conforme Sommerville (2007, p. 463), a produtividade em uma determinada linguagem deveria contribuir de maneira mais significativa para a qualidade do pro- duto final do que as linguagens de programação e de banco de dados, o que não se verifica no modelo gerado. Nota-se ainda que o tipo do projeto não teve um papel de relevância, como se poderia prever. Deve-se lembrar, no entanto, que esses resulta- dos podem ser válidos apenas para os projetos analisados e para os modelos predi- tivos construídos.
Observou-se ainda uma aparente covariância entre os valores de pesos das variáveis LINGUAGEM DE PROGRAMAÇÃO, NÚMERO DE OUTROS SISTEMAS IMPACTADOS e MÉDIA PERCENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO. Poder-se-ia inferir que essas variáveis impactam de forma similar nos resultados. Isso, no entanto, requer uma análise estatística mais acurada, não realizada no âmbito deste estudo.
Com relação à mesma variável DENSIDADE DE DEFEITOS NA FASE DE TESTES pa- ra projetos de manutenção, conforme mostrado na Tabela 25 e na Figura 8, LINGUA- GEM DE PROGRAMAÇÃO apresentou-se como o maior peso positivo para as três técni- cas Regressão Linear, SMOREG e LeastMedSq, refutando Sommerville (2007, p. 463), que afirma que a ‘linguagem de programação influencia diretamente na quali- dade de um produto, durante os testes.
As variáveis CICLO DE VIDA ADOTADO, TAMANHO EM PF, PRODUTIVIDADE, NÚME- RO DE OUTROS SISTEMAS IMPACTADOS e ESFORÇO RELATIVO POR PF apresentaram va- lores negativos de peso, indicando comportamento semelhante para as três técnicas envolvidas. CICLO DE VIDA ADOTADO apresenta comportamento condizente com o senso comum de que o tipo de ciclo de vida utilizado influencia na qualidade de um produto. O mesmo acontece em relação a PRODUTIVIDADE,porém oNÚMERO DE OU- TROS SISTEMAS IMPACTADOS refuta o senso comum.
Nota-se também que TIPO DE PROJETO não apresentou pesos em nenhuma das técnicas de MD, como na fase anterior, não sendo portanto possível tecer consi-
derações a respeito da influência desta variável na qualidade do produto.
Com relação a DENSIDADE DE DEFEITOS NA FASE DE HOMOLOGAÇÃO para proje- tos de desenvolvimento, a melhor técnica foi a RBFNetwork, seguida da Regressão Linear. Porém, como o RBFNetwork não gera detalhes sobre o modelo (técnica do tipo caixa preta), a análise foi feita considerando-se a segunda melhor técnica. Para a Regressão Linear, a Tabela 26 e a Figura 9 apresentam os pesos das variáveis para o modelo gerado, apontando LINGUAGEM DE PROGRAMAÇÃO como a mais impor- tante. Este resultado não condiz com o senso comum, no qual se reconhece que a quantidade de erros durante a fase de homologação será tanto menor quanto mais fácil e intuitiva for a linguagem de programação utilizada. TIPO DO PROJETO e TAMA- NHO EM PF não obtiveram pesos nos modelos gerados, repetindo novamente o com- portamento das técnicas pra o TIPO DO PROJETO.
DENSIDADE DE DEFEITOS NA FASE DE TESTES apareceu com valores de peso ne- gativos, indicando uma influência direta na qualidade do produto na fase de homolo- gação. Em relação a PERCENTUAL DE VOLATILIDADE DOS REQUISITOS DO PROJETO, seu peso apresentou valor negativo, significando que influencia diretamente a qualidade do produto, e isto refuta o senso comum, visto que quanto menor a instabilidade dos requisitos definidos maior a qualidade do produto entregue. O peso de MÉDIA PER- CENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO também apresentou valor negativo o que, no entanto, condiz com a prática, pois em princípio, quanto maior a aderência do projeto ao processo, maior seria a qualidade do produto final desenvolvido.
Com relação à qualidade do produto na fase de homologação, para projetos de manutenção e com respeito à técnica Regressão Linear, pela Tabela 27 e Figura 10, LINGUAGEM DE PROGRAMAÇÃO é a variável que mais influencia diretamente. Este valor não condiz com a prática em ES. Outro ponto a ressaltar é que DENSIDADE DE DEFEITOS NA FASE DE TESTES apresentou peso negativo, indicando que quanto mais erros encontrados durante a fase de teste menor o valor da variável dependente DENSIDADE DE DEFEITOS NA FASE DE HOMOLOGAÇÃO, portanto maior a qualidade do produto na fase em questão, o que de certa forma confirma o senso comum, pois normalmente a maioria dos erros é encontrada na fase de testes.
Observa-se ainda que TIPO DO PROJETO e TREINAMENTO DA EQUIPE não apre- sentaram pesos nos modelos gerados, levando a crer que, para projetos de manu- tenção e para o conjunto de dados analisados, elas não influenciariam na qualidade do produto durante a fase de homologação.
Para o algoritmo SMOREG, NÚMERO DE OUTROS SISTEMAS IMPACTADOS, PER- CENTUAL DE VOLATILIDADE DOS REQUISITOS DO PROJETO, TAMANHO EM PF e ESFORÇO RELATIVO POR PF, também apresentaram pesos negativos, o que não condiz com a prática. Em relação à PRODUTIVIDADE, o seu peso negativo corrobora com a literatu- ra.
Para a qualidade do produto na fase de produção em projetos de desenvolvi- mento, a análise da importância das variáveis independentes não foi possível para o algoritmo MLP, por não gerar informações sobre a relevância daquelas variáveis, apesar de ter gerado o melhor modelo preditivo, considerando-se as métricas de comparação. Para o algoritmo SMOReg, mostrado na Tabela 28 e na Figura 11, ob- serva-se que LINGUAGEM DE PROGRAMAÇÃO está com peso positivo, mostrando-se o principal fator influenciador da qualidade. Este resultado não condiz com a literatura, visto que o mesmo diminui o preditor da qualidade em questão.
Destacam-se, nesses resultados, alguns padrões dignos de nota. TIPO DO PROJETO também não apresentou valores de peso, o que confirma o senso comum de que essa variável não tem influência sobre a qualidade do produto.
Há semelhança no comportamento dos pesos para NÚMERO DE OUTROS SIS- TEMAS IMPACTADOS, TREINAMENTO DA EQUIPE, LINGUAGEM DE PROGRAMAÇÃO, BANCO DE DADOS, CICLO DE VIDA ADOTADO, DENSIDADE DE DEFEITOS NA FASE DE TESTES, em rela- ção às técnicas Regressão Linear e SMOREG. Isto pode indicar uma covariância importante para estudos futuros sobre redução de dimensionalidade.
MÉDIA PERCENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO e PRODUTIVIDADE apresentaram pesos negativos, indicando coerência com a prática, pois quanto mai- or os seus valores, maior deveria ser a qualidade do produto. Já TAMANHO EM PF e ESFORÇO RELATIVO POR PF apresentaram pesos que também não condizem com a prática, pois quanto maior seus valores, menor seria a qualidade do produto final en- tregue.
Com relação à QUANTIDADE DE MANUTENÇÕES CORRETIVAS APÓS IMPLANTAÇÃO POR PF, para projetos de manutenção, o algoritmo RBFNetwork gerou resultados consistentes. A comparação entre as variáveis independentes não foi possível devi- do às características do método. No entanto, conforme dados da Tabela 29, um al- goritmo que apresentou um bom desempenho foi o SMOreg, e conforme a mesma tabela, o NÚMERO DE OUTROS SISTEMAS IMPACTADOS foi a variável com influencia posi- tiva. Este valor condiz com o senso comum, visto que, em princípio, quanto maior o
número de sistemas impactados por uma manutenção, mais complexa seria a de- manda e menor a qualidade de um produto entregue em produção.
Observa-se na Tabela 29 e Figura 12 que as variáveis DENSIDADE DE DEFEITOS NA FASE DE TESTES e DENSIDADE DE DEFEITOS NA FASE DE HOMOLOGAÇÃO apresentam pesos negativos no modelo. Assim, quanto maior a taxa de erros detectados nas fa- ses de teste e homologação, menor será o valor da variável dependente QUANTIDADE DE MANUTENÇÕES CORRETIVAS APÓS IMPLANTAÇÃO POR PF, portanto maior será a qua- lidade do produto na fase de produção, o que condiz com a prática.
As variáveis MÉDIA PERCENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO e PRODUTIVIDADE apresentaram valores de pesos negativos, e as mesmas estão de acordo com a prática, visto que exercem influência positiva na qualidade do produto. A variável MÉTODOS apresentou pequeno peso, também corroborando o sen- so comum de que o método utilizado influencia a qualidade do produto final. PER- CENTUAL DE VOLATILIDADE DOS REQUISITOS DO PROJETO, ESFORÇO RELATIVO POR PF apresentaram valores negativos, o que revela inconsistência em relação à prática, visto que quanto menor a instabilidade nos requisitos e quanto menor o tamanho de um projeto, maior a qualidade final do mesmo.
Os resultados do coeficiente de correlação da reexecução do segundo passo, conforme descrito no item 4.5.2, podem ser visualizados nas Tabelas 30, 31 e 32. A reexecução considerou apenas as variáveis relevantes selecionadas, a saber LIN- GUAGEM DE PROGRAMAÇÃO, PRODUTIVIDADE, BANCO DE DADOS, MÉDIA DO PERCENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO. Conforme apresentado nessas tabelas, os melhores resultados ficaram concentrados na fase de produção para os projetos de desenvolvimento, indicando uma correlação forte ou moderada em relação à quali- dade do produto desenvolvido nesta fase específica. Observa-se também que em relação aos maiores coeficientes encontrados, no caso o LeastMedSq e o Multila- yerPerceptron na fase de produção para projetos de desenvolvimento, os maiores pesos ficaram para as variáveis BANCO DE DADOS e LINGUAGEM DE PROGRAMAÇÃO pa- ra a primeira técnica. Quanto à segunda técnica, nada se pode afirmar, pelos moti- vos já apresentados.
Tabela 30 – Coeficientes de correlação para os dados misturados por tipo
Regressão
Linear LeastMedSq RBFNetwork SMOREG Perceptron Multilayer
Testes 0,0100 -0,1300 -0,0690 0,0802 0,0009
Homologação -0,0501 0 -0,0918 0,0342 -0,0137
Produção 0,0170 0,2560 -0,0280 0,1580 0,0993
Tabela 31 – Projetos de desenvolvimento
Regressão
Linear LeastMedSq RBFNetwork SMOREG Perceptron Multilayer
Testes 0,2040 -0,1830 -0,0806 0,2020 0,1563
Homologação 0,1290 0 0,0920 0,0832 0,1368
Produção 0,2079 0,3389 0,0008 0,3190 0,7126
Tabela 32 – Manutenções de grande porte
Regressão
Linear LeastMedSq RBFNetwork SMOREG Perceptron Multilayer
Testes -0,2533 0,1483 0,1702 -0,1032 -0,0113
Homologação -0,0510 0 -0,4264 -0,1801 -0,0449
Produção -0,0268 0 -0,0988 -0,2010 -0,0770
Em resumo, considerando-se todas as informações anteriormente analisadas, tem-se que as variáveis independentes, LINGUAGEM DE PROGRAMAÇÃO e NÚMERO DE OUTROS SISTEMAS IMPACTADOS, utilizando as técnicas SMOREG e Regressão Linear, são as que possuem menor influência na qualidade do produto nas fases de teste, homologação e produção, respectivamente, e apresentam resultados que não con- dizem com o senso comum. Assim, LINGUAGEM DE PROGRAMAÇÃO, na Regressão Li- near, apresentou o maior peso, indicando esta variável como a pior variável influen- ciadora da qualidade na fase de homologação.
Cabe ressaltar que as técnicas RBFNetwork e MLP também apresentaram bons resultados na fase de produção, porém, por característica do algoritmo, não é possível averiguar que variáveis independentes possuíam maior influência na quali- dade do produto.
A literatura aponta a confiabilidade, a eficiência, a facilidade de uso, a modu- laridade e a legibilidade como fatores relevantes para mensurar a qualidade de um produto (ISO, 2000). A modularidade pode ser medida pela facilidade de implemen- tação do código, que recebe forte influência de LINGUAGEM DE PROGRAMAÇÃO. Os ex- perimentos refutaram que a linguagem de programação exerce forte influência na qualidade do produto na fase de testes e homologação, porém confirmaram que a
MÉDIA PERCENTUAL DE ADERÊNCIA DO PROJETO AO PROCESSO e a PRODUTIVIDADE exer- cem forte influência na qualidade do produto, nestas mesmas fases.
Notou-se também que algumas técnicas confirmaram e outras refutaram a prática, o senso comum e mesmo a literatura de ES, para o caso estudado neste trabalho. Porém, tais resultados não podem ser extrapolados para fora do contexto específico desta experimentação. Isso só será possível no caso de um estudo com maior abrangência.