Uma Abordagem para Controle Estatístico de Processos de
Software em Organizações de Alta Maturidade
Aluna: Monalessa Perini Barcellos 1, 2 Orientadora: Ana Regina Cavalcanti da Rocha1
1
COPPE/UFRJ - Universidade Federal do Rio de Janeiro Caixa Postal: 68511 – CEP: 21945-970 – Rio de Janeiro, RJ, Brasil
2
UFES - Universidade Federal do Espírito Santo – Centro Tecnológico Departamento de Informática, CEP: 29075-910 – Vitória, ES, Brasil
monalessa@inf.ufes.br; darocha@centroin.com.br
Nível: Doutorado Ano de ingresso: 2005
Mês/Ano previsto para conclusão: Dezembro de 2009 Mês/Ano do Exame de Qualificação: Março de 2008
Resumo. As exigências do mercado de software levam as organizações a necessitarem de processos de software maduros, capazes de atender às demandas de qualidade e produtividade. A aplicação do controle estatístico na análise de desempenho de processos usa dados coletados ao longo dos projetos para analisar o comportamento dos processos da organização, identificando as ações necessárias para a estabilização e melhoria desses processos. Porém, a implementação do controle estatístico de processos em organizações de software não tem se mostrado trivial. Este artigo apresenta o trabalho em desenvolvimento em uma tese de doutorado cujo objetivo é definir uma abordagem que auxilie as organizações que buscam alta maturidade em seus processos de software na implantação e realização do controle estatístico de processos.
Palavras Chave: Controle Estatístico de Processos, Melhoria de Processos de
Software, Análise de Desempenho de Processos de Software, Medição de Software, Ambiente TABA.
1 Caracterização do Problema
A utilização do controle estatístico de processos como instrumento para realização da análise de desempenho e melhoria dos processos não é novidade para a indústria em geral. Porém, no contexto das organizações de software, pode ser considerado algo relativamente recente. Consequentemente existem, ainda, muitas dúvidas sobre sua aplicação [Card, 2004] [Caivano, 2005] [Komuro, 2006].
Mesmo sendo considerada recente, é possível encontrar relatos de experiência e estudos no contexto da aplicação do controle estatístico a processos de software [Kilpi, 2001] [Jalote e Saxena, 2002] [De Lucia et al., 2003] [Komuro 2006] [Sargut and Demirors 2006] [Tarhan and Demirors 2006] [Wang et al. 2006] [Wang et al., 2007].
Analisando-se relatos e estudos registrados na literatura, é possível identificar uma lacuna entre os cenários organizacionais reais e os cenários desejáveis, propícios à implantação e realização efetiva do controle estatístico de processos. As experiências com a realização do controle estatístico de processos nas organizações têm revelado aos pesquisadores e profissionais de empresas um cenário caracterizado por problemas e situações não favoráveis ou impossibilitadoras da implantação/execução bem sucedida do controle estatístico de processos. Nesse aspecto, são apontadas diversas dificuldades, destacando-se: (i) a não adequação das medidas coletadas pelas organizações à aplicação no controle estatístico de processos para que seja possível analisar o desempenho dos processos [Sargut e Demirors 2006] [Tarhan and Demirors 2006] [Boria, 2007] [Kitchenham et al. 2007]; (ii) a utilização inadequada dos métodos estatísticos necessários à estabilização e análise de desempenho de processos [Eickelman and Anant 2003] [Kitchenham et al. 2007]; e, (iii) as particularidades inerentes aos processos de software, o que exige uma adaptação dos conceitos do controle estatístico de processos tradicional (manufatura) à área de software [Lantzy 1992] [Sargut and Demirors 2006] [Komuro 2006] [Wang et al. 2006].
O controle estatístico de processos de software encontra-se, em um contexto mais amplo, no âmbito da alta maturidade organizacional, uma vez que sua utilização na análise de desempenho de processos é uma prática de organizações de alta maturidade. Entretanto, alcançar os mais altos níveis de maturidade e capacidade em processos de software não se tem mostrado uma tarefa trivial. Neste momento, segundo dados registrados no site do SEI – Software Engineering Institute, existem no mundo 65 organizações avaliadas no nível 4 do CMMI (Capability Maturity Model) e 227 avaliadas no nível 5. Dessas organizações, apenas 6 estão no Brasil. No que se refere ao modelo de referência do MPS.BR (Melhoria de Processo de Software Brasileiro) (2007), segundo dados registrados no site do MPS.BR, apenas 3 organizações já foram avaliadas com sucesso no nível A, o de maior maturidade.
Diante desse cenário, percebendo-se que vários dos aspectos relacionados à realização do controle estatístico de processos para o alcance e manutenção da alta maturidade em processos de software não estão, ainda, dominados pelo estado da arte e da prática, considerou-se que estes compõem um interessante conjunto de questões de pesquisa para ser explorado no contexto da tese aqui descrita.
2 Fundamentação Teórica
A crescente exigência do mercado por produtos e serviços cada vez melhores tem aumentado o interesse das organizações pela melhoria de processos. Para apoiar a avaliação e melhoria de processos, uma variedade de iniciativas tem proposto
(2006), a ISO/IEC 15504 (2003) e a série ISO 9000:2000 (2000). Em todas essas iniciativas a medição ocupa papel fundamental para garantir e institucionalizar programas de melhoria de processos.
Melhoria de processo de software ou SPI (Software Process Improvement) é uma abordagem para definição, organização e implementação de processos de software que sejam eficientes para a organização e tem a medição como uma de suas principais atividades [Kilpi, 2001].
Para utilizar a medição em um contexto de alta maturidade na melhoria de processos de software, novos conceitos e práticas devem ser adicionados aos programas de medição tradicionais, uma vez que a melhoria de processos em alta maturidade requer conhecimento consistente do comportamento dos processos em suas execuções nos projetos da organização, o que é possível através do uso do controle estatístico de processos.
O controle estatístico de processos foi originalmente desenvolvido para implementar um processo de melhoria contínua em linhas de produção na área de manufatura, envolvendo o uso de ferramentas estatísticas e técnicas de resolução de problemas com o objetivo de detectar padrões de variação no processo de produção para garantir que os padrões de qualidade estabelecidos para os produtos fossem alcançados. [Wheeler e Chambers, 1992]. É uma metodologia utilizada para determinar se um processo está sob controle, sob o ponto de vista estatístico [Lantzy, 1992].
Um processo está sob controle se seu comportamento é estável, ou seja, se suas variações encontram-se dentro dos limites esperados, determinados com base em dados históricos. Um processo estável tem comportamento repetível, sendo possível prever seu desempenho em execuções futuras e, com isso, preparar planos que sejam alcançáveis e melhorá-lo continuamente. Por outro lado, um processo que apresenta variações que ultrapassam os limites esperados é instável e as causas dessas variações, chamadas causas especiais, precisam ser investigadas e tratadas através de ações de melhoria que visem à estabilização [Florac e Carleton, 1999].
Ter estabilizado seus processos é uma característica das organizações que buscam ou encontram-se nos mais elevados níveis de maturidade.
3 Caracterização da Contribuição
Conforme mencionado no resumo deste artigo, a tese de doutorado aqui descrita tem como objetivo geral definir uma abordagem que auxilie as organizações que buscam alta maturidade em seus processos de software na implantação e realização do controle estatístico de processos. Essa abordagem deve apoiar as organizações em dois aspectos:
(i) adequação de suas bases de medidas para implementação do controle estatístico de
processos; e (ii) análise de comportamento e estabilização dos processos. A seguir, as contribuições da tese em cada um desses aspectos são apresentadas:
(i) Adequação das Bases de Medidas à Realização do Controle Estatístico de Processos
A literatura aponta que uma grande dificuldade para se alcançar os níveis mais altos de maturidade/capacidade em processos relaciona-se à não adequação das medidas coletadas e das bases de medidas existentes nas organizações à aplicação do controle estatístico de processos [Caivano, 2005] [Kitchenham et al., 2006] [Komuro, 2006] [Boria, 2007].
Quando a organização já dispõe de uma base de medidas, resultado de medições realizadas em níveis anteriores de maturidade/capacidade, a única atitude possível para
apoiar a implementação do controle estatístico de processos é reativa e consiste em realizar uma avaliação da base de medidas, buscando verificar a adequação e prontidão das medidas já coletadas e armazenadas à aplicação no controle estatístico, identificar problemas e propor soluções.
Entretanto, não dispor de uma base de medidas adequada pode retardar em muito o início do controle estatístico dos processos e o alcance dos níveis superiores de maturidade/capacidade. Torna-se, assim, necessária uma atitude pró-ativa, buscando-se desde o início da implantação de um Programa de Medição a definição, coleta e armazenamento de medidas de forma adequada para que, no futuro, a organização possa realizar o controle estatístico dos processos.
Sendo assim, considerando a adequação das bases de medidas à realização do controle estatístico de processos, são contribuições da tese:
• Definição de uma estratégia para avaliação de bases de medidas, considerando a aplicabilidade ao controle estatístico de processos; e
• Definição de um conjunto de diretrizes para realização de medição considerando a aplicação das medidas no controle estatístico de processos.
(ii) Análise de Comportamento e Estabilização de Processos
Registros da literatura mostram que, apesar de existirem diversos métodos para a realização do controle estatístico de processos, ainda não há domínio, pelos profissionais de software, da aplicação dessas técnicas [Eickelman e Anant, 2003]. Além disso, conforme mencionado anteriormente, a utilização do controle estatístico em processos de software é recente e, ainda, não há metodologias que orientem como aplicá-lo nessa área.
Sendo assim, considerando a análise de comportamento de processos e sua estabilização, são contribuições da tese:
• Definição de uma base de conhecimento sobre utilização de métodos para controle estatístico de processos; e
• Definição de um processo sistemático para análise e estabilização do comportamento dos processos e implementação de apoio computacional para o processo definido.
4 Estado Atual do Trabalho
Os trabalhos, estudos e pesquisas necessários ao desenvolvimento da tese aqui descrita foram organizados em atividades relacionadas a cada contribuição identificada para a tese. Algumas das atividades foram realizadas, outras estão em andamento e outras ainda não foram iniciadas.
Em relação à “definição de uma estratégia para avaliação de bases de medidas,
considerando a aplicabilidade ao controle estatístico de processos” foi realizado um
estudo baseado em revisão sistemática da literatura, com o objetivo de identificar fatores relacionados ao processo de medição/medidas que impactam positiva ou negativamente na implementação do controle estatístico de processos. Baseando-se nos fatores identificados, foi determinado um conjunto de requisitos necessários às medidas para que estas sejam aplicáveis ao controle estatístico de processos. A partir dos requisitos, foi definido um instrumento para avaliação de base de medidas com o objetivo de verificar a adequação e prontidão das medidas para o controle estatístico. O instrumento de avaliação foi aplicado a duas bases de medidas de organizações
avaliadas CMMI (uma nível 2 e uma nível 3) e seus resultados foram registrados1. Atualmente, o instrumento de medidas está sendo refinado e será submetido à avaliação de um ou mais especialistas para, então, serem realizadas novas experiências de aplicação do instrumento a bases de medidas de outras organizações.
Em relação à “definição de um conjunto de diretrizes para realização de medição
considerando a aplicação das medidas no controle estatístico de processos” estão
sendo registradas, ainda informalmente, orientações extraídas da literatura e das experiências iniciais de avaliação de bases de medidas. Porém, este item apenas poderá ser melhor explorado após a conclusão dos estudos relacionados à contribuição citada no parágrafo anterior.
Em relação à “definição de uma base de conhecimento sobre utilização de
métodos para controle estatístico de processos” foram estudados métodos estatísticos
considerando os registros da literatura e os mesmos foram catalogados. Analisando-se os métodos catalogados e identificando-se situações inerentes à análise de desempenho de processos em que sua utilização é necessária, será criado um conjunto de conhecimentos sobre a utilização dos métodos estatísticos na análise do comportamento dos processos (diante de determinada situação que método ou conjunto de métodos utilizar e como utilizar).
Em relação à “definição de um processo sistemático para análise e estabilização
do comportamento dos processos e implementação de apoio computacional para o processo definido” foi definida uma versão inicial do processo sistemático para análise
e estabilização do comportamento dos processos. Essa versão será refinada e serão implementadas ferramentas para prover apoio computacional ao processo. Vale ressaltar que o processo definido considera a utilização do instrumento de avaliação de bases de medidas, das diretrizes de medição e do corpo de conhecimento de métodos estatísticos (contribuições descritas nos parágrafos anteriores), integrando-os a fim de compor a abordagem proposta no objetivo geral da tese. A abordagem proposta e as ferramentas desenvolvidas serão utilizadas no Laboratório de Engenharia de Software da COPPE/UFRJ (LENS) para avaliação e ajustes. Em seguida, as ferramentas serão integradas ao Ambiente TABA [Villela, 2004] e disponibilizadas para a indústria.
5 Trabalhos Relacionados
No contexto dos problemas relacionados às medidas para aplicação no controle estatístico de processos existem alguns trabalhos na literatura: [Kitchenham et al., 2001], [Eickelman e Anant, 2003], [Wang et al., 2006], [Zhang e Sheth, 2006], [Sargut e Demirors, 2006], [Tarhan e Demirors, 2006] e [Kitchenham et al., 2007], entre outros. Entretanto, embora tenham sido encontrados vários trabalhos que destacam a necessidade de validação das medidas para serem aplicadas no controle estatístico de processos, encontrou-se apenas um [Tarhan e Demirors, 2006] que trata especificamente de uma proposta para avaliação de medidas considerando sua utilidade no controle estatístico de processos.
Tarhan e Demirors (2006) propõem uma abordagem para verificar se um determinado processo é interessante para ser submetido ao controle estatístico de processos. Para isso, entre outros critérios relevantes para escolher os processos mais adequados, os autores incluem a utilidade das medidas associadas aos processos, considerando sua aplicação no controle estatístico dos processos. Para avaliar a utilidade
1
das medidas, os autores definem um conjunto de atributos para avaliar as medidas definidas e os dados coletados.
A proposta dos autores é muito interessante, porém, até onde teve-se acesso, o trabalho em relação à avaliação das medidas é superficial e não oferece orientações sobre que ações são necessárias para adequar uma medida ou como evitar que novas medidas não sejam aplicáveis ao controle estatístico de processos. Essas questões são tratadas na proposta da tese aqui descrita, pela estratégia para avaliação de bases de medidas, que inclui, além da avaliação propriamente dita, as ações necessárias para adequar a base de medidas e/ou as medidas, quando possível, e pelo conjunto de diretrizes de medição, que fornecerá o conhecimento necessário para realizar a medição de maneira que as medidas definidas e os dados coletados atendam aos requisitos necessários à sua utilização no controle estatístico dos processos.
Em relação à análise e estabilização do comportamento dos processos, a literatura traz muitos métodos aplicáveis ao controle estatístico de processos, porém, as informações encontram-se distribuídas em muitas fontes de informação de diversas áreas de aplicação [Florac e Carleton, 1999] [Weller, 2000] [McGarry et al., 2002] [Owen e Towell, 2006].
Existem também algumas propostas de abordagens que tratam controle estatístico de processos de software, inclusive com apoios computacionais [Garcia et al., 2004] [Raffo et al., 2005] [Wang et al., 2006], porém nenhuma delas inclui o conhecimento necessário para a utilização dos métodos estatísticos.
No contexto da alta maturidade, como já mencionado, apesar de existirem modelos e normas que orientam as organizações sobre o que é necessário realizar para alcançar os níveis mais elevados de maturidade, essas normas e modelos não orientam as organizações sobre como realizar as ações que levam à alta maturidade [Card, 2004].
A abordagem para utilização do controle estatístico para analisar o comportamento dos processos e estabilizá-los proposta na tese contempla esses pontos fracos, uma vez que, além do processo sistemático e apoio automatizado, comuns à maioria das demais propostas, provê o conhecimento necessário para a utilização dos métodos estatísticos no controle estatístico de processos, preenchendo as lacunas dos modelos e normas que não orientam às ações necessárias à alta maturidade.
6 Avaliação dos Resultados
A abordagem proposta na tese é adequada para organizações que estejam no nível B do MPS.BR ou que estejam se preparando para ele (e também para seu equivalente nível 4 no CMMI). Sendo assim, uma primeira avaliação integral da abordagem e ferramentas propostas será realizada no Laboratório de Engenharia de Software da COPPE/UFRJ (LENS), atualmente avaliado nível E MPS.BR e que estará implementando o nível B (provavelmente a partir de março 2009). Após a avaliação da proposta no contexto do LENS, a abordagem e as ferramentas serão revisadas, se necessário, e integradas ao Ambiente TABA para utilização pelas empresas de software que possuem convênio com a COPPE/UFRJ para implantação e melhoria de processos. Cabe notar que esse é um procedimento adotado desde 2003, com excelentes resultados. Caso seja possível, será realizado um ou mais estudos de caso, entretanto não será viável a utilização ampla da abordagem e das ferramentas como um todo, pois só serão pertinentes a organizações de alta maturidade, o que limita o número de usuários.
Vale ressaltar que, no contexto do instrumento de avaliação de bases de medidas, a avaliação dos resultados contará com algumas avaliações anteriores à avaliação
integral da abordagem no LENS. Primeiramente, a versão inicial do instrumento foi aplicada às bases de duas empresas, conforme citado neste artigo. Após refinamento, o instrumento será avaliado por um especialista e, em seguida, serão realizadas novas experiências de aplicação, considerando bases de medidas de organização(ões) avaliada(s) nível C MPS.BR (ou equivalente nível 3 CMMI) que deseje(m) progredir para o próximo nível, organização(ões) avaliada(s) nível B ou A MPS.BR (ou equivalentes nível 4 ou 5 CMMI) e uma ‘base de medidas ideal hipotética’, construída considerando-se todos os requisitos presentes no instrumento. A avaliação do instrumento inclui, além da avaliação das bases de medidas, a utilização das medidas consideradas válidas pelo instrumento em métodos do controle estatístico de processos, a fim de verificar os resultados obtidos.
7 Referências
BARCELLOS, M. P., 2008, “Uma Abordagem para Controle Estatístico de Processos de Software em Organizações de Alta Maturidade”, Exame de Qualificação para Tese de D.Sc., COPPE/UFRJ, Rio de Janeiro, Brasil.
BORIA, J. L., 2007, “What’s Wrong With My Level 4?”, Comunicação Pessoal.
CAIVANO, D., 2005, "Continuous Process Improvement Through Statistical Process Control", Proceedings of the Ninth European Conference on Software Maintenance and Reengineering, pp. 288-293.
CARD, D. N., 2004, “Statistical Techniques for Software Engineering Practice”, Proceedings of the 26th International Conference on Software Engineering - ICSE’2004, pp. 722-723.
CMMI – Capability Maturity Model Integration, 2006, SEI – Software Engineering Institute, CMU - Carnegie Mellon University, v 1.2.
DE LUCIA, A., POMPELLA, E., STEFANUCCI, S., 2003, “Assessing the Maintenance Process of a Software Organization: an Empirical Analysis of a Large Industrial Project”, The Journal of Systems and Software, Volume 65, pp. 87-103. EICKELMANN, N., ANANT, A., 2003, “Statistical Process Control: What You Don’t
Measure Can Hurt You”, IEEE Software, Volume 20, Issue 2, pp. 40 - 51.
FLORAC, W. A., CARLETON, A. D., 1999, Measuring the Software Process: Statistical Process Control for Software Process Improvement, Addison Wesley. GARCIA, F., PIATTINI, M., RUIZ, F., CANFORA, G., VISAGGIO, C. A., 2004,
“FMESP: Framework for the Modeling and Evaluation of Software Process”, Proceedings of the 2004 Workshop on Quantitative Techniques for Software Agile Process, pp. 5-13.
ISO 9000, 2000, Quality Management Systems – Fundamental and Vocabulary, International Organization for Standardization and the International Electrotechnical Commission, Geneva, Switzerland.
ISO/IEC, ISO/IEC TR 15504-2003, 2003, Information Technology – Software Process Assessment, International Organization for Standardization and the International Electrotechnical Commission, Geneva, Switzerland.
JALOTE, P., SAXENA, A., 2002, “Optimum Control Limits for Employing Statistical Process Control in Software Process”, IEEE Transactions on Software Engineering, Volume 28, Issue 12, pp. 1126-1134.
KILPI, T., 2001, “Implementing a Software Metrics Program at Nokia”, IEEE Software, Volume 18, Issue 6, pp. 72-77.
KITCHENHAM, B., HUGHES, R. T., LINKMAN, S. G., 2001, “Modeling Software Measurement Data”, IEEE Transactions on Software Engineering, Volume 27, Issue 9, pp. 788-804.
KITCHENHAM, B., KUTAY, C., JEFFERY, R., CONNAUGHTON, C., 2006, “Lessons Learnet from the Analysis of Large-scale Corporate Databases”, Proceedings of the 28th International Conference on Software Engineering – ICSE’06, pp. 439-444.
KITCHENHAM, B., JEFFERY, D. R., CONNAUNGHTON, C., 2007, “Misleading Metrics and Unsound Analyses”, IEEE Software, Volume 24, Issue 2, pp. 73 – 78. KOMURO, M., 2006, “Experiences of Applying SPC Techniques to Software
Development”, Proceedings of the 28th International Conference on Software Engineering - ICSE’06, pp. 577-584.
LANTZY, M. A., 1992, “Application of Statistical Process Control to the Software Process”, Proceedings of the 9th Washington Ada Symposium on Empowering Software Users and Developers, ACM Press, pp. 113-123.
McGARRY, J., CARD, D., JONES, C., LAYMAN, B., CLARK, E., DEAN, J., HALL, F., 2002, “Pratical Software Measurement: Objetive Information for Decision Makers”, Addison Wesley.
MPS.BR – Melhoria de Processo do Software Brasileiro, Guia Geral, v. 1.2, 2007. OWEN, N. R. H., TOWELL, D. R., 2006, “CUSUM Modelling the Dynamics of
Process Performance Improvement Programmes”, International Journal of Productivity and Performance Management, Volume 55, nº 2, pp. 99-117.
RAFFO, D., 2005, “Software Project Management Using PROMPT: A Hybrid Metrics, Modeling and Utility Framework”, Information and Software Technology, Volume 47, pp. 1009-1017.
SARGUT, K. U., DEMIRORS, O., 2006, “Utilization of Statistical Process Control (SPC) in Emergent Software Organizations: Pitfalls and Suggestions”, Software Quality Journal, pp. 135-157.
TARHAN, A., DEMIRORS, O., 2006, “Investigating Suitability of Software Process and Metrics for Statistical Process Control”, Lectures Notes in Computer Science, Volume 4257/2006, pp. 88-99.
VILLELA, K., 2004, “Definição e Construção de Ambientes de Desenvolvimento de Software Orientados à Organização”, Tese de D. Sc., COPPE/UFRJ, Rio de Janeiro, Brasil.
WANG, Q., JIANG, N, GOU, L., LIU, X., LI, M., WANG, Y., 2006, “BSR: A Statistical-Based Approach for Establishing and Refining Software Process Performance Baseline”, International Conference on Software Engineering – ICSE’06, pp. 585-594.
WANG, Q., GOU, L., JIANG, N., CHE, M., ZHANG, R., YANG, Y., LI, M., 2007, “An Empirical Study on Establishing Quantitative Management Model for Testing Process”, Lectures Notes in Computer Science, Volume 4470/2007, pp. 233-245. WELLER, E. F., 2000, “Practical Applications of Statistical Process Control”, IEEE
Software, Volume 17, Issue 3, pp. 48-55.
WHEELER, D. J., CHAMBERS, D. S., 1992, “Understanding Statistical Process Control”, 2nd ed. Knoxville, SPC Press.
ZHANG, Y., SHETH, D., 2006, “Mining Software Repositories for Model Driven Development”, IEEE Software, Volume 23, Issue 1, pp. 82 – 90.
