Capítulo 2: Medição de Software e Controle Estatístico de Processos
2.4 Influência da Medição de Software no Controle Estatístico de Processos
2.4.1 Estudo Baseado em Revisão Sistemática da Literatura
O estudo baseado em revisão sistemática da literatura realizado nesta tese teve como objetivo identificar fatores relacionados à medição ou às medidas que influenciam negativamente (denominados de problemas no estudo) e positivamente (denominados de
características no estudo) na implantação e realização do controle estatístico de processos de software.
Durante o estudo baseado em revisão sistemática, foram analisadas publicações de estudos relacionados ao controle estatístico de processos que relatam problemas ou características relacionados à medição ou às medidas que influenciam na realização do controle estatístico de processos. Também foram analisadas publicações que descrevem estudos ou experiências de aplicação do controle estatístico de processos, sendo que nessas publicações, os problemas e características foram identificados durante a análise do conteúdo da publicação.
A não limitação a publicações que relatam explicitamente os problemas ou características relacionados à medição ou às medidas que influenciam na realização do controle estatístico de processos se deu, pois, conforme já mencionado neste trabalho, apesar do crescente número de publicações considerando a aplicação de controle estatístico em processos de software, o foco dessas publicações ainda tem sido limitado a evidenciar a possibilidade e as vantagens da aplicação do controle estatístico nesse contexto ou a propor abordagens baseadas nos princípios do controle estatístico voltadas para processos de software. Sendo assim, considerar apenas as publicações que relatam explicitamente problemas ou características significaria uma redução considerável de publicações analisadas.
Para a realização do estudo, foi utilizado o processo de apoio à condução de estudos baseados em revisão sistemática descrito em (MONTONI, 2007).
Tradicionalmente, realizar revisão sistemática da literatura consiste na execução de processo formal e controlado, que evita a introdução de tendências que podem desvirtuar os resultados da pesquisa. Para isso, a revisão sistemática da literatura consiste em uma
metodologia de pesquisa específica que integra estudos experimentais para criar generalizações e requer que seja seguido um conjunto bem definido de passos metodológicos, segundo um protocolo de pesquisa desenvolvido apropriadamente (BIOLCHINI et al., 2005). O processo de apoio à condução do estudo aqui realizado, apesar de utilizar os conceitos básicos da revisão sistemática da literatura, não utiliza todo o rigor originalmente proposto, uma vez que o intuito, diferente da revisão sistemática, não é revelar hipóteses, mas sim garantir uma boa cobertura para a pesquisa.
A seguir é descrito o processo utilizado para a realização do estudo baseado em revisão sistemática da literatura, composto por três atividades, destacando-se os resultados produzidos em cada uma delas.
(i) Desenvolvimento do Protocolo
Nesta atividade foi realizada a prospecção sobre o tema de interesse do estudo, definindo o contexto no qual o estudo seria realizado e o objeto de análise. Em seguida, o protocolo de pesquisa foi definido, testado e avaliado. O protocolo de pesquisa definido e os resultados de seu teste e avaliação encontram-se detalhados no Anexo 1.
(ii) Condução da Pesquisa
Nesta atividade o estudo propriamente dito foi realizado, aplicando-se o protocolo de pesquisa para selecionar, coletar e armazenar os dados das publicações. Em seguida, foram realizadas análises quantitativas e qualitativas dos dados coletados e as listas de achados foram registradas. Os resultados detalhados da execução do estudo, incluindo as análises qualitativas e quantitativas, encontram-se no Anexo 1.
(iii) Relato dos Resultados
Nesta atividade os resultados obtidos no estudo foram publicados, inicialmente no Exame de Qualificação para o Doutorado (BARCELLOS, 2008) e, em seguida, em eventos científicos (BARCELLOS e ROCHA, 2008b, a).
Como principais resultados da realização do estudo baseado em revisão sistemática da literatura foram obtidas as listas de achados de problemas e de características apresentadas, respectivamente, nas Tabelas 2.1 e 2.2.
Tabela 2.1 – Lista de achados de problemas relacionados ao processo de medição ou às medidas que influenciam na implantação e realização do controle estatístico de processos identificados no estudo.
Id Problema
P1 Agrupamento de dados de projetos não similares. P2 Base de medidas mal estruturada.
P3 Coleta de uma mesma medida em momentos diferentes da execução dos processos nos projetos. P4 Dados agregados.
P5 Dados ambíguos.
P6 Dados armazenados em diversas fontes não integradas.
P7 Dados de uma mesma medida coletados com granularidades diferentes. P8 Dados perdidos.
P9 Definição operacional deficiente das medidas.
P10 Insuficiência ou ausência de dados coletados para as medidas definidas. P11 Insuficiência ou ausência de informações de contexto das medidas. P12 Insuficiência ou ausência de medidas associadas aos processos.
P13 Medidas associadas a processos muito longos (mesmo com a granularidade correta, a frequência de coleta é baixa). P14 Medidas de alta granularidade.
P15 Medidas isoladas, sem que as medidas associadas, necessárias à análise, sejam coletadas. P16 Medidas não alinhadas aos objetivos dos projetos ou da organização.
P17 Medidas normalizadas incorretamente.
P18 Utilização de medidas de apoio à monitoração tradicional dos projetos ao invés de medidas de análise de desempenho para melhoria de processos.
P19 Dados incorretos.
Tabela 2.2 – Lista de achados de características relacionadas ao processo de medição ou às medidas que influenciam na implantação e realização do controle estatístico de processos identificados no estudo.
Id Característica
C1 Associação entre medidas de processo e de produto. C2 Centralização dos dados coletados.
C3 Coleta automática das medidas. C4 Coleta consistente das medidas. C5
Definição dos critérios que devem ser obedecidos para agrupar medidas coletadas nos projetos da organização para análise.
C6 Definição e coleta de medidas de produto e processo.
C7 Definição e coleta de medidas orientadas às tomadas de decisão.
C8 Definição e coleta, desde o início das atividades de medição, de medidas relacionadas ao desempenho dos processos. C9 Existência de medidas de um processo de apoio quando o processo principal não possuir medidas suficientes. C10 Existência de pelo menos 20 valores para cada medida a ser utilizada no controle estatístico de processos.4 C11 Identificação dos relacionamentos entre as medidas.
C12 Medidas associadas a atividades que produzem itens mensuráveis. C13 Medidas associadas aos processos críticos.
C14 Medidas coletadas ao longo de todo o processo de desenvolvimento. C15 Medidas coletadas para um fim específico, conhecido pelos envolvidos. C16 Medidas para controle de projetos e melhoria de processos.
C17 Medidas passíveis de normalização, para possibilitar comparações. C18 Medidas relacionadas às características de qualidade dos produtos. C19 Registro preciso dos dados coletados para as medidas.
C20 Identificação de conjuntos de dados homogêneos.
4
Segundo (WHEELER, 1997) apud (WELLER e CARD, 2008), 15 valores são suficientes, porém, considerando-se que a maior parte dos autores pesquisados afirma que o número mínimo de observações é 20, decidiu-se por considerar esse valor.
Considerando-se que as experiências de aplicação do controle estatístico de processos de software ainda são recentes e percebendo-se uma heterogeneidade nos resultados obtidos na análise das publicações selecionadas no estudo (conforme mostraram as análises qualitativas e quantitativas, registradas no Anexo 1), decidiu-se por não determinar prioridades aos itens das listas de achados. Ou seja, não se determinou que um ou outro achado (problema ou característica) influencia mais ou menos no controle estatístico de processos que os demais, até mesmo porque se acredita que ainda não há dados suficientes para fazer esse tipo de afirmação. Sendo assim, a ordem em que os itens das listas de achados são apresentados não é relevante.