5. RESULTADOS
5.2 PLANEJAMENTO DA AVALIAÇÃO
Esta etapa descreve como a avaliação vai ser executada. Para realizar uma avaliação é necessário estabelecer as hipóteses, identificar as variáveis, selecionar participantes, definir o projeto da avaliação, estabelecer os instrumentos e a validade dos resultados.
5.2.1 Hipóteses
170
As hipóteses, levantadas na Seção 1.1.1, foram formuladas com base no conhecimento obtido na etapa de revisão da literatura, na experiência prévia dos pesquisadores da área envolvidos e de informações coletadas. Esta abordagem de identificação de hipóteses foi baseada no trabalho de Carver (2003). A discussão relacionada com a verificação ou refutação destas hipóteses são analisadas na Seção 5.4.
5.2.2 Medidas
Para identificar as medidas definidas neste trabalho, foi utilizado o método GQM22 (Goal, Question, Metric) (BASILI et al., 1994). Este método se apresenta como um mecanismo muito bom para planejamento, definição de objetivos da medição e avaliação. O objetivo do método GQM é caracterizar e fornecer um melhor entendimento dos processos, produtos, recursos e ambientes e, assim, estabelecer bases para comparação com trabalhos futuros (BASILI et al., 1994).
O GQM baseia-se na suposição de que para se medir de maneira eficaz, alguns objetivos devem ser estabelecidos para que estes sirvam de rota para o estabelecimento de questões que orientarão a definição de métricas em um contexto particular. É muito importante para o sucesso da aplicação do GQM que os objetivos estejam bem traçados, pois somente assim a escolha das métricas e posterior avaliação dos dados serão bem sucedidas (BASILI et al., 1994).
A aplicação deste método justifica-se pela dificuldade, neste trabalho, em obter medidas diretas para a avaliação do PCP-DEF. Neste contexto, as metas são definidas pelas hipóteses do trabalho da Seção 1.1.1. Foram definidas 2 metas que são descritas no Quadro 37.
Quadro 37. Questões e medidas utilizadas para avaliar a efetividade do PCP-DEF
METAS QUESTÕES MEDIDAS
M1. Avaliar se o método consegue obter resultados aproximados aos de uma abordagem para MPS
Q1.1. Qual o nível de confiabilidade do método?
1. Número de processos similares nos 2 PCPs utilizados para a avaliação.
2. Número de processos diferentes nos 2 PCPs utilizados para a avaliação.
Q1.2 Um PCP pode ser definido de forma mais rápida quando da utilização do método, comparando com utilização da técnica proposta pela abordagem de MPS?
1. Impressão subjetiva do percentual de variação do tempo com uso do método comparando a não utilização.
22 Mais informações sobre GQM podem ser obtidas em BASILI et al. (1994).
171
Q1.3. Qual o nível de efetividade do método?
1. Impressão subjetiva do percentual de variação da efetividade com relação ao uso do método.
M2. Avaliar se o perfil de capacidade de processo resultante do PCP-DEF é relevante para a empresa participante.
Q2.1 Qual é a aplicabilidade dos processos sugeridos pelo método?
1. Impressão subjetiva do percentual de variação com relação a aplicação dos processos e práticas obtidas com o uso do método.
2. Impressão subjetiva do percentual de variação com relação aos possíveis ganhos organizacionais obtidos na aplicação dos processos e práticas sugeridos pelo método.
5.2.3 Coleta dos dados
Para a realização da avaliação foram utilizadas as abordagens MARES e PRO2PI para orientar as atividades de melhoria de processos e a definição dos perfis de comparação. A escolha deve-se a capacitação de utilização que o pesquisador possui em maior grau de ambas. Porém, a maioria das abordagens apresentadas no Capítulo 3 podem ser utilizadas para a definição dos perfis obtidos através do MARES ou PRO2PI.
Durante a realização da avaliação utilizou-se dos artefatos descritos no método para determinar as três variáveis definidas na Seção 4.1.1 para coletar os dados relacionados com estas características.
No projeto dessa avaliação foram definidos os seguintes conjuntos de instrumentos que foram considerados necessários para a execução do método e sua respectiva avaliação:
Objetos:
- Produto de trabalho do método para selecionar um modelo de negócio.
- Produto de trabalho do método para encontrar o estágio de crescimento.
- Produto de trabalho do método para encontrar a disciplina de valor.
- Arquivo de mapa mental contendo a árvore de níveis onde o método deve percorrer com os critérios necessários à obtenção de um PCP final.
172
- Produto de trabalho do método para mapear as perspectivas dos processos com relação aos objetivos de negócio da organização.
- Produto de trabalho do método para fornecer um guia para realizar os ajustes nas práticas de cada processo.
- Produto de trabalho do método contendo um Modelo de relatório de PCP.
Diretrizes:
- Processo descritivo do PCP-DEF (Seção 4.3) contendo as atividades, passos, descrição dos artefatos e resultados intermediários definidos para a execução do método.
- Questionário para avaliação da efetividade do PCP obtido pelo método com relação ao seu alinhamento com as expectativas de MPS da MPE.
- Documento descrevendo a utilização da abordagem MARES.
- Documento descrevendo a utilização da abordagem PRO2PI.
Medições:
- Conjunto de medidas definidas no Quadro 37.
- Os dados coletados durante o experimento serão armazenados e posteriormente recuperados de uma matriz definida em planilhas eletrônicas.
Para a coleta dos dados referentes a cada medida definida no Quadro 37, a avaliação determinou e utilizou um questionário. Este instrumento de avaliação foi aplicado junto a profissionais, das MPE, que apresentam diferentes níveis de experiência na área de Engenharia de Software e Melhoria de Processos. O questionário que apresenta as perguntas elaboradas para a obtenção das medidas desejadas no Quadro 37 é descrito no Apêndice A.
Por fim, é importante considerar as questões de validação, desde o momento do planejamento da avaliação, para validar adequadamente os resultados da mesma (WOHLIN et al., 2000). Para analisar a validação, foram sugeridos quatro tipos de ameaças à validade dos resultados:
conclusão, interna, construção e externa (WOHLIN et al., 2000). O planejamento e posterior análise dessas ameaças a validação estão descritas no tópico 5.4.5.
173
5.2.4 Análise dos dados
A análise e interpretação dos dados, obtidos nos questionários, foram realizadas em sua maioria de forma qualitativa por meio de análise de conteúdo, em que os dados obtidos em atividades individuais (questionários e entrevistas) são registrados, tabulados por categorias de análise e posteriormente descritos na Seção 5.4 desta pesquisa. Buscou-se por meio desta análise apresentar resposta aos objetivos de medição que se refere ao atendimento aos requisitos elencados na Seção 5.1. Cada pergunta do questionário foi analisada individualmente considerando o perfil dos respondentes.
5.2.5 Participantes
A população alvo desta avaliação é formada por micro e pequenas empresas da região Sul que desenvolvem e realizam manutenção de software e que foram caracterizadas no tópico 2.1.3 deste trabalho.
Desta população foi selecionada uma amostra de participantes formada por micro e pequenas empresas sediadas na cidade de Caxias do Sul/RS. Os critérios utilizados para esta seleção são descritos na Seção 1.3. O Quadro 38 apresenta um resumo das principais características das empresas selecionadas.
Quadro 38. Características das empresas participantes da avaliação
Organização 1 2 3 4 5 6
Porte Pequena Micro Pequena Pequena Micro Micro
Fundação 1986 2006 2007 2002 1984 1993
Colaboradores 70 12 32 18 12 7
Principais metas Reduzir retrabalho
Organizar processos
Melhorar processos
Melhorar processos
Reduzir retrabalho
Organizar processos
Principais clientes Empresas privadas
Em uma breve análise das informações apresentadas no Quadro 38 é possível constatar diversas considerações sobre o grupo de organizações selecionadas para a realização da avaliação.
O número de organizações selecionadas para executar a avaliação, classificadas como pequena e como micro empresa é igual, ou seja, serão 3 micros e outras 3 pequenas empresas avaliadas permitindo um conjunto parecido de resultados.
174
Em geral, quando analisada a idade destas organizações metade estão atuando na área a mais de 16 anos, sendo que duas destas são ainda mais antigas e passam dos 23 anos de fundação. A outra metade das organizações avaliadas é formada por um perfil de empresas jovens e que estão na fase de consolidar os objetivos de negócio.
Para a grande maioria das organizações analisadas o principal objetivo ao buscar um projeto para MPS é proporcionar uma melhoria e organização nos seus processos de desenvolvimento e manutenção de software. Para uma pequena parcela, 2 empresas, o principal propósito esperado com a melhoria dos processos estava relacionado com a necessidade de redução do retrabalho nas atividades da equipe de desenvolvimento do produto.
Por fim, a avaliação planejada para avaliar a efetividade do PCP-DEF envolve a iteração direta com 6 empresas de diferentes portes e modelos de negócio. Cada organização possui suas características distintas, conforme analisado anteriormente, portanto, acredita-se que mesmo sendo uma pequena parcela da população alvo a etapa de aplicação do método proposto permitirá ao pesquisador confirmar as suas hipóteses e gerar uma análise para permitir a avaliação da efetividade com relação ao uso do PCP-DEF na definição de perfis de capacidade de processos. Cabe ressaltar, que o universo de empresas onde se foi utilizado, através dos documentos de avaliações já executadas, o método foi maior que este planejado na avaliação, pois na primeira etapa de desenvolvimento (Seção 4.1.3) o PCP-DEF foi aplicado em outras 20 empresas das quais o pesquisador teve acesso as informações organizacionais (Quadro 27). Vale destacar, ainda, que avaliações em ambientes reais são usualmente mais relevantes do que aquelas realizadas em um laboratório sob condições controladas (SJOBERG et al., 2002).