Definição e Planejamento dos Estudos de Caso

No contexto desse trabalho, um planejamento foi definido para condução dos dois estudos de caso, contemplando os seguintes aspectos: propósito, questões específicas de pesquisa, contexto, período de realização, participantes, instrumentos de apoio e ameaças à sua validade.

O propósito dos estudos de caso foi avaliar qualitativamente se o mapeamento realizado entre os dois modelos era adequado para uso em ambiente industrial. Para tal, pretendeu-se responder às seguintes questões:

• Q1: O mapeamento entre as exigências dos modelos foi realizado corretamente? • Q2: O mapeamento foi realizado com um nível de detalhe suficiente que permita

revelar as diferenças de interpretação entre os modelos?

• Q3: Os critérios de classificação adotados para comparação entre os modelos estão adequados?

• Q4: As considerações descritas no mapeamento foram úteis, quando necessário? • Q5: O desempenho das equipes na avaliação conjunta foi facilitado com a

utilização do mapeamento?

De acordo com o paradigma GQM (BASILI e ROMBACH, 1988), os objetivos dos estudos podem ser definidos da seguinte forma:

Analisar o mapeamento dos modelos MPS e CMMI-DEV Com o propósito de caracterizar

Com respeito à adequação da utilização do mapeamento na indústria

Do ponto de vista da equipe de avaliação

No contexto de uma avaliação conjunta de processos.

O termo adequação, nesses estudos, está relacionado às cinco questões definidas, buscando identificar se, de acordo com a percepção dos avaliadores, o mapeamento está correto (Q1), se o nível de detalhe é suficiente (Q2), se os critérios estão adequados (Q3), se as considerações são úteis (Q4) e se o desempenho dos participantes da avaliação foi facilitado (Q5). Isto permitirá observar indícios sobre a correção do mapeamento e sobre a efetividade do apoio à realização de avaliações conjuntas MPS/CMMI.

O primeiro estudo de caso foi realizado em uma organização de desenvolvimento de software da cidade do Rio de Janeiro/RJ, no segundo semestre de 2010, durante cinco dias consecutivos, e foi executado dentro do contexto de uma avaliação conjunta de processos MPS nível C e CMMI nível 3. Neste cenário, apenas o processo de Aquisição do modelo MPS e a área de processo Gerência de Acordo com Fornecedores do CMMI-DEV não foram avaliados. Isto ocorreu porque a organização não subcontrata produtos ou componentes para integrar o produto ou serviço entregue para o cliente, e declarou este processo/área de processo fora do escopo da avaliação.

Seis avaliadores da equipe de avaliação participaram desse estudo de caso: um avaliador líder experiente MPS, dois avaliadores adjuntos MPS, um lead appraiser CMMI e dois representantes da organização avaliada. Três miniequipes foram constituídas e formadas por dois integrantes da equipe de avaliação. Cada miniequipe foi responsável pela avaliação de um conjunto de processos/áreas de processo.

Por ser uma avaliação conjunta, os avaliadores deveriam possuir experiência prévia nos dois modelos. No caso dos representantes da unidade organizacional, houve capacitação anterior através do curso oficial de Introdução ao MPS e no curso oficial de Introdução ao CMMI-DEV.

Além dos seis participantes, o pesquisador responsável pelo mapeamento foi autorizado pelo patrocinador da avaliação a participar como observador. Em atendimento aos métodos de avaliação SCAMPI (SEI, 2006c) e MA-MPS (SOFTEX, 2009b), esta participação ocorreu apenas na avaliação inicial e foi restrita às observações, dúvidas e anotações sobre o mapeamento e sobre o formulário de resposta.

O segundo estudo de caso foi realizado em uma organização de desenvolvimento de software da cidade de Fortaleza/CE, no segundo semestre de 2010, em cinco dias consecutivos, e foi executado dentro do contexto de uma avaliação conjunta de processos MPS nível E e CMMI nível 2 e, também, apenas na etapa de avaliação inicial. Com exceção do processo de Aquisição do modelo MPS e da área de processo Gerência de Acordo com Fornecedores do CMMI-DEV, excluídos por terem sido declarados fora de escopo, os demais processos foram avaliados.

Quatro avaliadores da equipe de avaliação participaram do segundo estudo de caso: um avaliador líder experiente MPS, um avaliador adjunto MPS, um lead appraiser CMMI e um representante da organização avaliada. Duas miniequipes foram formadas, cada uma com dois avaliadores, todos com experiência nos dois modelos.

Ainda como parte do planejamento dos estudos de caso, foram identificadas algumas ameaças à sua validade, as quais podem impactar ou limitar o resultado do estudo. Seguindo os tipos de ameaças apresentados em WÖHLIN et al. (2000), as seguintes ameaças foram identificadas:

• Validade interna, relacionada aos eventos não controlados pelo pesquisador que podem produzir distorções no resultado esperado
(a) participação dos orientadores deste trabalho como membros da equipe de avaliação no primeiro estudo de caso; e de um orientador no segundo estudo de caso; (b) a IA foi a COPPE/UFRJ, pois não houve nenhuma outra avaliação conjunta MPS/CMMI no período desta dissertação; (c) por serem casos reais, os participantes podem aceitar o nível de detalhe do mapeamento, evitando tirar o foco do resultado da avaliação das organizações.

• Validade de constructo, que considera os relacionamentos entre a teoria e a observação (eventos que podem prejudicar a medição correta no estudo)
Devido à adoção de critérios objetivos, não foram identificadas ameaças desta natureza.

• Validade externa, que prejudica a generalização dos resultados do estudo
(a) realização do estudo em número limitado de organizações; (b) contexto organizacional utilizado nos estudos, visto que por ser situação real, pode influenciar os participantes.

• Validade de conclusão, relacionada à habilidade de chegar a uma conclusão correta a respeito dos relacionamentos entre o tratamento e o resultado do experimento
Devido à não realização de testes estatísticos, pois a análise será qualitativa, os resultados não poderão ser considerados conclusivos.

Também como parte do planejamento, instrumentos específicos de apoio à execução dos estudos de caso foram definidos, o que será apresentado a seguir.

5.2.1 Instrumentos de Apoio à Execução dos Estudos de Caso

Para apoiar a execução dos estudos de caso no contexto da avaliação conjunta MPS/CMMI, dois instrumentos foram definidos: um Instrumento de Apoio à Avaliação Conjunta de Processos e um Formulário de Avaliação do Mapeamento.

O Instrumento de Apoio à Avaliação Conjunta de Processos baseado nos modelos MPS e CMMI-DEV, aqui denominado IACP, foi elaborado com o objetivo de apoiar a condução das avaliações conjuntas MPS/CMMI.

O IACP, apresentado na Figura 5.1, foi definido a partir da planilha oficial de avaliação do modelo MPS, adaptada para inclusão do componente correspondente do modelo CMMI-DEV, da classificação definida no mapeamento e das considerações relacionadas. Assim, foi mantida a mesma estrutura da planilha oficial MPS, com introdução de informações resultantes do mapeamento realizado.

Nas áreas em destaque do IACP, abaixo indicadas, são apresentados: a área de processo (célula A1), a sigla e a declaração da prática específica do CMMI-DEV correspondente ao resultado esperado do processo no MR-MPS (células A5 e A13 e células B5 e B13, respectivamente), o critério de classificação da comparação (células C5 e C13) e as considerações relacionadas, que foram incluídas na planilha por meio de comentários.

Figura 5.1 – Instrumento de Apoio à Avaliação Conjunta de Processos

O IACP é composto por vinte e uma planilhas, sendo uma para caracterização dos objetivos específicos e genéricos do CMMI, uma para as instruções de preenchimento e outras dezenove planilhas referentes aos processos, que foram preparadas e tiveram seu conteúdo atualizado a partir do mapeamento.

O Formulário de Avaliação do Mapeamento, apresentado na Figura 5.2, foi elaborado para ser preenchido pela equipe de avaliação. Com cinco questões, o formulário visou capturar informações referentes a corretude do mapeamento, nível de detalhe, adequação dos critérios de classificação, utilidade das considerações e desempenho das equipes de avaliação.

Formulário de Avaliação do Mapeamento

Este formulário tem o objetivo de coletar suas opiniões a respeito do mapeamento dos modelos MR-MPS e CMMI- DEV, elaborado no contexto de uma dissertação de mestrado sobre Projetos de Melhoria de Processos de Software Multi-Modelos.

Ao retornar o formulário preenchido, você implicitamente concorda com sua utilização, o que será feito de forma anônima. O tempo previsto para o preenchimento do formulário é de 10 minutos. Desde já obrigado.

Mini-equipe: __________________________________________________________________________ Processo do MR-MPS: ___________________ Área de Processo do CMMI-DEV: _______________

1. Em sua opinião, o mapeamento entre os resultados esperados do processo e os RAP (até o nível C) do MR- MPS, em comparação aos objetivos e práticas específicos e genéricos do CMMI-DEV, foi realizado corretamente? Caso negativo indique o resultado ou prática. Descreva outras considerações, se houver. ( ) Sim. ( ) Não.

2. Você considera que o mapeamento foi realizado com um nível de detalhe suficiente, permitindo a identificação das diferenças entre o MR-MPS e CMMI-DEV? Caso negativo indique o resultado ou prática. Descreva outras considerações, se houver.

( ) Sim. ( ) Não.

3. Em sua opinião, os critérios de classificação adotados para comparação entre os modelos MR-MPS e CMMI- DEV estão adequados? Caso negativo justifique. Descreva outras considerações, se houver.

( ) Sim. ( ) Não.

4. As considerações descritas em cada comparação foram úteis, quando acessadas? Caso negativo indique o resultado ou prática. Descreva outras considerações, se houver.

( ) Sim. ( ) Não.

5. Você observou que o desempenho das equipes na avaliação conjunta foi facilitado com adoção do mapeamento? Caso negativo justifique. Descreva outras considerações, se houver.

( ) Sim. ( ) Não.

Figura 5.2 – Formulário de Avaliação do Mapeamento

Durante a realização dos dois estudos de caso, não houve alteração no mapeamento nem atualização da versão dos instrumentos, de forma que foram utilizados os mesmos instrumentos.