Mapeamento Sistemático de Ferramentas de
Avaliação de Maturidade
Protocolo de Pesquisa
Introdução
Este mapeamento sistemático consiste em levantar na literatura técnica trabalhos oriundos de diversas fontes de buscas que apresentem ferramentas de avaliação de maturidade nas mais diversas áreas. O presente mapeamento faz parte de um projeto de dissertação de mestrado de Leonardo Cordeiro de Araújo, candidato à mestre em Ciência da Computação pela Universidade Federal de Pernambuco – UFPE, no Centro de Informática – CIn, orientado pelo professor Phd. Hermano Perrelli de Moura e co-orientado pelo professor Dr. José Gilson de Almeida Teixeira Filho, cujo título provisório da dissertação consiste em “Desenvolvimento e Aplicação Experimental de uma Ferramenta online para apoio às Avaliações de Maturidade em Planejamento Estratégico de SI/TI.
O mapeamento consistiu em seguir ao máximo as recomendações do guia de referências em engenharia de software (Kitchenahm, 2007), o qual é baseado nos mais conceituados guias de referência para revisões sistemáticas em diversas áreas de pesquisa.
1.
Introdução
De acordo com Kitchenham (2007), um mapeamento sistemático parte da realização de pesquisas pré-moldadas para uma revisão sistemática, mas que ao decorrer da pesquisa, observa-se a baixa relevância de resultados, caracterizando uma granularidade com relação aos possíveis resultados e abrangência na pesquisa. Dessa forma, a principal diferença está quanto a abrangência da análise dos resultados advindos de um mapeamento sistemático e de uma revisão sistemática. Assim, a escolha de um mapeamento sistemático como proposta para esta pesquisa deu-se pelo fato de apenas identificar e utilizar os resultados como base para respostas de perguntas advindas da dissertação de mestrado, onde a técnica servirá de metodologia base para levantamento de requisitos entre outras questões a parte, sem a necessidade de comparação de resultados que exijam uma revisão sistemática.
Dentro do contexto apresentado na proposta da dissertação, este mapeamento sistemático consiste em identificar na literatura técnica ferramentas de avaliação de maturidade em diversas áreas de estudo, inclusive dos sistemas de informação, tecnologia da informação e governança de TI, dentro do contexto nacional e internacional, cujas ferramentas estejam alicerçadas em modelos de maturidade e processos. Os resultados obtidos com a aplicação desse mapeamento darão margem a identificar requisitos diversos para a elaboração da ferramenta proposta na temática da dissertação, além de outros resultados que poderão compor a mesma e também poderão servir de base para outras consequentes pesquisas. Por fim, além do autor pesquisador em PE SI/TI, estarão envolvidos, a princípio, pelo menos mais dois pesquisadores na condução deste mapeamento, sendo um especialista em PE SI/TI e um pesquisador na área de engenharia de software/engenharia de requisitos. Para facilitar o entendimento, identificamos da seguinte forma:
Pesquisador em PE SI/TI [A]
Pesquisador em engenharia de software/requisitos [B] Pesquisador especialista em PE SI/TI [C]
2.
Pergunta de Pesquisa
De acordo com o contexto motivacional proposto para esta pesquisa, a pergunta de pesquisa que leva a este mapeamento sistemático é:
“É possível identificar ferramentas na literatura técnica que realizem ou apoiem os processos de avaliação de maturidade nas mais diversas áreas?”
Essa pergunta de pesquisa é específica para a condução motivacional deste mapeamento, a qual alicerça a pergunta de pesquisa principal da dissertação de mestrado que consistem em:
“É possível que uma ferramenta online possibilite a automatização e apoio às avaliações em das organizações governamentais brasileiras em PE SI/TI?”
3.
Estratégia de Busca
Esta seção consiste em apresentar os detalhes de pesquisa relacionados à condução do mapeamento sistemático. Para tal, esta seção apresentará o processo de condução da busca, seleção das fontes e definição das palavras-chave e strings de busca, onde cada fonte estará relacionada às strings específicas.
3.1.
Piloto da busca
Para a condução do piloto da busca neste mapeamento sistemático, a equipe de pesquisa participará primeiramente de um piloto da busca em pelos menos quatro fontes relacionadas, escolhidas pelos pesquisadores, com o objetivo de calibrar o entendimento do processo de busca por todos os pesquisadores, além de identificar possíveis adaptações nas strings formuladas e eventuais problemas de pesquisa com relação às fontes de busca, as quais possuem mecanismos diferentes de busca. Os resultados obtidos com o piloto serão aplicados à condução definitiva.
Além do mais, para cada mecanismo de busca, a string poderá sofrer adaptações, conforme exigências dos mecanismos. Partindo de experiências por parte de alguns dos pesquisadores, é provável que as strings gerais (as strings que serão base para as buscas) sofram bruscas alterações sintáticas para que possam gerar resultados advindos das fontes, o que é perfeitamente normal.
3.2.
Fontes de busca
Para escolha e definição das fontes de busca, procurou-se identificar em outros protocolos de mapeamento e revisão sistemática quais as fontes mais utilizadas mundialmente nas mais diversas áreas de pesquisa. Assim, as fontes de busca consideradas mais adequadas para a condução das buscas foram:
1. Scopus 2. Science Direct 3. SpringerLink 4. IEEE Xplore 5. ACM Portal 6. Google Scholar 7. BDTD
MMPE-SI/TI (Gov), modelo específico e desenvolvido aos moldes do governo brasileiro, cuja ferramenta proposta essencialmente também poderá incluir requisitos específicos advindos de ferramentas de avaliação de maturidade desenvolvidas no Brasil e que possam estar diretamente ligadas à modelos de avaliação de maturidade brasileiros e seus métodos de avaliação. Supõe-se também que o Google Scholar possa trazer resultados de artigos e periódicos de outras publicações no Brasil.
3.3.
Inclusões Manuais
Uma vez que estejam definidas as buscas pelas fontes apresentadas, dar-se-á ênfase, caso necessário, a buscas manuais em diversos sites, inclusive de universidades do Brasil, a fim de se identificar possíveis trabalhos científicos/comerciais que apresentem propostas de ferramentas de avaliação de maturidade moldadas aos conceitos de avaliação de maturidade e processos no Brasil e exterior. Isso só será necessário caso nas buscas automáticas (pelas fontes definidas) não sejam levantados, após a última fase de seleção, resultados suficientes e relevantes para a elicitação dos requisitos necessários.
3.4.
Termos de Busca (strings)
Uma vez definidas a fontes de buscas, é primordial que sejam definidos os termos de busca (strings) necessários para a condução das buscas. Esses termos estão definidos de acordo com palavras-chave dentro do contexto de pesquisa do mapeamento sistemático. Para a identificação destes termos, a frase de objetivo central deste mapeamento sistemático foi utilizada, a qual permitiu extrair cada termo chave para se construir os termos de busca necessários. As palavras sublinhadas representam os termos-chave identificados.
“O objetivo deste mapeamento sistemático é identificar ferramentas, sistemas ou softwares de avaliação de maturidade de diversas áreas, dentro do contexto nacional e internacional, cujas
estejam alicerçadas em modelos de avaliação de maturidade.”
Com base nas frases identificadas, formulou-se os termos-chave, onde os mesmos termos serão utilizados nas fontes internacionais, adaptando-as ao idioma Inglês.
• ferramenta de avaliação; • software de avaliação; • sistema de avaliação; • modelo de maturidade; • maturidade de processos; • assessment tool; • evaluation toll • assessment software; • evaluation software; • evaluation system; • assesment system; • maturity model; • maturity process;
Sendo assim, formulados os termos-chave, segue-se a construção da strings de busca primárias que serão utilizadas nas fontes, adaptando-se conforme necessário1, de acordo com as
imposições dadas pelos mecanismos.
("ferramenta de avaliação" OR "software de avaliação" OR "sistema de avaliação") AND ("modelo de maturidade" OR "maturidade de processos")
("assessment tool" OR "evaluation tool" OR "assessment software" OR "evaluation software" OR "assessment system" OR "evaluation system") AND ("maturity model" OR “maturity process”)
3.5.
Resultados das buscas
Todos os resultados gerados pelas buscas inicias serão verificados um a um pelos pesquisadores na própria página gerada pelos engenhos de busca. A medida que as etapas forem avançando, os trabalhos selecionados serão catalogados em uma planilha eletrônica padronizada, contendo um ID para a sua eventual consulta nas fases de seleção, o nome da publicação e as fases a qual a publicação correu desde a sua seleção inicial até a final. Um modelo preliminar de como os resultados das buscas serão armazenados pode se visto a seguir.
ScienceDirect –
Termo de busca = ("assessment tool" OR "evaluation tool" OR "assessment software" OR "evaluation software" OR "assessment system" OR "evaluation system") AND ("maturity model" OR “process”)2
ID Publicação3 Seleção
inicial
Seleção final
1 A quantitative and qualitative analysis of factors affecting software processes • ARTICLE
Journal of Systems and Software, Volume 66, Issue 1, 15 April 2003, Pages 7-21
Austen Rainer and Tracy Hall
2 De-motivators for software process improvement: an analysis of practitioners’ views • ARTICLE
Journal of Systems and Software, Volume 66, Issue 1, 15 April 2003, Pages 23-33
Nathan Baddoo and Tracy Hall
3.6.
Tratamento de redundâncias
A fim de evitar retrabalhos futuros, após as buscas inicias realizadas e os resultados devidamente catalogados, os mesmos passarão por um processo de tratamento de redundâncias, visando identificar resultados duplicados que eventualmente possam ter surgido. Somente após esse tratamento é que as demais etapas de seleção do processo de mapeamento sistemático poderão prosseguir.
1 As adaptações finais serão apresentadas no relatório técnico final, uma vez que só serão identificadas após a realização do piloto da busca.
2 O termo de busca apresentado neste exemplo provavelmente sofrerá alterações após os testes efetuados na engine apresentada, tanto quanto nas demais, conforme descrito na subseção 3.4.
4.
Seleção das Publicações
Esta seção descreve o processo de seleção e os critérios utilizados para a condução desta etapa, baseado nos critérios e resultados definidos na seção de condução da busca. Ficou definido que os processo de seleção será em duas etapas, descritas da subseção 4.2.
4.1.
Critérios de seleção
A seleção das publicações será baseada em alguns critérios definidos a seguir. Esses critérios deverão ser rigorosamente seguidos por todos os pesquisadores envolvidos no mapeamento sistemático, a fim de obter a maior aproximação possível na qualidade final das seleções.
1- As publicações só serão incluídas se tiverem evidências explícitas relacionadas ao contexto da pergunta de pesquisa do mapeamento sistemático;
2- As publicações devem apresentar claramente um ou mais dos seguintes elementos com relação às ferramentas de avaliação de maturidade:
a. propostas de desenvolvimento e/ou aplicação; b. modelagem e/ou codificação;
c. resultados de aplicações;
3- O contexto das publicações devem envolver experimentos tanto organizações públicas quanto privadas;
4- Somente publicações completas serão selecionadas;
5- As publicações devem estar em idiomas Inglês ou Português;
Uma vez que sejam aderidos e respeitados os critérios gerais de seleção das publicações, segue-se a continuidade no processo de segue-seleção.
4.2.
Processo de seleção
O processo de seleção nas duas etapas será dividido basicamente em três partes, sendo o piloto, preparação e seleção.
O piloto da etapa de seleção consiste em uma bateria de seleções idênticas para todos os pesquisadores. Pelo menos duas fontes serão selecionadas para a primeira etapa de seleção, onde as seleções serão feitas para os dez primeiros resultados, avaliados pelos pesquisadores quanto aos seus títulos e resumos (abstracts), onde os critérios estabelecidos para a seleção serão postos em prática. Assim, com os resultados da seleção piloto obtidos pelos pesquisadores, eles serão comparados a fim de calibrar a ideia do processo de seleção. Havendo grande divergência nos resultados entre os pesquisadores, o processo será repetido para mais cinco resultados em cada fonte de busca, repetindo-se o processo de calibragem até a equipe sentir-se apta para dar continuidade.
Após o processo de piloto da seleção, entra a fase de preparação, onde os resultados advindos de todas as fontes serão catalogados em uma planilha generalizada com os resultados (ver subseção 3.5). Os pesquisadores A e B ficarão responsáveis por selecionar as publicações tal qual descrito nos critérios definidos na estratégia de busca e testados no piloto da seleção. Os trabalhos selecionados serão catalogados na planilha eletrônica. Ao final, o pesquisador C intermediará esses resultados a fim de julgá-los conforme a sua avaliação. Havendo necessidade, os três pesquisadores discutirão sobre determinada publicação para um veredicto.
A segunda etapa de seleção será basicamente aplicada com as mesmas fases da primeira etapa, com a diferença de que com os resultados provenientes da primeira etapa, onde o critério de
seleção deu-se na leitura de títulos e abstracts, na segunda etapa serão lidas as introduções e as conclusões. Aqui, além de catalogar na planilha, as publicações serão adquiridas na íntegra. As etapas descritas são representadas nas Figuras 1 e 2 a seguir.
Figura 1. Etapa representando as fases de busca e seleção inicial.
Figura 2. Etapa representando a segunda fase de seleção.
5.
Avaliação de qualidade das publicações
Após o processo de seleção das publicações, a próxima etapa será avaliar a qualidade das publicações. Essa etapa, segundo Kitchenham (2007), não deve fazer parte do processo de seleção.
• A publicação aborda a possibilidade de vieses no seu contexto de estudo?
• A publicação aborda sentenças a respeito de possíveis ameaças aos resultados obtidos? Antes de realizar essa avaliação, um pequeno piloto será realizado a fim de calibrar a ideia entre os pesquisadores. Esse piloto consiste em escolher uma publicação, lê-la na íntegra, priorizando os critérios de qualidade definidos. Assim, realizado o piloto, a equipe fará a avaliação da qualidade por duplas, sendo as publicações divididas entre elas de forma aleatória. Os resultados da avaliação de qualidade serão armazenados em uma planilha específica, podendo ser ampliada e/ou melhorada após a realização do piloto.
5.1.
Limitações na avaliação de qualidade das publicações
A questão da avaliação da qualidade dependem muito da habilidade de quem estiver fazendo esta avaliação. Embora os critérios definidos para essa avaliação deixem clara a condução da avaliação, é provável que muitas das publicações não respondam a essas perguntas de forma clara, dependendo do avaliador (pesquisador) identificar tais respostas.
6.
Extração dos Dados
Esta etapa presente na condução deste mapeamento sistemático consiste de extrair os dados provenientes das publicações devidamente selecionadas nas fases anteriores. Serão extraídos vários tipos de dados previamente definidos, conforme o objetivo proposto neste mapeamento sistemático.
6.1.
Dados a serem coletados
Os dados a serem coletados nesta etapa consistem dos elementos principais para concretizar a pergunta de pesquisa do mapeamento sistemático e alguns dados secundários para possíveis outros questionamentos. Assim, ficou definida a seguinte estrutura de coleta de dados:
Publicação:
• Autor(es): todos os pesquisadores presentes na publicação; • Título: título da publicação;
• Ano da publicação: ano em que a pesquisa foi publicada; • País da publicação: País de origem da pesquisa;
Estudo:
• Metodologia empregada: a metodologia de pesquisa empregada no estudo (estudo de caso, survey, pesquisa de campo, etc.);
• Proposta do estudo: qual a proposta empregada quanto à abordagem da ferramenta (proposta de desenvolvimento de ferramenta, codificação de ferramenta, aplicação de ferramenta, etc.);
Ferramenta:
• Nome da ferramenta: se houver, extrair e registrar o nome da ferramenta desenvolvida/utilizada/proposta;
• Metodologia de desenvolvimento: qual a metodologia de desenvolivmento empregada para a ferramenta, independente da proposta do estudo (XP, RUP, etc);
• Linguagem de programação: qual ou quais linguagens de programação foram empregadas no desenvolvimento da ferramenta, independente da proposta do estudo;
• Tempo de desenvolvimento: qual o tempo empregado para o desenvolvimento da ferramenta;
• Tipo da ferramenta: identificar o tipo da ferramenta quanto à disposição se é desktop (local) ou web (remota);
• Framework/modelo/norma: qual o framework, modelo ou norma de avaliação tomado por base para a ferramental proposta no estudo (CMMI-Scampi, MPS.Br-MA.MPS, etc.);
• Licença GPL: A ferramenta tem licença pública/GPL permitindo reutilização de código para outros fins?;
6.2.
Procedimentos para extração dos dados
Uma vez definidos os dados a serem extraídos, os pesquisadores farão a extração dos dados das publicações remanescentes da etapa de seleção. A extração será feita pelos pesquisadores A e B, de forma que os dois farão a extração da mesma publicação. O processo de extração será da seguinte forma:
• Leitura completa da publicação para identificação dos elementos listados para extração; • Registro dos dados em uma planilha específica;
7.
Estratégia de Análise e Síntese dos Dados
Após o processo de extração e o devido registro nas planilhas, o passo seguinte é aplicar a estratégia de análise e síntese dos resultados. Embora a análise e a síntese sejam tarefas distintas, as mesmas compõem a mesma etapa, onde a análise garantirá uma boa síntese, sendo uma etapa iteracional, se for o caso.
Para tanto, inicialmente os seguintes passos iniciarão o processo de análise dos dados extraídos. • Cada pesquisador (A e B) irá comparar os seus dados extraídos e, após diálogo e
discussão, gerar uma planilha unificada com os dados extraídos de cada pesquisador; • Caso haja necessidade, uma vez comparado e havendo divergência, o pesquisador C
entra em cena para mediar a discussão.
O processo de análise consiste em mapear todas as informações levantadas nos resultados dentre as ferramentas identificadas nos estudos. Também, como o mapeamento propôs-se identificar essas ferramentas em diversas áreas, procurar categorizar as ferramentas em grupos de ferramentas por áreas e subáreas de atuação. As áreas e subáreas serão identificadas no processo de síntese e geradas pelos pesquisadores, dentro do conhecimento dos mesmos.
Por fim, após os pesquisadores realizarem as suas análises, eles unirão seus resultados e comporão a síntese final, onde todos os dados devidamente analisados serão catalogados em uma planilha específica contendo a análise final, incluindo as questões adicionais especificadas. A Figura 3 apresenta as etapas finais do processo do mapeamento sistemático.
