Os resultados das avaliações realizadas na ferramenta mostraram-se adequados, apresentando um mapeamento de pontos (fortes e fracos) alinhados com o processo de software da organização.
Outra sugestão seria utilizar Ontologia para as questões abertas dos questionários e das entrevistas, assim como estudar outras técnicas de Inteligência Artificial para apoiar o autodiagnóstico.
As perguntas definidas para as entrevistas podem ser refinadas de tal forma que ofereçam mais opções de respostas ao usuário. Incluindo nelas, as questões relacionadas as habilidades e competências dos recursos que trabalham na organização avaliada.
Sugere-se também, que seja definida uma sistemática automatizada para relacionar as perguntas dos questionários (caracterização e fatores organizacionais) e das entrevistas de tal forma que apresente o processo levando em consideração os objetivos de negócio da organização.
REFERÊNCIAS
ABES – ASSOCIAÇÃO BRASILEIRA DAS EMPRESAS DE SOFTWARE. Mercado Brasileiro de Software Panorama e Tendências - 2009, 2009, Disponível em: <www.abes.org.br>, acessado em: 10 de maio de 2010.
ABNT NBR ISO/IEC 15504-1-5, Tecnologia da informação – Avaliação de processo – Parte 1 a Parte 5, ABNT, 2008.
ALVES, T. S. MAPSw: Um método de auto-avaliação de processos de software frente ao CMMI nível 2. Dissertação (Mestre em Ciência da Computação) – Mestrado em Ciência da Computação, UNIMEP, 2008.
ANACLETO, A. Método e modelo de avaliação para melhoria de processos de software em micro e pequenas empresas. Dissertação (Mestre em Ciência da Computação) – Programa de Pós- Graduação em Ciência da Computação, UFSC, Florianópolis, 2004.
ANACLETO, A; WANGENHEIM, C. G; SALVIANO, C. Um método de avaliação de processos de software em micro e pequenas empresas. In Simpósio Brasileiro de Qualidade de Software (SBQS), Porto Alegre, 2005.
ANDRADE, F. F. O Método de Melhorias PDCA. Dissertação (Mestrado em Engenharia de Construção Civil e Urbana) – Programa de Pós-Graduação em Engenharia de Construção Civil, USP, São Paulo, 2003.
BARROS, A; LEHFELD, N. Fundame ntos de Metodologia Científica – Um Guia para Iniciação Científica. São Paulo, Makron Books, 2000.
BASILI, R. Quantitative Evaluation of Software Engineering Methodology, Proceedings of Fis rt Pan Pacific Computer Conference. Melbourne, Australia, September, 1985.
BASILI, V.R., CALDIERA, G., ROMBACH, H.D. The Experience Factory. In: MARCINIAK, J.J. (eds), Encyclopedia of Software Engineering, New York, John Wiley & Sons, 1994.
BERTOLLO, G. Definição de Processos em um Ambiente de Desenvolvimento de Software.
Dissertação (Mestrado em Informática) – Programa de Pós-Graduação em Informática, UFES, Vitória, 2006.
BITTENCOURT, G. Inteligência Artificial: ferramentas e teorias. 3. ED. Florianópolis: Editora da UFSC, 2006.
BUENO, P. R. Contribuição para um modelo de processo de software para pequenos grupos de desenvolvime nto. Dissertação (Mestrado em Engenharia Elétrica e Informática Industrial) – Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial, UTFPR, Curitiba, 2008.
BUGLIONE, L.; ABRAN, A. Balanced Scorecards and GQM: What are the Differences? In FESMA-AEMES Software Measurement Conference, 2000.
CAMPOS, F.; ALBUQUERQUE, A.; ANDRADE, J.; FILHO, R.; ROCHA, A. Abordagem em Níveis para Avaliação e Melhoria de Processos de Software, SBQS – Simpósio Brasileiro de Qualidade de Software, 2006.
CASEY, V.; RICHARDSON, I. A practical application of the IDEAL model. In: XIV International Conference, Anais PROFES, Rovaniemi, Finland, dec. 9-11. 2002
CERDEIRAL, C. Uma Abordagem para Gerência e Avaliação de Projetos de Melhoria de Processos de Software do Ponto de Vista da Instituição de Consultoria. Dissertação (Mestrado em Ciências em Engenharia de Sistemas e Computação) Programa de Pós-Graduação em
Engenharia de Sistemas e Computação, UFRJ, Rio de Janeiro, 2008.
CERDEIRAL, C; ROCHA, A. R. Uma Abordagem para Gerência e Avaliação de Projetos de Melhoria de Processos de Software do Ponto de Vista da Instituição de Consultoria. In VIII Simpósio Brasileiro de Qualidade de Software (SBQS), Ouro Preto, 2009.
DEMING, W. E. Qualidade: A Revolução da Administração. Rio de Janeiro: Marques Saraiva, 1990.
DONADEL, A.C.; VARVÁKIS, G.;SELIG, P.M., Uma Ferrame nta para Avaliação dos
Processos de Software sobre a Visão do CMMI. In II Congresso Sul Catarinense de Computação (SULCOMP), Criciúma, 2006. Disponível
em:http://www.dcc.unesc.net/sulcomp/artigos/sessaoPoster/21569.pdf
FARIAS JUNIOR, E. P. F. Estudo comparativo entre Algoritmos de Regras de Associação de Forma Normal e Incre mental de Dados. Dissertação (Mestrado em Informática) Programa de Pós-Graduação em Informática, Curitiba, 2008.
FERNANDES, A. M. R. Inteligência Artificial: Noções Gerais. Florianópolis: Visual Books, 2003.
FERNANDES, P. G.; OLIVEIRA, J. L.; MENDES, F. F.; SOUZA, A. S. Resultados de Implementação Cooperada do MPS.BR. ProQualiti (UFLA), v. 3, p. 11-18, 2007.
GARCIA, G. E. A Qualidade no Serviço Público: Um Estudo de Caso Sobre a Implantação e Continuidade de Progama de Gestão Pela Qualidade Total. Revista do Centro Universitário Barão de Manuá, v.1, n.2, julho/dezembro de 2001. Disponível em:
http://www.baraodemaua.br/comunicacao/publicacoes/jornal/v1n2/artigo05.html. Acessado em:
07/08/2010
HAUCK, J. C. R. Uma Abordagem de Modelagem de Processos Suportada por Um Guia de Referência Alinhado ao CMMI-DEV, MPS.BR e ISO/IEC 15504. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, UFSC, Florianópolis, 2007.
HERRERA, E. M.; RAMIREZ, R. A T. A Methodology for Self-Diagnosis for Software Quality Assurance in Small and Medium-Sized Industries in Latin America. In The Electronic Journal on Information Systems in Developing Countries (EJISDC), 2003. Disponível em <
http://www.ejisdc.org/ojs2/index.php/ejisdc/article/view/94 > - Acessado em 15 de junho de 2010.
IEEE Computer Society. SWEBOK - Guide to the Software Engineering Body of Knowledge, 2004.
INSTITUTE OF ELETRICAL AND ELETRONICS ENGINEERS. IEEE-STD-610: Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. IEEE, 1990.
ISO/IEC 15504 (2002-2004). ISO/IEC 15504: Information Technology Process Assessment.
Part 1 to Part 5. ISO/IEC International Standard, 2004.
KELLNER, M.I; BECKER-KORNSTAEDT, U; RIDDLE, W.E; TOMAL, J; VERLAGE, M.
Process Guides: Effctive guidance for Process Participants. 5th Internacional Conference on the Software Process, Illinois, USA, Jun, 1998.
KITCHENHAM, B. A. Procedures for Pe rforming Systematic Reviews, Tech. report TR/SE- 0401, Keele University, 2004.
LEITE, C. R C. F. ProMeProS: Um processo de melhroria de processos de software. Dissertação (Mestre em Ciência da Computação) - Programa de Pós-Graduação em Ciência da Computação, UFMG, Belo Horizonte, 2010.
LEVINE, R; DRANG, D; EDELSON, B. Inteligência Artificial e Sistemas Especialistas. São Paulo, McGraw-Hill, 1988.
LUGER, G. Inteligência Artificial – Estruturas e estratégias para resolução de proble mas complexos. 4. ED. Porto Alegre: Bookman, 2004.
MARIANI, C.; PIZZINATTO, N.; FARAH, O. Método PDCA e Ferramentas da Qualidade no Gerenciame nto de Processos Industriais: Um Estudo de Caso. In XII SIMPEP – Simpósio de Engenharia de Produção, 2005.
MCFEELEY, B. IDEAL: A User’s Guide for Software Process Improve ment Pittsburgh, Software Engineering Institute, 1996.
MCGARRY, F.; DECKER, B.; HASKELL, J.; PARRA, A.;Attaining Level 5 in CMM process maturity. IEEE Software, V. 19, Issue 6 (Nov.-Dec.), pp. 87 – 96, 2002.
MCT – MISTÉRIO DE CIÊNCIA E TECNOLOGIA. Pesquisa de Qualidade no Setor de Software 2009. Ministério da Ciência e Tecnologia. SEPIN – Secretaria de Política de Informática, 2010.
MEGA, B.; FONSECA, K.; BOESSIO, R.; MASSA, P.; MONTONI, M.; VASCONCELOS, J.;
KATSURAYAMA, A. E.; ROCHA, A. R. Melhoria de Processos de Software na Drive. In I Workshop de Empresas (W6 – MPS.BR), 2008. Disponível em: <
http://www.softex.br/mpsbr/_artigos/artigo.asp?id=1828> - Acessado em 17 de junho de 2010.
MERHI, D. 40 Ferrame ntas e Técnicas de Gerenciamento. Rio de Janeiro: Brasport, 2007.
MIYASHIRO, M. A. S. Uma ferramenta de apoio ao diagnóstico do nível de maturidade
utilizando um modelo de rede neural. Dissertação (Mestre em Computação Aplicada) – Programa de Pós-Graduação em Computação Aplicada, INPE, São José dos Campos, 2007.
MONTONI, M. Uma Abordage m para Condução de Iniciativas de Melhoria de Processos de Software. Exame de Qualificação (Doutorado em Engenharia de Sistemas e Computação)
Programa de Engenharia de Sistemas e Computação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2007.
MONTONI, M; CERDEIRAL, C; ZANETI, D; ROCHA, A. R. Uma abordage m para Condução de Iniciativas de Melhoria de Processos de Software. In III Workshop de Implementadores (W2- MPS.BR), Belo Horizonte, 2007.
NIAZI, M; WILSON, D. ZOWGHI, D. A frame work for assisting the design of effective software process improve ment imple mentation strategies. In Journal of Systems and Software, v. 78, n.2, pp. 204-222, 2005.
OLDONI, A. Desenvolvimento de uma agente pedagógico utilizando JCLIPS. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Centro de Ciências Tecnológicas da Terra e do Mar, UNIVALI, Itajaí, 2006.
OLDONI, A; FERNANDES, A. M. R; DETERS, J. I. Desenvolvimento de uma arquitetura da comunicação de um agente pedagógico inteligente em JAVA. In RESI – Revista Eletrônica de Sistemas de Informação, Ed. 10, 2007.
PÁDUA FILHO, W; MACHADO, F. T; DRUMOND, F. P; NOGUEIRA, M. M; FERREIRA, G.
R. M. Aplicação da fase de Diagnóstico de um processo para melhoria de organizações técnicas.In V Simpósio Internacional de Melhoria de Processo de Software (SIMPROS), Recife, 2003.
PLEEGER, S. L. Engenharia de Software: teoria e prática. 2. ED. São Paulo: Prentice Hall, 2004.
PRIKLADNICKI, R; BECKER C. A; YAMAGUTI, M. H. Uma Abordage m para a Realização de Diagnóstico Inicial em Empresas que Imple mentam o MPS.BR. In I Workshop de
Implementadores (W2-MPS.BR), Brasília, 2005.
QUINQUIOLO, J. Avaliação da eficácia de um sistema de gerenciame nto para melhorias implantado na área de carroceria de uma linha de produção automotiva. Dissertação (Mestre em Administração de Empresas) – Programa de Pós-Graduação em Administração de Empresas, UNITAU, Taubaté, 2002.
REZENDE, S. O. Sistemas inteligentes: fundamentos e aplicações. Barueri: Manole, 2003.
ROCHA, F. R. Instanciação e Execução de Modelos de Processos de Software no Eclipse Process Framework. Dissertação (Mestrado em Sistemas e Computação) Programa de Pós- Graduação do Instituto Militar de Engenharia, IME, Rio de Janeiro, 2007.
ROCHA, V. C. Metodologia para implementação do MPS.BR utilizando o ambiente Webapsee. Dissertação (Mestre em Engenharia Elétrica) – Programa de Pós-Graduação em Engenharia Elétrica, UFPA, Belém, 2009.
RUSSEL, S; NORVING, P. Inteligência Artificial. 4. ED. Rio de Janeiro: Elsevier, 2004.
SALVIANO, C. F. Uma Proposta Orientada a Perfis de Capacidade de Processo para Evolução da Melhoria de Processo de Software. Tese (Doutorado em Engenharia Elétrica e da Computação) Faculdade de Engenharia Elétrica e de Computação, UNICAMP, Campinas, 2006.
SANTANA, A. Proble mas em Iniciativas de Melhoria de Processos de Software sob a Ótica de uma Teoria de Intervenção. Dissertação (Mestrado em Ciência da Computação) Programa de Pós Graduação em Ciência da Computação, UFPE, Recife, 2007.
SANTOS, G., MONTONI, M., VASCONCELLOS, J., FIGUEIREDO, S., CABRAL, R.,
CERDEIRAL, C., KATSURAYAMA, A. E., NATALI, A. C., LUPO, P., ZANETTI, D., ROCHA, A. R. Imple mentação do MR-MPS Níveis G e F em Grupos de Empresas do Rio de Janeiro. In III Workshop de Implementadores (W2 - MPS.BR), Belo Horizonte, 2007.
SAVARIS, S. V. A. M. Sistemas Especialistas para Primeiros Socorros para Cães. Dissertação (Mestrado em Ciência da Computação) – Programa de Pós-Graduação em Ciência da Computação, UFSC, Florianópolis, 2002.
SEI - SOFTWARE ENGENEERING INSTITUTE. CMMI for Development, Version 1.2”, CMMI-DEV v1.3, CMU/SEI 2011, Technical Report, Software Engineering Institute, August 2011, Disponível em: http://www.sei.cmu.edu.
SILVA, E.; MENEZES, E. Metodologia da Pesquisa e Elaboração de Dissertação. 3ª edição, 2001. Disponível em:
<http://projetos.inf.ufsc.br/arquivos/Metodologia%20da%20Pesquisa%203a%20edicao.pdf.> - Acessado em: 19 junho 2010.
SILVA, P. A. Melhoria da qualidade de software brasileiro: um desafio para o gove rno e a indústria. Revista de Ciências Exatas e Tecnologia, 2006. Disponível em: <
http://sare.unianhanguera.edu.br/index.php/rcext/article/viewPDFInterstitial/389/389> - Acessado em 10 de maio de 2010.
SOFTEX - Associação para a Promoção da Excelência do Software Brasileiro. “MPS.BR – Guia Geral”. 2011. Disponível em: <http://www.softex.br>.
SOFTEX – Site da Associação para a Promoção da Excelência do Software Brasileiro. 2012.
Disponível em: http://www.softex.br/mpsbr/_avaliacoes/avaliacoes_mpsbr_total.pdf - Acessado em 23 de fevereiro de 2012.
SOMMERVILLE, I. Engenharia de Software. 6. ED. São Paulo: Pearson Addison Wesley, 2003.
SOMMERVILLE, I. Engenharia de Software. 8. ED. São Paulo: Pearson Addison Wesley, 2007.
TAVARES, D. P. D; FABBRI, S. C. P; SANCHES, R. Diagnóstico, Definição e Melhoria do Processo de Software: um Estudo de Caso. In I Simpósio Brasileiro de Qualidade de Software, Gramado, 2002.
TEIVE, R.C.G. Sistemas Especialistas – Apostila da disciplina de Sistemas Baseado em Conhecimento do curso de Mestrado em Computação Aplicada, UNIVALI, Itajaí, 2008.
THIRY, M.; WANGENHEIM, C; ZOUCAS, A; PICKLER, K. Uma abordagem para modelagem colaborativa de processos de software em micro e pequenas empresas. In V Simpósio Brasileiro de Qualidade de Software (SBQS), Vila Velha, 2006.
WEBER, K. C; ROCHA, A. R; AYALA, A. M; GONÇALVES, A; PARET, B; SALVIANO, C;
MACHADO, C. F; SCALET, D; ETIT, D.; ARAÚJO, E; BARROSO, M; OLIVEIRA, K;
OLIVEIRA, L. C; AMARAL, M. P; CAMPELO, R. E.; MACIEL, T. Modelo de Referência para Melhoria de Processo de Software uma abordage m brasileira. In XXX Conferencia
Latinoamericana de Informatica (CLEI2004), Sesión 13: Ingeneria de Software V. Jueves 30 de septiembre,10:20-10:40 , Arequipa Peru, 2004.
WEBER, S.; HAUCK, J. C. R.; WANGENHEIM, C. G. V. Estabelecendo Processos de Software em Micro e Pequenas Empresas. In Simpósio Brasileiro de Qualidade de Software (SBQS), Porto Alegre, 2005.
ZANETTI, D. B. Uma abordagem para Benchmarking e m Iniciativas de Implementação de Melhorias em Processos de Software. Dissertação (Mestrado em Engenharia de Sistemas e
Computação) – Programa de Pós-Graduação em Engenharia de Sistemas e Computação, UFRJ, Rio de Janeiro, 2008.
ZANETTI, D.; MONTONI, M.; ROCHA, A. R. Benchmarking e m iniciativas de Melhorias em Processos de Software. In XI Simpósio Brasileiro de Qualidade de Software (SBQS), Ouro Preto, 2009.
APÊNDICE A – MAPEAMENTO SISTEMÁTICO
Para realizar o mapeamento sistemático da literatura foi elaborado um protocolo de busca de acordo com as orientações repassadas na disciplina de Projeto de Dissertação. Este protocolo é um plano que descreve a condução da revisão sistemática proposta.
Foram realizados diversos testes utilizando diferentes termos de busca até chegar ao resultado considerado como satisfatório para realizar a revisão de tal forma que o protocolo apresentasse trabalhos realmente relacionados com o tema de pesquisa.
A seguir serão apresentadas as características do protocolo final.
A.1 Motivo da Revisão
Realizar uma revisão sistemática para identificar e analisar os trabalhos relacionados ao diagnóstico de processo de software. O objetivo é verificar o grau de originalidade do tema, assim como, se o problema ainda encontra-se em aberto.
A.2 Pergunta de Pesquisa
A pergunta de pesquisa deste trabalho apresenta-se na Tabela 19.
Tabela 19. Pergunta de Pesquisa
Pergunta: Como são realizados os processos de software?
População Organizações de desenvolvimento de software ou instituições de ensino e pesquisa cujos trabalhos estejam voltados à melhoria de processo de software.
Intervenção Automatizar o processo de diagnóstico de melhoria de processo de desenvolvimento de software
Comparação Metodologia utilizada para realizar o diagnóstico de processo de software de forma manual.
Resultados Grau de qualidade do diagnóstico automatizado é similar ou superior ao diagnóstico manual.
Contexto Organizações de desenvolvimento de software e instituições implementadoras de melhoria de processo.
Onde população corresponde a quem será afetado na intervenção. A intervenção é o que será investigado (pesquisado). A comparação é o que será comparado com a intervenção. Os resultados serão os fatores observados na intervenção. E o contexto é onde a comparação acontece.
A.3 Estratégia de busca: Termos de Fontes
Serão apresentadas a seguir as palavras-chave utilizadas nos termos de busca, bem como os termos utilizados para encontrar os trabalhos nos fontes relacionadas.
A.3.1 Palavras-Chave
As palavras-chave foram utilizadas em português e inglês.
A.3.1.1. Palavras-chave em Inglês Abstract
Approach CMMI
Diagnosis ou Diagnostic Evaluation ou Appraisal Initial assessment Initial diagnosis
Method of self-evaluation MPS.BR
Process Improvement Quality
Self-diagnosis Self-evaluation Software process
Software Process Improvement Software Quality
Tool
A.3.1.2. Palavras-chave em Português Abordagem
Auto-avaliação
Auto-diagnóstico Avaliação
Avaliação inicial CMMI
Ferramenta Diagnóstico Diagnóstico inicial Melhoria de processo
Melhoria de processo de software Método de auto-avaliação
MPS.BR
Processo de software Qualidade
Qualidade de Software Resumo
A.3.2 Fontes de Pesquisa
Os critérios para definir os locais de pesquisa foram:
Acesso disponibilizado via internet que permitisse a leitura e o download da obra;
Locais utilizados em outros trabalhos de pesquisa.
Os locais pesquisados foram:
Biblioteca digital da SBC < http://www.sbc.org.br/bibliotecadigital/>
Google Scholar <http://scholar.google.com.br/ >
IEEExplore <http://ieeexplore.ieee.org>
A.3.2.1 Termos de Busca
A seguir serão apresentados os termos de busca utilizados em cada uma das fontes de pesquisa onde foi a busca realizada.
A.3.2.1.1 Biblioteca digital da SBC
Palavra(s) pesquisada(s): melhoria de processo, MPS, MPS.BR
A.3.2.1.2 Google Scholar Termo e m Português
(("melhoria de processo de software" OR "melhoria de processos") + (diagnóstico OR
"método de auto-avaliação" OR abordagem OR "avaliação inicial" OR "diagnóstico inicial") + (CMMI OR MPS.BR) + (abstract OR resumo) + (qualidade)) filetype:pdf.
(("melhoria de processo de software" OR "melhoria de processos") + (diagnóstico OR
"método de auto-avaliação" OR abordagem OR "avaliação inicial" OR "diagnóstico inicial") + (CMMI OR MPS.BR) + (abstract OR resumo)) filetype:pdf
(("melhoria de processo de software" OR "melhoria de processos") + (diagnóstico OR
"método de auto-avaliação" OR abordagem OR "avaliação inicial" OR "diagnóstico inicial") + (CMMI OR MPS.BR) + (abstract OR resumo) + (qualidade OR "qualidade de software")) filetype:pdf
Publicados entre 2003-2010.
Termo e m Inglês
(("Software Process Improvement" OR "Process Improvement") + (Diagnosis OR Diagnostic OR "Method of self-evaluation" OR Approach OR "Initial diagnosis" OR "initial assessment") + ("MPS.BR" OR “CMMI”) + (abstract) + (quality)) filetype:pdf.
(("Software Process Improvement" OR "Process Improvement") + (Diagnosis OR Diagnostic OR "Method of self-evaluation" OR Approach OR "Initial diagnosis" OR "initial assessment") + ("MPS.BR" OR “CMMI”) + (abstract)) filetype:pdf.
Publicados entre 2003-2010.
IEEE
(("Software Process Improvement" <or> "Process Improvement") <and> (diagnosis <or>
diagnostic <or> "self- evaluation" <or> approach <or> "initial assessment" <or>"Initial diagnosis")
<and> (CMMI <or> MPS.BR)) <in>metadata) <and> (pyr >= 2003 <and> pyr <= 2010).
A.4 Procedimento e Critérios de Seleção dos Estudos
A seguir serão apresentados os critérios utilizados para selecionar e/ou excluir um trabalho do mapeamento sistemático.
A.4 1 Critérios de Inclusão e Exclusão dos Trabalhos
Nesta revisão foram examinados todos os trabalhos apresentados na pesquisa realizada nas fontes de pesquisa apresentadas na seção 2.3.3, por meio dos termos de buscas apresentados na 2.3.3. Onde os critérios utilizados para selecionar os trabalhos foram:
Pela análise do título do trabalho:
o Verificar se o título contém alguma das palavras-chaves da revisão sistemática.
Pela análise do resumo e das conclusões do trabalho :
o Verificar se o resumo apresenta uma visão geral do trabalho com introdução, contextualização do problema, metodologia utilizada e os resultados obtidos.
Com relação às conclusões verificar se as mesmas apresentam resultados claros e coerentes com o problema. Assim como, se as elas indicam que o trabalho pode ser reaplicado.
o Critérios de análise: clareza, objetividade, coerência na metodologia utilizada, se há descrição dos métodos/procedimentos, análise estatística dos resultados, variáveis usadas no estudo, população e tamanho da amostra.
Pela análise do trabalho:
o Verificar a estrutura do trabalho: resumo, introdução, metodologia, resultados apresentados e a fonte de pesquisa utilizada no trabalho.
o Critérios de análise: clareza, objetividade, coerência na metodologia utilizada, se há descrição dos métodos/procedimentos, análise estatística dos resultados, variáveis usadas no estudo, população e tamanho da amostra.
Pela relevância/abrangência do trabalho
o Verificar a importância da pesquisa realizada e dos resultados obtidos e os locais de publicação do trabalho.
Fonte:
o O trabalho deve ter sido publicado em um Congresso, Simpósio, Periódico, nacional ou internacional.
Linguagem:
o O trabalho deve estar escrito em inglês ou português.
Data de Publicação:
o O trabalho de ter sido publicado após 2003.
o Também poderá ser analisado algum trabalho publicado antes de 2003 e que foi utilizado na referência bibliográfica dos trabalhos publicados após 2003.
Os trabalhos que não atendessem estes critérios eram excluídos da etapa de extração dos dados.
A.4.2 Checklist para avaliação da qualidade dos estudos
Para avaliar os trabalhos com relação a qualidade dos mesmos foram verificados os seguintes critérios:
Apresentação clara sem ambiguidades sobre o problema estudado?
A metodologia emprega pode ser reutilizada em outro estudo similar?
O trabalho apresenta a forma de coleta dos dados?
O trabalho adotou estatística para analisar os dados?
O trabalho informa a origem dos dados utilizados no experimento?
O trabalho apresenta o tamanho da amostra utilizada?
O tamanho da amostra é adequado estatisticamente?
O trabalho apresenta uma justificativa clara pela escolha das técnicas empregadas no trabalho?
O trabalho apresenta trabalhos correlatos?
O trabalho validou os resultados obtidos?
O trabalho apresenta o ambiente onde executou os testes?
O trabalho explica como utilizou as técnicas de IA?
Caso o trabalho tenha aplicado uma análise qualitativa verificar se o autor apresenta como foi realizada essa análise (descrição do cenário).
A.5 Estratégia para Extração dos Dados
Para cada estudo selecionado, mediante a execução do processo de avaliação apresentado na seção 2.4, foram verificados os seguintes itens para extrair os dados:
Título: Nome do trabalho avaliado
Referências: referência do trabalho (local de publicação) Publicado em: Local e ano de Publicação
Descrição: breve descrição do trabalho avaliado;
Fase diagnóstica: visão geral (breve descrição) da metodologia utilizada nesta fase do processo de melhoria;
Avaliação: Avaliar se o trabalho apresenta a fase de diagnóstico de forma clara* e aplicar os critérios de qualidade apresentados no protocolo da Revisão sistemática.
Critério: Apresentar no mínimo uma seção sobre a metodologia utilizada para realizar um diagnóstico.