Kitchenham e Charters (2007) enfatizam a importância de compreender a relação entre a engenharia de software (SE) e outros campos de estudo, a fim de determinar quais procedimentos aceitos precisam ser adaptados à pesquisa em engenharia de software. Uma comparação da pesquisa em engenharia de software com práticas em diferentes campos de estudo mostrou semelhanças entre SE e ciências sociais e medicina devido à abordagem experimental e aos objetivos de pesquisa perseguidos (BUDGEN et al., 2006).
PROBLEMA DE PESQUISA
Solução Proposta
H02: A abordagem automatizada proposta não contribui para o aumento da confiabilidade na execução do processo de engenharia de software. HA2: A abordagem automatizada proposta contribui para o aumento da confiabilidade na execução do processo de engenharia de software.
Delimitação de Escopo
Justificativa
As revisões sistemáticas podem ajudar a planejar novas pesquisas, evitar erros e duplicação de esforços e orientar o próprio processo de pesquisa (BIOLCHINI et al., 2005). Por fim, o mérito científico deste projeto de mestrado é reforçado por trabalhos semelhantes realizados por Santo (2012), Montebelo et al. 2010) com o objetivo de desenvolver ferramenta de apoio à execução do processo voltado à engenharia de software.
OBJETIVOS
Objetivo Geral
Houve também um aumento na proporção de revisões que realizam algum grau de avaliação da qualidade dos estudos primários identificados, embora poucas revisões realizem uma avaliação completa da qualidade. Embora esses projetos representem o estado atual da pesquisa na área este trabalho de tese representa um avanço na proposta e avaliação de uma ferramenta de apoio ao método segundo os critérios propostos por especialistas para apoiar todas as fases e etapas do processo de revisão sistemática através da automação de atividades de processo que não estão incluídas nas ferramentas atuais e através da colaboração com o ambiente de pesquisa.
Objetivos Específicos
METODOLOGIA
Metodologia da Pesquisa
Procedimentos Metodológicos
ESTRUTURA DA DISSERTAÇÃO
O Capítulo 2 apresenta a fundamentação teórica, identificando e posicionando a engenharia de software empírica como um campo de pesquisa na aquisição de conhecimento. O Capítulo 3 apresenta o estado da arte na utilização de abordagens automatizadas para apoiar o processo de realização de revisões sistemáticas em engenharia de software.
ENGENHARIA DE SOFTWARE EMPÍRICA
Esses estudos empíricos, cujo objetivo é avaliar diretamente a hipótese formulada pelo pesquisador, são chamados de estudos primários (BIOLCHINI et al., 2007). Os estudos secundários, na verdade, complementam os estudos primários no processo (TRAVASSOS et al., 2008).
REVISÃO SISTEMÁTICA DA LITERATURA
Planejamento da Revisão
- Identificação da Necessidade de uma Revisão
- Comissionamento da Revisão
- Especificar Questões de Pesquisa
- Desenvolver Protocolo da Revisão
- Validar Protocolo da Revisão
Segundo Kitchenham (2004), a fase de planejamento é dividida em cinco fases principais: (i) definir a necessidade de uma revisão, (ii) ordenar a revisão; (iii) expor as questões de pesquisa; (iv) desenvolvimento de protocolo de revisão; e (v) confirmar o protocolo de revisão. Como mencionado anteriormente, estratégias de comunicação, planejamento de reuniões e compartilhamento de arquivos podem ser utilizadas no trato com esse grupo (BAKER et al., 2010).
Execução da Revisão
- Identificação da Pesquisa
- Seleção dos Estudos Primários
- Avaliação da Qualidade dos Estudos
- Extração e Monitoramento dos Dados
- Síntese dos Dados
O gerenciamento de projetos também pode ajudar no desenvolvimento de protocolos com modelos de atribuição de tarefas, cronogramas de projetos e gráficos de Gantt (BAKER et al., 2010). Kitchenham e Charters (2007) também mencionam a existência de diversas listas de verificação de avaliação de qualidade para diferentes tipos de estudos empíricos, particularmente entre manuais de diretrizes para RSL na área médica, como as Diretrizes CRD (KHAN et al., 2001) e os Revisores Cochrane. ' Manual (ALDERSON; GREEN; HIGGINS, 2004).
Análise dos Resultados
- Especificar Mecanismos de Disseminação
- Formatar o Relatório Principal
- Validar o Relatório
Disseminação refere-se à publicação dos resultados da revisão sistemática realizada, seja em nível acadêmico em periódicos ou conferências, seja em mecanismos mais adequados para estudos técnicos. No caso de artigos resumidos em revistas e conferências, deve-se garantir que os leitores serão capazes de avaliar corretamente o rigor e a validade da pesquisa, referindo-se a um relatório técnico que forneça todos os detalhes da revisão sistemática realizada. (KITCHENHAM; CARTAS, 2007).
OUTROS MÉTODOS DE ESTUDOS SECUNDÁRIOS
Mapeamento Sistemático
A fase de análise de uma revisão sistemática raramente inclui técnicas de análise aprofundada, como meta-análises, apenas resumos e resumos. A divulgação dos resultados do mapeamento pode ser limitada à comunidade científica e através de publicações académicas, com o objetivo de apontar o caminho para futuras revisões sistemáticas.
Estudos Terciários
A definição do termo mapeamento sistemático também inclui revisões quase sistemáticas, termo proposto por Travassos et al., 2008) para abordar estudos exploratórios de caracterização que não incluem todos os aspectos da sigla PICO em sua questão de pesquisa.
CONSIDERAÇÕES
Estudos complementares, também chamados de estudos secundários, podem ser realizados para avaliar e interpretar os resultados de todos os estudos primários em um determinado contexto (TRAVASSOS et al., 2008). Portanto, é desejável a utilização de ferramentas computacionais de apoio ao processo, que garantam a qualidade e facilitem a utilização do método (ZAMBONI et al., 2010).
REVISÃO INFORMAL: IDENTIFICAÇÃO DE FERRAMENTAS DE
Conclusão
As ferramentas Abacus International SRS, TrialStat's SRS, SRAT não puderam ser avaliadas porque o software não estava disponível para o pesquisador. Três dos instrumentos não foram possíveis de obter em regime de teste, impossibilitando inclusive a sua avaliação pelos critérios propostos.
REVISÃO SISTEMÁTICA: ABORDAGENS AUTOMATIZADAS DE
Método
Especificar as questões de pesquisa é uma das partes mais importantes do protocolo de revisão sistemática. RQ1: Quais abordagens automatizadas para apoiar a execução de estudos secundários (RSLs, etc.) são utilizadas pelos pesquisadores.
Resultados
Entre as bases de dados eletrônicas, o IEEE Xplore forneceu o maior número de estudos relevantes: cerca de 23,8% dos estudos solicitados foram selecionados com base nos critérios de inclusão. O EndNote também foi referido como sendo capaz de apoiar a seleção de estudos primários e extração de dados na realização da RSL.
Discussão e Conclusão
CONSIDERAÇÕES
Com base nos estudos bibliográficos e empíricos realizados, é possível identificar necessidades de automação e propor uma abordagem para apoiar a condução de revisões sistemáticas, especificando as contribuições a serem obtidas com esta abordagem. Este capítulo está estruturado da seguinte forma: a seção 4.1 fornece uma visão geral da abordagem proposta para apoiar o processo de condução de revisões sistemáticas; A Seção 4.2 discute as contribuições esperadas da automação em cada etapa do processo; A Secção 4.3 apresenta os requisitos apresentados e as principais características da abordagem proposta; As seções 4.4 descrevem respectivamente o design e a implementação da ferramenta que atende aos requisitos declarados; Esta ferramenta é apresentada detalhadamente na seção 4.5; e por fim, a Seção 4.6 discute os resultados preliminares obtidos com o desenvolvimento da ferramenta.
VISÃO GERAL
Fase 1: Planejamento da Revisão
Esta fase envolve também a exportação de um documento protocolar ou plano de auditoria contendo os elementos preenchidos na abordagem. Por fim, é realizada a validação do protocolo de revisão, opcionalmente quando há grupo ou indivíduo de revisores independentes.
Fase 2: Execução da Revisão
A fase de seleção dos estudos primários envolve a classificação dos estudos presentes na documentação do processo de pesquisa com base nos critérios de inclusão e exclusão de estudos definidos no protocolo de revisão. Por fim, a documentação do processo de pesquisa é atualizada com a pontuação dos estudos conforme os critérios de avaliação.
Fase 3: Análise dos Resultados
Por fim, a síntese dos dados envolve resumir os dados extraídos na etapa anterior na forma de tabelas e gráficos que possam demonstrar os resultados dos estudos primários de forma mais natural. A formatação principal do relatório é realizada combinando o modelo de relatório apropriado com os artefatos obtidos na fase de síntese dos dados.
CONTRIBUIÇÃO E AUTOMATIZAÇÃO
7 Técnica de inteligência artificial que visa obter informações de qualidade a partir de dados não estruturados ou semiestruturados dispostos em linguagem natural.
ESPECIFICAÇÃO DA FERRAMENTA
Requisitos
- Requisitos Funcionais
Se a estratégia de seleção de estudos com múltiplos investigadores for definida (RF 2.7), deverá haver uma função para enviar diferenças de seleção de RSL aos revisores/mediadores. Deve haver uma função que permita ao revisor independente mediar as disputas submetidas (conforme RF 3.11).
PROJETO DA FERRAMENTA
Tecnologia
A integração com bases de pesquisa é feita por meio de APIs específicas (atualmente para IEEE Xplore, IET Digital Library e SpringerLink), conforme mostra a Figura 20. Esta retorna então um documento no formato BibTeX com estrutura de dados adequada aos estudos identificados pela base de dados e pelo banco de dados é mantido. Servidor de busca Solr, que é então avaliado e processado para coleta automatizada (conforme automação #2.1.c.c, Tabela 5).
DEMONSTRAÇÃO DA FERRAMENTA
Fase 1: Planejamento da Revisão
A ferramenta também possui um mecanismo de expansão de termos de busca, que sugere automaticamente novos termos para a consulta de busca com base na ontologia SWEBOK (IEEE Computer Society, 2005), que contém conceitos-chave em engenharia de software. Segue-se então o protocolo de revisão, que documenta o planejamento em seções específicas, conforme Figura 25 e Figura 26: (i) primeiro, o objetivo e a questão de pesquisa previamente definidos podem ser revisados; (ii) ao combinar os componentes da consulta de pesquisa, a ferramenta gera automaticamente a string de pesquisa; (iii) são registrados os critérios de inclusão e exclusão de estudos e determinada a estratégia de resolução de conflitos entre pesquisadores; (iv) o processo de pesquisa e seus diversos componentes são documentados em formato rich text; (v) são registrados os conjuntos de dados a serem extraídos, bem como os valores possíveis para cada um; (vi) os recursos de investigação integrados na ferramenta ARS poderão ser
Fase 2: Execução da Revisão
A seleção dos estudos incluídos na lista de referências com base nos critérios de inclusão e exclusão definidos no protocolo de revisão é realizada na etapa de seleção dos estudos primários. Um mecanismo automatizado de apoio à seleção dos estudos contribui para a demonstração do valor de adesão de um estudo a cada critério de seleção.
Fase 3: Análise dos Resultados
Por fim, o relatório deve ser enviado aos revisores/intermediários para validação do relatório de revisão, conforme mostrado na Figura 36. Esta fase segue diretrizes semelhantes para validação de protocolo, em que os comentários são documentados individualmente na seção relevante do relatório e exibidos em um relatório. modelo. ilustrado pela Figura 36.
CONSIDERAÇÕES
Além de projetar e implementar uma abordagem automatizada para suporte ao PCRSL, este trabalho visa avaliar a abordagem segundo os critérios de produtividade e confiabilidade do processo. Este capítulo tem a seguinte organização: a seção 5.1 descreve o planejamento da avaliação planejado para a abordagem automatizada; enquanto a seção 5.2 discute considerações para implementação da avaliação, métricas de análise e resultados esperados.
MODELO DE AVALIAÇÃO
Os parâmetros para o procedimento serão obtidos a partir da amostra de revisões sistemáticas realizadas e documentadas, nas quais serão mostradas strings de busca específicas e/ou genéricas e o número de estudos coletados. O número de estudos obtidos por meio de coleta automatizada será então dividido pelo número de estudos obtidos por meio de coleta manual, fornecendo a métrica.
RESULTADOS
Métricas Subjetivas
- Perfil dos Respondentes
- Resultados das Métricas Subjetivas
PCRSL coordenado, possui 1 RSL publicada no ES 2 - completa Embora a ferramenta seja muito interessante e completa, a. Participou da PCRSL, possui 1 RSL publicada na ES 2 - completa A automação do processo contribui, além da agilidade, para
Métricas Objetivas
- Resultados das Avaliações Objetivas
Os resultados obtidos com o mecanismo de expansão dos termos de busca são apresentados no Apêndice E – Dados do Procedimento M5. O procedimento foi realizado executando manualmente a string de busca identificada, coletando o número de estudos coletados manualmente (CM).
SÍNTESE DOS RESULTADOS
A implementação sistemática da fase de planejamento da avaliação na abordagem automatizada contribui em grande parte para a redução de esforços nesta fase do processo, segundo 57,1% dos entrevistados. A implementação sistemática de todas as atividades na fase de análise dos resultados da abordagem está parcialmente de acordo com os procedimentos para a realização de uma revisão sistemática, conforme concordância de 62,5% dos entrevistados.
AVALIAÇÃO DE USO
Acredito que as informações que coloquei nos campos foram maiores que o esperado no modelo de dados. Esta avaliação também mostra que os usuários necessitam de suporte em suas dúvidas por meio do contato com o desenvolvedor e/ou profissional especializado na utilização da abordagem de métodos empíricos de pesquisa, sendo essencial um mecanismo de comunicação eficaz.
CONSIDERAÇÕES
Para tanto, foram necessários estudos específicos sobre a área que envolvessem pesquisas empíricas em engenharia de software, detalhassem o processo de realização de revisões sistemáticas e identificassem ferramentas de apoio a esse processo. Embora o desenvolvimento até o momento não tenha implementado todas as funcionalidades esperadas, a abordagem proposta agora pode ser implementada no processo completo de realização de revisões sistemáticas em engenharia de software.
PRINCIPAIS CONTRIBUIÇÕES
SUGESTÕES PARA TRABALHOS FUTUROS
On the use of genetic programming for predictive modeling of software engineering: a systematic review”, Expert Systems with Applications, vol.38, no.9, pp September 2011. Six years of systematic literature reviews in the field of software engineering: an updated tertiary study, Information in Software Technology, vol.53, no.9, September 2011.
