F.1 Legenda da escala utilizada
6.3 Resposta às Questões de Pesquisa
6.3.4 Q4 Quais os principais fatores que dificultam uma RSL ser considerada
Para responder esta pergunta, vamos fazer a análise agrupando os itens do instrumento de qualidade em cada uma das classificações aqui utilizadas, são eles: "Tipo", "Aspecto" e "Dimensão". Avaliaremos também de forma individual cada critério e questão do instrumento.
Para isso, listamos todas as respostas de todos os artigos avaliados e contabilizamos a quantidade de respostas "Atende Totalmente", "Não Atende" e "Atende Parcialmente". Com este quantitativo é possível analisar quais são os grupos de itens de qualidade onde os trabalhos avaliados têm mais dificuldade em atender e com isso perceber os pontos de melhoria.
Vejamos a Tabela 6.13 onde os dados representam uma análise de granularidade grossa separando entre dois grandes grupos "Geral" e "Específico". Nessa tabela observa-se que os critérios específicos foram melhor atendidos pelos artigos avaliados, pois obteve a maior porcentagem (41,27%).
Tipo de Critério Atende Totalmente (%) Não Atende (%) Atende Parcialmente (%)
Específico 41,27 44,64 14,09
Geral 34,74 48,62 16,64
Tabela 6.13: Porcentagem da quantidade de respostas por tipo de critério
Detalhando mais, vejamos na Tabela 6.14 a mesma listagem agrupado agora por Aspecto de Avaliação. Aqui percebe-se que os critérios que são do tipo "Relatório", ou seja, que se baseiam na forma como uma RSL reporta o seu estudo tiveram melhor desempenho, ao contrário dos tipos "Credibilidade" e "Rigor", que tiveram respectivamente 35% e 34,26%. Ou seja, são dois pontos que estão contribuindo para as baixas notas e, naturalmente, onde deve-se focar mais ao se realizar uma RSL.
Aspecto Atende Totalmente (%) Não Atende (%) Atende Parcialmente (%)
Relatório 45,44 44,51 10,05
Relevância 36,82 42,06 21,12
Credibilidade 35 48,6 16,4
Rigor 34,26 49,11 16,63
Tabela 6.14: Porcentagem da quantidade de respostas por aspecto de avaliação
Na Tabela 6.15 a listagem foi agrupada por dimensão, outra classificação utilizada no instrumento de qualidade. Neste parâmetro é mostrado que a comunidade está dando pouco atenção à "Apresentação dos Resultados" e "Análise dos Dados" em RSL, pois tiveram a maior porcentagem de respostas "Não Atende". Já a dimensão "Interpretação dos Resultados" obteve "55,14%" de respostas "Atende Totalmente" o que implica em dizer que é a dimensão melhor atendida pela comunidade ao se executar uma RSL.
6.3. RESPOSTA ÀS QUESTÕES DE PESQUISA 67
Dimensão Atende Totalmente (%) Não Atende (%) Atende Parcialmente (%) Interpretação dos Resultados 55,14 25,79 19,07
Contexto da Pesquisa 47,35 40,19 12,46 Delineamento da Pesquisa 41,54 37,8 20,66
Condução da Pesquisa e
Coleta de Dados 32,58 52,94 14,49 Apresentação dos Resultados 26,54 56,82 16,64 Análise dos Dados 23,79 60,83 15,38
Tabela 6.15: Porcentagem da quantidade de respostas por dimensão de avaliação
Agora analisaremos quais são os critérios que as RSL têm mais dificuldade e facilidade em se adequar. Para isso, na Tabela 6.16 listamos todos os 23 critérios ordenados do maior para o menor em relação à porcentagem de respostas recebidas do tipo "Atende Totalmente".
Em primeiro lugar temos o critério CG01 (ver este critério na Tabela 4.1) com "96,73%" de respostas "Atende Totalmente" e apenas "1,4%" de rejeição (quando recebe a resposta "Não Atende"). Neste caso, praticamente em todas as avaliações realizadas este critério foi totalmente atendido, concluindo então que é o critério que mais é obedecido ao se realizar uma RSL.
Por outro lado, os critérios CG07, CG08 (ver estes critérios na Seção 4.3) e CG13 (ver este critério na Seção 4.6) foram os que tiveram a pior avaliação, respectivamente "10,28%", "10,75%" e "11,21%", concluindo então que eles são os pontos onde as RSL estão com dificuldade em atender.
E por fim, um demonstrativo na Tabela 6.17 detalhando a nível de "Questões". Nesta tabela, para melhorar a síntese, foi levado em consideração os itens que tiveram classificação acima de 50%, ou seja, essas são as questões que mais foram respondidas como "Atende Totalmente" deixando claro e de modo bem específico, quais são os pontos que a comunidade de ESE mais segue ao executar uma RSL
Também analisando a nível de "Questões" a Tabela 6.18 mostra os itens que mais foram avaliadas como "Não Atende" (acima de 70%).
A tabela está ordenada do maior para o menor pela coluna "Não Atende (%)". Através dela vemos o conjunto de questões que são os principais fatores que dificultam uma RSL ser considerada de melhor qualidade, já que são itens que estão sendo avaliados na maioria das publicações como "Não Atende".
6.3. RESPOSTA ÀS QUESTÕES DE PESQUISA 68
Critério
Atende Totalmente (%)
Não Atende (%)
Atende Parcialmente (%)
CG01
96,73
1,4
1,87
CG11
58,41
20,56
21,03
CG04
57,94
18,69
23,36
CE04
57,94
31,78
10,28
CE07
56,07
36,45
7,48
CE03
55,14
22,9
21,96
CE02
52,34
29,91
17,76
CE01
46,26
32,71
21,03
CG12
42,06
46,73
11,21
CG10
40,19
39,25
20,56
CG03
32,71
44,86
22,43
CE08
30,84
60,75
8,41
CG14
30,53
48,29
21,18
CG15
29,91
59,81
10,28
CG05
29,21
49,07
21,73
CG06
28,97
54,05
16,98
CG02
26,87
62,15
10,98
CE05
26,17
51,4
22,43
CG09
24,17
57,54
18,29
CE06
17,45
75,7
6,85
CG13
11,21
79,44
9,35
CG08
10,75
76,64
12,62
CG07
10,28
82,24
7,48
Tabela 6.16: Porcentagem da quantidade de respostas por critério de avaliação
Questão
Atende Totalmente (%)
Não Atende (%)
Atende Parcialmente (%)
Q01
99,07
0
0,93
Q02
94,39
2,8
2,8
Q31
77,57
3,74
18,69
Q08
76,64
4,67
18,69
Q32
69,16
3,74
27,1
Q46
63,55
27,1
9,35
Q03
57,94
28,97
13,08
Q44
57,01
22,43
20,56
Q52
56,07
36,45
7,48
Q27
54,21
14,02
31,78
Q41
53,27
30,84
15,89
Q45
53,27
23,36
23,36
Q43
52,34
29,91
17,76
Q47
52,34
36,45
11,21
Tabela 6.17: Porcentagem da quantidade de respostas das questões mais avaliadas como "Atende Totalmente"
6.3. RESPOSTA ÀS QUESTÕES DE PESQUISA 69
Questão
Atende Totalmente (%)
Não Atende (%)
Atende Parcialmente (%)
Q25
7,48
86,92
5,61
Q19
7,48
85,05
7,48
Q21
5,61
83,18
11,21
Q20
10,28
82,24
7,48
Q06
9,35
82,24
8,41
Q36
11,21
79,44
9,35
Q49
15,89
77,57
6,54
Q51
18,69
74,77
6,54
Q50
17,76
74,77
7,48
Q05
14,95
71,96
13,08
Q22
15,89
70,09
14,02
Q39
13,08
70,09
16,82
Q28
12,15
70,09
17,76
Tabela 6.18: Porcentagem da quantidade de respostas das questões mais avaliadas como "Não Atende"
6.4. RESUMO 70
6.4
Resumo
Neste capítulo realizamos uma discussão dos resultados encontrados. Para isso, detalha- mos o método utilizado para aumentar a confiabilidade dos resultados através da avaliação do instrumento de qualidade. Foi apresentado também resultados e conclusões gerais da análise dos dados e em seguida apresentou-se as respostas das questões de pesquisa.
De acordo com os quantitativos aqui apresentados, de modo geral ainda há muita margem para melhoria das publicações apresentadas. Os dados brutos que ajudam na complementação da análise estão disponíveis nos Apêndices A, B, C, D e E.
O próximo capítulo irá descrever as possíveis ameaças à validade, a indicação de trabalhos futuros, bem como as conclusões do estudo.
71 71 71
7
Considerações Finais
7.1
Ameaças à Validade
Este capítulo mostra as possíveis ameaças a validade deste estudo. A validade de um estudo pode ser ameaçada pela quantidade de estudos selecionados, pelo viés no momento da seleção dos mesmos e pelo erro em sua classificação segundo o objetivo desejadoSjoberg et al.
(2005). Para melhor entendimento e identificação destas ameaças, seguimos a definição de
Wohlin et al.(2012) para as limitações de um estudo.
7.1.1
Validade Interna
A validade interna é o planejamento e execução do estudo. É bastante utilizada em estudos primários, pois tem a finalidade de repetir o comportamento de um estudo no momento atual, com os mesmos objetos e participantes para o qual foi executadoDybå and Dingsøyr
(2008).
Pôde-se identificar as seguintes ameaças a validade interna do estudo:
Confiabilidade do Instrumento de Qualidade: neste critério avaliou-se a confia- bilidade do instrumento de avaliação da qualidade entre os avaliadores. Como o conjunto de questões que compõem o instrumento são formados por frases às vezes longas, isso poderia acarretar em interpretações divergentes por parte dos exami- nadores. Para minimizar possíveis limitações os avaliadores foram submetidos a treinamento inicial e um estudo piloto foi desenvolvido com a amostra de alguns dos artigos, verificando então, o grau de confiabilidade entre os examinadores. Além disso também foi realizado um piloto com 3 avaliadores para calcular o índice kappa de concordância entre os mesmos.
Subjetividade do Instrumento de Qualidade: avaliou-se e reavaliou-se a lista de critérios e questões utilizadas para a avaliação das RSL. Algumas foram removidas, outras apenas modificadas, com a finalidade de melhorar o entendimento e as respos- tas por parte dos avaliadores. Ainda assim é provável que ainda existam algumas
7.1. AMEAÇAS À VALIDADE 72
questões que precisam ser ajustadas, um exemplo disso foi percebido ao executar a extração de dados, pois o critério Q25 ("Os outliers são mencionados e casos encontrados são tratados durante a análise?") o artigo só contabiliza na pontuação caso o autor relate um outlier, o que pode estar penalizando algum trabalho que de fato não tenha existido nenhum outlier. Como este trabalho baseou-se na pesquisa de
Teixeira(2014) para ajustar e melhorar os critérios já identificados, também espera-se que o presente trabalho passe por este mesmo processo em trabalhos futuros, dessa forma, sugere-se que o critério Q25 seja melhor adequado.
Pesquisas que realizaram mais de um tipo de estudo: representa um provável viés da pesquisa, pois apesar do estudo buscar apenas RSL, alguns estudos associavam esta última a outros diferentes tipos de estudos, como estudos de casos ou experimentos, e por falta de espaço, não descreviam em detalhes todos os métodos trabalhados. Apenas foram de fato excluídos os mapeamentos sistemáticos, pois já no início de seus projetos já apresentavam caráter amplo e generalizado, não associado a RSL;
Complexidade do Instrumento de Qualidade: apesar dos avaliadores serem en- volvidos em projetos acadêmicos, foram disponibilizadas reuniões periódicas para resolução de conflitos e esclarecimento de dúvidas. Os avaliadores que encontrassem alguma barreira com a execução da avaliação solicitavam reuniões com o autor da pesquisa, diminuindo limitações e fluindo o desenvolvimento da mesma.
7.1.2
Validade Externa
A validade externa se refere a capacidade de generalização de resultados, ou seja, de se repetir com outro grupo de avaliadores o mesmo comportamento da pesquisa. Neste caso, esta pesquisa definiu desde o processo de identificação de critérios na literatura até a execução da avaliação dos estudos. Entretanto, é salutar a realização de mais estudos empíricos no sentido de verificar a validade do instrumento utilizando em amostras maiores.
7.1.3
Validade de Conclusão
Um grande número de estudos foi avaliado, este considerável conjunto foi dividido segundo seus anos de publicação e seu Índice de Qualidade (IQ) se tornando uma possível ameaça à validade do estudo. Ao se relacionar estas duas medidas o IQ sofreu tendência para artigos com alto nível de IQ, porém com poucas publicações no ano em consideração, ao passo que os anos com o grande número de publicações tiveram índices de qualidade diminuídos pelo grande número de pesquisas, e não apenas por estas apresentarem baixos índices de qualidade. Este viés pode ser uma ameaça à validade de conclusão da pesquisa, que relaciona o tratamento recebido com o resultado obtido. Para diminuir esse ameaça, foi considerado também o cálculo
7.2. TRABALHOS FUTUROS 73
do desvio padrão das médias dos Índices de Qualidade (IQ), bem como o uso da métrica Kappa para análise do grau de concordância no instrumento de avaliação da qualidade.
7.2
Trabalhos Futuros
Analisando os resultados deste trabalho, percebe-se que ainda são necessárias mais pesquisas para amadurecer cada vez mais a área de qualidade em ESE. Dessa forma é salutar propor novas linhas de trabalho com o intuito de dar seguimento a este estudo, são eles:
Estender este instrumento de qualidade com o objetivo de analisar a qualidade de outros tipos de estudos empíricos em ES como estudos de caso, survey, etnografia, pesquisação, dentre os outros listados no Capítulo 2.
Realizar uma análise qualitativa de acordo com os resultados aqui encontrado, pos- sivelmente executando um survey para questionar os autores dos estudos incluídos sobre suas decisões em relação à abordagem de técnicas e práticas nas quais o instrumento de pesquisa deste trabalho se baseia.
Analisar os critérios e questões de qualidade que obtiveram menor avaliação e validar sua relevância para o instrumento de avaliação frente à sua importância para uma RSL.
Realizar uma revisão sistemática para validar os critérios aqui identificados;
Avaliar o processo de identificação de critérios aqui definido;
Realizar um survey questionando a especialistas da área quais são os critérios de qualidade que os mesmos utilizam em suas pesquisas;
7.3
Conclusões
Este estudo realizou uma pesquisa quantitativa a respeito da qualidade dasRSL publica- das entre os anos 2004 e 2013 pela comunidade científica de ESE.
A pesquisa foi desenvolvida a partir da elaboração de um questionário do tipo checklist composto por itens de qualidade, e posterior estudo e avaliação de um conjunto de 160 artigos por parte de avaliadores através de preenchimento do questionário que investigava o grau de qualidade dos estudos em avaliação. Desses 160 estudos, 53 foram excluídos por não se adequarem aos critérios do que é uma RSL, resultando então em 107 RSL avaliadas.
Ao longo dos últimos anos percebeu-se um aumento na qualidade das pesquisas realizadas pela comunidade de RSL. A média do Índice de Geral de Qualidade dos estudos foi classificada como "Boa" e no último ano obteve o índice 76,89% atingindo a classificação "Muito Boa".
7.3. CONCLUSÕES 74
Entretanto nenhum estudo foi classificado como "Excelente" mostrando que ainda há espaço para melhoria na qualidade das pesquisas realizadas.
Os resultados mostraram que as RSL tem sido bem conduzidas no que diz respeito à "Interpretação dos Resultados" e "Contexto da Pesquisa", mas que precisam melhorar em relação a "Análise dos Dados" e "Apresentação dos Resultados".
Esta pesquisa contribui com o fato de apresentar uma visão de qualidade dos trabalhos da comunidade de ESE e com base nisso analisar a evolução da qualidade de RSL em ES. Além disso, a possibilidade de evolução do instrumento de avaliação utilizado para a análise da qualidade de outros tipos de estudos empíricos, uma vez que possui critérios gerais e específicos. Além disso o modelo definido para obtenção dos critérios de qualidade pode ser utilizado como base e suporte para utilização por outros pesquisadores que pretendem realizar estudos semelhantes.
75 75 75
Referências
Afzal, W., Torkar, R., and Feldt, R. (2009). A systematic review of search-based testing for non-functional system properties. Inf. Softw. Technol., 51(6):957–976.
Almeida, A., Barreiros, E., Saraiva, J., and Soares, S. (2011). Mecanismos para guiar estudos empíricos em engenharia de software: Um mapeamento sistemático. ESELAW.
Alves, V., Niu, N., Alves, C., and Valença, G. (2010). Requirements engineering for software product lines: A systematic literature review. Inf. Softw. Technol., 52(8):806–820.
Basili, V. R. (1993). The experimental paradigm in software engineering. InProceedings of the International Workshop on Experimental Software Engineering Issues: Critical Assessment and Future Directions, pages 3–12, London, UK, UK. Springer-Verlag.
Basili, V. R. (1996). The role of experimentation in software engineering: Past, current, and future. In Proceedings of the 18th International Conference on Software Engineering, ICSE ’96, pages 442–449, Washington, DC, USA. IEEE Computer Society.
Basili, V. R., Selby, R. W., and Hutchens, D. H. (1986). Experimentation in software engineering. IEEE Trans. Softw. Eng., 12(7):733–743.
Beecham, S., Baddoo, N., Hall, T., Robinson, H., and Sharp, H. (2008). Motivation in software engineering: A systematic literature review. Information and Software Technology,
50(9–10):860 – 878.
Borges, A. (2015). Mecanismos utilizados para conduzir estudos empíricos na egenharia de software: Um mapeamento sistemático.
Borges, A., Ferreira, W., Barreiros, E., Almeida, A., Fonseca, L., Teixeira, E., Silva, D., Alencar, A., and Soares, S. (2015). Support mechanisms to conduct empirical studies in software
engineering: A systematic mapping study. In Proceedings of the 19th International Conference on Evaluation and Assessment in Software Engineering, EASE ’15, pages 22:1–22:14, New York, NY, USA. ACM.
Cartaxo, B. (2014). Mecanismos para guiar a caracterização de contexto de estudos empíricos na engenharia de software: Um mapeamento sistemático.
Chen, L., Babar, M. A., and Cawley, C. (2009). A status report on the evaluation of variability management approaches. In 13th International Conference on Evaluation and Assessment in Software Engineering, EASE 2009, Durham University, UK, 20-21 April 2009.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1):37–46.
Costa, C. (2010). Uma abordagem baseada em evidências para o gerenciamento de projetos no desenvolvimento distribuído de software.
da Silva, F. Q. B., Santos, A. L. M., Soares, S., França, A. C. C., Monteiro, C. V. F., and Maciel, F. F. (2011). Six years of systematic literature reviews in software engineering: An updated tertiary study. Inf. Softw. Technol., 53(9):899–913.
REFERÊNCIAS 76
Davison, R., Martinsons, M. G., and Kock, N. (2004). Principles of canonical action research. Information Systems Journal, 14(1):65–86.
DBLP (2015). Digital bibliography and library project. the dblp computer science bibliography. universität trier. http://dblp.uni-trier.de/. [Online; Acessado em 04/05/2015].
Dieste, O., Grimán, A., Juristo, N., and Saxena, H. (2011). Quantitative determination of the relationship between internal validity and bias in software engineering experiments:
Consequences for systematic literature reviews. In Proceedings of the 2011 International Symposium on Empirical Software Engineering and Measurement, ESEM ’11, pages 285–294, Washington, DC, USA. IEEE Computer Society.
Dybå, T. and Dingsøyr, T. (2008). Strength of evidence in systematic reviews in software engineering. In Proceedings of the Second ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, ESEM ’08, pages 178–187, New York, NY, USA. ACM.
Dyba, T., Dingsoyr, T., and Hanssen, G. K. (2007). Applying systematic reviews to diverse study types: An experience report. InProceedings of the First International Symposium on Empirical Software Engineering and Measurement, ESEM ’07, pages 225–234, Washington, DC, USA. IEEE Computer Society.
Dyba, T., Kitchenham, B., and Jorgensen, M. (2005). Evidence-based software engineering for practitioners. Software, IEEE, 22(1):58–65.
Easterbrook, S., Singer, J., Storey, M.-A., and Damian, D. (2008). Selecting empirical methods for software engineering research. In Shull, F., Singer, J., and Sjøberg, D., editors,Guide to Advanced Empirical Software Engineering, pages 285–311. Springer London.
Egger, M., Smith, G. D., and O’Rourke, K. (2008). Systematic reviews in health care -
introduction: Rationale, potentials, and promise of systematic reviews. [S.l.]: BMJ Publishing Group, 2008. p.1–19.
Fleiss (2015). Measuring nominal scale agreement among many raters. Psychological bulletin.
Flyvbjerg, B. (2006). Five misunderstandings about case-study research. Qualitative Inquiry, pages 219–245.
Fuks, H. (2011). Sistemas Colaborativos. Elsevier.
HIGGINS, J. P.; GREEN, S. C. C. (2008). Cochrane handbook for systematic reviews of interventions. Cochrane handbook for systematic reviews of interventions. [S.l.]: Wiley Online Library, 2008. v. 5.
IEEE (1990). Ieee glossary of software engineering terminology, ieee standard 610.12. Technical report, IEEE.
Jalali, S. and Wohlin, C. (2012). Systematic literature studies: Database searches vs. backward snowballing. In Proceedings of the ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, ESEM ’12, pages 29–38, New York, NY, USA. ACM.
REFERÊNCIAS 77
Jørgensen, M. (2013). A strong focus on low price when selecting software providers increases the likelihood of failure in software outsourcing projects. In Proceedings of the 17th
International Conference on Evaluation and Assessment in Software Engineering, EASE ’13, pages 220–227, New York, NY, USA. ACM.
Juristo, N. and Moreno, A. M. (2010). Basics of Software Engineering Experimentation. Springer Publishing Company, Incorporated, 1st edition.
KHAN, K. S., T. R. G. G. J. S. A. J. . K. J. (2001). Undertaking systematic reviews of research on effectiveness: Crd’s guidance for carrying out or commissioning reviews. Undertaking systematic reviews of research on effectiveness: CRD’s guidance for carrying out or commissioning reviews. [S.l.]: NHS Centre for Reviews and Dissemination, 2001.
Kitchenham, B. (2004). © kitchenham, 2004 procedures for performing systematic reviews.
Kitchenham, B. and Charters, S. (2007). Guidelines for performing systematic literature reviews in software engineering.
Kitchenham, B., Pearl Brereton, O., Budgen, D., Turner, M., Bailey, J., and Linkman, S. (2009). Systematic literature reviews in software engineering - a systematic literature review. Inf. Softw. Technol., 51(1):7–15.
Kitchenham, B., Pretorius, R., Budgen, D., Pearl Brereton, O., Turner, M., Niazi, M., and Linkman, S. (2010). Systematic literature reviews in software engineering - a tertiary study.Inf. Softw. Technol., 52(8):792–805.
Kitchenham, B. A., Dyba, T., and Jorgensen, M. (2004). Evidence-based software engineering. In Proceedings of the 26th International Conference on Software Engineering, ICSE ’04, pages 273–281, Washington, DC, USA. IEEE Computer Society.
Kitchenham, B. A., Pfleeger, S. L., Pickard, L. M., Jones, P. W., Hoaglin, D. C., Emam, K. E., and Rosenberg, J. (2002). Preliminary guidelines for empirical research in software engineering. IEEE Trans. Softw. Eng., 28(8):721–734.
Kitchenham, B. A., Sjøberg, D. I. K., Dybå, T., Pfahl, D., Brereton, P., Budgen, D., Höst, M., and Runeson, P. (2012). Three empirical studies on the agreement of reviewers about the quality of software engineering experiments. Inf. Softw. Technol., 54(8):804–819.
Kock, N. (2007). Information Systems Action Research: An Applied View of Emerging Concepts and Methods. Integrated Series in Information Systems. Springer.
Landis, J. R. and Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1):pp. 159–174.
Lau, F. (1999). Toward a framework for action research in information systems studies. Information Technology & People, 12(2):148–176.
Lee (2015). Laboratório de epidemiologia e estatística - faculdade de medicina da usp.
http://www.lee.dante.br/pesquisa/kappa/. [Online; Acessado em 01/08/2015].
REFERÊNCIAS 78
Parsons, F. and Wirsching, P. (1982). A kolmogorov - smirnov goodness-of-fit test for the two-parameter weibull distribution when the parameters are estimated from the data. Microelectronics Reliability, 22(2):163 – 167.
Petersen, K., Feldt, R., Mujtaba, S., and Mattsson, M. (2008). Systematic mapping studies in software engineering. In Proceedings of the 12th International Conference on Evaluation and Assessment in Software Engineering, EASE’08, pages 68–77, Swinton, UK, UK. British
Computer Society.
Petticrew, M. and Roberts, H. (2008). Systematic Reviews in the Social Sciences. Blackwell Publishing Ltd.
Robinson, H., Segal, J., and Sharp, H. (2007). Ethnographically-informed empirical studies of software practice. Inf. Softw. Technol., 49(6):540–551.
Rocha, A. (2007). Engenharia, Origens e Evolução. XXXV Congresso Brasileiro de Educação em Engenharia, São Paulo, SP, Brasil.
Sjoberg, D. I. K., Dyba, T., and Jorgensen, M. (2007). The future of empirical methods in software engineering research. In 2007 Future of Software Engineering, FOSE ’07, pages 358–378, Washington, DC, USA. IEEE Computer Society.
Sjoberg, D. I. K., Hannay, J. E., Hansen, O., By Kampenes, V., Karahasanovic, A., Liborg, N.-K., and C. Rekdal, A. (2005). A survey of controlled experiments in software engineering. IEEE Trans. Softw. Eng., 31(9):733–753.
Sommerville, I. (2006). Software Engineering: (Update) (8th Edition) (International Computer Science). Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA.
Teixeira, E. (2014). Análise da qualidade de experimentos controlados no contexto da engenharia de software empírica.
Travassos, G., B. J. (2007). Revisões sistemáticas aplicadas a engenharia de software. In Proceedings of the XXI Brazilian Symposium on Software Engineering (SBES) (João Pessoa, Brazil, Oct. 31 - Oct. 15–19, 2007).
Travassos, G. H., Gurov, D., and Amaral, E. (2002). Introdução à Engenharia de Software Experimental. UFRJ.
Universität Trier (2015). Statistics - records in dblp - digital bibliography and library project. http://dblp.uni-trier.de/statistics/recordsindblp.html. [Online;