As QPs 1 e 2 foram respondidas nas Sec¸˜oes 4.1 e 4.2 deste Cap´ıtulo atrav´es da execuc¸˜ao da Atividade 2. Conforme descrito no in´ıcio deste Cap´ıtulo, os resultados das QPs passaram por um processo de validac¸˜ao (ver Sec¸˜ao 3.3) no qual a string foi testada para verificar a sua efic´acia. A execuc¸˜ao da busca autom´atica para a criac¸˜ao do grupo de controle retornou 39 es- tudos terci´arios e ap´os a aplicac¸˜ao dos crit´erios de inclus˜ao (CI) e exclus˜ao (CE), 14 estudos foram selecionados conforme ilustrado na Tabela 7. Dessa forma, o grupo de controle consistiu de 986 estudos secund´arios extra´ıdos da lista de estudos secund´arios inclu´ıdos dos 14 estudos terci´arios selecionados.
Para determinar se a string de busca proposta foi capaz de detectar esses 986 estu- dos secund´arios, foi verificado a presenc¸a dos termos definidos pela string apresentada neste trabalho seguindo o processo descrito na Sec¸˜ao 3.3 (Figura 3). Os resultados do processo de validac¸˜ao s˜ao apresentados nas Tabelas 8 e 9.
Considerando a presenc¸a dos termos da string no t´ıtulo dos estudos secund´arios in- clu´ıdos nos estudos terci´arios (ver Tabela 8), dos 986 estudos secund´arios do grupo controle, a stringapresentada foi capaz de detectar 774 estudos (78,50 %) (ver Tabela 9 coluna 2, ´ultima linha).
A string de busca n˜ao foi capaz de detectar estudos categorizados como meta-an´alise (meta-analysis – 6 estudos), survey (survey –17 estudos) e an´alise da literatura (literature analy-
Tabela 7: Estudos terci´arios inclu´ıdos no processo de validac¸˜ao
Estudo terci´ario Estudo terci´ario (T´ıtulo) Ano Qtd. de estudos se-
cund´arios inclu´ıdos Verner et al. Systematic literature reviews in global software develop-
ment: A tertiary study
2012 24 Kitchenham and B. A systematic literature review of systematic literature re-
view process research in SE
2013 68 Bano et al. Systematic literature reviews in requirements enginee-
ring: A tertiary study
2014 53 Zhou et al. Quality assessment of systematic reviews in software en-
gineering: A tertiary study
2015 110 Goul˜ao et al. Quality in model-driven engineering: A tertiary study 2016 22 Nurdiani et al. The impacts of agile and lean practices on project cons-
traints: A tertiary study
2016 41 Napole˜ao et al. Practical similarities and differences between SLRs and
SMs: A tertiary study
2017 170 Hoda et al. Systematic literature reviews in agile software develop-
ment: A tertiary study
2017 28 Marimuthu and C. Systematic Studies in Software Product Lines: A Terti-
ary Study
2017 60 Khan et al. Systematic Literature Reviews of Software Process Im-
provement: A tertiary Study
2017 24 Budgen et al. Reporting systematic reviews: Some lessons from a ter-
tiary
2017 37 Singh et al. How do Secondary Studies in Software Engineering re-
port Automated Searches? A Preliminary Analysis
2018 171
Rios et al. A tertiary study on technical debt 2018 13
Ampatzoglou et al. Identifying, categorizing and mitigating threats to vali- dity in SE secondary studies
2018 165
Fonte: Autoria Pr´opria.
sis– 2 estudos).
Pickard et al. (1998) afirma que a meta-an´alise ´e apropriada para estudos homogˆeneos quando dados brutos ou quantitativos est˜ao dispon´ıveis. At´e poucos anos atr´as, a ES simples- mente n˜ao possu´ıa um corpo suficiente de estudos emp´ıricos replicados para apoiar a aplicac¸˜ao de meta-an´alise. Em 2007, Dyb˚a et al. (2007) afirmaram em seu trabalho que na ES, os estudos prim´arios s˜ao muitas vezes heterogˆeneos demais para permitir um resumo estat´ıstico. Em 2011, Cruzes e Dyb˚a (2011) conduziu um estudo terci´ario para avaliar os tipos e m´etodos de s´ıntese de pesquisa em estudos secund´arios na ES. Eles analisaram 49 revis˜oes e conclu´ıram que: (i) metade dos estudos n˜ao continha nenhuma s´ıntese; (ii) dois terc¸os realizaram uma narrativa ou uma s´ıntese tem´atica; e (iii) apenas alguns estudos adotaram adequadamente uma s´ıntese de pesquisa. Apenas duas revis˜oes, do mesmo grupo de pesquisa, foram classificadas como meta- an´alise. Acredita-se que algumas iniciativas mudaram esse cen´ario, por exemplo: (i) peri´odicos de primeira linha, como o Journal of Empirical Software Engineering que se esforc¸a para for- necer ao seu p´ublico dados detalhados dos estudos que publica; (ii) est´a havendo uma crescente
Tabela 8: Presenc¸a dos termos da string no t´ıtulo dos estudos secund´arios inclu´ıdos nos estudos terci´arios Estudo terci´ario “Systematic review” “Literature review” “Systematic mapping” “Mapping study” “Systematic map” Total Verner et al. 7 (29.17%) 7 (29.17%) 1 (4.17%) 0 (0%) 1 (4.17%) 16/24 (66.67%) Kitcheham and B. 23 (33.82%) 9 (13.24%) 2 (2.94%) 3 (2.94%) 0 (0%) 36/68 (52.94%) Bano et al. 20 (37.74%) 16 (30.19%) 5 (9.43%) 0 (0%) 0 (0%) 41/53 (77.36%) Zhou et al. 44 (40%) 37 (33.64%) 11 (10.0%) 1 (0.91%) 0 (0%) 93/110 (84.55%) Goul˜ao et al. 8 (36.36%) 5 (22.73%) 1 (4.55%) 0 (0%) 0 (0%) 14/22 (63.64%) Nurdiani et al. 12 (29.27%) 11 (26.83%) 2 (4.88%) 1 (2.44%) 0 (0%) 26/41 (63.41%) Napole˜ao et al. 43 (25.29%) 45 (26.47%) 36 (21.18%) 9 (5.29%) 3 (1.76%) 136/170 (78.82%) Hoda et al. 8 (28.57%) 11 (39.28%) 3 (10.71%) 0 (0%) 0 (0%) 22/28 (80.0%) Marimuthu and C. 14 (23.33%) 17 (28.33%) 19 (31.67%) 5 (8.33%) 0 (0%) 55/60 (91.67%) Khan et al. 8 (33.33%) 8 (33.33%) 1 (4.17%) 1 (4.17%) 0 (0%) 18/24 (75.0%) Budgen et al. 12 (32.43%) 17 (45.95%) 4 (10.81%) 0 (0%) 1 (2.70%) 34/37 (91.89%) Singh et al. 19 (11.11%) 61 (35.67%) 43 (25.15%) 2 (1.17%) 0 (0%) 125/171 (73.10%) Rios et al. 0 (0%) 3 (23.08%) 4 (30.77%) 0 (0%) 0 (0%) 7/13 (53.85%) Ampatzoglou et al. 35 (21.34%) 60 (36.59%) 44 (26.83%) 11 (6.71%) 1 (0.61%) 151/165 (92.07%)
Fonte: Autoria Pr´opria.
conscientizac¸˜ao na comunidade ES sobre a importˆancia de replicar os estudos (JURISTO; GO- MEZ, 2012; G´oMEZ et al., 2014). Alguns autores como G´omez et al. (2014) sugeriram uma classificac¸˜ao cujo objetivo ´e fornecer aos pesquisadores orientac¸˜oes sobre os tipos de replicac¸˜ao que podem ser executadas.
A an´alise da literatura trata-se da “pr´atica de olhar atentamente para as partes pequenas para ver como elas afetam o todo” (DAWSON, 2005). Survey ´e um m´etodo emp´ırico que per- mite aos pesquisadores coletar dados de uma grande populac¸˜ao com o objetivo de generalizar os resultados (PFLEEGER, 1995). Fowler Jr. (2013) afirma que “evidˆencias estat´ısticas podem ser obtidas atrav´es de um survey”. Dawson (2005) acrescenta que “surveys extraem dados qualita- tivos ou quantitativos de uma populac¸˜ao”. Uma raz˜ao para usar o termo survey em RSs ´e devido a definic¸˜ao abrangente do termo. Entre outras v´arias definic¸˜oes, o dicion´ario Cambridge define surveycomo: buscar ou examinar algo, especialmente com cuidado. Portanto, ´e poss´ıvel adotar
Tabela 9: Presenc¸a dos termos da string nos t´ıtulos, resumos e palavras-chave dos estudos se- cund´arios inclu´ıdos nos estudos terci´arios
Estudo terci´ario Estudos retorna- dos pelo t´ıtulo
Estudos retorna- dos pelo t´ıtulo + resumo
Estudos retorna- dos pelo t´ıtulo
+ resumo + palavra-chaves N˜ao retornados Verner et al. 16/24 (66.67%) 19/24 (79.17%) 19/24 (79.17%) 5 (20.83%) Kitcheham and B. 36.68 (52.94%) 57/68 (83.82%) 61/68 (89.71%) 7 (10.29%) Bano et al. 41/53 (77.36%) 52/53 (98.11%) 52/53 (98.11%) 1 (1.89%) Zhou et al. 93/110 (84.55%) 106/110 (96.36%) 107/110 (97.27%) 3 (2.73%) Goul˜ao et al. 14/22 (63.64%) 17/22 (77.27%) 19/22 (86.36%) 3 (13.64%) Nurdiani et al. 26/41 (63.41%) 37/41 (90.24%) 38/41 (92.68%) 3 (7.32%) Napole˜ao et al. 136/170 (80.0%) 166/170 (97.64%) 170/170 (100%) 0 (0%) Hoda et al. 22/28 (78.57%) 27/28 (96.42%) 27/28 (96.43%) 1 (3.57%) Marimuthu and C. 55/60 (91.67%) 59/60 (98.33%) 59/60 (98.33%) 1 (1.67%) Khan et al. 18/24 (75.0%) 22/24 (91.66%) 23/24 (95.84%) 1 (4.17%) Budgen et al. 34/37 (91.89%) 36/37 (97.30%) 36/37 (97.30%) 1 (2.7%) Singh et al. 125/171 (73.10%) 166/171 (97.08%) 167/171 (97.66%) 4 (2.34%) Rios et al. 7/13 (53.85%) 11/13 (84.62%) 13/13 (100%) 0 (0%) Ampatzoglou et al. 151/165 (92.07%) 157/165 (95.73%) 157/165 (95.73%) 8 (4.27%) TOTAL 774/986 (78.50%) 932 (774+158)/ 986 (94.52%) 948 (932+16)/986 (96.15%) 38/986 (3.85%)
Fonte: Autoria Pr´opria.
o termo survey e literature analysis como sinˆonimos de RSs se: (i) populac¸˜ao/pequenas partes for equivalente `a evidˆencias dispon´ıveis (estudos prim´arios) sistematicamente pesquisadas; (ii) resultados/total for equivalente ao resumo de dados quantitativos ou qualitativos de diferentes estudos (podem ser utilizados m´etodos estat´ısticos).
Pelas raz˜oes expostas acima, foi decidido adicionar os termos meta-analysis, survey e literature analysis na string de busca apresentada neste trabalho. Sendo assim, as melhorias realizadas na etapa de calibrac¸˜ao s˜ao apresentadas na Tabela 10.
Tabela 10: Melhorias na string de busca (calibrac¸˜ao)
String de busca Estudos retornados
(“systematic review” OR “literature review” OR “systematic mapping” OR “mapping study” OR “systematic map”)
948/986 (96.15%) (“systematic review” OR “literature review” OR “systematic mapping” OR “mapping
study” OR “systematic map” OR “meta-analysis”)
954/986 (97.72%) (“systematic review” OR “literature review” OR “systematic mapping” OR “mapping
study” OR “systematic map” OR “meta-analysis” OR “survey”)
971/986 (98.48%) (“systematic review” OR “literature review” OR “systematic mapping” OR “mapping
study” OR “systematic map” OR “meta-analysis” OR “survey” OR “literature analy- sis”)
973/986 (98.68%)
Fonte: Autoria Pr´opria.
(‘‘systematic review’’ OR ‘‘literature review’’ OR ‘‘systematic mapping’’ OR ‘‘mapping study’’ OR ‘‘systematic map’’ OR ‘‘meta-analysis’’ OR ‘‘survey’’ OR ‘‘literature analysis’’)
Em resumo, a string de busca final apresentada neste trabalho foi capaz de localizar 973 dos 986 (98.68%) estudos secund´arios inclu´ıdos nos estudos terci´arios. Trˆes novos termos foram adicionados `a string durante a calibrac¸˜ao (etapa de validac¸˜ao) e uma nova string de busca foi definida.
Alguns resultados espec´ıficos da execuc¸˜ao do processo de validac¸˜ao podem ser des- tacados. Antes da adic¸˜ao de novos termos `a string, duas listas de estudos secund´arios de dois estudos terci´arios (NAPOLEAO et al., 2017; RIOS et al., 2018) foram completamente retorna- dos pela string de busca proposta inicialmente. No entanto, ap´os a calibrac¸˜ao da string (string final), o n´umero de listas de estudos secund´arios 100% retornados pela string aumentou para oito. Esse comportamento foi observado nos estudos de Bano et al. (2014), Goulao et al. (2016), Nurdiani et al. (2016), Hoda et al. (2017), Marimuthu e Chandrasekaran (2017), Singh et al. (2018).
Mesmo ap´os a etapa de calibrac¸˜ao, 13 estudos secund´arios ainda n˜ao foram encontra- dos. Em todos eles, os autores mencionaram o tipo de estudo apenas nas sec¸˜oes Introduc¸˜ao ou M´etodo. Esse fato reforc¸a a recomendac¸˜ao de buscas complementares somadas `as buscas autom´aticas e tamb´em a necessidade de explicitar o m´etodo de pesquisa no t´ıtulo, resumo ou palavras-chave dos estudos.
5 DISCUSS ˜AO DOS RESULTADOS
Nesse Cap´ıtulo s˜ao discutidas quest˜oes relacionadas aos resultados obtidos atrav´es das an´alises realizadas no Cap´ıtulo 4 e tamb´em s˜ao apresentadas as ameac¸as `a validade deste traba- lho.
Elaborar e refinar strings de busca ´e um passo importante para aumentar a qualidade do processo de RS. Kitchenham e Charters (2007) e Petersen et al. (2015) reconhecem que o processo de RS e MS s˜ao iterativos e normalmente requerem refinamentos. Por exemplo, a construc¸˜ao da string de busca n˜ao ´e um processo linear; na verdade, implica um processo cont´ınuo de refinamento (ZHANG; MUHAMMAD A.B. TELL, 2011). Normalmente, novas palavras-chave surgem durante a atividade de calibrac¸˜ao, sendo essencial refinar a string de busca considerando novos termos e seus sinˆonimos.
Refinamentos s˜ao essenciais para garantir boas estrat´egias de busca. Durante a calibra- c¸˜ao da string de busca, trˆes novos termos foram identificados. Em resumo, a recomendac¸˜ao para a pesquisa por estudos secund´arios apresentada neste trabalho ´e descrita na Figura 5.
Figura 5: String e campos de busca para buscar por estudos secund´arios
Como ilustrado na Figura 5, uma string de busca para pesquisar por estudos secund´arios deve ser formada por: (1) termos e seus sinˆonimos relacionados ao dom´ınio de pesquisa conec- tados pelo operador l´ogico OR; (2) operador l´ogico AND; (3) termos e seus sinˆonimos relacio- nados `a estudos secund´arios conectados pelo operador l´ogico OR.
Os termos sugeridos por este trabalho para encontrar estudos secund´arios s˜ao: “syste- matic review” OR “literature review” OR “systematic mapping” OR “mapping study” OR “sys- tematic map” OR “meta-analysis” OR “survey” OR “literature analysis”. Ap´os a elaborac¸˜ao da stringde busca completa, ela deve ser aplicada em t´ıtulo, resumo e palavras-chave.
A string proposta neste trabalho cont´em termos suficientes para buscar por estudos se- cund´arios. No livro de Kitchenham et al. (2015), ´e destacado que os pesquisadores da ´area de computac¸˜ao, mais especificamente da ES s˜ao propensos a introduzirem novos termos para des-
creverem seus trabalhos. No entanto, os autores recomendam evitar essa abordagem, reforc¸ando que usando uma terminologia padr˜ao, se torna mais f´acil encontrar um estudo.
Cada base bibliogr´afica tem um formato de entrada diferente, portanto ´e necess´ario adaptar a string de acordo com as regras exigidas por cada uma delas. A Tabela 11 apresenta exemplos de strings adaptadas para algumas das bases bibliogr´aficas mais conhecidas: Web of Science, IEEE Xplore, ACM DL e Scopus.
Tabela 11: Adaptac¸˜oes da string de busca para algumas bases bibliogr´aficas
Base bibliogr´afica String de busca adaptada
Web of Science TS=(“systematic review” OR “literature review” OR “systematic mapping” OR “mapping study” OR “systematic map” OR “meta-analysis” OR “survey” OR “li- terature analysis”)
IEEE Xplore ((((((((“systematic review”) OR “literature review”) OR “systematic mapping”) OR “mapping study”) OR “systematic map”) OR “meta-analysis”) OR “survey”) OR “literature analysis”)
ACM DL “query”: {(“systematic review” “literature review” “systematic mapping” “map- ping study” “systematic map” “meta-analysis” “survey” “literature analysis”)} Scopus TITLE-ABS-KEY(“systematic review” OR “literature review” OR “systematic
mapping” OR “mapping study” OR “systematic map” OR “meta-analysis” OR “survey” OR “literature analysis”)
Fonte: Autoria Pr´opria.
Geralmente, os pesquisadores d˜ao pouca atenc¸˜ao para definir o t´ıtulo e o resumo de seus estudos. As palavras-chave recebem ainda menos atenc¸˜ao, muitas vezes sendo digita- das diretamente no sistema de envio da conferˆencia/revista. No entanto, esses trˆes elementos - t´ıtulo, resumo e palavras-chave s˜ao essenciais para garantir o sucesso da publicac¸˜ao. Sem eles, a maioria dos trabalhos pode n˜ao ser encontrado por leitores interessados. Uma atitude descuidada em relac¸˜ao a esses trˆes elementos torna a pesquisa ineficiente, mesmo com strings de busca “gold standard”. ´E importante destacar tamb´em que frequentemente o t´ıtulo e o re- sumo s˜ao os ´unicos elementos de um estudo dispon´ıveis gratuitamente online. Diante desses fatos, este trabalho apresenta algumas recomendac¸˜oes para a elaborac¸˜ao de t´ıtulos, resumos e palavras-chave, descritas na Sec¸˜ao 5.1.
5.1 RECOMENDAC¸ ˜OES PARA A ELABORAC¸ ˜AO DE T´ITULOS, RESUMOS E PALA-