ele ´e posicionado no est´agio Descontinuado, os respons´aveis procuram gerar receita com o sistema neste est´agio pelo maior tempo poss´ıvel at´e atingir o est´agio final Encerrado, quando o sistema ´e retirado do mercado e os usu´arios s˜ao direcionados para um novo sistema, se houver (RAJLICH; BENNETT, 2000).
A primeira diferen¸ca observada ´e em rela¸c˜ao a fase Desenvolvimento inicial, depen- dendo da defini¸c˜ao de “fase inicial” muitos projetos de software livre podem nunca ter sa´ıdo desta fase, assim ´e tamb´em para o software acadˆemico. Em respeito aos lan¸camentos, em sistemas comerciais tradicionais eles devem ser completos, rodando e autorizado pela empresa detentora, enquanto no mundo do software livre ´e comum per- mitir acesso p´ublico ao c´odigo em reposit´orios de c´odigo-fonte, seguindo um modelo de “vers˜ao permanente”.
A segunda diferen¸ca ´e relacionada `a possibilidade de la¸cos entre as fases Evolu¸c˜ao e Manuten¸c˜ao. Muitos projetos de software livre possuem fases de congelamento na adi¸c˜ao de novas funcionalidades (freeze) enquanto permanece numa fase de Manuten¸c˜ao at´e o descongelamento, voltando a Evolu¸c˜ao.
A terceira diferen¸ca est´a na comunidade de software livre, novos times de desenvol- vimento s˜ao formados ao longo do tempo com a sa´ıda de desenvolvedores antigos e a entrada de novos. E projetos em fase Descontinuado podem experimentar um renasci- mento retornando ao per´ıodo de Evolu¸c˜ao.
Apesar das diferen¸cas, os autores Capiluppi et al. (2007) demonstram em experimen- tos e revis˜ao de literatura que o modelo adaptado pode ser utilizado para compreen- der evolu¸c˜ao de software livre, e diante as similaridades entre software livre e software acadˆemico, este modelo poder´a, consequentemente, ser tamb´em utilizado para compre- ender a evolu¸c˜ao e ciclo de vida do software acadˆemico.
2.7 REPRODUTIBILIDADE
Reprodutibilidade (reproducibility) ´e a habilidade de replicar um experimento ou estudo em sua totalidade a fim de confirmar suas hip´oteses, seja pelo autor original ou por pesquisadores independentes. Esse conceito ´e um ponto central do m´etodo cient´ıfico e tem sido uma preocupa¸c˜ao crescente da comunidade de pesquisa em Engenharia de Software Emp´ırica (GONZ´aLEZ-BARAHONA; ROBLES, 2012).
A verifica¸c˜ao de reprodutibilidade ´e essencial para a pr´atica do m´etodo cient´ıfico, pesquisadores reportam seus resultados, que s˜ao refor¸cados `a medida que outros grupos independentes da comunidade cient´ıfica compartilham resultados semelhantes (MCCOR- MICK et al., 2014). Experimentos s˜ao repetidos com objetivo de checar seus resultados, replica¸c˜oes bem sucedidas aumentam a validade e confiabilidade dos resultados observa- dos no experimento (ALMQVIST, 2006; JURISTO; G´oMEZ, 2012).
Este conceito apesar de ser relativamente concensual entre as v´arias ´areas da Ciˆencia carece de unidade, in´umeros autores de ´areas distintas tem debatido o tema e proposto terminologias (DRUMMOND, 2009; VITEK; KALIBERA, 2011; MENDOZA; GARCIA, 2017; PLESSER, 2018), segundo Feitelson (2015) temos as seguintes defini¸c˜oes:
originais.
Replica¸c˜ao (replication) Replicar com precis˜ao exatamente o que outra pessoa fez, re- criando os artefatos.
Varia¸c˜ao (variation) Repetir ou replicar exatamente o que a outra pessoa fez, mas com alguma modifica¸c˜ao controlada nos parˆametros.
Reprodu¸c˜ao (reproduction) Recriar o esp´ırito do que outra pessoa fez, usando seus pr´oprios artefatos.
Corrobora¸c˜ao (corroboration) Obter os mesmos resultados de outra pessoa, usando outros meios e procedimentos experimentais.
A comunidade de Engenharia de Software tem tentado por anos replicar experimentos para gerar fragmentos de conhecimento, mas a grande parte das tentativas tem levado a resultados insatisfat´orios (a credibilidade dos resultados n˜ao aumentou), principalmente por conta das varia¸c˜oes nas condi¸c˜oes experimentais de uma replica¸c˜ao para outra (JU- RISTO; VEGAS, 2009).
Um estudo com 88 papers da conferˆencia MSR (Mining Software Repositories)3 entre
2004-2011 evidenciou que apenas 62% s˜ao replic´aveis ou parcialmente replic´aveis e que apenas 20% dos estudos disponibilizam suas ferramentas (AMANN et al., 2015). Um es- tudo anterior com 171 papers do MSR evidenciou que, entre outros problemas, a maioria n˜ao disponibiliza publicamente as ferramentas e scripts, mesmo quando os autores expli- citamente afirmam que constru´ıram algo (ROBLES, 2010), apenas 2 entre 154 estudos experimentais avaliados fornecem os dados e ferramentas necess´arias para replica¸c˜ao e futuras pesquisas (BARR et al., 2010).
Esta dificuldade em atingir reprodutibilidade em estudos cient´ıficos baseados em m´etodos computacionais tem levado a s´erios erros em resultados publicados na litera- tura acadˆemica (HINSEN, 2015). O n´umero de repeti¸c˜oes apesar de ter crescido nos ´
ultimos anos ainda ´e muito pequeno, especialmente considerando a amplitude de t´opicos em Engenharia de Software (SILVA et al., 2011; KITCHENHAM; BUDGEN; BRERE- TON, 2015).
Em muitos campos cient´ıficos onde software tem se tornado ferramenta fundamental para capturar e analisar dados, este requerimento por reprodutibilidade implica que pla- taformas de software e ferramentas confi´aveis e compreens´ıveis devem estar dispon´ıveis para a comunidade cient´ıfica (MCCORMICK et al., 2014). No entanto, ainda vemos o seguinte questionamento a respeito dos artefatos de software em pesquisas da Ciˆencia da Computa¸c˜ao: “Onde est´a o software nas pesquisas sobre linguagem de programa¸c˜ao?” (KRISHNAMURTHI; VITEK, 2015).
Toda pesquisa que possua qualquer processo computadorizado deve publicar seus c´odigos, eles precisam estar dispon´ıveis, mesmo que os dados correspondentes n˜ao estejam. De acordo com o espectro de reprodutibilidade (Figura 2.4), a disponibilidade de c´odigo ´
e o requisito m´ınimo e ´e o primeiro passo para possibilitar valida¸c˜ao e confirma¸c˜ao dos resultados (PENG, 2011).
2.8 CI ˆENCIA ABERTA 19
Figura 2.4 Espectro de reprodutibilidade (PENG, 2011)
No entanto, esta pr´atica ainda carece de maior ado¸c˜ao, as quest˜oes por tr´as destes problemas s˜ao, al´em de outros, possivelmente, ocasionados por quest˜oes culturais, como, por exemplo, a t´ımida ado¸c˜ao de pr´aticas da ciˆencia aberta entre pesquisadores (NIE- MEYER, 2017).