esforço, citando a ausência de funcionalidades que promovam a produtividade durante a especificação dos mecanismos de disseminação.
De um modo geral, a interpretação dos resultados da avaliação responde à questão de pesquisa apontada na problematização deste trabalho (seção 1.1) ao afirmar que “a abordagem automatizada proposta contribui para a produtividade e a confiabilidade do processo em engenharia de software”, possibilitando a condução do método de revisão sistemática de modo íntegro, com a redução do esforço através da automatização de suas atividades.
Este resultado rejeita a hipótese nula e aceita a alternativa, visto a concordância dos pesquisadores e a obtenção de resultados positivos com os procedimentos de avaliação. Percebe-se, no entanto, que os procedimentos com os mecanismos para automatização da coleta e seleção dos estudos contribuíram de modo parcial (como demonstrado pelas métricas M6 e M7), caracterizando uma dispersão dos resultados que pode ser alvo de aprimoramentos futuros.
UFAM 3%
USP 3%
UFC 7%
UNIVALI 14%
UFBA 32%
N/A 23%
Outras 17%
Figura 41. Distribuição de usuários conforme instituição de pesquisa
Existem 20 revisões sistemáticas em andamento, com uma média de 3,45 usuários cadastrados por revisão. Uma das RSLs já se encontra no estágio de avaliação da qualidade dos estudos obtidos, e outra na seleção de estudos primários. Dentre as 18 revisões que ainda estão na fase de planejamento, 50% já possuem o documento de protocolo gerado pela ferramenta.
A utilização gerou algumas dificuldades e sugestões de aprimoramentos que foram encaminhadas por usuários através de e-mail. O Quadro 20 expõe alguns dos comentários recebidos, e posteriormente faz-se uma análise da contribuição destes com o estágio atual e propostas futuras para a ferramenta.
Quadro 23. Comentários recebidos dos usuários da ferramenta Comentários
Olá Jefferson,
Ficou muito boa a ferramenta, está de parabéns. No entanto, relato abaixo algumas coisa que observei durante o uso da ferramenta:
- Identificação da Pesquisa.
(na aba estudos incluídos) Nesta interface seria interessante opção de selecionar mais de um estudo para excluir do protocolo.
(na aba bases automatizadas) Não funcionou comigo a importação da base de dados da IEEE Xplore, e a consulta na base de dados da IET não trouxe resultados corretos que foram incluídos no protocolo.
É ótima a ideia de realizar a busca automatizada em algumas bases de dados que prestam suporte para isso, no entanto, as strings de busca de cada base de dados são distinta.
- Interface de extração dos dados
Tive um retorno de erro ao salvar os dados. Acredito que a informação que coloquei nos campos era maior que a prevista no modelo de dados. Achei também que os campos são pequenos, acredito que seria interessante colocar componentes visuais como os utilizados nas interfaces iniciais com recursos de edição (listas, formatação).
Olá Jefferson,
Primeiramente gostaria de parabenizá-lo pelo projeto, contanto (sic), após cadastro no site surgiu uma dúvida: na página principal do projeto informa que a ARS é uma ferramenta para pesquisas na área de Engenharia de SW.
Entretanto, gostaria de saber se podemos utilizá-la para revisão sistemática de outras áreas, como por exemplo Redes de Computadores?
Jefferson,
Quando incluímos uma pessoa na revisão e ela vai fazer seu cadastro inicial o sistema acusa que já existe na base esse e-mail. Ok, mas então como ela recuperaria sua senha?
Olá,
Parabéns pela excelente ferramenta.
Entretanto, alguns BUGs estão impedindo que usemos a ferramenta para a nossa RS.
1) Não há opção de recuperar senha.
2) Ao convidar um usuário, quando ele clica no link "Aceitar", ele cai numa página de cadastro (já aparece com erros de validação). Entretanto, se ele tentar se cadastrar diz "E-mail já cadastrado".
3) Em "Execução da Revisão" > "Identificação da pesquisa", ao editar um item o abstract não aparece. Já em
"Execução da revisão" > "Seleção dos estudos primários", ao clica no botão "Selecionar" o abstract é exibido normalmente.
Mais algumas questões:
1) Em "Execução da Revisão" > "Identificação da pesquisa", o caractere "<" presente no abstract causa erro na importação de um ".BIB". Tive que criar um script para remover todos os caracteres "<" do meu texto BIB para conseguir importar.
2) Em "Execução da revisão" > "Seleção dos estudos primários" a quantidade de artigos por página é muito pequena.
3) "Execução da revisão" > "Seleção dos estudos primários": Ao abrir um artigo usando o botão "Selecionar", avaliar ele e clicar em "Avaliar Próximo", o artigo que é aberto não é o mesmo que aparece como próximo na lista paginada.
Isso confunde o usuário e está dificultando o nosso processo, pois dividimos a avaliação dos artigos pelas páginas.
Desculpe o excesso de mensagens, é porque estamos usando a ferramenta e vendo muito potencial!
Mais um BUG, esse é super-importante:
1) A Solicitação de mediação não está funcionando. Ao clicar no botão "Solicitar" nada acontece!
Jefferson,
Parabéns pela ferramenta. Sei que ainda está em "BETA" (e por isso tem alguns problemas), mas estamos usando ela para nossa RS e tem ajudado muito o processo.
Creio que se vocês ajustarem esses pequenos problemas terão em mãos uma excelente ferramenta que ganhará visibilidade nacional e (se traduzida) internacional.
Quando se seleciona um artigo para avaliar e escolhe-se uma das opções cadastradas a opção que você escolheu só mostra ao lado em seleção quando se atualiza a página.
Isso deveria ser feito logo depois que um artigo fosse avaliado.
Estes comentários motivaram a execução de tarefas corretivas tão logo as solicitações foram feitas, com respostas encaminhadas aos solicitantes. Tornou-se clara também a necessidade em implementar um mecanismo de recuperação de senha, que permitisse ao usuário retomar o acesso a sua conta, especialmente quando convidado através do estágio de comissionamento da revisão, que foi implementado e efetivamente disponibilizado na ferramenta.
Percebeu-se também várias mensagens positivas de avaliação da ferramenta, quanto a sua contribuição ao processo de condução de revisões sistemáticas. Embora não sejam respondentes do questionário de avaliação e, portanto, não contribuam para a avaliação da abordagem proposta em seus critérios de confiabilidade e produtividade, reforçam a afirmação de que a comunidade de
pesquisa em engenharia de software necessita de uma abordagem automatizada de apoio à revisão sistemática que facilite a aplicação do método e contribua para a qualidade do processo.
Finalmente, dois comentários indicam oportunidades de aprimoramentos futuros a serem realizados: a internacionalização da interface da ferramenta, expandindo-a para a comunidade de pesquisa internacional; e a disponibilidade de mecanismos específicos para a realização de revisões sistemáticas da literatura em outras áreas de pesquisa relacionadas à computação, como redes de computadores, inteligência artificial, etc. Esta avaliação demonstra também que os usuários necessitam de suporte a suas dúvidas através de um contato com o desenvolvedor e/ou um profissional especializado na utilização da abordagem para métodos de pesquisa empírica, e um mecanismo de comunicação eficaz torna-se imprescindível.