Processo de Seleção dos Estudos

Aos estudos primários retornados após a execução das buscas automáticas estabelecidas para este mapeamento foram adicionados os estudos primários potencialmente relevantes provenientes da pesquisa realizada diretamente nos sites das fontes de busca manual, que consistiu na leitura dos títulos, abstracts e palavras-chave de cada artigo, e na eliminação – sem necessidade de documentação – daqueles que foram julgados como sendo claramente irrelevantes para os fins deste mapeamento. Portanto, por já terem passado por este processo, esses artigos já estavam previamente aprovados para a segunda fase do processo de seleção, mas entraram nesta primeira fase apenas para participarem do processo de detecção e remoção dos estudos repetidos retornados por mais de uma fonte de busca.

67

Com o auxílio das ferramentas Mendeley3 e Microsoft Excel4 os artigos claramente repetidos – artigos com o mesmo título, mesmos autores, mesmo ano de publicação e mesmo abstract, provenientes de diferentes fontes de busca – foram removidos já durante a primeira fase do processo de seleção. Para a detecção e remoção de outros estudos com resultados similares, durante a segunda fase do processo de seleção foram avaliados os artigos escritos por um mesmo autor (ou mesmos autores) com o intuito de verificar a semelhança entre a metodologia, a unidade de análise e os resultados dos estudos. Neste caso, quando dois ou mais artigos apresentavam estudos semelhantes, apenas o mais completo ou o mais recente (na impossibilidade de identificar o mais completo) era incluído; todavia, quando as informações apresentadas pelos artigos eram complementares ou diferenciadas, ambos eram incluídos. Este processo de eliminação de estudos repetidos ou com resultados similares tem como objetivo aplicar as exigências do critério de exclusão CE-03 apresentado na Seção 3.2.6.

Durante a primeira fase do processo de seleção, após a eliminação dos estudos claramente repetidos, cada um dos artigos remanescentes recebeu, aleatoriamente, um código identificador único (EP[X], onde EP é a abreviação para Estudo Primário e [X] corresponde a uma sequência numérica que inicia em 0001) a fim de servir-lhes de referência em todas as fases deste mapeamento sistemático. Além das ferramentas já mencionadas, também foi utilizado como ferramenta de apoio o editor de planilhas do Google Docs5, que permitiu que o trabalho fosse executado de forma colaborativa nas fases do processo de seleção dos estudos e na extração de dados.

Conforme disposto na Seção 3.2.2, tanto para a primeira quanto para a segunda fase do processo de seleção, os estudos foram distribuídos entre três equipes, cada qual constituída por um par de avaliadores e um moderador eleito para atuar apenas nos casos onde, mesmo após tentativa de conciliação, não era possível estabelecer um consenso entre os avaliadores. Esta abordagem baseia-se nas estratégias de redução de viés propostas por Petersen e Ali (2011) para resolução de discordâncias. 3 www.mendeley.com 4 http://office.microsoft.com/pt-br/excel 5 docs.google.com

68 Primeira Fase

Para a primeira fase foi construído um formulário no editor de planilhas do

Google Docs, onde foram armazenadas para cada um dos artigos retornados na

busca automática as seguintes informações: código identificador, título, ano,

abstract, link para a íntegra do artigo (quando disponível), palavras-chave e

avaliação (0/1). Uma cópia do formulário foi entregue a cada avaliador, de modo a garantir a independência de suas avaliações individuais. A Figura 3.3 ilustra o formulário utilizado nesta fase.

Figura 3.3: Ilustração do formulário de controle da primeira fase do processo de seleção

Fonte: Elaboração Própria. A partir da planilha de controle no Google Docs.

Cada avaliador analisou independentemente o título, o abstract e as palavras- chave de cada um dos artigos sob responsabilidade de sua equipe, verificando a aderência dos mesmos à temática estudada e votando pela manutenção (avaliação = 1) ou exclusão (avaliação = 0) deles para a fase seguinte do processo de seleção.

Ao final da execução desta fase, foram sanados todos os conflitos e excluídos os artigos considerados irrelevantes. Os demais seguiram para a segunda fase do processo.

Segunda Fase

Para a segunda fase do processo de seleção foi construído um novo formulário no editor de planilhas do Google Docs, onde foram armazenadas para cada um dos artigos potencialmente relevantes provenientes da fase anterior as seguintes informações, novamente dispostas em duas planilhas diferentes (uma para cada avaliador): código identificador, título, link para a íntegra do artigo (quando disponível), indicador de artigo baixado na íntegra (Sim/Não), nove indicadores de correspondência aos critérios de inclusão e exclusão estabelecidos (CI-01, CE-01, CE-02, CE-03, CE-04, CE-05, CE-06, CE-07 e CE-08), contexto (Academia, Indústria ou Projetos OSS), pré-classificação do artigo, avaliação (0/1) e observações. Uma cópia do formulário foi entregue a cada avaliador, de modo a

ID_PAPER Título Ano Abstract PDF Link Palavras-chave Avaliação (0/1) EP0003

Using social network analysis for software project management

2009

Software projects are complex endeavors where the application of processes, knowledge, skills and tools is necessary, in order to increase the probability of successful completion. [...] http://ieeexplore.ieee. org/stamp/stamp.jsp?ar number=5423144 social networking; software project management 1

69

garantir a independência de suas avaliações individuais. A Figura 3.4 ilustra o formulário utilizado nesta fase.

Figura 3.4: Ilustração do formulário de controle da segunda fase do processo de seleção

Fonte: Elaboração Própria. A partir da planilha de controle no Google Docs.

Nesta fase, cada avaliador revisou independentemente cada um dos artigos sob responsabilidade de sua equipe, avaliando, além do título, do abstract e das palavras-chave, a introdução, a conclusão e, quando necessário, outras seções dos artigos, em busca de enquadrá-los no critério de inclusão ou em algum dos critérios de exclusão descritos na Seção 3.2.6. Para a execução deste processo foi necessário adquirir a íntegra de cada um dos artigos, sendo alguns recuperados nas próprias fontes de busca através de uma conta registrada na Universidade Federal de Pernambuco, enquanto outros, por não estarem disponíveis nas fontes de busca, foram solicitados através de e-mails enviados diretamente aos seus respectivos autores. Os artigos não recuperados foram, por este motivo, excluídos do mapeamento (Avaliação = 0), em conformidade com o critério de exclusão CE-04. Entre os artigos recuperados, foram excluídos (Avaliação = 0) aqueles que não se enquadraram no critério de inclusão ou se enquadraram em pelo menos um dos critérios de exclusão, sendo incluídos (Avaliação = 1) todos os demais.

Para cada artigo incluído, os avaliadores procuraram preencher a coluna “contexto” com a informação referente ao contexto do projeto analisado no estudo primário, que poderia assumir os valores “Academia”, “Indústria” e “Projetos OSS”, sendo este último utilizado para os estudos que tiveram projetos OSS como unidade de análise e que foram excluídos do presente trabalho conforme o critério de exclusão CE-08 apresentado na Seção 3.2.6. Além disso, a coluna “pré-classificação

ID_PAPER Título PDF Link PDF

baixado?CI-01 CE-01 CE-02 CE-03 CE-04 CE-05 CE-06 CE-07 CE-08 Contexto

Avaliação (0/1) Pré-classificação Observações EP0057 Knowledge Recommendation Based on Social Network Theory http://ieeexpl ore.ieee.org/st amp/stamp.jsp ?arnumber=472 1519 SIM X _ 0 - Knowledge Management; - Knowledge Recommendation; - Knowledge Management Systems; Não aplica SNA em um projeto. EP0442 Project organizations as social networks http://dx.doi.o rg/10.1061/(AS CE)CO.1943- 7862.0000161 SIM X Indústria 1 - Performance; - Communication; - Team organization; - Knowledge Management; EP1475 Towards a social network theory of project governance http://www.sc opus.com/inwa rd/record.url?e id=2-s2.0- 29244438162&p NÃO X _ 0 Email enviado ao autor e não retornado.

70

do artigo” foi livremente preenchida pelos pesquisadores com alguns termos-chave que pudessem facilitar a identificação das características e dimensões de projeto avaliadas no estudo primário.

Figura 3.5: Processo de Seleção dos Estudos Primários

Fonte: Elaboração Própria.

Ao final da execução desta fase, sanados os conflitos existentes, foram incluídos apenas os artigos considerados relevantes para os fins desta pesquisa. A Figura 3.5 ilustra os estágios deste processo de seleção dos estudos primários, desde a busca até a obtenção dos artigos relevantes.