Critérios de seleção e procedimento

Os artigos incluídos na revisão tiveram que ser escritos em inglês e publicados em conferências, periódicos ou como capítulos de livros, entre 2010 e 2016, sobre o tema do ensino e aprendizagem da introdução à programação no ensino superior. Os trabalhos foram excluídos se eles:

1. Não abordaram as questões de pesquisa;

2. Foram muito curtos, como trabalhos de workshops; 3. Foram publicados em conferências locais;

4. Foram escritos pelo mesmo grupo de pesquisa com os mesmos dados (caso em que apenas o mais recente foi mantido).

Devido ao grande número de artigos recuperados na pesquisa, foi realizado um procedimento em duas etapas. Primeiro, uma etapa de pré-seleção aplicou os critérios de inclusão com base no título, nas palavras-chave e no resumo. Em seguida, analisou-se o texto completo dos artigos pré-selecionados e os duplicados (critério 4) foram excluídos.

e a co-orientadora realizaram o processo de seleção, ambos analisaram independentemente cada artigo. As razões para inclusão ou exclusão foram cuidadosamente anotadas, e reuniões foram realizadas para resolver qualquer divergência, com a ajuda do orientador desta tese.

A busca de artigos relevantes para a revisão seguiu o processo apresentado na Figura 02. Na busca manual apareceram 721 artigos potencialmente relevantes, dos quais 45 foram pré-selecionados. A busca automática forneceu 5.870 artigos potencialmente relevantes, dos quais 101 foram pré-selecionados. Isso deu um total de 146 trabalhos pré-selecionados. Na segunda fase do processo de seleção, 26 artigos da busca manual e 62 artigos da busca automática foram retidos, totalizando 88 artigos relevantes. Executando o processo de snowballing nesses 88 artigos selecionados apareceram outros 102 candidatos, dos quais 12 foram selecionados. O total no final do processo foi de 100 artigos1_.

Figura 2. Processo de busca, indicando os números de artigos em cada etapa.

3.4.4 Snowballing

O prodecimento descrito no item 3.3.4 foi executado com todos os artigos selecionados, no qual foi adicionada a seleção mais 12 estudos relevantes.

3.4.5 Avaliação de qualidade

A qualidade dos artigos selecionados foi avaliada em relação aos critérios selecionados e adaptados das diretrizes de Kitchenham e Charters (2007), focando os métodos adotados e seu rigor científico. Para artigos baseados em estudos de campos (com abordagens qualitativa ou quantitativa), os critérios foram:

• Quão bem foi realizada a coleta de dados?

• Quão bem a abordagem e formulação da análise foram transmitidas? • Quão bem o contexto e as fontes de dados foram retratados?

• Quão claras e coerentes foram as ligações entre dados, interpretação e conclusões?

Para artigos teóricos, os critérios foram:

• Quão bem a análise abordou suas metas e objetivos originais? • Como o conhecimento ou compreensão foi estendido pela pesquisa? • Quão bem foi explorada a diversidade de perspectiva e contexto?

A avaliação foi realizada por dois pesquisadores de forma independente, e cada trabalho foi pontuado na escala (para cada critério): 0 - muito mal; 1 - mal; 2 - razoavelmente; 3 - bem; 4 - muito bem. Para pontuações que diferiram entre os pesquisadores por dois ou mais pontos, uma reunião foi realizada com o orientador desta tese para resolver o conflito. Um limiar de qualidade foi adotado para decidir se as publicações permaneciam na análise. Com as pontuações obtidas para cada questão foi calculada uma média aritimética para dar a pontuação final para cada trabalho.

Houve uma boa concordância entre avaliadores: apenas seis dos 100 artigos tiveram notas que diferiam em dois ou mais pontos para pelo menos um dos critérios. No histograma das notas de avaliação de qualidade, Figura 03, o eixo x rotula a borda superior de cada faixa da especificada.

A maioria dos estudos recebeu uma boa pontuação, o que é de se esperar, uma vez que foram publicados em revistas científicas e conferências revisadas por pares. Alguns estudos, no entanto, obtiveram notas significativamente baixas e não foram

considerados de qualidade aceitável para serem incluídos na análise. O limiar adotado foi de 1,81, o que corresponde a uma das aparentes descontinuidades do histograma. Consequentemente, 11 artigos (dos 100) foram excluídos. Os resultados e discussão a seguir consideram apenas os 89 artigos restantes.

Figura 3. Histograma das notas da avaliação de qualidade que mostra uma

descontinuidade no limiar de nota adotado. O eixo X representa as médias possíveis e no eixo Y a quantidade de artigos em cada limiar de nota. Fonte: Próprio autor.

Para avaliar a qualidade dos estudos selecionados, os métodos científicos que eles adotaram para apoiar seus argumentos foram coletados na Tabela 4. Essas informações podem ser interessantes para a comunidade de Educação em Computação.

Tabela 4 – Métodos utilizados nos artigos selecionados.

Método Referência selecionada Intervenção pedagógica avaliada através

da análise do desempenho do aluno e / ou feedback R04, R08, R09, R11, R12, R17, R18, R22, R23, R24, R25, R26, R27, R29, R30, R35, R38, R40, R41, R42, R43, R44, R45, R48, R51, R53, R55, R56, R57, R58, R59, R60, R61, R62, R63, R64, R66, R74, R75, R78, R79, R81, R82, R83, R85, R89, R92, R94, R96, R98, R99, R100 Pesquisa, questionários, entrevistas e /

ou grupos focais R03, R06, R07, R10, R11, R12, R15, R19, R20, R21, R28, R31, R32, R33, R34, R35, R37, R41, R42, R44, R45, R46, R47, R50, R52, R53, R54, R55, R57, R62, R65, R61, R69, R70, R71, R76, R80, R81, R83, R87, R93, R95, R97 Observação de atividades em sala de

aula

R03, R04, R09, R19, R28, R44, R50, R51, R83

Análise dos estilos e estratégias de

Análise do desempenho do aluno em relação ao tipo de avaliação, abordagem

pedagógica ou fatores contextuais

R64, R66, R67, R70, R73, R75, R77

Análise de erros de estudantes R36, R65, R84 Comparação entre as previsões /

percepções dos professores e o desempenho real dos alunos

R01, R16

Reflexão teórica baseada na experiência

de ensino R02, R49, R68, R72, R86

Revisão da literatura R05, R14, R39, R68, R71, R72, R74, R75, R80, R81, R86, R90, R91

3.4.6 Coleta de dados e análise

Os seguintes dados foram extraídos de cada estudo e registrados no codebook (em formato de planilha):

• Mecanismo de busca (manual, automático ou snowballing) e fonte (nome do periódico, dos anais do evento ou da base de dados, respectivamente); • Título, palavras-chave, autores, tipo (periódico ou anais), e ano;

• Objetivo e público-alvo da pesquisa;

• Método científico (abordagem qualitativa e/ou quantitativa, e método específico adotado);

• Resumo;

• Respostas para cada questão de pesquisa; • Pontuação na avaliação de qualidade.

O autor desta tese extraiu os dados e a co-orientadora verificou a extração. Quaisquer discordâncias foram discutidas até serem resolvidas; se necessário, o orientador estava envolvido. Para analisar as respostas às questões de pesquisa, adotou-se uma abordagem indutiva de baixo para cima. Em primeiro lugar, as palavras-chave foram coletadas exatamente como usado em cada artigo. Diferentes termos usados para se referir a conceitos semelhantes foram identificados, mostrando que os autores escolhem palavras com bastante liberdade na discussão de um tópico, em vez de seguir uma terminologia padrão (talvez extraída de experiência anterior ou experiência anterior em programação). Esses sinônimos foram consolidados nos termos mais usados. Então conceitos relacionados foram agrupados em categorias

em cada questão de pesquisa, para esclarecer a apresentação e discussão dos resultados, Seção 3.5. Este agrupamento, quando aplicável, também se baseou na literatura por exemplo em teorias sobre Pensamento Computacional (Berry, 2015; Repenning; Basawapatna; Escherle, 2016), como discutido na Seção 3.4.2. Alguns termos foram usados por alguns autores com significados ligeiramente diferentes; estes são discutidos na Seção 3.3.7. O autor desta tese e a co-orientadora realizaram a análise indutiva juntos, depois o orientador revisou e validou a mesma.