APRECIAÇÃO CRÍTICA DA LITERATURA

Todos os artigos seleccionados para esta revisão sistemática tiveram de ser postos em contraste sob um nível mínimo de qualidade, que assegurasse a confiabilidade das informações. Com este fim, desenvolveu-se um mecanismo de apreciação crítica integrado por três questões; rigor, credibilidade e pertinência, de cada um dos artigos avaliados. Nesta conjuntura, visando definir os conceitos, formularam-se as seguintes questões:

• Rigor. Aplicou-se um enfoque completo e adequado aos métodos de investigação chave no estudo?

• Credibilidade. Consideram-se as descobertas bem e significativamente apresentadas?

• Pertinência. Que utilidade tem as descobertas tanto para o ensino universitário como para os investigadores?

Essas questões foram respondidas atendendo aos 11 critérios propostos pela Critical Appraisal Skills Programme (CASP), em conjunto com os princípios de boas práticas desenvolvendo investigações empíricas em engenharia do software (Kitchenham et al., 2002; Dybå e Dingsøyr, 2008). Para facilitar a avaliação de cada critério, estes subdividiram-se em uma ou várias perguntas, sendo respondidas em uma escala de valorização tricotómica, ou seja, respondendo e atribuindo um ponto para uma resposta "sim", 0 pontos para uma resposta "não" ou "não aplicável", e 0,5 pontos para uma resposta de "não é claro". Estas pontuações foram registadas na base de dados "artigos", somando- se o total de pontos alcançados em cada artigo.

O formulário apresentado na Tabela 4.17, corresponde-se com as perguntas realizadas para cada artigo prolongando-se a esta actividade de apreciação crítica. Todas as respostas recolhidas mediante este formulário de apreciação crítica, podem ser verificadas no apêndice C da presente dissertação.

Tabela 4.17 - Formulário de qualidade

Artigo investigado Id artigo

1.- Está baseado na investigação empírica ou são apenas opiniões de especialistas? O investigador apresenta dados ou resultado de

experiências com alunos?

Onde encontrou a informação? Comentário:

Este artigo: Sim Não Não é claro

No caso de que a resposta anterior fosse “não”, o artigo ficaria fora da RSL. 2.- Os objectivos da investigação estão claramente estabelecidos e justificados? Há uma razão para se ter feito o estudo?

Há uma declaração de resultados primários? Tem o ensino superior da programação não presencial relação com o foco principal?

Onde encontrou a informação?

Comentário:

3.- Há uma adequada descrição do contexto em que se desenvolveu a investigação? O contexto do estudo apresentado está esclarecido? Onde encontrou a informação?

Comentário:

4.- O desenho da investigação foi adequado para alcançar os objectivos? O investigador justificou o Projecto de

investigação discutindo o método a usar? Onde encontrou a informação? Comentário:

5.- Houve uma descrição adequada da amostra utilizada e dos métodos para identificar e reunir a amostra para atingir os objectivos?

Explicou-se como os participantes e os casos foram identificados e seleccionados ?

O tamanho da amostra é suficientemente grande?

Onde encontrou a informação? Comentário:

6.- Houve um grupo de controlo que sirva para comparar os tratamentos? Como foram seleccionados os grupos de controlo?

Foram representativos de uma população inteira? Os inquiridos poderiam ser diferentes de algum modo?

Onde encontrou a informação?

Comentário:

7.- Foi adequadamente descrita e recolhida a informação na abordagem da investigação?

Foram definidas claramente as medidas? Foi claro como os dados foram recolhidos? Estão justificados os métodos que foram escolhidos?

Houve justificação em alguma mudança dos métodos?

Onde encontrou a informação?

8.- A análise de dados foi suficientemente rigorosa? Houve uma descrição aprofundada do processo de análise?

Foram apresentados dados para suportar os achados?

Se tomaram em conta os dados contraditórios?

Onde encontrou a informação?

Comentário:

9.- Houve uma relação adequada entre o investigador e os participantes? O investigador examinou o seu próprio papel, o

potencial de erro e influencia durante a formulação de perguntas, o recrutamento da amostra, a recolha de dados e análise?

Onde encontrou a informação?

Comentário:

10.- Os resultados foram claramente estabelecidos? As descobertas foram explícitas?

Houve uma discussão adequada das provas, tanto a favor como em contra?

Discutiram-se as limitações do estudo?

As conclusões foram justificadas pelos resultados?

Onde encontrou a informação?

Comentário:

11.- O estudo tem um valor investigativo ou prático? O investigador discute a contribuição do estudo face ao conhecimento?

Identificam-se novas áreas em que é precisa uma investigação?

Discutem-se se é possível uma transferência das descobertas a outras populações?

Onde encontrou a informação?

Comentário:

Uma vez respondidas todas as perguntas, apresentam-se os resultados da apreciação crítica dos artigos na Tabela 4.18. Deve-se recordar, no entanto, que o critério um define se o artigo entra ou não na seguinte fase da revisão.

Em conjunto, todos os artigos cumpriram os requisitos para ser avaliados com uma nota positiva, já que a única forma de eleger um artigo e eliminá-lo nesta fase era obter uma pontuação de 0 (zero) no critério 1. Assim, em Haake e Schümmer (200) as pontuações atingiram o mínimo, 8 pontos, e em Yukselturk e Bulut (57) obtiveram o máximo, 20 pontos, sobre 26 unidades.

Tabela 4.18 - Resultado da apreciação crítica dos artigos Id a rt . Inve st ig aç ão O bj ec ti vo s C on te xt o D es en ho A m os tr a G ru po C on tr ol o C ol et et a D ad os A ná lis e D ad os R el aç õe s A ch ad os V al or T ot al 1 2.1 2.2 2.3 3 4 5.1 5.2 6.1 6.2 6.3 7.1 7.2 3 7. 7.4 8.1 8.2 8.3 9 10.1 10.2 10.3 10.4 11.1 11.2 11.3 10 1 0 1 1 1 ½ 1 1 0 0 0 1 1 1 1 ½ ½ ½ 0 ½ ½ 0 0 0 0 0 13 23 1 1 1 0 1 1 0 0 0 0 0 1 1 1 0 1 1 1 0 1 1 1 1 1 0 1 17 32 1 1 1 0 1 1 1 ½ 0 0 0 0 1 ½ 0 ½ 1 1 0 1 ½ 0 1 0 0 0 13 44 1 1 1 1 1 0 0 1 0 0 0 1 1 0 0 1 1 1 1 1 1 0 1 1 0 0 16 48 1 1 1 ½ ½ 1 1 0 1 ½ ½ 1 1 1 0 0 1 ½ 0 1 ½ 1 1 0 1 0 17 50 1 1 1 1 1 1 1 ½ 1 1 ½ ½ 1 1 0 1 1 1 0 1 ½ 0 1 0 0 0 18 57 1 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 0 0 20 58 1 1 1 1 ½ 1 0 0 0 0 0 1 1 0 0 1 1 ½ 0 1 1 0 1 1 1 0 15 10 5 _{1 0 1 ½ ½ 1 0 0 0 0 0 1 1 1 0 1 1 0 0 1 1 0 1 1 0 0 13} 10 7 _{1 1 0 1 1 1 1 ½ 0 0 0 1 1 1 0 1 0 1 0 1 0 1 0 0 ½ 0 14} 11 1 _{1 1 1 1 1 1 1 1 0 0 0 1 1 1 0 1 1 0 0 1 1 0 1 1 0 0 17} 20 0 _{1 0 1 1 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 1 8} 20 1 _{1 1 1 1 1 1 1 1 0 0 0 0 1 1 0 1 1 0 0 1 1 1 1 0 0 0 16} Σ 13 10 12 10 11,5 10,5 9 6,5 2 1,5 1 9,5 13 9,5 2 10 11 6,5 2 13 9 5 9 6 2,5 2

É importante destacar que quase nenhum dos artigos avaliados conseguiu boas pontuações na seção correspondente aos grupos de controlo (critério 6). Somente os trabalhos desenvolvidos por Shaffer e Rosson (48) e Stachel et al. (50) utilizaram o método mencionado para validar os resultados.

Em perguntas sobre a apreciação crítica, tais como: "houve justificação em alguma mudança dos métodos?" ou "o investigador examinou o seu próprio papel, o potencial de enviesamento e interferência durante a formulação de perguntas, o recrutamento da amostra, a recolha de dados e a sua análise?" apenas poucos artigos obtêm avaliação positiva.

Contudo, as secções de identificação de novas áreas, bem como na transferência das descobertas a outras populações, ambas pertencentes ao critério 11, não obtiveram bons

resultados. Neste caso, o artigo de Zin, Idris e Subramaniam (58) considerou-se o melhor valorizado com 2 sobre 3 pontos.