Análise Estatística dos Resultados

Após a coleta e tratamentos dos dados, realizamos a análise apropriada para experimento do tipo fator único, de acordo com [76, 80, 109, 152], são recomendadas as seguintes etapas de análise estatística dos resultados:

• Análise descritiva geral dos dados

• Teste da natureza dos dados (paramétricos ou não paramétricos)

• Computação dos efeitos

• Estimação dos erros experimentais

• Análise

6.6 Análise das Ameaças à Validade do Experimento 167

• Testes de diagnóstico visual (gráficos)

• Cálculo do intervalo de confiança para os efeitos

Os dados analisados são provenientes de amostras independentes, uma vez que cada par- ticipante só utilizou uma das versões do experimento. Entretanto, para cada versão existem 4 etapas, cujas interações se complementam para formar a cápsula de decisão. Sendo assim, percebemos que os dados das diferentes versões são independentes entre si, mas dependentes em relação às etapas que constituem cada versão.

Inicialmente, verificamos a normalidade dos dados da amostra com o objetivo de escolher o teste mais apropriados dada a natureza dos dados. Para isso utilizamos o teste de Shapiro- Wilk. Em seguida, para dados oriundos de uma população não normal, utilizamos o teste de Wilcoxon Mann Whitneypara comparar duas amostras independentes e o teste de Kruskal- Wallispara a análise das amostras com relação a 1 fator. Para dados normais, utilizamos o teste One-way ANOVA para análises com 1 fator. Os testes de hipótese foram realizados com nível de confiança de 95%, com o ajuste de Bonferroni7.

Os testes foram realizados utilizando a ferramenta R8

6.6

Análise das Ameaças à Validade do Experimento

Nesta seção, listaremos as possíveis ameaças à validade do experimentos, conforme a clas- sificação proposta por [40].

• Validade Interna

– Maturação: existem 4 momentos em que os participantes precisarão preencher questionários, os quais possuem as mesmas afirmações. Existe o risco dos parti- cipantes cansem ou se desmotivem por tal fato, preenchendo de forma descuidada os questionários.

7_{A correção de Bonferroni é um ajuste feito aos p-valores quando vários testes estatísticos dependentes} ou independentes estão sendo realizados simultaneamente em um único conjunto de dados. Para realizar uma correção de Bonferroni, divida o p-valor crítico pelo número de comparações feitas.

6.6 Análise das Ameaças à Validade do Experimento 168

– Instrumentação: o questionário utilizado foi baseado nos trabalhos de Timothy Teo [144, 145, 146], que baseou sua pesquisa em outros trabalhos já publicados. Entretanto, a tradução (do Inglês para o português) pode ter algum efeito não previsto nos questionários, incorrendo no risco de afetar os resultados.

– Seleção: é possível que os participantes, mesmo sendo professores e tutores, não representem, significativamente, os membros da população de interesse para este experimento.

Este experimento utilizou interfaces estáticas para evitar que o processamento e a análise dos dados tomassem muito tempo, o que poderia levar à desistência, cansaço ou desinteresse dos participantes. Isso implica em uma ameaça à validade do experimento, contudo os par- ticipantes possuem acesso a todas as interações planejadas para a versão inicial da solução de autoria. Ressalta-se, ainda, que o resultado do processamento e da análise dos dados foi obtido a partir de dados reais.

• Ameaças à Validade de Constructo

– Viés Mono-Operação: por se tratar de um experimento baseado em um questio- nários, existe o risco de não ter sido capturada a riqueza do constructo através do design experimental.

– Viés Mono-Método: é possível, também, que os resultados não consigam captu- rar, completamente, riqueza do constructo, limitando as conclusões desta tese.

– Generalização restrita entre constructos: é um risco possível que a ajuda provida pelas soluções de autoria traga algum efeito colateral, não percebido no planeja- mento, na resposta dos participantes.

– Ameaças sociais: um outro risco possível, é que os participantes, na tentativa de adivinhar a hipótese, modifiquem seus comportamentos (positivamente ou negativamente), mas de forma diferente do comportamento normal, afetando o resultado real.

6.6 Análise das Ameaças à Validade do Experimento 169

– Seleção: há o risco dos participantes não representem, significativamente, a po- pulação de interesse para o experimento, uma vez que os profissionais que se voluntariaram para participar do experimento são uma pequena parcela da popu- lação total de professores e tutores (nacionais e internacionais). Isso pode limitar a generalização dos efeitos identificados no experimento.

– Ambiente: o fato de termos utilizado dados e recursos pertencentes ao ambiente de aprendizagem MeuTutor, pode limitar a generalização dos nossos resultados.

• Ameaças à Validade Conclusão

– Baixo poder estatístico: uma vez que a amostra pode ter sido pequena, isso pode afetar as nossas conclusões ou, ainda, a amostra pode não conter indivíduos re- presentativos da população.

– Confiabilidade das métricas: apesar de a maior parte das métricas serem funda- mentadas no Modelo de Aceitação da Tecnologia (utilizado em diversas publi- cações), pode haver algum conflito ou falha nas métricas. Isso pode invalidar as conclusões.

Capítulo 7

Resultados

”Eu não falhei. Encontrei 10000 maneiras que não funcionavam.”

Thomas A. Edison

Neste capítulo, serão apresentados e discutidos os resultados do experimento. Os resultados serão apresentados com base nas hipóteses descritas nos capítulos 5 e ref- chap:designExperimento2.

7.1

Resumo Geral dos Experimentos

Nesta tese foram realizados 2 experimentos com o objetivo de (1) avaliar o processo criado (vide capítulo 5) e (2) avaliar a solução de autoria proposta (vide capítulo 6).

No primeiro experimento, contamos com 36 participantes efetivos (estudantes). O obje- tivo foi o de avaliar o impacto nas interações (quantidade) dos estudantes com o ambiente de aprendizagem, após os mesmos receberem recomendações pedagógicas personalizadas seguindo o PTDP. A nova contagem das interações foi comparada com o período anterior onde os estudantes recebiam recomendações geradas de forma automática pelo ambiente estudado.

No segundo experimento, contamos com 175 participantes (professores e tutores). O objetivo foi o de avaliar as interfaces de autoria da solução proposta nesta tese (T-Partner), bem como avaliar se os participantes conseguiam criar uma cápsula de decisão pedagógica