Mudanças do Nihongo Kotoba Shiken Sugeridas e Implementadas

O experimento realizado para avaliar a eficiência do Nihongo Kotoba Shiken também fez parte do processo de construção dele, visto que durante a fase de experimentação, percebeu-se que algumas mudanças eram necessárias e elas foram implementadas. No entanto, é importante mencionar que apenas as mudanças que não iriam impactar muito no desempenho dos alunos nos testes foram concretizadas, para que os resultados do experimento não fossem afetados por elas.

Algumas das mudanças no Nihongo Kotoba Shiken vieram de opiniões e recomendações dos participantes e elas foram implementadas entre uma aplicação do exame e outra. O design do exame mudou em cada um dos dias do experimento, como mostra a Fig. 37. Após o 1º teste do NKS, três estudantes (A01, A13, A15) disseram que ler os kanji do teste estava sendo uma tarefa difícil, visto que o tamanho da fonte utilizada não estava muito boa. Sendo assim, no segundo dia de experimento o exame apresentou uma fonte maior e as questões estavam divididas em duas colunas para melhor visualização, como mostra a Fig. 37b. Segundo o que foi relatado após a aplicação do 2º teste do NKS, alguns alunos acreditaram que a mudança no design foi benéfica para o exame (A01, A04, A06, A18), porém outros (A02, A03, A05, A07, A10, A15) ainda não gostaram do design, informando que as áreas para selecionar as respostas estavam muito pequenas. A02 e A05 sugeriram uma nova interface onde as alternativas sejam clicáveis, como se fossem botões. A sugestão destes participantes fez com que o design do exame mudasse mais uma vez no 3º teste do NKS, com alternativas clicáveis como mostra a Fig. 37c. Este design do exame agradou todos os alunos, com exceção de (i) A03, que disse que como as alternativas estavam muito próximas, ficava difícil de entender a separação entre elas; (ii) e A16, que sugeriu que as alternativas estivessem em linhas separadas como no design do NKS apresentado no 2º teste. Sendo assim, as alternativas foram separadas, como apresentado na Fig. 24 deste trabalho.

Fig. 37 – Mudança no design do teste NKS, sendo: (A) design no 1º teste do NKS; (B) design no 2º teste do NKS ; e (C) design no 3º teste do NKS.

No 1º e 2º teste do NKS, os alunos estavam usando uma versão do exame onde caso eles não soubessem a resposta correta para alguma questão, eles deveriam marcar a opção “Não sei”. Porém, A19 sugeriu que além dessa, existisse uma nova opção chamada “Não lembro exatamente” de forma similar ao VKS e uma outra opção para o aluno preencher com alguma tradução que ele tenha em mente que não está nas alternativas, com o objetivo de analisar melhor os erros causados por confusão. Após uma conversa com A19, percebe-se que ela sentia que a opção “Não sei” era similar à categoria I do VKS, que indica que a pessoa nunca viu a palavra antes. Sendo assim, a opção “Não sei” no exame passou a ser “Não sei ou não me lembro”, integrando palavras nunca vistas ou apenas esquecidas. Também é importante mencionar uma

pequena mudança estética que a ferramenta apresentou desde após o 3º teste do NKS: junto à palavra alvo, existia um parênteses que dizia “Questão x de y” para indicar o progresso do participante no teste. Porém, visto que são apresentadas duas questões por palavra, omitiu-se o texto “Questão”.

Alguns alunos sugeriram mudanças no design dos testes do NKS: A07 propôs que o teste poderia ter uma interface mais fácil de visualizar como a do Kahoot! (Fig. 38), um app disponível nas plataformas Android e iOS21 _{onde é possível responder alguns quizzes sobre diversos}

assuntos (e.g., futebol e o meio ambiente); e A02 sugeriu que o exame também envolvesse figuras, que poderiam tornar a ferramenta mais propícia para auxiliar no estudo de japonês, não apenas ficar restrita à avaliação. Essas recomendações de design poderiam ser úteis para melhorar a experiência de realização dos testes para os estudantes e elas serão analisadas futuramente.

Fig. 38 – Exemplo de uma questão no aplicativo Kahoot!.

Alguns estudantes sugeriram que o exame apresentasse, de alguma forma, seus resultados. A06, A13 e A14 gostariam que o software informasse as respostas corretas após o estudante marcar sua resposta e A16 sugeriu que após um teste ser concluído fossem apresentadas as estatísticas do teste (e.g., número de questões erradas e acertadas). Essa recomendação deveria ser cuidadosamente estudada com o apoio de um professor da língua com a intenção de verificar se existiria algum impacto no desempenho dos alunos se seus resultados fossem divulgados.

Após o 3º teste do NKS, A17 informou que gostaria que o exame computadorizado não mostrasse o tempo restante para terminá-lo, visto que isso estava deixando-a nervosa. A mesma participante sugeriu um botão para voltar para uma questão anterior, assim como A18. Futuramente, será analisada a necessidade da visualização do tempo restante do exame, mas a adição desse botão é um assunto que ainda precisa ser visto com cuidado, pois essa mudança pode facilitar o exame de alguma forma, e.g., se um aluno tentou adivinhar a tradução correta de

21 _{Disponível em https://play.google.com/store/apps/details?id=no.mobitroll.kahoot.android&hl=en e}

uma palavra que ele não havia estudado ainda, foi para a próxima questão e viu que a tradução na verdade era de outro termo, ele poderia voltar atrás e mudar sua resposta, aumentando sua chance de adivinhar a resposta correta da primeira questão mesmo sem ter aprendido a palavra ainda.

Em uma entrevista realizada no último dia de avaliação, o professor das turmas participantes informou que a abordagem utilizada nos testes do experimento, que envolve utilizar todo o vocabulário do semestre, é apenas ideal para testes de nivelamento na língua e, segundo ele, aplicar um teste com muito vocabulário que o estudante desconhece pode assustar ou desmotivar o estudante. Segundo ele, em um contexto de aprendizado de vocabulário crescente como em sala de aula, seria melhor que cada teste apresentasse apenas o vocabulário que os estudantes já estudaram no livro e, há medida que os estudantes fossem aprendendo novas palavras, o teste fosse sendo incrementado. Essa sugestão poderia ter impacto nos resultados do NKS (e.g., se um aluno tirou 100% em um primeiro teste e 50% no segundo, seu desempenho caiu muito, mas isso pode ter ocorrido porque o segundo teste apresentou vocabulário novo que o primeiro não tinha), porém o professor informou que para ele é bem mais importante saber se seus alunos aprenderam ou não vocabulário que conhecer quantas palavras do livro seus alunos possuem proficiência durante o semestre. Sendo assim, essa abordagem será analisada e seu impacto será considerado em uma versão futura do Nihongo Kotoba Shiken. Outras recomendações sugeridas pelo professor foram relacionadas à visualização de resultados de uma turma e incluem: (i) ao analisar os resultados de um aluno para um teste específico, seria bom que as palavras que o aluno acertou, errou ou não soube a tradução ou escrita estivessem escritas em kanji ao invés de hiragana; (ii) não há muita necessidade de existir uma visualização em formato boxplot; e (iii) o gráfico que mostra os resultados dos alunos está confuso quando os resultados de uma turma grande são apresentados. Essas sugestões também serão analisadas futuramente.

6.3.5 Posição dos Participantes e Professor em Relação ao Exame