Métodos Existentes

Com o objetivo de identificar problemas de usabilidade e interatividade, e suas possíveis consequências para o domínio educacional, Freitas & Dutra [2009] realizaram um estudo de caso que tinha como objetivo investigar, por meio de teste com usuário baseado

2.1. Avaliações Envolvendo Alunos 11

em questionários, a opinião deles com relação aos ambientes virtuais de aprendizagem, Moodle e WebAula. Neste trabalho, os autores argumentam que, apesar da usabilidade não ser a questão mais importante em um ambiente educacional, ela pode determinar ou ser o estímulo inicial e continuado para o aluno na utilização do sistema. A avaliação realizada nos sistemas inspecionados encontrou problemas relacionados à usabilidade como: navegação, links, nome de categorias, pop-ups e procura. Entretanto, não foram considerados aspectos relacionados ao conteúdo do site, uma vez que o conteúdo dos cursos disponibilizados nos sistemas eram elaborados por equipes diferentes. Os cursos oferecidos pela WebAula eram elaborados por equipes multidisciplinares, enquanto os cursos oferecidos pelo Moodle tinham o conteúdo elaborado pelos professores das disciplinas.

Brush & Saye [2001] a fim de demonstrar os benefícios do uso de scaffolds no domínio educacional, realizaram um estudo de caso para apresentar os tipos de scaffolds embutidos em sistemas educacionais, como eles foram usados pelos alunos e quais apoios foram mais usados por eles. Os scaffolds embutidos no sistema avaliado foram conceitual (ajuda o aluno a determinar o que considerar na resolução de um problema) e metacognitivo (associa-se ao gerenciamento da aprendizagem individual do aluno).

Participaram do estudo 1 professor e 36 estudantes, divididos em grupos de 4 alunos. Na análise dos dados, utilizou-se o log do sistema, a fim de verificar quais apoios os alunos usaram. Para consolidar os resultados obtidos na análise dos logs, realizou-se uma entrevista com um membro de cada grupo. As perguntas referiam- se especificamente à percepção dos alunos quanto à eficácia dos apoios incluídos no sistema. O resultado do estudo indicou que alguns dos scaffolds demonstram-se mais eficientes que outros, devido à maior utilização pelos alunos. Observou-se que alguns scaffolds contribuíram para a realização das tarefas propostas, enquanto outros in- dicaram uma dificuldade por parte do aluno em integrar as informações fornecidas pelo sistema com o conhecimento prévio que ele possuía (ou não).

Iahad et al. [2004] apresentaram um estudo de caso feito a partir da avaliação de um teste online de múltipla escolha, num curso de e-commerce, por meio do paradigma de avaliação centrado no usuário. Este modelo consiste nas seguintes etapas: formular sentenças de intenção de resultados da aprendizagem, desenvolver/selecionar medidas de avaliação, criar experiências considerando o usuário, discutir e usar o resultado da avaliação para melhorar a aprendizagem. Esta avaliação baseou-se em critérios de fun- cionalidade e usabilidade. Baseado neste modelo, os usuários respondiam às questões do teste. O feedback consistia em fornecer ao usuário, apresentando links que expli- cavam a solução correta, para situações em que o aluno selecionava a resposta errada. Se acertava, o sistema emitia mensagens para motivá-lo. Após a realização do teste,

os usuários eram convidados a participar de uma avaliação do sistema. Porém, como não era obrigatório, apenas 47, dos 115 alunos que fizeram o teste, participaram da avaliação. A partir dessa avaliação foi possível obter indicadores de aprendizagem e interface. Em termos de aprendizagem, alguns alunos perceberam em que parte do conteúdo precisavam se dedicar mais. Sobre a interface, sugeriram alterações, princi- palmente com relação ao conteúdo (e.g. acrescentar mais explicações sobre a alternativa correta).

Rentróia-bonito et al. [2008] integraram um método empírico de avaliação de usa- bilidade testado com instrutores. Neste artigo, os autores enfatizam que uma condição básica para que sistemas de apoio ao aprendizado sejam usáveis é que o aluno seja ca- paz de concentrar-se no conteúdo, e não no sistema, o que demanda uma integração da avaliação centrada no usuário. Assim, as dimensões técnica e pedagógica, são desafios para a equipe de desenvolvimento. A proposta de avaliação consistiu no desenvolvi- mento de um protótipo do sistema para apoiar o processo de aprendizagem e avaliação baseada na experiência do usuário. Utilizou-se o método empírico de avaliação de usa- bilidade combinando avaliação técnica e teste com usuário, por meio do estudo de logs e indicadores de desempenho. Os alunos fizeram a avaliação de usabilidade a partir do preenchimento de um questionário. O resultado da pesquisa indicou que em sistemas de ensino a distância é mais adequado ir ao encontro das necessidades do processo ins- trucional e apoiar o comportamento e ação dos aprendizes. Com isso, a comunicação entre os envolvidos é crucial para uma aprendizagem efetiva.

Os trabalhos citados ressaltam a importância de se envolver o aluno no processo de avaliação de um sistema educacional, além de apontar para a necessidade de avaliar a aprendizagem do aluno envolvida no uso deste sistema [Zaharias, 2006; Lanzilotti et al., 2006; Iahad et al., 2004]. Nesse caso, permitir ao aluno errar pode ser importante para o seu processo de aprendizagem [Quintana et al., 2002] e analisar a eficiência com que um aluno conclui uma tarefa pode não ser uma medida adequada para este domínio [Masemola & De Villiers, 2006]. É importante que as interfaces educacionais façam sentido rapidamente, uma vez que o usuário poderá não fazer uso do sistema por um longo período de tempo. Elas também devem permitir ao aluno se concentrar na aprendizagem do conteúdo, ao invés de focar em aprender como usar o sistema [Zaharias et al., 2001]. Com isso, os tradicionais métodos de avaliação da qualidade de interface podem não ser suficientes e novos métodos (ou a adaptação dos métodos existentes) faz-se necessário para considerar as especificidades do domínio educacional [Jones et al., 1999; Squires & Preece, 1999; Quintana et al., 2001; Ardito et al., 2004; Hornbæk, 2006; Zaharias, 2006; Greenberg & Buxton, 2008].