Grande parte dos tradicionais métodos de avaliação de interface são baseados na ins- peção de especialistas em IHC. Esses métodos têm, sobretudo, um carácter formativo, uma vez que podem ser aplicadas por especialistas simulando o uso típico esperado do sistema, durante os estágios iniciais de um ciclo de design iterativo.
Estes métodos são classificados como analíticos (ou inspeção)2
e a avaliação é realizada com o objetivo de identificar problemas relacionados à qualidade de uso em uma interface existente, e analisar estes problemas.
Os métodos mais conhecidos deste grupo são: avaliação heurística [Nielsen & Molich, 1990], que envolve especialistas em usabilidade que tem como objetivo julgar os elementos presentes na interface, de acordo um conjunto de heurísticas baseado nos princípios de usabilidade. Percurso cognitivo [Wharton et al., 1994] que simula em detalhes o processo de realização de tarefas específicas, e visa determinar se os objetivos simulados pelo usuário podem levar a operações subseqüentes necessárias. Outras técnicas envolvendo especialistas são métodos de inspeção, de normas e uso de diretrizes que fornecem checklists, com uma referência para avaliar características da interface do software. Nesta seção, são apresentados alguns trabalhos realizados no domínio educacional utilizando estes métodos.
2.3.1
Novos Métodos
Lanzilotti et al. [2006] propuseram um novo método de avaliação específico para sis- temas de educação a distância, denominado e-Learning Systematic Evaluation (eLSE). Este método é composto por duas etapas: inicialmente, é feita uma inspeção por avali- adores experientes e, em seguida, são realizados testes com os alunos, como forma de validar o resultado obtido pelos especialistas.
Na primeira etapa, os avaliadores mais experientes (geralmente especialistas em IHC) elaboram as tarefas abstratas (AT) que descrevem as atividades a serem me- lhoradas durante a inspeção e identificam quais objetos e ações da aplicação devem ser analisados. A elaboração dessas tarefas é baseada em um framework que foca na qualidade de sistemas interativos para sistemas de educação à distância e visa prover o que é desejável para uma boa qualidade do sistema. Com as tarefas elaboradas, os avaliadores realizam a inspeção do sistema. O resultado de cada inspeção é comparado com o resultado da avaliação dos demais avaliadores. Quando há discrepâncias entre
2
Métodos de avaliação analíticos são aqueles nos quais os avaliadores inspecionam ou examinam aspectos de uma interface de usuário relacionados a qualidade de uso [Prates & Barbosa, 2003].
2.3. Avaliações Envolvendo Especialistas 17
o resultado da avaliação por inspeção, realizam-se testes com os alunos para validar os problemas encontrados pelos avaliadores.
Para validar a metodologia eLSE, selecionaram-se 73 (setenta e três) alunos de IHC, divididos em três grupos. Cada grupo realizou uma avaliação diferente: avali- ação heurística, think aloud e eLSE. Para validar o resultado obtido pelos 73 alunos especialistas, recrutaram-se 25 estudantes de cursos de computação para a aplicação de teste com usuário. Os resultados indicaram que a AT encontrou mais problemas que a avaliação heurística e o método think aloud. O resultado também revelou que as diferentes técnicas abordadas encontraram diferentes tipos de problemas. Os testes com estudantes e a inspeção heurística destacaram os problemas comuns a todos os sistemas interativos, enquanto a inspeção AT encontrou os problemas específicos do sistema de educação a distância. Com isso, esta pesquisa aponta para a necessidade e benefícios de se ter métodos que levam em consideração as especificidades do domínio. Triacca et al. [2004] propuseram um novo método de inspeção guiado por cenário (quando os avaliadores verificam a viabilidade das tarefas), que se baseia nos conceitos de perfil de aluno, modelo de aluno, cenário e atributos de usabilidade, com avaliação guiada por heurística (verifica a conformidade do sistema com um conjunto de princí- pios de usabilidade). Este método visa conduzir a validação centrada no aluno, podendo antecipar e justificar, analiticamente, as falhas de usabilidade, além de fornecer indi- cações para o redesign da interface inspecionada. Os autores argumentam que sem a compreensão clara da necessidade dos alunos e seus objetivos, é difícil executar a avaliação de usabilidade que visa fornecer resultados úteis e em profundidade. Com isso, o conhecimento do domínio e do contexto de uso da aplicação são fundamentais para auxiliar o avaliador na inspeção.
Neste contexto, o primeiro passo a ser feito é a identificação dos perfis de alunos do sistema e seus objetivos. Além disso, os alunos têm objetivos genéricos que gostariam ou que deveriam realizar por meio do sistema. Assim, os objetivos estão relacionadas com o conjunto dos objetivos gerais de aprendizagem do curso. Portanto, é possível associar um ou mais objetivos de alto nível para cada perfil de estudante, criando assim os elementos essenciais de um cenário de aluno. A partir da elaboração dos cenários, os avaliadores definem as tarefas a serem realizadas. Cabe a eles identificar os objetivos e as tarefas críticas que são importantes, conforme sua experiência de ensino. Finalmente, o resultado da definição de cenário é um conjunto estruturado de tarefas associado a cada perfil de aluno. Durante a execução das tarefas os avaliadores avaliam a eficácia e eficiência para concluir uma tarefa, e também são apoiados por heurísticas específicas para orientar a inspeção. Com isso, eles se concentram em aspectos como o conteúdo abordado, a eficácia da navegação e a clareza dos links.
2.3.2
Métodos Existentes
Tergan [1998] argumenta que a utilização de checklists para avaliação de sistemas edu- cacionais são adequadas e flexíveis por atender a diferentes propostas e intenção dos avaliadores. Checklists para avaliação de software consistem de uma lista de itens estru- turadas intuitivamente de acordo com algumas categorias (e.g. características técnicas, fundamentos pedagógicos). Entretanto o seu foco reside em questões técnicas, em vez de questões educacionais. Tergan [1998] fez uma revisão sobre avaliação de sistemas educacionais baseada em checklists e verificou que, quando baseado em critérios bem definidos, este tipo de avaliação pode ser um importante instrumento para projetistas no processo de avaliação formativa de um produto.
Ssemugabi & de Villiers [2007] argumentam que a usabilidade de ambientes edu- cacionais apresentam necessidades particulares, como aspectos pedagógicos e sobre a aprendizagem. Com isso, a avaliação deste tipo de ambiente requer critérios diferentes. Com o objetivo de analisar os resultados obtidos com dois métodos de avaliação de usabilidade, avaliação heurística (feito por especialistas) e teste de usabilidade (feito por usuários finais), os autores realizaram um estudo de caso em que aplicou-se ambos os métodos, em um mesmo sistema de e-learning.
Inicialmente, Ssemugabi & de Villiers [2007] definiram a questão de pesquisa, ge- raram um conjunto de heurísticas específicas para sistemas de e-learning baseado nos trabalhos de Nielsen & Molich [1990]; Squires & Preece [1999] (e outros), fizeram avali- ação com usuários finais por meio de questionário e entrevistas, realizaram a avaliação heurística e analisaram os dados para responder à questão de pesquisa. Esta questão de pesquisa tinha como finalidade comparar os problemas de usabilidade identificados pela avaliação heurística com os problemas identificados pelos usuários finais.
O conjunto de heurísticas gerados consistia de questões relacionadas à usabili- dade, critérios específicos para websites educacionais e aspectos sobre a aprendizagem do aluno. Numa análise quantitativa dos resultados, verificou-se que os especialistas identificaram setenta e sete por cento dos problemas enquanto os usuários finais, se- tenta e três por cento. Entretanto, cinquenta e um por cento dos problemas foram identificados por ambos os grupos. Assim, o resultado desta pesquisa enfatiza a im- portância da combinação de diferentes métodos de avaliação de usabilidade para o domínio educacional.
Tselios et al. [2008] argumentam que critérios tradicionais para avaliar a usabi- lidade de sistemas educacionais não são apropriados para este domínio. Os autores citam como exemplo a ocorrência do erro, que para o processo de aprendizagem leva o aluno à experimentar, assim os erros oferecem oportunidades de aprendizagem signi-
2.3. Avaliações Envolvendo Especialistas 19
ficativa. Portanto, para o contexto educacional, errar não necessariamente diminui o valor pedagógico do sistema. No domínio educacional é desejável que os sistemas sejam benéficos para os alunos, desde que contribuam para o processo de aprendizagem, e não simplesmente suporte a execução de tarefas.
Tselios et al. [2008] inicialmente classifica os sistemas educacionais em três classes de aprendizagem. (i) Primário, procuram envolver o aluno por meio de conteúdos e, eventualmente, proporciona percursos interessantes através do material. (ii) Se- cundário, a aprendizagem ocorre através da execução de atividades. (iii) Terciário, compreensão ocorre após um processo de reflexão constante com ênfase na cooperação e no diálogo. Em seguida, o autor contrasta estas classes com os possíveis métodos de avaliação que podem ser utilizados em cada uma delas, ou a combinação dos métodos.
Os autores ressaltam ainda que a combinação dos métodos de avaliação pode ser uma alternativa para enfrentar o desafio da dificuldade de se avaliar sistemas educa- cionais. Em um dos estudos realizados neste trabalho, verificou-se, por exemplo, que a avaliação heurística indicou falhas importantes na interface do sistema, tais como a terminologia utilizada, questões de adaptação ao procedimento de seleção de objetos e a qualidade do feedback. Entretanto, a avaliação dos aspectos dinâmicos da interação, como suporte ao usuário e fluidez na navegação, não puderam ser avaliados de forma confiável, sem a participação ativa dos estudantes. Assim, o objetivo dos métodos pro- postos é identificar as limitações do design de interação em ambientes de aprendizagem, demonstrando que a sua adaptação para o domínio educacional não deteriorará as pos- sibilidades de aprendizagem oferecidas pelo sistema. Embora a avaliação de usabilidade não certifique o resultado educacional de tais ambientes, uma interface intuitiva é uma condição obrigatória para uma boa experiência de aprendizado.
Os trabalhos apresentados demonstram a variedade de métodos existentes que permitem a avaliação do especialista em IHC. No entanto, na maioria dos trabalhos tem-se utilizado uma combinação desses métodos para avaliar o domínio educacional. Essa combinação tem demonstrado que diferentes técnicas são capazes de revelar pro- blemas diferentes, que não seriam descobertos apenas com a aplicação de um único método. Assim, os diferentes ambientes de aprendizagem impõem a necessidade de dife- rentes abordagens para a avaliação da interação com o aluno, o professor e o projetista.