3 MÉTODOS DE AVALIAÇÃO DE SOFTWARE EDUCACIONAL 1 Introdução
3.9 Técnica de Inspeção da Conformidade Ergonômica de Software Educacional TICESE por Gamez (1998).
A técnica, segundo o autor, avalia a qualidade do software educacional, tanto nos aspectos pedagógicos como nos aspectos de conformidade ergonômica.
Na elaboração, o autor fez pesquisas bibliográficas nos assuntos Teorias da aprendizagem, Ergonomia de Interfaces Homem Computador (IHC), que nortearam os aspectos acima citados.
A técnica tomou como base os seguintes métodos de avaliação de qualidade de software educacional: de Campos 1994, o Ergolist (avaliação ergonômica de software), e o modelo de JIGSAW (Squires,1994).
O checklist da Técnica é composto de uma lista de duzentas e cinqüenta e nove questões, organizada por diferentes critérios e subcritérios.
O checklist avalia o pacote do software educacional, compreendendo os dados de identificação do produto, com seus objetivos pedagógicos e requisitos, e, ainda, a documentação dos manuais impressos, a ajuda on-line e as questões de condução.
3.9.1– Apresentação da TICESE.
A Técnica de Inspeção de Conformidade Ergonômica de Software Educacional - TICESE, foi desenvolvida no Labiutil - Laboratório de Utilizabilidade da Universidade Federal de Santa Catarina a partir do estudo de vários modelos, com a finalidade de apoiar o processo de avaliação de software educacional, quanto a qualidades e problemas ergonômicos. Buscou estabelecer integração entre os critérios ergonômicos (Bastien & Scapin, 1993) de inspeção de usabilidade de interfaces humano-computador com critérios pedagógicos para avaliação de software educacional.
Através das pesquisas bibliográficas foram introduzidos conhecimentos de heurísticas ergonômicas e pedagógicas. Os especialistas em usabilidade,
pedagogia e psicologia, além de pessoas com conhecimentos e prática de avaliação de software etucacional, foram consultados e opinaram sobre os checklists propostos pela TICESE.
O manual do avaliador divide-se em três seções: a seção 1 fornece instruções para a aplicação da técnica; a seção 2 fornece uma descrição detalhada dos critérios e subcritérios de avaliação, bem como justificativa de sua importância, e descreve a taxonomia clássica de software educacional; e a seção 3 apresenta o formulário de inspeção, que consiste em um checklist para orientar o utilizador da técnica para a tarefa de avaliação.
Para aplicar a ferramenta de inspeção ergonômica em produtos educacionais informatizados em ambiente escolar, os avaliadores devem ter alguma experiência na utilização de software educacional. Para se obter melhores resultados, a equipe de avaliadores deve ser multidisciplinar com um conhecimento básico em usabilidade, visto que a técnica possui um forte enfoque sobre as questões de usabilidade de dispositivos interativos.
Ela apresenta um conjunto específico de critérios de análise, baseado nas ciências cognitivas, ergonomia de software, psicologia da aprendizagem e pedagogia. Aos critérios estão associadas questões que visam orientar o(s) avaliador (es) na difícil tarefa de inspecionar as qualidades ergonômico- pedagógicas do software educacional.
Três módulos compõem a técnica: o de classificação, o de avaliação e o módulo de contextualização.
O Módulo de Classificação é introdutório. Tem o objetivo de determinar a modalidade de software educacional (tutorial, exercício e prática, simulador, jogos educacionais, hipermídias e outros), identificar a abordagem pedagógica
subjacente, (construtivista, behaviorista, construcionista, e outras) e por fim, identificar as habilidades cognitivas exigidas.
O Módulo de Avaliação é o principal módulo da técnica. Objetiva avaliar a conformidade do software educacional quanto aos padrões ergonômicos de qualidade e capacidade em auxiliar o aprendizado específico. Através desse módulo, verificam-se a utilidade e a usabilidade dos recursos pedagógicos e de apoio à aprendizagem utilizados. Esse módulo avalia, ainda, a facilidade de uso do sistema e dos materiais impressos que o acompanham.
Os critérios adotados para efetuar a inspeção foram desenvolvidos a partir de uma abordagem de convergência e de extensão dos critérios ergonômicos para interface de softwares em geral propostos por Scapin & Bastien (1993). O conjunto de critérios da TICESE é apresentado na seqüência deste tópico.
O último módulo da TICESE é o Módulo de Contextualização. Ele é complementar ao módulo anterior e visa auxiliar no processo de tomada de decisão sobre uma provável aquisição, mediante a adequabilidade do produto ao contexto específico da instituição. Isso porque a decisão sobre a aquisição do software não pode ser baseada unicamente na qualidade do produto em si, mas está fundamentada sob uma série de considerações que avaliam a pertinência e adequabilidade do uso do produto ao projeto pedagógico da instituição.
O processo de avaliação dá-se a partir da inspeção de conformidade com as recomendações ergonômicas. Para auxiliar esse processo, é fornecido ao avaliador um formulário de inspeção composto por um conjunto específico de questões. O avaliador, auxiliado pelas perguntas do formulário, inspeciona o
produto verificando a existência ou não dos atributos ergonômicos e pedagógicos considerados no checklist.
A TICESE propõe ainda a atribuição de peso às questões, solicitando que o avaliador pondere as questões mais importantes das menos importantes ou mesmo não aplicáveis. Os resultados da avaliação podem ser indicados de forma qualitativa, indicando os principais problemas que ferem as recomendações ergonômicas do produto, e/ou de forma quantitativa. A forma quantitativa dá-se pela ponderação geral dos resultados, podendo ser conseguida através da aplicação de uma fórmula matemática criada para tal fim. A análise dos resultados de forma quantitativa permite a construção de um gráfico para visualizar a posição de conformidade de cada critério de avaliação.
3.9.2 - Apresentação do Checklist Original analisado.
O formulário de inspeção (checklist anexo III-original) é extenso, composto por 259 questões e quatro alternativas para cada questão.
Os checklists foram divididos em três módulos para facilitar a sua aplicação. Os critérios de cada módulo estão descritos (abaixo) e o número de questões e as definições que compõem cada critério estão no anexo III.
3.9.3 - Resumo dos módulos
a) Avaliação da identificação: Tem como objetivo verificar a informação que é oferecida ao usuário com os dados específicos sobre o produto. É importante que estes dados sejam bem definidos na apresentação do
produto. A partir deles se tem suporte para a instalação do software através dos pré-requisitos técnicos. Quanto aos pré-requisitos pedagógicos, tanto os alunos como professor precisam conhecê-los para aplicá-los como ferramenta de auxílio educacional, além dos objetivos a que o software se destina, dando ênfase às habilidades que se pretende desenvolver. Abaixo estão descritos os critérios e o número de questões (para ver a redação das questões, consultar formulário de inspeção no checklist anexo III-original).
Critério 01 - Identificação do produto: 6 questões.
Critério 02 - Identificação dos Pré-Requisitos Técnicos: 3 questões. Critério 03-Identificação dos Pré-Requisitos Pedagógicos:3
questões.
Critério 04 - Identificação dos Objetivos Pedagógicos: 6 questões. b) Avaliação da Documentação: Verifica a qualidade da documentação
impressa, do software. Entende-se como sendo os manuais, ficha de descrição do produto e tudo quanto fizer parte do pacote de informação impressa. Segue abaixo, a relação de critérios da avaliação da documentação, bem como o número de questões que compõem cada critério (para ver a redação das questões, consultar o formulário de inspeção no anexo III).
Critério 01 - Presteza: 12 questões. Critério 02 - Legibilidade: 5 questões.
Critério 03 - Agrupamento de Itens: 4 questões. Critério 04 - Densidade Informacional: 4 questões. Critério 05 - Consistência: 3 questões.
Critério 06 - Significado dos Códigos e Denominações: 5 questões. c) Avaliação do Software: Abaixo está relação de critérios que compõem a
avaliação do produto com a quantidade de questões. Para ver a redação das questões, consultar o formulário de inspeção no anexo III. Critério 01 - Presteza: 11 questões.
Critério 02 - Qualidade das Opções de Ajuda: 10 questões. Critério 03 - Legibilidade: 19 questões.
Critério 04 - Agrupamento e Distinção por Formato: 9 questões. Critério 05 - Agrupamento e Distinção por Localização: 9 questões. Critério 06 - Feedback Imediato: 11 questões.
Critério 07 - Carga Informacional: 8 questões. Critério 08 - Concisão: 3 questões.
Critério 09 - Ações Mínimas: 6 questões.
Critério 10 - Densidade Informacional: 10 questões.
Critério 11 - Recursos de apoio à compreensão dos conteúdos: 18 questões.
Critério 12 - Flexibilidade: 11 questões.
Critério 13 - Consideração da Experiência do Utilizador: 10 questões.
Critério 14 - Ações explícitas do utilizador: 5 questões. Critério 15 - Controle do Utilizador: 8 questões.
Critério 16 - Correção de Erros: 11 questões.
Critério 17 - Qualidade das Mensagens de Erros: 11 questões. Critério 18 - Proteção Contra Erros: 10 questões.
Critério 20 - Homogeneidade: 6 questões.
Critério 21 - Significado dos Códigos e Denominações: 11 questões. Critério 22 - Compatibilidade: 3 questões.
3.9.4 – Considerações sobre a TICESE
O número excessivo de questões irá tornar cansativo o trabalho de avaliação. Uma análise da redação das questões revela que elas são, por vezes, muito longas e não muito claras. Os especialistas na educação ou professores que queiram avaliar um software educacional e não tenham conhecimentos na área de informática e usabilidade, terão dificuldades para aplicá-la, já que as questões trazem termos técnicos.
Outra dificuldade se refere ao tratamento dos resultados quantitativos. Depois de todos os cálculos realizados, o que eles significam exatamente?
3.10 Conclusão
A metodologia comumente utilizada para se fazer avaliação de software educacional tem sido por meio de checklists, isto é, um conjunto de questões específicas e preestabelecidas, que visam conduzir o processo de avaliação. Essas listas de verificação são constituídas de um conjunto de critérios e questões formuladas que visam auxiliar o processo de avaliação.
Os checklists são adotados pelos métodos acima citados como ferramentas para avaliação da qualidade de software educacional.
A vantagem dos checklists é que podem ser sistemáticos, com diversos aspectos de qualidade predefinidos, em alguns fáceis de aplicar e de baixo custo. Assim, diferentes avaliadores poderiam inspecionar os mesmos aspectos de qualidade do software e produzir laudos parecidos ou consistentes entre si.
Para Gamez (1998), se o objetivo de um software educacional é dar suporte à aprendizagem, claramente o seu design deve contemplar a preocupação em relação à maneira como os estudantes aprendem. Além disso, deve promover uma boa usabilidade de forma que a interação dos estudantes com o software seja o mais natural e intuitivo possível.
Segundo Squires (1994) (apud Gamez (1999)), pensar na aprendizagem e usabilidade como fatores independentes, conduz a uma avaliação superficial do software educacional.
Checklists deveriam permitir que um simples usuário de software educacional possa aplicá-los, e ter condições de decidir por qual produto é melhor para alcançar o seu objetivo. Para que isto tudo ocorra, é preciso intensificar a pesquisa, testar os checklist existentes e aperfeiçoá-los, desenvolvendo novos checklists que possam garantir a qualidade dos softwares educacionais. Este objetivo é perseguido no capítulo 4, que apresenta um estudo que visa melhorar as possibilidades da técnica TICESE, no que se refere às suas qualidades de sistematização.
4 ESTUDO DE CASO PARA ANÁLISE DOS DADOS DA APLICAÇÃO DA