5.3
Aplicação do MAC no Bipide
Como a aplicação do MAC no Bipide ocorreu após a avaliação do VCalc e do ProfesSort, realizou-se este estudo com a finalidade de verificar a aplicabilidade do MAC em um sistema de visualização e se surgiria alguma nova situação específica para este tipo de sistema. A seguir é feito o detalhamento da inspeção do MAC no sistema de apoio ao aprendizado Bipide.
5.3.1
Preparação e Execução do Teste
A preparação consistiu em definir o objetivo da avaliação, analisar a metacomunicação do projetista para o usuário para comunicar o funcionamento do hardware ao exe- cutar um programa. Para a definição das partes do sistema a serem inspecionadas, considerou-se simulação de processadores e a parte que envolve os conceitos de lógica programação, isto é, as mesmas partes selecionadas para a aplicação do MIS (ver seção 4.5.3).
Nesta etapa também elaborou-se todo o material para aplicação do MAC (roteiros - de observação do teste e das entrevistas pré e pós-teste, termo de consentimento, tare- fas, formulário de acompanhamento do teste, uma tabela com os principais comandos do Bipide), conforme pode-se observar no anexo F. O seguinte cenário também foi gerado:
Você é aluno da disciplina de Arquitetura e Organização de Computadores (AOC). Você tem conhecimento em lógica de programação e está estudando sobre o funcionamento do hardware ao executar um programa. Seu profes- sor lhe apresentou o programa Bipide, a fim de auxiliá-lo no aprendizado do processo que o hardware faz para executar um programa. Como o professor falou que você poderia usar o Bipide para escrever códigos na linguagem por- tugol e simular o funcionamento do hardware ao executar este código, você resolve usá-lo para tirar eventuais dúvidas que apareçam e assim consolidar seu aprendizado.
O Bipide é um programa que tem como foco a visualização de um código na linguagem Portugol. Conforme apresentado na seção 5.3.1, a primeira tarefa consistia no aluno criar um programa usando a linguagem Portugol. Como é desejável que as tarefas sejam independentes, para situações em que o aluno não consegue (ou desiste de) realizar uma tarefa, ele possa realizar a outra. Assim, a segunda tarefa do Bipide
consistia no aluno simular um código em Portugol e verificar como o hardware pro- cessa este código. Este código foi dado na tarefa (ver anexo F) e o aluno precisava apenas digitá-lo, justamente pensando na situação em que o aluno tivesse dificuldade de realizar a primeira tarefa.
Para avaliar o material gerado para aplicação dos testes no sistema Bipide, realizou-se um teste piloto. O participante convidado, assim como os demais usuários, era aluno do curso de Sistemas de Informação do DCC/UFMG e na época cursava a disciplina AOC. Vale ressaltar que este participante foi convidado por ter um perfil similar aos demais alunos que fariam o teste e também por ele conhecer o MAC e já ter participado da aplicação deste método em outras avaliações do domínio educa- cional. Com isso, após a execução do teste ela discutiu com a avaliadora o material, contribuindo para que mudanças significativas fossem feitas no material gerado.
Dentre as principais mudanças ocorridas, destacam-se a elaboração de questões específicas sobre a parte de simulação de algoritmo do Bipide. Essas questões foram inseridas como parte da entrevista pós-teste para complementar a etiquetagem e po- dem ser vistas no anexo F. Como a parte de simulação de algoritmo no Bipide, alvo desta avaliação, é basicamente uma visualização e não requer interação do aluno com o sistema (exceto para alteração da velocidade da simulação) não se esperava que sur- gissem rupturas nesta parte. Isto se deve ao fato dos conceitos de AOC abordados pelo sistema serem apenas visuais, ou seja, uma simulação apresentava como o hard- ware se comportava para armazenar as instruções do código na linguagem Portugol. Ainda assim, queríamos avaliar se questões sobre o aprendizado (i.e. rupturas sobre o conteúdo) aconteciam, mesmo que o aluno não tivesse a oportunidade de expressá-la através do sistema. Como veremos na análise da avaliação feita, de fato as questões atingiram seu objetivo.
Finalizado o material de aplicação do MAC, realizou-se a avaliação do sistema Bipide. A avaliação desta ferramenta foi conduzida, no segundo semestre de 2009, pela autora que aplicava o MAC pela terceira vez. Participaram da avaliação 7 (alunos) alunos, sendo 6 (seis) do sexo masculino e 1 (um) do sexo feminino, na faixa etária de 20 a 29 anos. Dos 6 alunos, somente um deles não tinha experiência com sistemas de apoio ao aprendizado.
Dos sete participantes, dois tiveram o teste invalidado para a análise. O teste do P1 foi descartado pelo fato dele, por problema de horário, ter feito as tarefas em dias distintos, o que poderia impactar na realização da segunda tarefa. O teste do P7 foi desconsiderado, pois ele, no momento de salvar o vídeo da segunda tarefa, sobrescreveu o vídeo da tarefa 1. Como ele já havia interagido com o sistema, não lhe foi permitido fazer a tarefa 1 novamente.
5.3. Aplicação do MAC no Bipide 89
5.3.2
Análise dos Dados
Finalizada a execução dos testes, o avaliador fez a etiquetagem dos vídeos dos cinco participantes. A etiquetagem completa dos vídeos gerados pelos participantes no teste do Bipide encontra-se no anexo G. A avaliação do Bipide apontou uma situação nova, o que enriqueceu a nossa discussão sobre a aplicabilidade do MAC para o domínio educacional. A seguir, são listados os problemas identificados nesta análise.
A etiquetagem do MAC no sistema Bipide permitiu distinguir rupturas rela- cionadas à interação e ao conteúdo. No entanto, ao iniciar a etiquetagem, a ocorrência de uma sequência de rupturas na primeira tarefa, que consistia em escrever um código na linguagem Portugol, chamou a atenção da avaliadora. Dos cinco participantes, quatro tiveram um número considerável de rupturas Epa!, Porque não funciona? e Socorro! (em média 13 rupturas por participante). Esta sequência de rupturas se deve a um erro de sintaxe presente na ajuda do Bipide, anteriormente observado com a aplicação do MIS (ver seção 4.5.3).
As linguagens de programação comumente ensinadas nas disciplinas de progra- mação do DCC/UFMG são Pascal e C [Ziviani, 2004]. Por isso, os alunos que partici- param da avaliação não tinham conhecimento da linguagem Portugol. No entanto, para realizar a primeira tarefa, eles precisavam conhecer a sintaxe desta linguagem. Com a finalidade de auxiliar os alunos na escrita deste código, foi elaborada uma tabela com os principais comandos e sintaxe da linguagem Portugol. Além disso, na ajuda do Bipide há informações sobre a sintaxe desta linguagem.
Todos os participantes, ao iniciarem a primeira tarefa, recorriam imediatamente à ajuda, para saber como é a sintaxe do Portugol. Esta consulta ao signos metalinguísti- cos foi etiquetada como Socorro! para a interação, pois os alunos tinham conhecimento da lógica de programação, mas não sabiam como escrever o código usando Portugol. Apoiados pelo help eles criavam o código solicitado corretamente, do ponto de vista da lógica de programação. Entretanto, ao simular este código, o Bipide apresentava um erro de sintaxe, conforme apresentado na figura 4.13. Após esta mensagem de erro, o aluno tentava corrigir o código e com isso, gerava novas rupturas de interação do tipo Epa!, seguidas de Porque não funciona?.
A ruptura etiquetada como Socorro! revelou um aspecto importante a ser con- siderado em relação à comunicabilidade de um sistema de apoio ao aprendizado: men- sagens de erro pouco informativas. A carência de mensagens informativas de qualidade neste domínio podem contribuir para um uso ineficiente dos sistemas educacionais ou mesmo impedir o seu uso pelo aluno. Esta situação foi observada na avaliação do Bipide, onde dois participantes, após várias tentativas sem sucesso, desistiram de con-
cluir a primeira tarefa. Na entrevista pós-teste, estes alunos foram questionados sobre o apoio oferecido pela ajuda e pelas mensagens. Ambos disseram que estes recursos não os apoiaram conforme esperado. Um deles disse: ...”A ajuda e as mensagens não eram tão específicas, poderiam ser mais elaboradas, com exemplo de código pronto. Pensando bem, a ajuda me confundiu.”. Assim, fornecer signos metalinguísticos de qualidade podem auxiliar a aprendizagem por parte do aluno, além de favorecer uma boa comunicabilidade do projetista com o aluno.
Nas duas situações em que os alunos desistiram de concluir a tarefa eles tiveram dificuldade de entender a metamensagem do projetista (ou educador) sendo comuni- cada através da interface do sistema. Neste caso, ficou claro que eles não entenderam como poderiam interagir com o sistema para escrever o código na linguagem Portugol. Do ponto de vista da EngSem isso é um problema grave, pois houve uma falha na comunicação do projetista para o aluno.
Um problema de interação identificado refere-se à parte de simulação. Nesta tela há muita informação e o aluno tem dificuldades de acompanhar plenamente as informações apresentadas. Todos os alunos, ao serem questionados sobre esta opção, relataram esta dificuldade. Para auxiliar este acompanhamento, o projetista inseriu a opção de velocidade, que permite controlar a velocidade da simulação. Entretanto, mesmo na opção muito lento, é difícil identificar tudo que está sendo mostrado na interface. O P3 chegou a comentar: “Se fosse mais lento, seria mais didático.”.
Outra questão identificada refere-se à parte de simulação (figura 4.3), na segunda tarefa, que simula o código em Portugol. Como esta tarefa era apenas de visualiza- ção, não foram identificadas rupturas de interação. Mas para certificar que os alunos entenderam a simulação, perguntas específicas desta parte foram feitas na entrevista pós-teste, conforme pode-se observar no anexo F. Nestas perguntas, somente dois par- ticipantes (P3 e P6) responderam corretamente todas as questões feitas, demonstrando domínio do conteúdo. Os demais tiveram dificuldade em responder algumas questões, e outras, não souberam responder.
Diferente dos outros sistemas avaliados (e.g. ProfesSort), na parte de simulação do Bipide o aluno não pode expressar para o sistema dúvidas que possam surgir durante a interação, ou mesmo demonstrar o seu entendimento sobre o conteúdo abordado por ele. Com isso, a avaliação do quanto o Bipide pode contribuir com a aprendizagem do aluno precisa ser feita fora do sistema. Para sistemas de visualização e simulação, como o Bipide, tem-se então uma limitação na aplicação do MAC, por não haver interação do usuário com o sistema. Como neste tipo de sistema o aluno não precisa interagir, não é possível identificar rupturas de interação, uma vez que elas não existem. Entretanto, o uso da entrevista pós-teste permitiu que se obtivesse uma visão dos alunos sobre