5.2 Primeiro Experimento envolvendo o prot´ otipo do LSQuiz
5.2.4 An´ alise Final e Prepara¸c˜ ao do Pr´ oximo Experimento
5.2.2
Material e M´etodos
A metodologia deste experimento seguiu a recomenda¸c˜ao proposta por Rocha & Bara- nauskas (2003) [104], sendo implementada nas seguintes etapas: prepara¸c˜ao, introdu¸c˜ao, teste e sess˜ao final. A metodologia do experimento ´e apresentada a seguir:
• Prepara¸c˜ao: Nas aulas anteriores ao experimento, a docente identificou que a maioria
considerando-se que a turma possu´ıa 11 alunos, foram levados no dia do experimento alguns dispositivos extras (2 media tablets, 2 ipods e 1 smartphone) para serem empregados se necess´ario.
Como 10 dos 11 alunos presentes poss´uiam um dispositivo, foi necess´ario ceder apenas um dispositivo extra (media tablet) a este aluno. Com o intuito de otimizar o processo de acesso ao prot´otipo da ferramenta, os alunos j´a haviam sido cadastrados previamente no sistema, que foi inclusive utilizado parcialmente durante o semestre letivo como ferramenta de suporte ao ensino da disciplina. Entretanto, durante o acesso dos usu´arios, identificou-se que as senhas de alguns alunos n˜ao eram v´alidas, o que demandou um certo tempo de configura¸c˜oes adicionais (em torno de 15 minutos) para garantir o acesso de todos ao sistema.
• Introdu¸c˜ao: Nesta etapa foi apresentado aos alunos o objetivo deste experimento,
bem como informado que o teste visa avaliar o sistema e n˜ao os seus usu´arios. Os alunos assim teriam a liberdade de fazer qualquer tipo de observa¸c˜ao sobre o sistema, indicando, sem nenhum receio, problemas ou pontos a serem melhorados.
Ap´os as apresenta¸c˜oes iniciais, os alunos foram convidados a acessar o Moodle de produ¸c˜ao 1 , onde o prot´otipo do LSQuiz estava instalado, para responderem ao
question´ario proposto, composto de 5 quest˜oes associadas ao tema da disciplina.
• Teste: A primeira quest˜ao do question´ario, de posicionamento e localiza¸c˜ao dos alunos no mapa da classe, foi realizada simultaneamente por todos os alunos. J´a a docente da disciplina exibiu no projetor o posicionamento em tempo real do mapa da classe, conforme os alunos inseriam os dados no sistema.
Ap´os isso os alunos tiveram a liberdade de responder ao question´ario a seu pr´oprio passo, solicitando ajuda ao sistema ou aos colegas para responder as quest˜oes.
• Sess˜ao Final: Nesta etapa os alunos e docente receberam e responderam um for-
mul´ario de avalia¸c˜ao (ver Apˆendice E). Os dados, quantitativos e qualitativos obti- dos por meio dessas respostas, s˜ao discutidos nas se¸c˜oes 5.2.3 (discuss˜oes espec´ıficas) e 5.2.4 (an´alise geral) a seguir.
5.2.3
Discuss˜ao dos Resultados
Os resultados apresentados e discutidos nesta se¸c˜ao foram obtidos atrav´es da aplica¸c˜ao de um formul´ario aos alunos e docente, dispon´ıvel no Apˆendice E desta tese. Como forma
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 125
de facilitar o acesso `as respostas, as mesmas foram digitalizadas, estando dispon´ıveis no servidor do projeto2.
A- Tipo de dispositivo
Na Figura 5.1 ´e apresentada a distribui¸c˜ao dos tipos de dispositivos pelos alunos da sala, sendo 40% deles dispositivos m´oveis (media tablets ou smartphones).
Figura 5.1: Distribui¸c˜ao dos tipos de dispositivos pelos alunos da sala de aula
B- Localiza¸c˜ao em sala de aula
A avalia¸c˜ao quantitativa aponta que os alunos consideraram apenas parcialmente v´alida a afirma¸c˜ao de que ´e simples e f´acil informar ao sistema sua localiza¸c˜ao em sala de aula. Isso ocorreu pois os alunos tentaram determinar de forma precisa sua localiza¸c˜ao, sendo que o mapa da classe definido para a atividade continha um n´umero aproximado de carteiras, n˜ao correspondendo aos valores exatos encontrados na sala de aula.
Os dados da avalia¸c˜ao quantitativa a respeito da localiza¸c˜ao dos alunos s˜ao apresen- tados na Figura 5.2:
Figura 5.2: Resposta `a afirma¸c˜ao: Foi simples e pr´atico informar ao sistema minha loca- liza¸c˜ao na sala de aula.
J´a em rela¸c˜ao `a visualiza¸c˜ao do mapa da classe, nota-se pela Figura 5.3 que os alunos
concordam com a afirma¸c˜ao de que a representa¸c˜ao fornecida ´e coerente com a realidade:
Figura 5.3: Resposta a afirma¸c˜ao: O mapa da classe apresentou uma representa¸c˜ao correta de minha posi¸c˜ao e de meus colegas em sala de aula.
Na Tabela 5.5 s˜ao apresentados os problemas relatados pelos alunos na avalia¸c˜ao qualitativa deste t´opico:
Em rela¸c˜ao `a docente, sua opini˜ao indica que, na vis˜ao do professor neste caso, a visualiza¸c˜ao do mapa da classe foi realizada com sucesso, conforme apresentado na Tabela 5.6:
Atrav´es da an´alise dos dados das Figuras 5.2 e 5.3, e da Tabela 5.3, verificou-se que um dos pontos cr´ıticos do procedimento de localiza¸c˜ao foi a etapa onde os alunos deveriam informar ao sistema sua localiza¸c˜ao em sala de aula. Isso ocorreu pois os alunos esperavam um mapa da classe idˆentico ao real, ou seja, uma representa¸c˜ao exata da sala de aula, posi¸c˜ao por posi¸c˜ao.
Essa por´em n˜ao ´e a proposta da arquitetura, sendo que o objetivo ´e a determina¸c˜ao aproximada da localiza¸c˜ao dos alunos na sala de aula. Assim, busca-se permitir a iden- tifica¸c˜ao de proximidade entre os alunos atrav´es do uso de templates de sala de aula pr´e-definidos. Esse procedimento foi adotado para permitir a eventual ado¸c˜ao em larga escala da arquitetura, desobrigando assim o professor a construir, para cada sala de aula a ser utilizada, um mapa exato deste local.
Conforme explicam Rocha & Baranauskas [104], os ”modelos mentais s˜ao explicados pela Psicologia Cognitiva com respeito `a sua estrutura e fun¸c˜ao no racioc´ınio humano e linguagem (...) sendo acionados quando nos ´e referido fazer inferˆencias ou previs˜oes sobre determinado assunto. Em rela¸c˜ao ao usu´ario, ´e o modelo que o usu´ario desenvolve para entender e explicar a opera¸c˜ao do sistema.”
Desta forma, identificou-se uma discrepˆancia em rela¸c˜ao ao modelo conceitual do prot´otipo, criado para suportar a localiza¸c˜ao por aproxima¸c˜ao, e o modelo mental dos usu´arios, que esperavam poder utilizar o sistema associando sua exata localiza¸c˜ao ao
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 127
Tabela 5.5: Avalia¸c˜ao qualitativa dos alunos sobre o procedimento de localiza¸c˜ao em sala de aula
Problema Observa¸c˜oes
P1 - Informar localiza¸c˜ao - ”O cursor de localiza¸c˜ao foi um pouco confuso.” P2 - Visualiza¸c˜ao do Mapa da classe - ”O mapa n˜ao foi totalmente correto, pois tinham mais lugares na sala do que no sistema.” - ”A disposi¸c˜ao e n´umeros das cadeiras e fileiras foi diferente. Embora como haviam poucas pessoas, foi satisfat´orio.”
- ”Devido ao agrupamento ´unico das carteiras da sala que utiliz´avamos para responder o question´ario, fica dif´ıcil adaptar o mapa da classe no sistema `a posi¸c˜ao real dos alunos.”
- ”De uma forma geral a sala estava bem repre- sentada. Entretanto, a quantidade de lugares n˜ao corresponde `a realidade: no Sistema h´a me- nos lugares.”
Tabela 5.6: Opini˜ao da docente em rela¸c˜ao `a visualiza¸c˜ao do mapa da classe
Afirma¸c˜ao Classifica¸c˜ao do Docente O mapa da classe apresentou uma representa¸c˜ao correta
da posi¸c˜ao dos alunos em sala de aula.
Concordo Totalmente
Para cada aluno, no mapa da classe foi poss´ıvel identi- ficar seus dados pessoais (e.g nome e foto) e localiza¸c˜ao em sala de aula
mapa apresentado. Sendo que idealmente ambos os modelos deveriam convergir (Rocha & Baranauskas, 2003), com o intuito de aproxim´a-los foram propostas e implementadas as seguintes altera¸c˜oes no prot´otipo, conforme indicado na Tabela 5.7:
Tabela 5.7: Altera¸c˜oes realizadas no prot´otipo para solucionar os problemas apontados nesta etapa
Problema Associado Descri¸c˜ao das Solu¸c˜oes Adotadas
P1 - P2 Mudan¸ca na forma como as figuras do mapa da classe s˜ao cons- tru´ıdas, criando-se pequenas regi˜oes onde o aluno deve posicio- nar sua caixa de sele¸c˜ao, diminuindo-se assim propositalmente a precis˜ao desse procedimento.
P2 Adi¸c˜ao de um texto explicativo, informando que a localiza¸c˜ao do aluno deve ocorrer de maneira aproximada.
P2 Altera¸c˜ao do texto da caixa de sele¸c˜ao dos alunos, que passou a conter sempre a palavra aluno ao inv´es do nome do aluno, evitando assim que a caixa fique demasiadamente grande em determinadas circunstˆancias.
P2 Mudan¸ca na forma como as figuras do mapa da classe s˜ao cons- tru´ıdas, desfocando-se as carteiras de forma a evitar que os alu- nos busquem posicionar a caixa de sele¸c˜ao sobre um espa¸co es- pec´ıfico.
Os problemas indicados na Tabela 5.7, bem como os demais problemas identificados nas pr´oximas se¸c˜oes, foram agrupados num conjunto de diretrizes de mudan¸cas para o LSQuiz, conforme apresentado na Tabela 5.15. Essas altera¸c˜oes ser˜ao validadas em um experimento futuro, indicado no Cap´ıtulo 6, se¸c˜ao 6.4.
Apesar dos problemas discutidos acima, a avalia¸c˜ao dessa etapa foi bastante positiva, sendo que os alunos e professor foram capazes de identificar corretamente sua localiza¸c˜ao no sistema.
C- Recebimento, Visualiza¸c˜ao e Resolu¸c˜ao das Quest˜oes
Na Figura 5.4 ´e indicada a resposta dos alunos em rela¸c˜ao ao procedimento de recebi- mento e visualiza¸c˜ao das quest˜oes:
J´a a Figura 5.5 aponta as respostas em rela¸c˜ao ao tipo de intera¸c˜ao, de acordo com o dispositivo utilizado:
Na Tabela 5.8 s˜ao apresentados os problemas relatados pelos alunos na avalia¸c˜ao qualitativa deste t´opico:
Os dados quantitativos obtidos na se¸c˜ao anterior indicam que de um modo geral os alunos tiveram uma boa experiˆencia em rela¸c˜ao ao recebimento, visualiza¸c˜ao e resolu¸c˜ao das quest˜oes. Por sua vez, os dados qualitativos apontam alguns problemas ocorridos,
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 129
Figura 5.4: Resposta `a afirma¸c˜ao: Foi poss´ıvel receber e visualizar corretamente as ativi- dades no dispositivo utilizado.
Figura 5.5: Resposta `a afirma¸c˜ao: O processo de intera¸c˜ao dispon´ıvel e suportado pelo dispositivo (touch, caneta eletrˆonica ou mouse e teclado) foi adequado para resolver a atividade
sendo o mais grave uma falha (bug) interno do sistema Moodle (problema P3 da Ta- bela 5.15), ocorrido na resolu¸c˜ao da 3a quest˜ao, impedindo que alguns alunos pudessem
continuar respondendo o question´ario.
Outro problema identificado (problema P4 da Tabela 5.5) foi, ap´os a resolu¸c˜ao do question´ario, a ausˆencia da exibi¸c˜ao da tabela indicativa das notas das quest˜oes. Esse problema ocorreu apenas com os dispositivos m´oveis, e ´e oriundo do tema bootstrap, customizado especialmente para esses dispositivos (ver Apˆendice D, se¸c˜ao D.4). Sendo que este tema foi customizado para permitir apenas a exibi¸c˜ao de informa¸c˜oes essenciais do question´ario, foram removidas informa¸c˜oes consideradas sup´erfluas, incluindo-se assim equivocadamente esta tabela de notas.
Assim, a partir dessa an´alise, foram propostas solu¸c˜oes para os problemas encontrados, conforme apresentado na Tabela 5.9:
Tabela 5.8: Avalia¸c˜ao qualitativa dos alunos sobre o procedimento de recebimento, visu- aliza¸c˜ao e resolu¸c˜ao das quest˜oes
Problema Observa¸c˜oes
P3 - Erro (Bug) - ”N˜ao foi poss´ıvel receber e visualizar corretamente as atividades do dispositivo utilizado atrav´es do meu iPad (e nem atrav´es do iPhone), um vez que o sistema travou, indicando erro n˜ao detectado que deve ser corrigido pelo programador.”
- ”Na tentativa de responder a 3a quest˜ao de um question´ario houve
uma falha, me impossibilitando de continuar a atividade.”
P4 - Visualiza¸c˜ao - Como utilizei um iPad, ao final do question´ario n˜ao pude visualizar o resumo do meu desempenho.
Tabela 5.9: Altera¸c˜oes realizadas no prot´otipo para solucionar os problemas apontados nesta etapa
Problema Associado Descri¸c˜ao da Solu¸c˜ao Adotada
P3 Identifica¸c˜ao da origem e resolu¸c˜ao do bug.
P4 No tema para dispositivos m´oveis, realiza¸c˜ao da adi¸c˜ao, ao final do question´ario, da tabela indicativa das notas das quest˜oes.
D- Solicita¸c˜ao de Ajuda para Colegas
Esta se¸c˜ao do formul´ario apenas foi preenchida pelos alunos que participaram do pro- cesso de ajuda (ajudando ou solicitando aux´ılio). Ap´os o aluno solicitante acionar o bot˜ao Solicitar Ajuda, o sistema seleciona a partir de crit´erios como afinidade e proximidade o aluno mais indicado para auxili´a-lo. Este aluno recebe ent˜ao uma mensagem informativa, contendo o mapa da classe com a foto e a localiza¸c˜ao do aluno solicitante. A Figura 5.6 apresenta a opini˜ao dos alunos em rela¸c˜ao a essa indica¸c˜ao de localiza¸c˜ao:
Assim, conforme indicado na Figura 5.6, a maior parte dos alunos considerou positivo este processo de localiza¸c˜ao, em espec´ıfico a forma como o sistema indicou a localiza¸c˜ao do colega em sala de aula. Por sua vez, na Figura 5.7 ´e indicada a opini˜ao dos alunos a respeito da facilidade de deslocamento at´e o local ocupado pelo aluno solicitante:
No caso da Figura 5.7, os alunos indicaram que n˜ao houve problemas no deslocamento durante o procedimento de ajuda. J´a a Figura 5.8 apresenta a opini˜ao dos alunos em rela¸c˜ao ao procedimento de qualifica¸c˜ao dos colegas:
Em rela¸c˜ao `a Figura 5.8, a avalia¸c˜ao quantitativa tamb´em foi positiva, indicando que a maior parte dos alunos aprovou o procedimento de qualifica¸c˜ao atrav´es do bot˜ao like. Por sua vez, na Figura 5.9 ´e apresentada a opini˜ao dos alunos a respeito da importˆancia do procedimento de ajuda em rela¸c˜ao `a d´uvida ou dificuldade originais:
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 131
Figura 5.6: Resposta dos alunos `a afirma¸c˜ao: O sistema indicou corretamente o local onde meu colega estava sentado.
Figura 5.7: Resposta dos alunos `a afirma¸c˜ao: O deslocamento at´e o local ocupado pelo meu colega ocorreu de forma tranquila.
Figura 5.8: Resposta dos alunos `a afirma¸c˜ao: O procedimento de qualifica¸c˜ao do processo de ajuda, atrav´es dos bot˜oes Like, foi simples e claro de ser realizado
Por fim, na Figura 5.10 ´e exibida a opini˜ao dos alunos a respeito da importˆancia de se ter a funcionalidade de solicita¸c˜ao de ajuda a colegas dispon´ıvel durante a resolu¸c˜ao de um question´ario:
Figura 5.9: Resposta `a afirma¸c˜ao: O procedimento de ajuda foi importante para me ajudar a resolver a dificuldade ou d´uvida em rela¸c˜ao `a atividade proposta.
Figura 5.10: Resposta dos alunos `a afirma¸c˜ao: De um modo geral, considero positiva a possibilidade de solicitar aux´ılio aos colegas para resolver uma atividade.
Como pode ser visto na Figura 5.10, houve uma avalia¸c˜ao positiva em rela¸c˜ao `a aprova¸c˜ao da possibilidade do processo colaborativo como um todo, ou seja, os alunos participantes consideram positiva a possibilidade de solicitar ou receber ajuda de colegas durante a resolu¸c˜ao de atividades.
J´a a na Tabela 5.10 s˜ao apresentadas as opini˜oes relatadas pelos alunos na avalia¸c˜ao qualitativa deste t´opico:
Por sua vez, a docente apontou a quest˜ao de travamento como um dos aspectos nega- tivos do procedimento de ajuda. A Tabela 5.11 indica sua opini˜ao a respeito do eventual benef´ıcio do processo de ajuda para o aprendizado do conte´udo e sobre a movimenta¸c˜ao dos alunos nesse procedimento:
Os dados quantitativos relatados na se¸c˜ao anterior indicam uma boa aceita¸c˜ao dos alunos em rela¸c˜ao `as etapas do procedimento de solicita¸c˜ao de ajuda, como localiza¸c˜ao dos colegas, deslocamento e qualifica¸c˜ao. Ainda, foi unˆanime a avalia¸c˜ao a respeito da importˆancia e relevˆancia desse procedimento, embora n˜ao seja poss´ıvel quantificar neste momento seu impacto educacional.
J´a na avalia¸c˜ao qualitativa foram obtidas algumas sugest˜oes dos alunos, como a pos- sibilidade de comunica¸c˜ao via chat no sistema. Ainda, foi identificado um bug (problema
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 133
Tabela 5.10: Avalia¸c˜ao qualitativa dos alunos sobre o procedimento de solicita¸c˜ao de ajuda aos colegas
Problema ou Sugest˜ao Observa¸c˜oes dos Alunos
P5 - Erro (Bug) ”Solicitei ajuda a uma aluna, porem a mesma estava des- logada e o sistema considerou como se n˜ao tivesse solici- tado nenhuma ajuda.”
Sugest˜ao ”Sugiro que possa ser escolhida a pessoa para ajudar, e criar uma esp´ecie de bate-papo para tirar as d´uvidas, sem necessariamente ir at´e a mesa do aluno.
P6 - Problema no algoritmo ”Na quest˜ao da ajuda, mesmo tendo pedido ajuda e n˜ao curtido 4 vezes da mesma pessoa, o sistema continua pedindo ajuda ao mesmo colega.”
Tabela 5.11: Opini˜ao da docente a respeito do procedimento de solicita¸c˜ao de ajuda
Afirma¸c˜ao Classifica¸c˜ao da Docente Acredito que esse procedimento de soli-
cita¸c˜ao de ajuda a um colega foi ben´efico para o aprendizado do conte´udo proposto.
Indiferente
O processo f´ısico associado a essa solicita¸c˜ao (movimenta¸c˜ao em sala de aula, troca de lu- gares, etc) ocorreu de forma r´apida e tran- quila.
P5 da Tabela 5.7), que ocorre quando o aluno que recebe a solicita¸c˜ao de ajuda por algum motivo n˜ao a responde - ou por realmente n˜ao desejar ajudar ou porque n˜ao est´a mais com acesso ao sistema.
Neste caso espec´ıfico relatado no problema P5, o aluno que recebeu a solicita¸c˜ao estava com dificuldade de acesso devido ao bug relatado no problema P3. Por fim, houve ainda a considera¸c˜ao feita por um aluno, descrita no problema P6, de que sempre um mesmo colega era determinado pelo sistema para lhe ajudar, independentemente das sucessivas avalia¸c˜oes negativas por ele feitas. Apesar de n˜ao terem anotado no formul´ario de ava- lia¸c˜ao, essa situa¸c˜ao foi apontada verbalmente ao professor por outros alunos no dia do experimento.
Esse problema ocorre justamente porque o algoritmo inicialmente desenvolvido para esta etapa, atribui um peso muito grande `a localiza¸c˜ao do aluno, em detrimento da afi- nidade constru´ıda em rela¸c˜ao aos estudantes. Assim, essas coloca¸c˜oes motivaram uma altera¸c˜ao no algoritmo, conforme descrito no problema P6.
Na Tabela 5.12 ´e apresentado um resumo dos problemas e das solu¸c˜oes adotadas para o pr´oximo experimento:
Tabela 5.12: Altera¸c˜oes realizadas no prot´otipo para solucionar os problemas apontados nesta etapa
Problema Associado Descri¸c˜ao das solu¸c˜oes a serem adotada no pr´oximo experimento P5 a) Resolu¸c˜ao do bug que faz com que os alunos percam acesso `a
ferramenta.
b)Adi¸c˜ao de um bot˜ao cancelar solicita¸c˜ao, liberando os alunos envolvidos do processo colaborativo.
P6 Altera¸c˜ao do c´alculo utilizado para determinar qual aluno ser´a escolhido para realizar a ajuda, ampliando-se o peso da afinidade (Fator de Afinidade, FA) em detrimento da distˆancia entre os alunos.
E- Solicita¸c˜ao de Ajuda ao Sistema (dicas)
Como forma de otimizar o espa¸co aqui utilizado, a Figura 5.11 mostra as respostas obtidas (idˆenticas) dos alunos em rela¸c˜ao a 3 afirma¸c˜oes feitas no formul´ario:
a) Foi poss´ıvel visualizar corretamente a dica no dispositivo utilizado. b) A visualiza¸c˜ao da dica contribuiu para a resolu¸c˜ao do exerc´ıcio. c) A visualiza¸c˜ao da dica contribuiu para melhorar seu aprendizado.
De um modo geral, conforme ilustrado na Figura 5.11, houve uma grande aceita¸c˜ao em rela¸c˜ao `a possibilidade de visualiza¸c˜ao de dicas durante a resolu¸c˜ao dos exerc´ıcios. J´a na Figura 5.12 ´e exibida a opini˜ao dos alunos em rela¸c˜ao `a sua preferˆencia, ou n˜ao, em
5.2. Primeiro Experimento envolvendo o prot´otipo do LSQuiz 135
Figura 5.11: Resposta `as afirma¸c˜oes sobre visualiza¸c˜ao de dicas
resolver exerc´ıcios que possuam dicas associadas:
Figura 5.12: Resposta `a afirma¸c˜ao: ´E prefer´ıvel resolver um exerc´ıcio com uma dica associada do que um que n˜ao possua dica.
Atrav´es da an´alise das Figuras 5.11 e 5.12, ´e poss´ıvel afirmar-se que os alunos fo- ram muito receptivos ao uso de dicas durante os question´arios, considerando que elas contribuem tanto para a resolu¸c˜ao dos exerc´ıcios como para o processo de aprendizado. Al´em disso, caso seja poss´ıvel escolher, os alunos preferem exerc´ıcios que possuam dicas associadas
F- Geral sobre o uso do Prot´otipo
Em sua ´ultima parte, o formul´ario de avalia¸c˜ao apresenta afirma¸c˜oes associadas ao uso geral do prot´otipo, `a satisfa¸c˜ao e `a motiva¸c˜ao dos usu´arios. Assim, a Figura 5.13 apresenta a opini˜ao dos alunos em rela¸c˜ao `a fixa¸c˜ao do conte´udo, quando comparado `a