João Pedro Boavida
† ‡Gonçalo Carito
‡Rui Costa
‡† Departamento de Matemática, Instituto Superior Técnico, Universidade de Lisboa [email protected] ‡ IEEE Academic [email protected] [email protected] [email protected] Resumo
A utilização de vídeos académicos reflete o calendário de avaliação e da discussão das matérias. Nesta comunicação, partilhamos como combinámos vídeos e perguntas eletrónicas para promover o estudo independente.
Essa combinação foi experimentada e afinada em cinco semestres de 2012 a 2015, em Análise Complexa e Equações Diferenciais (ACED), sempre para as quatro licenciaturas oferecidas no polo do Instituto Superior Técnico (IST) no Taguspark. ACED é uma unidade curricular de 2º ano, comum a quase todas as licenciaturas do IST, e segue-se a Cálculo Diferencial e Integral II. Em cada semestre, havia 100 a 300 inscritos, que se distribuíam por uma turma teórica e 4 a 6 turmas práticas.
Um dos autores, enquanto aluno nesse campus, criou com colegas (incluindo um dos outros autores) um projeto piloto em que alunos e professores trabalham em conjunto para criar vídeos pedagógicos. O outro autor foi o regente de ACED nesses cinco semestres (para esses cursos), vinha usando perguntas eletrónicas, e foi recrutado como um dos autores de vídeos.
Os objetivos para os vídeos eram documentar tópicos importantes, responder a dúvidas frequentes, e ter materiais adaptados às aulas (incluindo serem no mesmo idioma). Os objetivos do projeto incluíam ainda facilitar a utilização noutras escolas, permitir aos autores (docentes, ou alunos apoiados por docentes) focar-se no conteúdo, e dar aos alunos nas equipas experiência de trabalho multimedia e de liderança. Optou-se por vídeos de cerca de 10 minutos, para facilitar consulta e reutilização. A avaliação foi feita retrospetivamente com base nas visualizações dos vídeos, e com base na participação nos horários de dúvidas.
Os objetivos para as perguntas eletrónicas eram permitir ciclos de feedback bastante rápidos, incentivar (sem tornar obrigatório) o estudo regular, detetar dificuldades generalizadas em tempo útil, alinhar as tarefas executadas durante o estudo regular com a avaliação sumativa, e permitir manter toda a turma a par dos resultados coletivos. Houve cerca de duas perguntas por entrega (com enunciados diferentes para cada aluno e entre semestres) e cerca de duas entregas por semana. O sucesso foi avaliado de forma subjetiva, com base na natureza da participação e dúvidas dos alunos, nos resultados da avaliação, respostas a inquéritos regulares sobre a aprendizagem, e inquéritos no final de cada semestre sobre o impacto das estratégias implementadas.
142 J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 Os objetivos para a combinação dos vídeos com as perguntas eletrónicas eram permitir que alguns tópicos não precisassem de ser discutidos durante as aulas, encorajando o seu estudo antecipado. A estratégia escolhida foi ter perguntas eletrónicas sobre esses tópicos, com entregas antes das aulas em que vão ser necessários.
Ao longo dos semestres consecutivos gravaram-se cerca de 80 vídeos com este docente, cobrindo a quase-totalidade do programa. À medida que iam sendo gravados, o docente foi gradualmente excluindo das aulas alguns tópicos e não notou qualquer impacto qualitativo na avaliação desses tópicos. A utilização dos horários de dúvidas diminuiu substancialmente (para menos de metade). Em cada semana as visualizações concentram-se nos vídeos relevantes para as aulas ou perguntas eletrónicas dessa semana. Mesmo uma inspeção superficial dos dados das visualizações permite identificar prontamente as datas dos testes e exames.
(O projeto piloto deu origem ao IEEE Academic, um projeto global apoiado pelo IEEE e no qual os autores desta comunicação continuam envolvidos.)
Neste comunicação, focamo-nos especificamente no impacto e interação entre os vídeos e perguntas eletrónicas. Discutimos ainda a transferibilidade destas práticas, incluindo limitações destas perguntas eletrónicas com base no domínio científico, potenciais dificuldades na criação das perguntas, alguns aspetos logísticos que podem ser úteis para outros docentes, dificuldades encontradas em coordenar as perguntas eletrónicas com o uso de materiais complementares (como vídeo), algumas sugestões sobre o conteúdo de vídeos, e estado corrente do IEEE Academic.
Palavras-Chave: Vídeos, Perguntas eletrónicas, Matemática, Estudo autónomo, Avaliação, IEEE Academic, Análise Complexa e Equações Diferenciais.
1 Contexto
Um dos aspetos mais importantes da aprendizagem é a prática repetida, seguida de feedback e correção dos erros. Iterações recentes desta ideia incluem a aprendizagem programada (meados do século passado) ou o peer-teaching (por exemplo, Mazur 1996). Mazur descreve aulas invertidas, em que os alunos são encorajados a usar materiais complementares de estudo fora das aulas, e o papel das aulas (e da avaliação contínua opcional) é detetar e corrigir modelos mentais errados. Da mesma forma, Muller (2008) conclui que os vídeos académicos mais úteis (pelo menos na aprendizagem da física) são aqueles que exploram e desmontam ativamente tais modelos. Apesar de tais vídeos serem vistos pelos estudantes como mais confusos, levam a uma melhor compreensão.
2 Descrição da prática pedagógica
O fio condutor da prática aqui descrita é autonomizar cada estudante, permitindo o esclarecimento de dúvidas sem envolvimento do docente, a deteção rápida de erros, e um estudo com menos interrupções e com ciclos rápidos de prática e feedback.
2.1 Objetivos e público-alvo
Análise Complexa e Equações Diferenciais (ACED) é uma unidade curricular de 2º ano, comum a quase todas as licenciaturas do Instituto Superior Técnico (IST), com Cálculo Diferencial e Integral II (CDI2) como pré-requisito. Além do semestre normal (1º semestre), é também oferecida no semestre alternativo (2º semestre), evitando aos alunos um maior atraso. ACED tem duas metades relativamente independentes, e é avaliada em dois testes, com possibilidade de repescagem em exame (as datas dos testes/exame são comuns a todo o IST, por razões logísticas). Os enunciados dos testes/exame e o método para a avaliação contínua são decididos por cada regente. Em cada semestre, há aulas durante 14 semanas (4 horas de aula teórica e 1.5 horas de aula prática por semana).
J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 143 Mencionamos seis execuções no polo do IST no TagusPark (campus com cerca de 1700 alunos), para as quatro licenciaturas desse polo (Licenciatura em Engenharia Eletrónica, Licenciatura em Engenharia e Gestão Industrial, Licenciatura em Engenharia Informática e de Computadores/TagusPark, Licenciatura em Engenharia de Telecomunicações e Informática). O regente nesses semestres é um dos autores da comunicação (JPB).
A avaliação contínua assegura ciclos de feedback rápidos, e incentiva (sem tornar obrigatório) o estudo regular, alinhando-o com a avaliação sumativa. Em conjunto com inquéritos anónimos regulares, tenta detetar dificuldades em tempo útil e manter toda a turma a par dos progressos.
Os materiais complementares documentam tópicos importantes, ajudando a encontrar respostas de dúvidas frequentes, evitando respostas pré-digeridas e encorajando a reflexão e a integração de conhecimentos.
Tabela: Número de alunos em cada semestre 1º sem.
2011-12 2012-13 1º sem. 2013-14 1º sem. 2013-14 2º sem. 2014-15 1º sem. 2015-16 1º sem.
1ª inscrição 98 124 152 68 187 148
2ª ou mais 192 97 49 54 58 107
IEEE Academic
O IEEE é uma organização profissional de engenharia (cerca de 420000 membros, dos quais cerca de 125000 são estudantes) com 2806 núcleos estudantis em cerca 100 países. No final de 2011, uma equipa no núcleo estudantil do IEEE no IST, liderada por um dos autores (RC) e à qual outro autor (GC) pertencia, lançou um projeto-piloto em que gravaria vídeos com professores ou alunos supervisionados por professores. JPB foi um dos professores recrutados e as gravações começaram em março de 2012.
O objetivo imediato era criar vídeos adaptados às necessidades locais (tanto os conteúdos das disciplinas, como o idioma e o vocabulário técnico). Para permitir rápida identificação de vídeos relevantes, bem como mais flexibilidade de reutilização (em escolas com programas um pouco diferentes), os vídeos teriam até cerca de 10 minutos. Dois objetivos estratégicos eram envolver alunos e professores (para assegurar o interesse e qualidade dos conteúdos) e, com base nos resultados do piloto, obter o apoio do IEEE para expandir o projeto globalmente.
2.2 Metodologia
A avaliação contínua foi implementada através de perguntas eletrónicas, com enunciados diferentes para cada aluno (mesmo em semestres diferentes). Em geral, havia duas entregas por semana com duas perguntas por entrega. O número de respostas corretas ao longo do semestre (com uma margem de tolerância) contribuía para uma bonificação para lá da nota dos testes (que eram escritos tendo essa bonificação em conta). Como as opções de resposta eram limitadas (listadas no próprio enunciado, ou um número inteiro para preencher), uma resposta fora desses parâmetros dava feedback imediato. A partir de 2012, algumas perguntas passaram a mostrar (após o final do prazo) uma mini- resolução adaptada ao enunciado específico que o aluno recebeu.
144 J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 A partir de 2012, os apontamentos e os vídeos (que foram sendo desenvolvidos ao longo do tempo) constituíram a bibliografia principal (para as execuções aqui discutidas) e tornaram possível remover alguns assuntos das aulas.
As perguntas eletrónicas acompanhavam o ritmo das aulas. Umas vezes davam feedback sobre tópicos recentemente discutidos (os até dez dias de tempo de resposta começavam bastante antes de o tópico ser discutido na aula, para encorajar ao máximo o estudo antecipado e para minimizar o risco de, com uma entrega demasiado tardia, os alunos só se aperceberem que não tinham percebido o tópico quando as aulas já estavam uma semana à frente). Outras vezes encorajavam o estudo de tópicos omitidos das aulas, com um prazo de resposta a terminar antes da aula em que os tópicos fariam falta.
2.3 Avaliação
O ponto de partida desta experiência foi o 1º semestre de 2011-12 (no qual GC foi aluno), que precedeu todas as gravações. Como esse semestre foi alvo de um estudo de caso (Lucas e Gonçalves, 2012) que discutiu, entre outros assuntos, o uso das perguntas eletrónicas e inquéritos, os resultados académicos, e as respostas aos inquéritos promovidos pelo Conselho Pedagógico do IST no final de cada semestre (incluindo perguntas sobre adequação dos materiais de estudo disponibilizados pelos docentes), e como não vemos indicação (nos semestres subsequentes) de flutuações para além das expectáveis, remetemos esses tópicos para esse estudo e focamo-nos na utilização dos vídeos ao longo de cada semestre.
Os comentários (anónimos) dos estudantes ilustram como os vídeos evoluiram. “[T]anto os apontamentos como os videos são suficientes para um aluno conseguir acabar com um 15 ou 16. Para um aluno tirar mais de 16 acho qu seria necessários mais videos sobre a parte teorica da materia.” (2013) “Relativamente aos vídeos, apenas acho que poderia ter mais conteúdo prático, em que são resolvidos exemplos.” (2013) “[H]á sempre espaço pra melhorias com videos mais interessantes mas acho que o que existe de momento é mais que suficiente para compreender verdadeiramente o assunto abordado.” (2014) “[H]aviam videos suficientes para perceber a matéria completa e com a ajuda dos apontamentos, nao havia falta de material de apoio mesmo para quem nao assistisse as aulas acho que nao teria dificuldades em acompanhar” (2014). “[C]om os apontamentos e os vídeos existe material de estudo mais do que suficiente tanto para obter aprovação à cadeira como ter notas mais elevadas.” (2015)
Outros comentários focam-se nas vantagens do formato: “considero [os vídeos] um material de estudo essencial, foram eles que me ajudaram a a estudar e apanhar certos pormenores que não conseguia perceber a 100% na aula.” (2012) “Vejo os vídeos como um ponto forte, pois na verdade é uma aula pessoal, com replay e cada um acompanha ao seu passo e a mim ajudou-me bastante.” (2012) “É muito porreiro ver se os filmes do academic antes de se ir para as aulas. Porque já se percebeu mais ou menos o que é que se vai falar e faz com não se perca interesse devido a não se estar a perceber nada.” (2013)
Nos próximos gráficos, comparamos os tópicos dos vídeos mais vistos em cada semana. Para tal, agrupamos os vídeos em 11 capítulos (pela sequência das aulas, que foi aproximadamente a mesma de semestre para semestre). Cada um corresponde a uma cor, na seguinte ordem: azul escuro, azul claro, laranja escuro, laranja claro, verde escuro, verde claro (o teste 1 segue-se a este capítulo), vermelho escuro, vermelho claro, roxo escuro, roxo claro, castanho (o teste 2 segue-se a este capítulo). Os gráficos mostram o tempo de visualização dos vídeos de cada capítulo em cada semana, medido em dias (de 24 horas). Cada barra corresponde a uma semana (contada de segunda a domingo).
J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 145 Não temos como saber que percentagem dos utilizadores eram alunos destas turmas de ACED ou outras pessoas; a única distinção possível é entre visualizações de dentro ou fora de Portugal. (Também não temos como estimar a utilização dos apontamentos.)
As visualizações de dentro de Portugal estão fortemente alinhadas com o ritmo das aulas e das perguntas (principalmente tendo em conta que esse sinal é mascarado pelos utilizadores que não estão ligados a estas turmas). Por exemplo, em todos estes semestres os picos de visualizações ocorrem imediatamente antes dos testes ou exame (em alguns casos havendo quase 14 dias de visualização numa semana, ou seja, em média durante essa semana houve quase 2 pessoas a ver algum vídeo em cada momento).
Alguns tópicos introdutórios e exemplos mais longos foram sendo removidos das aulas à medida que foram gravados, permitindo reaproveitar algum tempo de aulas para esclarecimentos adicionais. O caso mais extremo é o de um exemplo que em aula (no 1º semestre de 2011-12) demorou 40 minutos, e cujo vídeo demora só 10. Talvez por tais tópicos serem frequentemente avaliados em perguntas eletrónicas com prazo antes da aula em que fazem falta, o docente não notou qualquer impacto na aprendizagem.
Figura 1: Tempo de visualização (em dias por semana) por utilizadores fora de Portugal. Tirando que alguns capítulos (azul escuro, verde escuro, vermelho claro, roxo escuro, e roxo claro) quase não são vistos, não se nota grande preferência entre capítulos de umas semanas para as outras.
Figura 2: No 1º semestre de 2012-13 (221 alunos), cerca de 13000 visualizações e 40 dias de visualização em Portugal. No início do semestre havia 19 vídeos (3.0 horas), no final havia 44 vídeos
(6.33 horas). A ausência de algumas capítulos no início deve-se a não haver ainda vídeos nesses capítulos. Os apontamentos foram expandidos de 55 para 131 páginas.
146 J.P. BOAVIDA et al. / CNaPPES 2016, 141-149
Figura 3: No 1º semestre de 2013-14 (201 alunos), cerca de 18000 visualizações e 60 dias de visualização em Portugal. No início do semestre havia 58 vídeos (9.25 horas), no final havia 79
vídeos (12.63 horas). Os apontamentos tinham 131 páginas.
Figura 4: No 2º semestre (semestre alternativo) de 2013-14 (122 alunos), cerca de 8000 visualizações e 24 dias de visualização em Portugal. Havia 79 vídeos (12.63 horas). Os
apontamentos foram expandidos para 158 páginas.
Figura 5: No 1º semestre de 2014-15 (245 alunos), cerca de 10000 visualizações e 28 dias de visualização em Portugal. Havia 79 vídeos (12.63 horas), 158 páginas de apontamentos.
J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 147
Figura 6: No 1º semestre de 2015-16 (255 alunos), cerca de 4000 visualizações e 7 dias de visualização em Portugal. Havia 79 vídeos (12.63 horas). Os apontamentos foram expandidos para
198 páginas (incluindo vários tópicos opcionais ou complementares).
Até meados de 2014, as visualizações parecem manter o mesmo ritmo, principalmente se tivermos em conta o número de alunos em cada semestre. Porém, a partir do 1º semestre de 2014-15 sofrem uma queda brusca. Em paralelo, houve uma eliminação mais agressiva de materiais das aulas, libertando cerca de 8 aulas ao longo do semestre para discussão de exemplos de aplicação (por vezes sustentada por materiais complementares disponíveis online). Os resultados académicos foram semelhantes em todos os semestres. Só encontrámos explicações parciais para a queda brusca.
Em 2012 e 2013, os vídeos eram listados (por título) em documentos normalmente impressos pelos alunos e facilmente consultados. É razoável assumir que os vídeos eram encontrados por busca no YouTube. A partir de 2014, passaram a ser indicados junto com os sumários e planeamento das aulas, na plataforma institucional do IST (que os alunos, de facto, diziam ser pouco prática de encontrar e usar). Ao longo de 2014 e 2015, devido a problemas técnicos que não pareceram urgentes então, uma grande parte dos vídeos não eram encontráveis por busca. Em contrapartida, os apontamentos (também habitualmente impressos e usados pelos alunos) foram ficando mais detalhados.
É possível que nos semestres mais recentes a maioria as visualizações tenham sido por alunos destas turmas de ACED, e nos semestres anteriores uma fração substancial tenha sido alunos de ACED das restantes turmas do IST (uma vez que os picos de visualização coincidem com as datas dos testes).
A utilização dos horários de dúvidas diminuiu substancialmente ao longo destes semestres: enquanto que no 1º semestre de 2011-12 (290 alunos, e um docente adicional que dava duas práticas e ofereceu horários de dúvidas nas semanas antes dos testes), JPB passou 27 minutos por aluno em horários de dúvidas, ou esclarecimento de dúvidas por email, ou no fórum; já no 1º semestre de 2015-16 (255 alunos, só um docente) esse valor estava reduzido a 10 minutos por aluno.
3 Transferibilidade
Neste modelo de perguntas eletrónicas, é importante cada aluno ter um enunciado diferente (mas com dificuldade semelhante) e a correção ser automatizada. Disciplinas, ou pelo menos tópicos, cujos problemas têm parâmetros (nos enunciados) e respostas numéricas prestam-se mais facilmente à geração de variantes suficientes. Na construção dos enunciados, é útil resolver manualmente umas quantas variantes (com parâmetros de diferentes ordens de grandeza) para verificar se a dificuldade é suficientemente homogénea. (No caso de ACED, é frequentemente útil fixar o número de dígitos dos parâmetros.) Para minimizar erro humano, é extraordinariamente útil ter além do algoritmo que gera um enunciado, um algoritmo que testa (por processos diferentes) se o
148 J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 enunciado está correto (incluindo se exatamente as alternativas previstas estão corretas e se não há alternativas repetidas).
O projeto piloto recebeu apoio do IEEE no sentido de criar um projeto global, aproveitando a existência de núcleos estudantis do IEEE espalhados pelo mundo. O IEEE Academic, no qual os autores desta comunicação continuam envolvidos (e que suporta a nossa participação neste congresso), conta atualmente com vídeos de várias áreas disciplinares (entre as quais se destacam matemática, química, e medicina).
Ao contrário das aulas, os vídeos têm um impacto global. Para os vídeos em português, recebemos comentários de alunos e futuros professores (incluindo vários do Brasil). No caso concreto de ACED, de maio de 2012 a fevereiro de 2016 estes 79 vídeos (menos de 13 horas), foram vistos mais de 153000 vezes (54% fora de Portugal). O tempo de visualização total foi equivalente a 352 dias (41% fora de Portugal), cerca de 650 vezes a duração dos vídeos. (O tempo de preparação, gravação, edição, e revisão andou pelas 250 horas entre toda a equipa, pelo que o tempo de visualização é cerca de 30 vezes esse esforço). Por comparação, se numa turma de 200 alunos cada um assistir em média a 60 horas de aulas (incluindo teóricas e práticas), e durante o semestre forem oferecidas 140 horas (numa turma téoricas e quatro práticas), o tempo assistido é 85 vezes superior ao tempo oferecido (proporção que se mantém independentemente do número de semestres, e que não tem em conta o tempo para preparação e logística).
Uma vantagem das gravações é que (ao contrário das aulas) é fácil voltar atrás e repetir. Por outro lado, a nossa experiência indica que o conteúdo é mais importante para os utilizadores do que a forma, e que pequenos lapsos podem ser corrigidos em pós-edição (com uma mensagem de texto, por exemplo) em vez de uma nova gravação.
A articulação entre vídeos (ou outros materiais de estudo) e perguntas eletrónicas (ou outro mecanismo para monitorizar o acompanhamento dos vídeos) pode ser um pouco rígida. Na escolha do prazo das perguntas, nem sempre é fácil encontrar um equilíbrio entre ser suficientemente longo (para toda a gente ter oportunidade de pegar nas perguntas) e terminar suficientemente próximo de quando os tópicos são relevantes (para o feedback ser útil na regulação do ritmo de estudo). Assim, é importante ter um plano flexível e que preveja atrasos ocasionais.
4 Conclusões
Parece-nos nítido que os vídeos foram utilizados no estudo, tanto acompanhando o ritmo das aulas e das perguntas eletrónicas, como na proximidade dos testes.
Os vídeos têm uma audiência muito para lá do público-alvo mais óbvio. Porém, para que os alunos de uma turma vão acompanhando os vídeos ao ritmo das aulas, é crucial que tenham acesso fácil e rápido a quais os vídeos relevantes em cada momento.
Os padrões de utilização dos vídeos e dos horários de dúvidas, quando combinados com a disponibilização de curtas resoluções das perguntas eletrónicas, expansão dos apontamentos, e estabilidade dos resultados académicos, recordam-nos que alunos diferentes têm preferências de estudo, talentos naturais, e objetivos académicos diferentes. A partir do momento em que os apoios disponíveis são suficientes para um aluno atingir os seus objetivos, é natural que a disponibilização de apoios adicionais tenha pouco ou nenhum impacto para esse aluno, e que a maior eficácia do estudo numa disciplina se reflita nos resultados nas outras, ou num melhor equilíbrio entre vários interesses. Esta reflexão reforça a importância de prioritizar os tópicos a cobrir em materiais complementares (o sucesso desta estratégia é ilustrado comparando, acima, os
J.P. BOAVIDA et al. / CNaPPES 2016, 141-149 149 1ºs semestres de 2012-13 e 2013-14) e sugere pouca urgência em conseguir uma cobertura total do programa.
5 Referências
Boavida, J.P. (2012-14) vídeos de Análise Complexa e vídeos de Equações Diferenciais, IEEE Academic, disponíveis respetivamente em https://academic.ieee.org/docs/7 e
https://academic.ieee.org/docs/33.
Lucas, A., Gonçalves, I. (2012) Estudo de Caso: ACED no 1º Semestre de 11/12, Gabinete de Apoio ao Tutorado, Instituto Superior Técnico, disponível em
http://quc.tecnico.ulisboa.pt/files/sites/31/Relat_ACED_VF.pdf.