Capítulo 5: Análise dos Dados
5.3 Definição e Operacionalização dos Critérios de Avaliação
5.3.1 Aplicação dos Critérios de Avaliação
A questão dos critérios de avaliação foi outra das menos consensuais, não só no que diz respeito à sua definição e eventual uniformização quando se trata de uma disciplina que é leccionada por mais do que um docente, mas também no que diz respeito à sua aplicação (que passará, entre outras coisas, pela sua eventual negociação e disponibilização aos alunos). Assim, no decorrer da análise dos resultados optou-se por anexar à categoria “Critérios de avaliação e indicadores” três subcategorias: “Critérios de avaliação/Transparência”, “Critérios de avaliação/Negociação” e “Critérios de avaliação/ Comportamento dos alunos”.
Tal como se apresenta no Quadro 10 e 11, na categoria “Critérios de avaliação e indicadores” foram codificadas 161 U.T., retiradas de 66,7% das U.E., o que se traduz em 6,8% das U.C. e 5,3% das 3056 U.T. que constituem as 6 entrevistas. Não obstante, utilizou-se a funcionalidade Union do NUD*IST para se ficar com uma noção do peso percentual global que os critérios de avaliação assumem e constatou-se que foram codificadas 332 U.T., provenientes de 83,3% das U.E. totais, o que representa 12,2% das 2715 U.C. utilizadas e 10,9% das 3056 U.T. que constituem as 6 entrevistas em análise. A utilização desta funcionalidade do NUD*IST (Union) revelou-se bastante útil, uma vez que os resultados obtidos não coincidem com a soma das U.T. codificadas em "Critérios de avaliação e indicadores" com as U.T. codificadas nas três subcategorias. Esta discrepância justifica-se então pela existência de 67 U.T. que foram codificadas mais do
que uma vez. Pôde-se chegar a esta conclusão através de várias intersecções feitas entre a categoria e subcategorias em causa, utilizando a funcionalidade Intersection do NUD*IST, e que se apresentam no Anexo 8, 3B e 3C.
Funcionalidade do NUD*IST
utilizada Categoria U.T. U.E. U.C.
Quant. 161 4 2367 "Critérios de avaliação e indicadores" % 5,3% 66,7% 77,5% Quant. 66 5 2751 S ub ca te go ria "Critérios de avaliação: Transparência" % 2,2% 83,3% 90,0% Quant. 65 2 1581 S ub ca te go ria "Critérios de avaliação: Negociação" % 2,1% 33,3% 51,7% Quant. 107 1 1233 R ep or t S ub ca te go ria "Critérios de avaliação: Comportamento dos alunos" % 3,5% 16,7% 40,3% Quant. 399 5 2751
Soma das U.T. de "Critérios de avaliação e indicadores"
com as três subcategorias % 13,1% 83,3% 90,0%
Quant. 67 2 1479
U
ni
on União da Intersecção de "Critérios de avaliação e indicadores" com as três subcategorias % 2,2% 33,3% 48,4% Quant. 332 5 2715 U ni
on avaliação e indicadores" com União de "Critérios de
as três subcategorias % 10,9% 83,3% 88,8% Quant. 2724 1 341 Outros % 89,1% 16,7% 11,2% Quant. 3056 6 3056 Total % 100% 100% 100%
Quadro 10 - Relação entre as U.T. codificadas na categoria "Critérios de avaliação e indicadores" e nas suas subcategorias e as U.C. e U.E. totais (Anexo 8, 3).
Funcionalidade do NUD*IST
utilizada Categoria U.T.
Outras U.T. U.C. Quant. 161 2206 2367 "Critérios de avaliação e indicadores" % 6,8% 93,2% 100% Quant. 66 2685 2751 S ub ca te go ria "Critérios de avaliação: Transparência" % 2,4% 97,6% 100% Quant. 65 1516 1581 S ub ca te go ria "Critérios de avaliação: Negociação" % 4,1% 95,9% 100% Quant. 107 1126 1233 R ep or t S ub ca te go ria "Critérios de avaliação: Comportamento dos alunos" % 8,7% 91,3% 100% Quant. 399 2352 2751
Soma das U.T. de "Critérios de avaliação e indicadores"
com as três subcategorias
% 14,5% 85,5% 100%
Quant. 67 1412 1479
U
ni
on União da Intersecção de "Critérios de avaliação e indicadores" com as três subcategorias % 4,5% 95,5% 100% Quant. 332 2383 2715 U ni
on avaliação e indicadores" com União de "Critérios de
as três subcategorias % 12,2% 87,8% 100% Quadro 11 - Relação entre as U.T. codificadas na categoria "Critérios de avaliação e indicadores"
e nas suas subcategorias e respectivas U.C. (Anexo 8, 3A).
Desta forma, e uma vez que foi uma categoria que assumiu bastante relevância, como trata uma temática passível de se subdividir em subcategorias, optou-se por analisar esta questão de forma seccionada. Por conseguinte, em termos de subcategorias, começou- -se por analisar a subcategoria “Critérios de avaliação/Transparência”, onde foram codificadas 66 U.T., retiradas de 5 U.E., o que representa 2,4% das 2715 U.C. e 2,2% das 3056 U.T. que constituem as 6 entrevistas em análise (vide Quadro 10 e 11).
Das 66 U.T. acima mencionadas emergiu uma questão de análise que consiste na importância que os entrevistados dão ao princípio da transparência da avaliação das
aprendizagens. Desta maneira, dos entrevistados apenas um considera que não é muito importante disponibilizar os critérios de avaliação aos alunos (cf. Anexo 9, 4.3). P5 justifica a sua posição utilizando os seguintes argumentos:
“a avaliação que eu faço já é tão detalhada para o que se costuma ver que não faz sentido entrar em discussão mais detalhada. Isso também acontece na licenciatura, em que um dos parâmetros que tenho é o da avaliação contínua. E dentro disso existem: avaliar os catorze ou quinze trabalhos práticos dos alunos, a avaliação que fazemos sobre o empenho dos alunos, etc. Se nós formos disponibilizar todas essas grelhas, vamos estar a discutir com os alunos coisas que, em termos de percentagem, valem 0,1 para a classificação final. Não faz sentido. Faz sentido para nós, como ajudas para avaliar, mas não faz sentido estar a discutir isso com os alunos. Tenho uma disciplina que tem entre oitenta a cem parâmetros de avaliação. E, muitas vezes, estas grelhas que nós fazemos servem para a orientação para a nota final, não quer dizer que se calcule a nota final de forma rígida. Há alguns casos em que se tem de ter em conta coisas que não são parametrizáveis… há situações diferentes. E aí entra, se calhar, a nossa subjectividade enquanto professores.”
(EP5: 321-336) Sintetizando, o entrevistado argumenta que as grelhas de avaliação são demasiado exaustivas e que, para além disso, a classificação final não resultará necessariamente da média aritmética dos resultados mediante os pesos dados às diversas componentes. Na realidade, após uma leitura cuidada dos Guiões das várias disciplinas do MME, disponibilizados pelos entrevistados na plataforma, encontrou-se apenas um documento com indicadores gerais de avaliação das aprendizagens no âmbito da disciplina de Seminário de Dissertação, intitulado “Grelha de apreciação de projectos de dissertação”58
(cf. Anexo 9, 4.3). Um dos factores que poderá estar por detrás da disponibilização online deste documento, que não se verifica em relação às restantes disciplinas, talvez esteja relacionado com o facto de, ao contrário de todas as outras, se tratar de uma disciplina ministrada por vários docentes e de ter havido a necessidade de alguma uniformização. Esta é uma situação bastante curiosa, uma vez que foi em relação à avaliação das aprendizagens no contexto desta disciplina em particular que os respectivos docentes levantaram mais problemas, como se pode verificar a partir dos seguintes excertos:
“(…) uma própria lista de verificação, ou uma própria grelha… eu acho que são instrumentos muito redutores. Mesmo que tenham quinhentas mil folhas, acabam por
58 A “Grelha de apreciação de projectos de dissertação”, relativa à disciplina de Seminário de Dissertação, consta do documento “Anexo 12”.
ser muito redutores porque, muitas vezes, cegam o docente para outras dimensões que não estão lá contempladas e que podem ser muito mais importantes. E penso que, neste caso, uma avaliação, digamos, mais intuitiva e menos baseados em parâmetros escrupulosamente definidos, tentativamente e exaustivamente definidos,… acaba por tender-se para uma avaliação intuitiva, uma avaliação que se vai criando. A forma como o aluno evoluiu, não sei se é facilmente traduzível, por exemplo, numa lista de verificação ou numa grelha ou no que quer que seja. Não sei se seria muito fácil estar a colocar no papel… alguns critérios, sim… alguns indicadores, sim… mas penso que no fundo, intuitivamente, todos fazemos isso.”
(EP2:1202-1214)
“(…) eu acho que não se ganha, de facto, em ter critérios de avaliação e escalas de avaliação extremamente detalhadas, não sei. De facto, não sei. Eu, ao longo da minha vida de professor que já vai para vinte e tal anos, tenho-me sistematicamente defrontado com a dificuldade e a incapacidade de… distinguir coisas… e cheguei à conclusão que, de facto, não vale a pena sequer… quer dizer, não vale a pena o esforço de tentar distinguir coisas que se calhar não merecem ser distinguidas ou… nas quais é impossível ter um critério objectivo de distinção que seja justo, que seja correcto, que faça sentido.”
(EP1:110-119) Apesar disto, todos os outros docentes entrevistados afirmaram que apresentaram os critérios de avaliação oralmente na primeira sessão presencial (cf. Anexo 9, 4.3). Todavia, embora, à primeira vista, a partir do Gráfico 7 se possa concluir que os alunos conheciam os critérios segundo os quais iriam ser avaliados, como se pode constatar a partir do Gráfico 8, uma esmagadora maioria dos alunos afirma que teve conhecimento dos mesmos através dos Guiões das diversas disciplinas, o que é impossível.
Sim, em algumas 25% Sim, em todas 75% Não 0%
Gráfico 7 - Quantidade de disciplinas em relação às quais alunos do MME afirmam ter tido conhecimento dos critérios de avaliação utilizados pelos docentes (Anexo 10, GII 8).
22 2 0 0 4 8 12 16 20 24
Através dos guiões da disciplina
Através do docente na sessão presencial inicial
Outro Q u an ti d ad e d e In d iv íd u o s
Gráfico 8 - Forma como os alunos do MME afirmam terem tido acesso aos critérios de avaliação das diversas disciplinas (Anexo 10, GII 8.1).
Tendo em conta que a informação relativa aos critérios de avaliação é disponibilizada na plataforma apenas no caso da disciplina de Seminário de Dissertação, estes dados apenas permitem concluir que a maioria dos alunos não têm sequer a noção do que são ‘critérios de avaliação’ e que, provavelmente (embora seja especulativo), tê-los-ão confundido com ‘parâmetros de avaliação’59. Esta será, provavelmente, uma das razões
pelas quais os alunos tenderam a adoptar um posicionamento um tanto passivo e não lhes tenham dado muita importância. Assim, atribuíram mais relevância aos pesos relativos de cada parâmetro de avaliação, até porque é uma informação que podem analisar em casa antes de participarem na primeira sessão presencial. Será talvez da conjugação destes factores que resulta uma realidade em que raramente terá havido negociação dos contornos delineados pelos docentes para a avaliação das aprendizagens, tal como se pode constatar a partir dos dados recolhidos junto dos alunos e que se apresentam no Gráfico 960.
59 Esta afirmação, ainda que especulativa, é feita a partir do facto de nos Guiões das disciplinas, no que diz respeito à avaliação das aprendizagens, apenas serem apresentados os respectivos parâmetros de avaliação.
60 Por razões que transcendem a investigadora, a esta questão só responderam 18 dos 24 alunos envolvidos no estudo.
0 4 8 12 16 20 24 Q u an tid ad e d e In di ví du os Nunca Poucas vezes Algumas vezes Bastantes vezes Sempre
Gráfico 9 - Frequência com que os alunos inquiridos consideram que houve negociação da avaliação (Anexo 10, GII 3.1).
Ainda assim, P2 procura justificar a atitude dos alunos perante os critérios, da seguinte forma:
“(…) provavelmente porque isso também não faz parte da cultura da própria escola e do próprio passado deles,… tenho-me apercebido que os alunos não ligam muito aos critérios. Estão muito mais preocupados se eu atribuo 20% ao teste, 30% aos trabalhos, e não sei quê… portanto, estão muito mais preocupados com o peso relativo de cada trabalho. // (…) penso que também faz um bocadinho parte da cultura que está instituída… prevalecerem algumas relações de poder.”
(EP2:454-458; 504-506) Neste caso, ao contrário do que refere P2, talvez se trate essencialmente de ignorância perante o conceito. Este facto é no mínimo intrigante, uma vez que, tal como já se referiu, 22 dos 24 alunos envolvidos neste estudo são docentes ou formadores e, nesta profissão, é no mínimo essencial conhecer-se o conceito de ‘critérios de avaliação’. Por outras palavras, perante um universo de indivíduos com estas características seria difícil para os docentes antever que, se calhar, deveriam ter começado por esclarecer os alunos em relação ao conceito.
Não obstante, o mesmo entrevistado (P2) refere que há situações em que, por um lado, a apatia dos alunos em relação a esta temática é evidente e, por outro lado, o recurso aos critérios de avaliação é a única forma que têm para esclarecer os alunos. Ou seja, trata-
-se de momentos após o lançamento público de classificações finais, em que os alunos se sentem injustiçados, talvez não pela sua classificação em termos absolutos mas por comparação com as classificações de alguns dos colegas (cf. Anexo 9, 4).
“(…) eu apercebo-me que os alunos… tenho-me apercebido que de facto não ligam muito aos critérios. Só ligam aos critérios, depois, por exemplo, quando a nota é afixada do trabalho x e vêm perguntar “Professora, porque é que eu tive 13 e o meu colega teve 14?”. (…) os alunos raramente questionam a sua nota… questionam é a sua nota por comparação. Não é por acharem que a sua nota é injusta em si, podem é considerar que a sua nota não é muito justa por comparação a fulano ou a sicrano.”
(EP4: 462-466; 470-473) Tendo isto em conta, assim como o exposto na revisão da bibliografia sobre o princípio da transparência (cf. secção 2.5), considera-se, então, que a disponibilização online dos critérios de avaliação poderia ter sido bastante vantajosa, uma vez que seriam directrizes importantes, e sempre presentes, na realização de uma qualquer tarefa sujeita a avaliação. Esta seria uma forma de aproveitar o meio em que o processo de ensino e de aprendizagem ocorre (online), o que também se poderia revelar muito útil para outra questão que será a da possibilidade de negociação desses mesmos critérios.
Esta última questão também assumiu bastante relevância e disso é prova o relatório obtida pela utilização da funcionalidade Union do NUD*IST, a partir da qual se fundiu a subcategoria “Critérios de avaliação/Negociação” e “Critérios de avaliação/ Comportamento dos alunos”.
Este relatório revela que nas duas subcategorias referidas (“Critérios de avaliação/Negociação” e “Critérios de avaliação/ Comportamento dos alunos”) foram codificadas 124 U.T., retiradas de 33,3% das U.E. totais, o que representa 7,8% das 1581 U.C. e 4,1% das 3056 U.T. que constituem as 6 entrevistas, como se apresenta nos Quadros 12 e 13.
Funcionalidade do NUD*IST
utilizada Categoria U.T. U.E. U.C.
Quant. 172 2 1581
Soma das U.T. de "Critérios de avaliação e indicadores"
com as três subcategorias % 5,6% 33,3% 51,7% Quant. 48 1 1233 In te rs ec tio n Intersecção de "Critérios de
avaliação: Negociação" com "Critérios de avaliação:
Comportamento dos alunos" % 1,6% 16,7% 40,3%
Quant. 124 2 1581
U
ni
on avaliação: Negociação" com União de "Critérios de "Critérios de avaliação:
Comportamento dos alunos" % 4,1% 33,3% 51,7%
Quant. 2932 4 1475 Outros % 95,9% 66,7% 48,3% Quant. 3056 6 3056 Total % 100% 100% 100%
Quadro 12 - União das U.T. codificadas na categoria "Critérios de avaliação e indicadores" e nas suas subcategorias (Anexo 8, 3D).
Funcionalidade do NUD*IST
utilizada Categoria U.T.
Outras
U.T. U.C.
Quant. 172 1409 1581
Soma das U.T. de "Critérios de avaliação e indicadores"
com as três subcategorias % 10,9% 89,1% 100,0% Quant. 48 1185 1233 In te rs ec tio n Intersecção de "Critérios de
avaliação: Negociação" com "Critérios de avaliação:
Comportamento dos alunos" % 3,9% 96,1% 100,0%
Quant. 124 1457 1581
U
ni
on avaliação: Negociação" com União de "Critérios de "Critérios de avaliação:
Comportamento dos alunos" % 7,8% 92,2% 100,0%
Quadro 13 - Relação entre a união das U.T. codificadas na categoria "Critérios de avaliação e indicadores" e nas suas subcategorias e as respectivas U.C. (Anexo 8, 3E).
Da análise das 124 U.T. codificadas nestas duas subcategorias, constatou-se que a maioria dos docentes entrevistados (4) sublinham a sua abertura à negociação de
critérios e de parâmetros de avaliação, no âmbito de cursos como é o de MME (cf. Anexo 9, 4.1). É disso exemplo P4, quando menciona:
“Apresento-os… não suscito a negociação, mas estou aberto a isso. Até agora ainda não aconteceu. Se eu visse que a maioria dos alunos não os aceitava, não teria qualquer tipo de problemas em discuti-los.”
(EP4:235-237) A organização, em termos de delimitação temporal das disciplinas, também tem a sua relevância no facto de, regra geral, não haver negociação dos critérios de avaliação. Ou seja, é difícil esperar que, no espaço de um mês, os alunos tenham distanciamento crítico suficiente e tempo útil para poderem questionar os critérios de avaliação definidos pelo docente; e ainda menos se estes só forem apresentados oralmente. Dois dos docentes entrevistados partilham desta opinião (cf. Anexo 9, 4.1) e P2 justifica a sua posição da seguinte forma:
“(…) de facto, é um ritmo, provavelmente, alucinante, muito exigente, não só para os alunos como para o próprio docente, entenda-se… e, provavelmente, essa… essa densidade de acontecimentos, num espaço tão reduzido de tempo pode, realmente, obviar a uma negociação muito consciente, muito reflectida, muito crítica, por parte dos alunos.”
(EP2:605-610) Em boa verdade, em especial em contexto online, em que não se pode contar com um contacto pessoal recorrente, será de louvar que se enfatizem estratégias que valorizem a avaliação contínua, como é o acompanhamento personalizado dos alunos, a existência de momentos de avaliação diversificados,… Todavia, um dos entrevistados chama a atenção para uma questão não menos importante, neste caso em relação à sequencialidade das disciplinas do MME, mas generalizável:
“Num mês por disciplina ou diminuímos a carga de trabalho ou os alunos passam muito mais de dez horas por semana a trabalhar.”
(EP4:165-167) A título de exemplo, e tendo em conta os parâmetros de avaliação que foram descritos na secção anterior para o MME, quando questionada acerca do tempo que estima que um aluno deverá despender diariamente para atingir os objectivos do curso, ao nível do ‘bom’ ou do ‘muito bom’, a Coordenação deste mestrado explica que:
“C2 – Bem, na concepção inicial que nas linhas de referência que foram dadas aos docentes inicialmente, nós tínhamos apontado para que fosse…
C1 – Três horas.
C2 – … digamos, que os professores tomassem como referência duas a três horas de trabalho por dia. Aquilo que eu tenho a dizer dos alunos é que…
C1 – É mais.
C2 – … é muito mais. Mas o objectivo é um objectivo ambicioso em termos de carga de trabalho, portanto, pretende-se que os alunos tenham, de facto, um ritmo de trabalho elevado, mais nada.”
(EC:212-221) Inquiridos os alunos acerca da sua ocupação diária, em média, com este curso, as respostas que se obtiveram são as que se representam no seguinte gráfico (Gráfico 10):
25% 0% 4% 17% 54% Menos de 1h 1h - 2h 3h - 4h 5h - 6h Todo o dia
Gráfico 10 - Ocupação diária dos alunos, em média, com tarefas propostas pelos docentes no âmbito do MME (Anexo 10, GII 1).
Comparando a previsão que foi feita pela Coordenação com os dados acima apresentados, conclui-se que a previsão foi realista, sendo que a grande maioria dos alunos admitem ter gasto uma média de 3h a 4h diárias. Mais se acrescenta que, quando se perguntou aos alunos se consideravam que as tarefas propostas nas diversas disciplinas sujeitas a avaliação eram em quantidade excessiva, 31% respondeu “Algumas vezes”, 13% “Bastantes vezes”, outros 13% “Sempre”, e apenas 30% é que se dividiram entre “Nunca” e “Poucas vezes” (cf. Anexo 10, GII 10A), resposta que reitera, de certa forma, o que os coordenadores afirmaram.
A opinião de três dos entrevistados também vai ao encontro da existência de sobrecarga de trabalho face ao escopo temporal de realização das tarefas, como consta no Anexo 9,
1.1. Este facto também é visível no Report que se criou com o NUD*IST em relação à categoria “Relação volume de trabalho/duração das disciplinas” cujos resultados se apresentam nos Quadros 14 e 15, uma vez que nela foram codificadas 24 U.T., retiradas de 50,0% das U.E., o que representa 1,2% das 1922 U.C. e 0,8% das 3056 U.T. que constituem as 6 entrevistas.
Funcionalidade do NUD*IST
utilizada
Subcategoria de
"Organização do curso" U.T. U.E. U.C.
Quant. 24 3 1922 R ep or t S ub ca te go ria "Relação volume de trabalho/ duração das
disciplinas" % 0,8% 50,0% 62,9% Quant. 3032 3 1134 Outros % 99,2% 50,0% 37,1% Quant. 3056 6 3056 Total % 100% 100% 100%
Quadro 14 - Relação entre as U.T. codificadas na subcategoria "Relação volume de trabalho/ duração das disciplinas" e as U.C. e U.E. totais (Anexo 8, 1B).
Funcionalidade do NUD*IST
utilizada
Subcategoria de
"Organização do curso" U.T. Outras U.T. U.C.
Quant. 24 1898 1922 R ep or t S ub ca te go ria "Relação volume de trabalho/ duração das
disciplinas"
% 1,2% 98,8% 100,0%
Quadro 15 - Relação entre as U.T. codificadas na subcategoria "Relação volume de trabalho/ duração das disciplinas" e as respectivas U.C. (Anexo 8, 1C).
Assim, deste conjunto de 24 U.T. emergem algumas questões, entre as quais dois dos vectores uniformizadores, fortemente aconselhados pela Coordenação do MME, no que diz respeito às estratégias a adoptar quanto ao trabalho de grupo: (i) que os grupos fossem heterogéneos, porque se considera que seria uma mais-valia para o produto final dos trabalhos de grupo e (ii) que os docentes procurassem fomentar o trabalho colaborativo e não tanto cooperativo, fomentando a construção colaborativa do conhecimento. Não se pense, no entanto, que esta situação só se aplica aos alunos, uma vez que tanto a já referida preparação prévia e minuciosa dos cursos quanto o acompanhamento (preferencialmente) diário de todos os alunos, bem como a motivação
e ritmo de trabalho que, por vezes, é necessário incutir, requerem uma dedicação temporal bastante grande por parte do docente.
Apesar do que foi dito, os entrevistados terão optado por uma diversidade considerável de parâmetros de avaliação (tendo em conta as limitações temporais de cada disciplina) por outras razões, nomeadamente no sentido de fomentar a criação de uma verdadeira CAD, tal como se passa a explicar na secção que se segue.
5.4 Estratégias de Avaliação na Construção da Comunidade de Aprendizagem