Rubricas: estratégias e materiais instrucionais – desenvolvimento e validação

Ao propor diagnosticar a compreensão dos licenciandos acerca das práticas/habilidades científicas; aspectos de natureza da ciência e, em menor escala, conteúdos conceituais relativos à reprodução assexual, foi necessário desenvolver métodos que garantissem a confiabilidade da avaliação e análise dos dados.

Para essa tarefa, optou-se pela utilização de rubricas. O termo remete a qualquer instrumento de avaliação que determine o conjunto de critérios analisados e forneça as explicações para os referentes níveis de gradação ou qualidade (HAFNER; HAFNER, 2003; ANDRADE, 2005).

151 Como uma abordagem alinhada aos propósitos da educação, rubricas são ferramentas que buscam "comunicar expectativas", pois fornecem feedback contínuo. (ANDRADE; DU; WANG, 2008)

Diversos estudos têm apontado que a utilização instrucional de rubricas é benéfica à aprendizagem dos alunos (ANDRADE; DU; WANG, 2008; TANG; COFFEY; LEVIN, 2015), bem como servir de facilitador para trabalho docente e gerar retorno positivo a ambos, docente e estudante, quando combinado aos métodos de avaliação formativa (ALLEN; TANNER, 2006). Além disso, com relação ao nosso interesse particular, o uso de rubricas pode gerar maior robustez às análises de desempenho referentes às habilidades, práticas e conhecimento de e sobre ciências (TIMMERMAN et al., 2011; STONE, 2014).

Isto posto, o desenvolvimento das rubricas propostas para as atividades da SD seguiu alguns dos critérios estabelecidos pela literatura (MOSKAL; LEYDENS, 2000; REDDY, 2007; WOLF; STEVENS, 2007; REDDY; ANDRADE, 2010), conforme descrito no quadro 8.

Quadro 8. Critérios para o desenvolvimento das rubricas dos materiais instrucionais da SD Critérios de

avaliação

São os indicadores ou diretrizes previamente definidos, isto é: conteúdos ou processos considerados na atividade. Esses elementos permitem conceituação e definição de padrões, em especial, áreas complexas como como pensamento crítico, resolução de problemas. No caso da SD: os aspectos de NdC, habilidades científicas

Definições de qualidade

Nível de detalhamento daquilo que se espera de um estudante, a fim de mostrar habilidade, proficiência ou critério para atingir um nível específico, (adequado, parcialmente adequado ou inadequado). A importância desse “grau de domínio” reflete na capacidade de argumentar e discernir uma resposta satisfatória de insatisfatória.

Estratégia de pontuação (scoring)

Trata-se da criação de escala (pontuação ou nivelamento) para interpretar os classificar a compreensão de processo; conteúdos habilidades, etc. São esquemas de pontuação descritiva, elaborado por professores/avaliadores a fim de orientar a análise, seja de produtos, seja de processos voltados aos estudantes.

Fonte: (MOSKAL; LEYDENS, 2000; REDDY, 2007; REDDY; ANDRADE, 2010; WOLF; STEVENS, 2007) Entretanto, em prol de averiguar a qualidade das rubricas e garantir sua confiabilidade, antes da aplicação com os usuários finais (licenciandos) foi necessário submetê-las ao processo de validação. Isto é, o acúmulo de evidências que pretendam suportar inferências (MOSKAL; LEYDENS, 2000).

A validação das rubricas foi realizada por meio das etapas:

 Revisão e comparação de rubricas na literatura de referência

Trata-se da primeira etapa, uma ampla revisão da literatura antes e durante a construção das rubricas, a fim de combinar os critérios estabelecidos e triangular com os objetivos propostos. Se houver número significativo de correspondência entre os critérios analisados, pode-se alegar que são comumente aceitos em questões e temas equivalentes (TIMMERMAN et al., 2011; BROOKHART; CHEN, 2015).

152 A fim de identificar possíveis incongruências, se faz necessário conduzir consultas recursivas com especialistas da área (conceitual, educacional e/ou ambos). Dos aspectos dignos de atenção, destacam-se: “adequação da linguagem”; “concisão”; “originalidade”; “contexto teórico”; “adequação aos objetivos”. Em geral, essa é uma etapa cíclica, a fim de alcançar o melhor grau de consenso entre especialistas e pesquisador (HAFNER; HAFNER, 2003; REDDY; ANDRADE, 2010).

 Níveis de gradação ou performance (score)

Esse é um dos quesitos mais discutíveis no desenvolvimento de rubricas. A quantidade de níveis é interdependente dos objetivos de avaliação. Em geral, as rubricas possuem de três a seis níveis de gradação. Quanto menor o número de níveis, maior a confiabilidade e a eficiência em pontuar o desempenho. No entanto, mais níveis, menor a confiabilidade na pontuação e mais tempo e trabalho serão necessários para uma decisão final. Porém, se a meta for proporcionar feedback para melhoras de desempenho do aluno, níveis de gradação em maiores quantidades (critérios de desempenho) podem favorecer para maior especificidade (WOLF; STEVENS, 2007, p. 7).

 Evidências referentes ao conteúdo (validade)

Esse aspecto remete de que forma as respostas de um estudante à questão (ou instrumento) refletem o seu conhecimento sobre a área de conteúdo. Por exemplo, em uma rubrica cuja as perguntas estejam inconsistentes ou complexas, pode-se mensurar equivocadamente, as habilidades de compreensão de leitura dos alunos, em vez de seu conhecimento de conteúdo. O avaliador, portanto, pode concluir erroneamente a falta de conhecimento específico, quando, de fato, houve falha de compreensão e interpretação da questão (MOSKAL; LEYDENS, 2000, p. 2).

 Evidências referentes ao construto

Construtos, nessas circunstâncias, pode se referir ao processo de raciocínio. Apesar de intrínseco ao indivíduo, esse processo pode ser parcialmente retratado via resultados ou explicações. A análise de uma resposta correta, porém, isolada em uma rubrica, não fornece evidências convincentes da natureza do processo de raciocínio indivíduo. Desse modo, quando o propósito é compreender o raciocínio, tanto o produto (resposta) como o processo (explicação) devem ser examinados. Além disso, nessa etapa pode-se estender, se desejado, outros quesitos, como resolução de problemas, criatividade, processo de escrita, atitudes, etc. (IBID, p. 3).

Ademais, a depender da abrangência de análise (scoring), as rubricas podem ser classificadas em “analítica” e/ou “holística”. “Rubricas analíticas” se apropriam de critérios

153 mais refinados e específicos para estabelecer mais de uma medida dos níveis acerca de uma tarefa específica. Devido ao seu grau de detalhamento, esse tipo de rubrica é mais conveniente a espaços restritos e focais, atividades em sala de aula. Ao contrário, “rubricas holísticas”, visam obter informações mais generalizadas ou agrupadas que fornecem descrições mais amplas. Nesses casos, o avaliador ou professor conduz um olhar mais indistinto sobre a qualidade do desempenho. São rubricas recomendadas para diagnósticos em grande escala, dada a sua praticidade e acurácia (ALLEN; TANNER, 2006; JONSSON; SVINGBY, 2007).

Assim sendo, foram seguidos esses procedimentos para construir e validar as rubricas fornecidas neste estudo, como serão apresentadas no capítulo 8.

Todavia, a despeito dos esforços, dos ciclos de validação e dos referenciais teóricos, é pouco provável que as análises e interpretações finais estejam isentas das preconcepções, “ruídos” e subjetividade do pesquisador (PESHKIN, 1994; CARL RATNER, 2002; TRACY, 2013).

154

CAPÍTULO 7 – Estudo etnográfico