Os programas de intervenção em geral visam o desenvolvimento do pensamento crítico dos estudantes e os trabalhos acima evidenciam que tais programas têm apresentado resultados satisfatórios no desenvolvimento desta competência. A análise destes resultados só é possível pela criação de instrumentos de avaliação do pensamento crítico. No entanto, esta parece não ser uma tarefa fácil, não somente pela divergência de definições que deve ser considerada no processo de avaliação, mas pela variedade da própria composição dos instrumentos de medida e das estratégias utilizadas. Segundo Facione, Facione e Giancarlo (1996), ao avaliar o pensamento crítico o que está sendo avaliado, de fato, é o produto do mesmo (resultado do processo de reflexão). Assim a dificuldade está em discernir as habilidades e disposições que fizeram parte desse processo quando ele ocorreu. No entanto, a partir de observações diretas ou dos relatos das pessoas sobre seu processo de pensamento, pode-se ter um resultado positivo.
De acordo com Lai (2011), dentre os principais desafios na avaliação das habilidades e disposições do pensamento crítico estão a confiabilidade e a validade das medidas existentes. Pesquisadores utilizam medidas diferentes, que variam em sua conceituação e propósitos (domínio geral x domínio específico, habilidades, disposições) e abarcam uma ampla gama de formatos dos itens (questões abertas x questões fechadas). Isso nem sempre é ruim, pois a combinação de várias medidas poderia aumentar a probabilidade de confirmação de resultados. Segundo Hicks, Bumbaco e Douglas (2014), a avaliação ocorre geralmente por meio da aplicação de um pré e pós-teste, ou do uso de entrevistas e observações.
Uma avaliação de pensamento crítico aceitável, independentemente do tipo de ferramenta utilizada, deve considerar a validade do conteúdo (avaliação baseada em uma conceitualização apropriada e entendimento claro do que está sendo avaliado no que se refere ao pensamento crítico), a validade de construção (garantir que os itens da avaliação façam com que o estudante responda o teste de forma adequada, sendo seus erros decorrentes de um fraco pensamento crítico e não de um item mal elaborado), a confiabilidade (verificar se o instrumento avalia de fato o que se propõe a avaliar), e a imparcialidade (o instrumento deve avaliar o pensamento crítico dos indivíduos, independentemente de suas características – conhecimento prévio, experiências de vida, gênero etc. – devendo ser projetado para neutralizar ou controlar o máximo possível a influência dessas variáveis) (FACIONE, 1990).
O autor apresenta quatro maneiras de julgar a habilidade de pensamento crítico das pessoas. Uma primeira forma é observar a pessoa ao realizar uma atividade ou procedimento que exige a exposição da habilidade a ser avaliada e fazer um julgamento do seu grau de desenvolvimento. Uma segunda maneira é comparar resultados da execução de uma determinada habilidade com um conjunto de critérios. Outra maneira é consultar pessoas e verificar, por intermédio de sua descrição, quais procedimentos estão usando, usariam ou usaram quando apresentaram a habilidade. Por fim, uma quarta forma é comparar resultados de outra tarefa com um conjunto de critérios, tarefa esta que apresenta forte correlação com a habilidade de interesse.
Em estudo realizado por Tiruneh, Verburgh e Elen (2014), os autores apontam para diferenças nos resultados de estudos que empregaram instrumentos padronizados e não padronizados (criados pelos próprios autores do trabalho), revelando que instrumentos não padronizados registraram melhora significativa de pensamento crítico com maior frequência do queestudos que utilizaram instrumentos padronizados. Uma explicação dada pelos autores está ligada, provavelmente, aos itens relacionados com as tarefas, que foram administrados/explicados pelos pesquisadores, e isto levaria a melhores resultados.
Assim também ocorre em relação a questões abertas e fechadas no teste, sendo que os instrumentos com questões abertas apresentaram melhores resultados na avaliação do pensamento crítico se comparados aos de questões fechadas. Alguns autores têm considerado que este resultado pode ser devido a questões abertas apresentarem melhores condições de avaliação por serem mais sensíveis a aspectos da disposição do pensamento crítico, diferentemente das medidas de múltipla escolha (KU, 2009; LAI, 2011; TIRUNEH; VERBURGH; ELEN, 2014). Assim, verifica-se que o tipo de instrumento utilizado interfere nos resultados de avaliação do pensamento crítico.
Outras variáveis na avaliação do pensamento crítico também são apontadas como relevantes e devem ser observadas. Autores defendem o uso de exemplos ou tarefas/atividades que se aproximam dos problemas da vida real, pois isto contextualiza melhor o problema e facilita a aplicação de habilidades e disposições do pensamento crítico a outros contextos. Além disso, o tipo de tarefa e os estímulos do ambiente parecem interferir na ocorrência ou não do pensamento crítico (LAI, 2011). Por exemplo, atividades que exigem um exercício de análise e avaliação mostraram serem técnicas melhores para avaliar o pensamento crítico do que atividades que exigem apenas compreensão do assunto. Tarefas nas quais seja possível avaliar os argumentos dos estudantes na defesa do seu ponto de vista ao invés da resposta correta e que façam com que os estudantes utilizem o que aprenderam em novo contexto também são alternativas válidas à avaliação do pensamento crítico.
Pesquisadores ressaltam a importância do envolvimento da pesquisa qualitativa na avaliação do pensamento crítico, pois acreditam que a pesquisa quantitativa isoladamente falha no entendimento real do pensamento crítico, trazendo resultados no mínimo incompletos. Reunir ambos os tipos de pesquisa trazem muito mais benefícios para os resultados dos estudos (BEHAR-HORENSTEIN; NIU, 2011; DONAWA, 2009).
Dentre os instrumentos de avaliação do pensamento crítico os mais utilizados nos estudos em geral são: Cornell Critical Thinking Test (CCTT; Ennis, Millman & Tomko, 1985), California Critical Thinking Skills Test (CCTST; Facione, 1990), Watson-Glaser
Critical Thinking Appraisal (WGCTA; Watson & Glaser, 1980), California Critical Thinking Disposition Inventory (CCTDI; Facione & Facione, 1992), e Ennis-Weir Critical Thinking
Essay Test (Ennis & Weir, 1985)(ALVES; DESSUNTI; OLIVEIRA, 2014; KU, 2009; LAI,
2011; TIRUNEH; VERBURGH; ELEN, 2014).
Mais recentemente foram desenvolvidos novos testes, citados por Liu, Frankel e Roohr (2014): ETS Proficiency Profile (EPP; ETS, 2010), Collegiate Learning Assessment+ (CLA+; Council for Aid to Education, 2013), Collegiate Assessment of Academic Proficiency (CAAP; Program Management, 2012), e Halpern Critical Thinking Assessment (HCTA; Halpern, 2010); e também o instrumento PENCRISAL – Pensamiento, Crítico, Salamanca (RIVAS; SAIZ, 2012; SAIZ; RIVAS, 2008b). A grande maioria desses instrumentos mede apenas uma dimensão do pensamento crítico, sendo esta o conjunto de habilidades. O único teste padronizado que mede exclusivamente a disposição de pensamento crítico é o CCTDI, de Facione e Facione (1992)9.
Amorim e Silva (2014), em Portugal, realizaram estudo no qual descrevem o desenvolvimento de um instrumento para avaliação de habilidades de pensamento crítico em estudantes e profissionais da área da saúde – o Questionário de Pensamento Crítico para Estudantes e Profissionais de Saúde. O instrumento avalia as seguintes habilidades de pensamento crítico: Interpretação, Análise, Avaliação, Inferência e Explicação, e mostrou possuir qualidades psicométricas aceitáveis para se fazer uma avaliação das habilidades de pensamento crítico.
No que diz respeito às disposições de pensamento crítico, especificamente, uma sugestão apresentada por Facione, Facione e Giancarlo (1996) na avaliação dessa dimensão é utilizar estratégias holísticas, por meio do uso de ferramentas que misturam medidas de habilidades com medidas de disposição. Este tipo de ferramenta oferece dados mais qualitativos, porém peca no que se refere à precisão e refinamento dos dados. Os autores citam alguns exemplos desse tipo de instrumento e suas adaptações para áreas específicas de trabalho: The Holistic Critical Thinking Scoring Rubric (Facione; Facione, 1994); Novice
Professional Judgment – Ability and Habits of Mind (Facione; Facione, 1996); e Levels of Performance For Framing and Resolving Ill-Defined Problems (USAFA, 1995), da
Academia de Força Área dos Estados Unidos.
Já Ennis (1996), por sua vez, propõe o uso de instrumentos de múltipla escolha, questões abertas e avaliações baseadas no desempenho do indivíduo na tarefa. Sobre os instrumentos de múltipla escolha, geralmente são formulados com escalas tipo Likert, no qual o estudante seleciona a resposta que melhor descreve sua reação. Sua vantagem é a facilidade de administração e pontuação. O autor aponta para uma deficiência no uso do mesmo devido à seleção da resposta não evidenciar de forma suficiente a presença ou ausência da disposição, ou seja, a resposta do sujeito pode ser aleatória. Além disso, os participantes podem não ser sinceros e assinalar as respostas "corretas" e não as "verdadeiras"; é preciso considerável tempo e esforço; devem-se escolher instrumentos com confiabilidade e validade estabelecidas, como é o caso do CCTDI.
Sobre avaliação baseada no desempenho, Ennis considera ser uma excelente alternativa para avaliar as disposições de pensamento crítico, já que, pressupondo que a pessoa faz o que está disposta a fazer, torna-se possível comprovar se de fato o indivíduo tem a disposição avaliada a partir da observação de seu desempenho. Semelhante a esta técnica e baseando-se nos trabalhos de Norris (1992) e Marzano, Pickering e McTighe (1993), Connie (2006) também apresenta algumas abordagens e métodos para avaliar as disposições de pensamento crítico, como a observação direta e os ensaios.
A observação direta caracteriza-se pela observação do comportamento do participante enquanto realiza uma tarefa, possibilitando a exposição da disposição de pensamento crítico. Pode-se apresentar ao participante uma ou mais atividades ao mesmo tempo. Já nos ensaios os estudantes devem aplicar seus conhecimentos para resolução das situações ou tarefas, demonstrando as disposições para pensar criticamente. A diferença entre este tipo de avaliação e a observação direta é que nos ensaios as avaliações resultam em um desempenho observável ou um produto tangível (ensaios, projetos, apresentações gravadas em vídeo) que são analisados para se evidenciar as disposições de pensamento crítico.
O ponto positivo desse tipo de avaliação é que os avaliadores podem observar o comportamento no momento em que ocorre, porém ela pode ser complicada e dispendiosa, pois pode ser que a disposição demore a aparecer ou que muitas disposições precisem ser avaliadas. Ainda, este tipo de avaliação depende de um contexto muito específico, a disposição pode não ser evidenciada no todo ou, mesmo evidenciada, poderia apenas ser uma aparência de evidências da disposição, e a confiabilidade dos dados é questionável, já que geralmente não avaliam somente as disposições, mas também as habilidades de pensamento crítico, como é o caso do teste Ensaio de Pensamento Crítico de Ennis-Weir (Ennis-Weir
Critical Thinking Essay Test), por exemplo.
Por fim, em relação às questões abertas, como é o caso da apresentação de situações problema, as situações são apresentadas aos estudantes e avaliadas a partir da resolução do problema. Para confrontar os dados, os pesquisadores também podem entrevistar os alunos. Também se pode aplicar um instrumento de múltipla escolha e pedir aos alunos que justifiquem suas respostas. Ennis (1996) alerta para a possibilidade de uma interpretação errada do pesquisador em relação à resposta do estudante; por isso é necessária a complementação dessa técnica com outras que confirmem a análise do pesquisador.
Nas avaliações que usam escalas, os avaliadores devem conhecer os participantes (podem ser professores, pais ou colegas). As vantagens desse método é que fornece dados comparáveis entre diferentes contextos e agregam pontuações para grupos, além de serem fáceis e rápidas para serem preenchidas. As desvantagens estão no fato de que os dados coletados vêm a partir da percepção de outros, não encorajam observações detalhadas dos estudantes, e não ajudam os avaliadores a compreenderem os tipos de atividades que levam ao desenvolvimento das disposições.
Outra abordagem de avaliação das disposições de pensamento crítico é a autoavaliação, como o registro de aprendizagem reflexiva que, segundo Connie (2006, p. 5, tradução nossa) “são diários nos quais os estudantes são encorajados a refletir sobre sua
aprendizagem regularmente”. Os professores têm o papel de guiar a reflexão dos estudantes. As vantagens apresentadas pelo autor é que esse tipo de abordagem serve como um registro cumulativo do progresso de aprendizagem do estudante e permite a obtenção de insights em situações fora do contexto acadêmico, além de encorajar a reflexão pelos participantes. A desvantagem é que o registro de aprendizagem reflexiva consome muito tempo, é específica para certas atividades e poderia ser assistemática.
Em resumo, considerando as possibilidades de avaliação do pensamento crítico, a escolha da abordagem deve ser coerente com o referencial teórico que embasa a pesquisa, até mesmo porque diferentes autores apresentam componentes também diferentes de habilidades e disposições de pensamento crítico. Pelo relatado, observa-se que no caso de escolha de instrumentos padronizados, deve-se considerar a validade e confiabilidade do mesmo para que se possa de fato obter resultados fidedignos.
Instrumentos que avaliam o pensamento crítico de forma direta (observações do comportamento, comparação entre resultados reais e critérios definidos a priori, resolução de situações-problema, ensaios) assim como o uso de questões abertas (entrevistas, estudo de caso, questionários com justificativas da resposta, autorreflexão) parecem apresentar resultados melhores do que o uso de estratégias que avaliam o pensamento crítico de forma indireta e/ou com instrumentos de escolha fechada apenas. Isto se deve ao fato dessas estratégias menos engessadas serem mais sensíveis às disposições de pensamento crítico, o que traz um resultado mais abrangente da avaliação do pensamento crítico.
De qualquer forma, a inclusão de diversos instrumentos pode ser uma alternativa para uma avaliação mais ampla e completa do pensamento crítico. Para Facione (1990), além da diversificação de instrumentos, a avaliação do pensamento crítico deve ocorrer com frequência e de forma explícita para ser valorizada perante os estudantes, para dar suporte ao trabalho do professor em melhorar o currículo, e para a formação adequada de políticas educacionais. Independentemente do método utilizado, a avaliação do pensamento crítico permite a identificação de pontos fortes e fracos do pensador crítico, o que contribui para a
análise diagnóstica e elaboração de programas mais adequados ao contexto acadêmico.
2.4 PENSAMENTO CRÍTICO E EXPERIÊNCIAS UNIVERSITÁRIAS: ASPECTOS DA