As unidades de avaliação em ciência do PISA 2006

Quando em 1997 a OCDE lança o programa PISA, o conceito de literacia científica como objetivo da Educação em Ciência já tinha dado os primeiros passos. Crescia em simultâneo a necessidade de criar uma estrutura conceptual para a avaliação da literacia científica. Mas falar de avaliação e dos seus resultados implica cruzar variáveis resultantes das teorias sociais, psicológicas e cognitivas que contribuem e intervêm neste processo (OCDE, 2009).

A estrutura conceptual a elaborar, ao destinar-se a um estudo internacional deveria, por um lado, acrescentar valor aos modelos de avaliação anteriores, e por outro, satisfazer e assegurar tanto quanto possível a diversidade cultural dos países participantes (OCDE, 2009). A prioridade foi então o mapeamento dos componentes que assegurassem a inclusão de todas as dimensões provenientes dos dados (OCDE, 2009). Em resposta a esta necessidade, a OCDE em 2002 num fórum que reuniu um conjunto de especialistas em Educação em Ciência, deu início à preparação da estrutura conceptual da avaliação em literacia científica do PISA 2006 (OCDE, 2008). Rodger Bybee foi nomeado presidente do comité de preparação da estrutura conceptual em Ciência do PISA 2006 que definiu os termos da avaliação, a estrutura dos testes (o formato e a distribuição dos itens de acordo com as varáveis da estrutura conceptual) e a forma como publicar os resultados.

28

Na seleção das unidades de avaliação em ciência do PISA 2006, estruturadas com base nas orientações de um grupo internacional de especialistas, foi traçado um plano de investigação com o objetivo de escolher os itens que melhor respondiam à estrutura conceptual definida.

Para tal, cada unidade foi sujeita a um escrutínio segundo diferentes metodologias. Especialistas nacionais contribuíram igualmente reportando os pontos suscetíveis de análise em relação à sua realidade nacional de modo a cobrir falhas existentes na estrutura conceptual prevista. Numa fase seguinte, realizou-se a revisão com base no feedback do escrutínio inicial. Esta revisão foi realizada por equipas diferentes das que tinham elaborado a primeira versão dos itens (OCDE, 2009) e dela resultou o apuramento das questões a incluir nas unidades PISA 2006. Um total de 155 questões foram submetidas a este escrutínio e cerca de 25% foram consideradas formalmente incorretas para incluir no PISA 2006. As restantes 75% foram consideradas corretas e utilizadas. A leitura do relatório técnico manifesta idêntico procedimento na elaboração das questões de avaliação das atitudes que tal como as restantes são o resultado de investigação nesta área (OCDE, 2009). Conhecida a metodologia que presidiu à elaboração das unidades de avaliação, quais os aspetos centrais da estrutura conceptual que presidiram à elaboração das unidades de avaliação?

As unidades de avaliação de competências em literacia científica obedecem ao conceito de literacia científica do PISA, internacionalmente aceite e que define a literacia de um indivíduo como:

- conhecimento científico e a sua utilização para identificar questões, adquirir novos conhecimentos, explicar fenómenos científicos e estabelecer conclusões sobre questões relacionadas com a ciência baseadas em evidências;

- compreensão de aspetos característicos da ciência como forma de investigação e conhecimento humano;

- consciencialização quanto ao modo como a ciência e a Tecnologia modelam os

nossos ambiente- material intelectual e cultural;

29

- disposição para envolver-se em questões relacionadas com a ciência e com ideias científicas como cidadão reflexivo (OCDE, 2008, p. 39).

Esta definição segue a visão da Educação em Ciência para todos (Bybee et al., 2009), evidenciada pela capacidade de utilizar e compreender conhecimento científico em situações da vida que envolvam a Ciência e a Tecnologia. Transferi-la para um teste de avaliação internacional que permitisse obter resultados suscetíveis de serem analisados era o objetivo principal da avaliação realizada pelo PISA 2006. Assim, com base na definição de literacia, foi definida uma estrutura conceptual que estruturou a elaboração dos itens/unidades de avaliação em ciência e sobre as quais se debruça este estudo. Esta estrutura está assente em quatro pilares interligados: os contextos, as competências, os conhecimentos e as atitudes (v. Figura 2).

Figura 2 - Enquadramento conceptual da avaliação em ciência do PISA 2006 (Fonte: adaptado de (Bybee, R., & Mc Crae, B., Laurie, R. 2009, p. 867).

Com base nesta estrutura procuraram-se situações de vida com interesse para os estudantes que envolvessem contextos de Ciências e Tecnologia nas áreas da “Saúde”, “Recursos Naturais, Qualidade Ambiental”, “Riscos” e “Fronteiras da Ciência e da Tecnologia” (OCDE, 2008, p. 39). Estas estão relacionadas com a maior parte das situações diárias que envolvem a Ciência e Tecnologia, o que explica a opção por estes temas

Contexto (pessoal, social,

global) Situações de vida que envolvem a Ciência e Tecnologia Competências em ciência Identifiquem questões científicas Expliquem fenómenos científicos Utilizem evidências científicas Conhecimento científico

- O que sabem sobre o mundo natural e a Tecnologia (conhecimento de ciências)

- Sobre a própria ciência

(conhecimento sobre ciência)

Atitudes em relação à ciência Como reagem às questões científicas (interesse, apoio à investigação,responsabilidade) Exige possuir _{O que} pensamos e fazemos 29

30

(OCDE, 2008). As “situações de vida” deveriam ainda ter relação com os contextos pessoal (individuo, família, e grupo de colegas), social (a comunidade) e global (a vida través do mundo) (v. Quadro 2). Foram acauteladas as diferenças culturais e linguísticas dos países participantes.

A seleção das competências acima referidas (v. Quadro 3), é justificada pela importância que possuem em relação ao modo como a Ciência funciona e pelas capacidades cognitivas que exigem. São exemplo destas capacidades o raciocínio indutivo/dedutivo, o pensamento sistémico, a tomada de decisões, a construção de tabelas ou gráficos, a argumentação e explicação baseadas em evidências, o raciocínio em termos de modelos e a utilização de dados matemáticos (Bybee et al., 2009).

Definido o contexto em Ciência iniciou-se a seleção e definição de competências. As competências “Identificar questões científicas”, “Explicar fenómenos científicos” e “Utilizar evidências científicas”, foram as escolhidas pela investigação.

Prosseguindo a leitura da estrutura conceptual, o modo como os estudantes exercem as competências é influenciado pelo Conhecimento de ciências (conhecimento de diferentes disciplinas científicas e do mundo natural) e sobre Ciência (como forma de investigação humana) (OCDE, 2008).

31

Quadro 2 - O contexto de ciências do PISA 2006 (Fonte: OCDE, 2008, p. 41) Pessoal

(indivíduo, família e grupos de colegas

Social (a comunidade) Global (a vida através do

mundo)

“ Saúde” Manutenção da saúde, acidentes, nutrição

Controle de doenças, transmissão social, opções alimentares, saúde comunitária Epidemias, disseminação de doenças inoficiosas “Recursos naturais” Consumo pessoal de materiais e de energia Manutenção de populações humanas, qualidade de vida, segurança, produção e distribuição de alimentos, fornecimento de energia Renováveis e não renováveis, sistemas naturais, crescimento populacional, uso sustentável de espécies “Meio ambiente” Comportamento

ambiental amigável, uso e descarte de materiais

Distribuição populacional, recolha de lixo, impacto ambiental, condições atmosféricas locais Biodiversidade, sustentabilidade ecológica, controle de poluição, produção e perda de solo

“Risco” Natural ou induzido pelo homem Mudanças repentinas (terramotos, condições atmosféricas violentas),mudanças lentas e progressivas (erosão costeira, sedimentação) avaliações de risco Mudança climática, impacto das guerras modernas “Fronteiras da Ciência e da Tecnologia” Interesse em explicações da ciência para fenómenos naturais, passatempos de carácter científico, desporto e lazer, música e Tecnologia

Novos materiais, aparelhos e processos, modificação genética, transportem Extinção de espécies, exploração do espaço, origem e estrutura do universo 31

32

Quadro 3 - Competências em ciências do PISA 2006 (Fonte OCDE 2008 Competências em ciências para o mundo de

amanhã p. 41).

Identificação de questões

Reconhecer questões que podem ser investigadas cientificamente Identificar as palavras-chave para a busca de informação científica Reconhecer características básicas de uma investigação científica

Explicação científica de fenómenos

Aplicar conhecimentos de ciências em determinada situação

Descrever ou interpretar cientificamente fenómenos e saber prevê-los Identificar de forma adequada descrições, explicações e previsões

Utilização de evidências científicas

Interpretar evidências científicas, tirar conclusões e comunicá-las Identificar hipóteses, evidências e raciocínios que levem às conclusões

Refletir sobre as implicações sociais de desenvolvimentos científicos e tecnológicos

Sabendo-se que o corpo de conhecimentos científicos é vasto, tornou-se necessário eleger os conteúdos importantes e necessários à vida adulta. Foram selecionadas quatro áreas de conteúdo: “sistemas físicos”, “sistemas vivos”, “sistemas da terra e espaciais” e “sistemas de Tecnologia”. Estas áreas ao envolverem conceitos e conhecimentos provenientes de diferentes disciplinas, permitem elaborar questões onde estes se inter- relacionam, á semelhança da forma como a maioria das pessoas experimenta a Ciência no seu dia-a-dia. As questões científicas quotidianas refletem a associação de diferentes disciplinas e as questões do PISA manifestam esta intenção (OCDE, 2008).

Por fim chegamos ao quarto pilar desta estrutura conceptual, as atitudes. Segundo a OCDE (2008) as atitudes em relação à Ciência desempenham um papel importante nas decisões dos estudantes quanto ao desenvolvimento de conhecimentos científicos, à escolha de carreiras e à utilização produtiva de conceitos e métodos científicos ao longo da vida. Com base na investigação foram incluídas nas questões PISA a avaliação das seguintes atitudes: “apoio à investigação científica, autoconfiança como aprendizes de Ciência, interesse por Ciências e responsabilidade com a relação aos recursos e ao ambiente” (OCDE, 2008, p. 45).

33

Em termos de metodologia, o PISA recolhe a informação sobre o desempenho dos estudantes em testes que exigem apenas a utilização de papel e lápis. Os testes estão organizados por unidades de avaliação formadas por vários itens ou questões de avaliação. Estes podem ter diferentes formatos. Algumas questões exigem a construção de uma resposta, onde se demonstre os métodos e processos mentais utilizados na elaboração da resposta. Outras requerem uma explicação e outras são do tipo escolha múltipla, a seleção de uma opção entre várias opções propostas, ou ainda selecionar uma alternativa para cada questão, como é caso do tipo escolha múltipla complexa. É um estudo sobre os conhecimentos e as competências de estudantes com 15 anos com o objetivo, no caso de PISA 2006, de medir o nível de literacia científica, perto, de completar a escolaridade obrigatória.

Assim, a cada estudante são apresentadas várias questões científicas que obedecem ao contexto científico acima descrito com origem em fontes como jornais, revistas ou artigos. Estas questões colocam um problema científico exposto num texto ou num diagrama e é pedido, na maior parte dos casos, aos estudantes que construam com palavras suas a resposta. Por vezes é-lhes também solicitado uma explicação para os resultados obtidos, ou que expliquem um raciocínio que os conduziu à resposta. Cada estudante é informado do grau de dificuldade das perguntas a responder. O grau de dificuldade das perguntas é definido pela percentagem de estudantes que dão uma resposta correta a esse item. O resultado é um conjunto de estimativas que permite a criação de uma escala contínua de competências científicas. Nessa escala é possível estimar a localização do aluno, o seu desempenho geral, e desse modo perceber o seu grau de competência.

Com base nesta relação competências/desempenho foi construída a escala de ciências (v. Quadro 4) com seis níveis de proficiência. Foram igualmente construídas escalas para cada competência e para cada um dos domínios do conhecimento. Para facilitar a interpretação da pontuação atribuída aos estudantes foi estabelecido que a média de 500, como o nível médio de desempenho para os países da OCDE.

34

Quadro 4 - Descrições dos seis níveis de proficiência da escala de ciência. (OCDE, 2008, p.49).

Nível Limite Inferior da escala Percentagem de estudantes capazes de realizar as atividades de cada nível ou acima da média da OCDE

O que os estudantes podem fazer

6 707,9 1,3% dos estudantes da OCDE são capazes de realizar as atividades no Nível 6 da escala de ciências

No nível 6, os estudantes podem, de forma consistente, identificar, explicar e aplicar conhecimento científico e conhecimento sobre ciência numa variedade de situações de vida complexas. Podem estabelecer relações entre diferentes fontes de informação e explicações, e utilizar evidências fornecidas para justificar decisões. Demonstram, de maneira clara e consciente, pensamento e raciocínio científico para apoiar soluções científicas e tecnológicas com as quais não estão familiarizados. Os estudantes situados neste nível são capazes de utilizar conhecimento científico. desenvolver argumentos para apoiar recomendações e decisões centradas em situações pessoais, sociais ou globais

5 633.3 9% dos estudantes da OCDE são capazes de realizar no mínimo atividades do Nível 5 da escala de ciências

No nível 5, os estudantes podem identificar os componentes científicos de muitas situações de vida complexas, aplicar tanto conceitos científicos como conhecimento sobre ciências a essas situações, comparar, selecionar avaliar adequadamente evidências científicas para responder a situações de vida. Os estudantes situados neste nível são capazes de utilizar a capacidade investigação desenvolvida, associar conhecimento de maneira apropriada e aplicar discernimento crítico a situações. Conseguem construir explicações com base em evidências e argumentar com base numa análise crítica.

4 558,7 29,3% dos estudantes da OCDE são capazes de realizar, no mínimo atividades do Nível 4 na escala de ciências

No nível 4, os estudantes podem trabalhar, de maneira eficaz com situações e questões envolvendo fenómenos explícitos que requerem inferências sobre o papel da ciência e da Tecnologia. São capazes de selecionar, e integrar explicações de diferentes disciplinas da ciência ou da Tecnologia e estabelecer ligações diretas entre essas explicações e aspetos de situações de vida. Os estudantes situados neste nível são capazes de refletir sobre suas ações e comunicar decisões utilizando evidências e conhecimentos científicos.

3 484,1 56,7% dos estudantes da OCDE podem realizar no mínimo atividades do nível 3 na escala de ciências.

No nível 3, os estudantes podem identificar questões científicas claramente descritas em uma série de contextos São capazes de selecionar factos e conhecimentos para explicar fenómenos, e de aplicar modelos ou estratégias de investigação simples. Os estudantes situados neste nível são capazes de interpretar e utilizar conceitos científicos de diferentes disciplinas e aplica-los diretamente. São capazes de desenvolver afirmações curtas utilizando factos e de tomar decisões com base em conhecimentos científicos.

2 409,5 80,8% dos estudantes da OCDE podem realizar no mínimo atividades do nível 2 na escala de ciências

Ni nível 2, os estudantes têm conhecimentos científicos adequados para fornecer explicações possíveis em contextos familiares ou tirar conclusões com base em investigações simples. São capazes de raciocinar diretamente e fazer interpretações literais dos resultados de investigação científica ou da solução de um problema tecnológico.

1 334,9 94,8% dos estudantes da OCDE podem realizar, no mínimo atividades do nível 1

No Nível 1, os estudantes têm conhecimentos científicos tão limitados que só aplicam a um número reduzido de situações familiares. São capazes de apresentar explicações científicas óbvias e explicitamente decorrentes de evidências dadas

35

Deste modo, os resultados obtidos pelos estudantes no teste descrevem em simultâneo o desempenho dos estudantes e a dificuldade das questões (Figura 3). Significa isto que para um desempenho de 650 pontos é espetáveis respostas cujo grau de dificuldade na escala seja de 650 pontos. A escala de ciências define seis níveis de proficiência. Cada nível descreve as competências científicas demonstradas pelo estudante. Por exemplo, um estudante com nível -1 (abaixo do nível 1) não revela competências científicas quando resolve as questões do PISA. Do mesmo modo um estudante classificado no nível mais elevado deverá responder corretamente à maioria das questões de avaliação. Assim, uma avaliação composta por questões distribuídas pelo nível 3 significa que os estudantes acertaram 50% das questões, ainda que o número de pontos que cada um atinge varie dentro do mesmo nível. Os seis níveis de proficiência representam uma grande variedade de aprendizagens para a literacia científica. O nível 2 foi identificado pelos especialistas como o nível básico de proficiência.

Figura 3 - Relação entre os itens e os estudantes na escala de proficiência (Fonte: OCDE, 2008, p. 47).

36

A escala de níveis de proficiência foi construída mediante a utilização de técnicas modernas de modelagem que utilizam modelos matemáticos sofisticados (OCDE, 2008) que calculam o desempenho relativo dos estudantes. O modelo utilizado calcula em simultâneo a proporção de respostas corretas e a dificuldade das questões. Esta última é calculada pela proporção de alunos que não responderam corretamente a essa questão (OCDE, 2008). O resultado é um conjunto de estimativas que criam uma escala contínua onde é possível identificar o grau de competência do estudante e de cada questão. Como a cada questão corresponde uma classificação na escala, o desempenho do estudante pode ser descrito pelos pontos que cada um obteve na escala de acordo com a atividade mais difícil que se esperaria que realizasse. Foi assim possível avaliar o desempenho geral em Ciência, por competências e área de conteúdos e saber a percentagem de estudantes que cada país tem por parâmetro, e compará-la com os restantes países.

A estrutura conceptual que presidiu à elaboração das unidades de avaliação do PISA 2006 foi construída com a colaboração dos melhores especialistas em educação e tem hoje um largo consenso internacional (Hatzinikita et al., 2007), e representa a primeira avaliação internacional comparada em Ciências. Fica igualmente claro que esta estrutura conceptual responde ao à-vontade crescente da avaliação em literacia científica assente no desenvolvimento de competências científicas (o desenho de questões que vão além da simples memorização de conhecimentos científicos) exigidas pelo mercado de trabalho (OCDE, 2008). A investigação revela ainda que indivíduos com boas competências científicas são capazes de gerar inovações em diferentes áreas beneficiando e impulsionando o progresso tecnológico (OCDE, 2008).

Os resultados do PISA indicam que, entre os países da OCDE, a média de estudantes que atingem o nível 6 e 5 da escala de ciências do PISA é 1,3% e 9% respetivamente. Significa esta informação que, em 50% dos 57 países participantes no PISA 2006, 5% dos estudantes, ou menos, com base numa percentagem aproximada, atingem os dois níveis de proficiência mais altos, sendo que 15% destes estudantes estão distribuídos por quatro países. (OCDE, 2008). Do mesmo modo, sabemos pelo PISA que entre os países da OCDE a percentagem de estudantes com nível de proficiência inferior ao nível 2 (nível básico da escala) é de 19,2%. Se é certo que a variação entre países é grande,

37

o retrato geral da Educação em Ciência e Tecnologia mostrado pelo PISA 2006 está longe de ser o desejado

Os estudantes situados neste nível confundem características essenciais de uma investigação, aplicam informações científicas incorretas e confundem convicções pessoais com factos científicos. Já atingir o nível 6 de proficiência na escala de ciência significa que os estudantes são capazes de identificar, explicar e aplicar conhecimentos de ciências e conhecimentos sobre ciências de forma consistente em várias situações de vida complexas. Conseguem ainda estabelecer relações e explicações a partir de diferentes fontes de informação, além de serem capazes de utilizar evidências fornecidas por essas fontes de informação para justificar decisões. Isto significa ainda que demonstram pensamento e raciocínio científico consistente (OCDE, 2008).

Por esta caracterização percebemos que possuir um número elevado de estudantes com alto nível de proficiência em ciências significa possuir riqueza em talentos. Contudo, não é possível fazer uma correspondência direta entre o desempenho médio geral da OCDE e o número de estudantes com nível alto de proficiência. A OCDE chama a atenção para que embora o resultado médio global do país seja uma referência útil esconde informação importante sobre a distribuição de desempenho dos países (OCDE, 2008). Quer isto dizer que um país pode ter um desempenho geral em torno da média e ter poucos estudantes nos extremos da escala de proficiência enquanto outro poder ter muitos estudantes nos extremos inferior e superior da escala.

É certo que são muitas as variáveis contextuais que influenciam o desempenho originando entre países diferentes perfis de estudantes. No entanto esta avaliação comparativa mostra que o desempenho dos estudantes varia de maneira diferente entre as competências e áreas de conteúdo científico, podendo a comparação dos pontos fortes e fracos nas diferentes competências e áreas de conhecimento ajudar na formulação de politicas de apoio ao desenvolvimento de estratégias (OCDE, 2008). Esta variação pode estar relacionada com diferentes ênfases curriculares, mas pode também ser um indicador da eficácia com que os Currículos são trabalhados.

38

Segundo a OCDE (2008), alguns países fazem escolhas curriculares de acordo com