A OCDE e a IEA planeiam cuidadosamente todo o processo de desenvolvimento das provas internacionais, para garantir a comparabilidade dos resultados, definindo procedimentos padronizados e implementando um exigente controlo de qualidade. Por exemplo, é realizada uma extensa série de verificações para garantir a comparabilidade das traduções dos itens de avaliação e dos questionários; é fornecida documentação detalhada sobre os padrões de amostragem; são minuciosamente verificadas as taxas de participação das escolas e dos alunos, e aplica-se um rigoroso programa de garantia da qualidade para monitorizar a recolha dos dados.
As provas em análise têm diversas características comuns:
- Todas consideram um grande número de itens nas provas, de forma a poder avaliar os diversos domínios e conteúdos;
- Os itens não são públicos, permitindo, assim, a comparação de resultados ao longo das diversas edições e a identificação de tendências. Habitualmente, em cada ciclo, são libertos alguns itens que exemplificam o tipo de perguntas apresentadas aos alunos, substituindo-se, no ciclo seguinte, esses itens libertos por novos itens;
- A par dos testes, são também aplicados questionários visando recolher informação de contexto que permite descrever as situações e os fatores que influenciam a aprendizagem;
- O desempenho global de cada aluno, em cada domínio, é estimado, como se tivesse respondido ao conjunto de todos os itens, usando métodos complexos denominados de metodologia dos valores plausíveis, tendo em conta a dificuldade dos itens e a dispersão dos resultados;
- Em cada país participante, a amostragem é realizada em duas fases: num primeiro momento são selecionadas aleatoriamente as escolas e, num segundo momento, são selecionados aleatoriamente os alunos (PISA) ou as turmas de alunos (TIMSS e PIRLS) de cada escola participante.
Existem, porém, algumas diferenças entre a prova implementada pela OCDE e as provas da responsabilidade da IEA. No caso do PISA, o estudo é ancorado na idade dos alunos e visa comparar os diversos sistemas educativos através da avaliação das competências adquiridas pelos alunos, de forma a estarem preparados
A. Sousa Ferreira
para o ingresso na vida ativa. No caso dos projetos TIMSS e PIRLS, são ancorados no ano de escolaridade (4º, 8º ou ano terminal do ensino secundário) e pretendem avaliar os conhecimentos adquiridos pelos alunos em relação aos conteúdos de cada curriculum.
Após a apresentação dos relatórios internacionais sobre os resultados de um ciclo, as bases de dados dos vários estudos são disponibilizadas e podem ser descarregadas gratuitamente nos sites do PISA, TIMSS e PIRLS3.
2.1 A prova PISA
A prova do PISA é constituída por vários cadernos de teste que combinam itens dos diferentes domínios avaliados, respondendo cada aluno a um único caderno de teste, que lhe é atribuído aleatoriamente. Entre 2000 e 2012, o teste PISA foi aplicado de forma tradicional, com papel e lápis, com uma duração total de duas horas, ocupando os itens do domínio principal cerca de 2/3 do tempo total da prova. Em 2015, 57 dos 72 países participantes realizaram a prova em formato digital, após um estudo piloto, em 2014, ter analisado a invariância de modo da prova, isto é, tendo sido verificado que não existe um efeito do modo de aplicação da prova sobre o desempenho dos alunos, pelo que é possível manter o estudo da série de resultados PISA entre 2000 e 2015 (Marôco et al., 2016a) .
Em 2012, a prova foi organizada em 13 cadernos diferentes e em 2015, já aplicada em formato digital, consideraram-se 66 versões distintas (Sousa Ferreira et al., 2017). O teste PISA considera itens relativos quer aos processos cognitivos necessários para a sua resolução quer aos conteúdos. Por exemplo, em 2012, os 65 países e economias participantes realizaram a avaliação em literacia matemática, tendo sido aplicados itens relativos a três processos cognitivos - Formular; Aplicar e Interpretar – e quatro conteúdos – Quantidade, Incerteza, Mudança e relações, Espaço e forma.
O PISA não se limita a avaliar se um aluno reproduz eficazmente os conhecimentos adquiridos, procura antes aferir se os alunos conseguem aplicar, em contextos diferenciados, o que aprenderam. Uma abordagem desta natureza procura perceber se as sociedades contemporâneas reconhecem e valorizam os indivíduos não por aquilo que eles sabem mas por aquilo que eles conseguem fazer com o que sabem (OCDE, 2014a).
Visando estimar a literacia de uma população, o desempenho global de cada aluno é estimado em PISA, como nos outros estudos de larga escala, usando métodos complexos, considerando uma escala de 0 a 1000 com um valor médio de 500 e um desvio-padrão de 100 (OECD, 2014b). Neste projeto, são também
3Ver http://www.oecd.org/pisa/data/; https://timssandpirls.bc.edu/timss2015/international-database/ e https://timssandpirls.bc.edu/pirls2016/international-database/.
Avaliações internacionais e desempenho dos alunos portugueses
27 recolhidas informações que permitem contextualizar os resultados, através da aplicação de questionários aos alunos, aos pais e aos diretores das escolas e, em 2015, também aos professores. O PISA permite, pois, identificar os fatores que influenciam os níveis de desempenho nos vários domínios de literacia, nomeadamente, a informação sociodemográfica dos alunos e a sua relação com a aprendizagem e, ainda, diversas características das escolas participantes, como a sua organização e recursos.
2.2 As provas TIMSS e TIMSS Advanced
A prova do TIMSS é constituída por um conjunto de cadernos, numa composição de itens de matemática e de ciências que abrangem os três domínios cognitivos – Conhecer, Aplicar e Raciocinar. Cada aluno responde a um único caderno de prova. A avaliação em matemática considera duas dimensões: uma relativa ao conteúdo – Números, Formas Geométricas e Medida, Apresentação de Dados – e a outra ao domínio cognitivo. A avaliação em ciências segue o mesmo desenho, sendo contempladas as seguintes áreas: Ciências da Vida, Ciências Físicas e Ciências da Terra. Neste estudo, a par dos testes, são também aplicados questionários visando recolher informação de contexto que permite descrever os fatores que influenciam a aprendizagem da matemática e das ciências (ProjAVI, 2012a, 2012b).
O TIMSS 2015 contou com a participação de cerca de 60 países e economias, tendo Portugal participado no TIMSS 4º ano e, pela primeira vez, no TIMSS
Advanced. No TIMSS 2015 consideraram-se 14 cadernos de teste diferentes,
respondendo cada aluno apenas a um deles. Os catorze cadernos foram distribuídos pelos alunos de cada turma do 4º ano, de forma a obter-se um número de respostas equivalentes a cada um. No TIMSS 2011 e 2015 existia um total de 28 blocos de itens (com aproximadamente 10-14 itens cada um, na prova do 4º ano), catorze de matemática e os restantes catorze de ciências, sendo cada caderno de teste constituído por diversas combinações destes blocos de itens. Espera-se que os alunos do 4º ano gastem cerca de 18 minutos em cada bloco de itens, durando a prova um máximo de 72 minutos, seguidos de um período de 30 minutos para a resposta ao Questionário ao Aluno (Marôco et al., 2016b)
O TIMSS Advanced é a única avaliação internacional que fornece informação sobre os conhecimentos dos alunos em Matemática avançada e em Física. Os alunos avaliados frequentam o ano terminal do ensino secundário em cursos que dão acesso a carreiras STEM (Science, Technology, Engineering and Mathematics). Em 2015, a prova de Matemática avançada considerou as áreas de Álgebra, Cálculo e Geometria e a de Física incidiu sobre Mecânica e Termodinâmica, Eletricidade e Magnetismo, Fenómenos Ondulatórios e Física Atómica,
A. Sousa Ferreira
consistindo a prova delineada em aproximadamente 100 itens para cada um dos dois domínios. Neste projeto participaram nove países: Eslovénia, Estados Unidos da América, França, Itália, Noruega, Portugal, Rússia e Suíça (Marôco et al., 2016c).
2.3 As provas PIRLS e ePIRLS
O PIRLS é uma prova de avaliação da literacia de Leitura. No relatório produzido pelo Instituto de Avaliação Educativa (IAVE) a propósito dos resultados do ciclo de 2016, pode ler-se:
“…A literacia de leitura nos sistemas educativos modernos é particularmente relevante para a faixa etária dos alunos que participam no PIRLS (9-10 anos): até essa idade, a criança aprende a ler; daí em diante, lê para aprender. É, pois, fundamental que o domínio da leitura seja alcançado nessa idade. Ao avaliar as competências da leitura, o PIRLS afere áreas onde é necessário intervir de modo a que a leitura se transforme num meio eficaz para adquirir conhecimento.”
(IAVE, 2017, p. 3). A prova do PIRLS foi desenhada de modo a contemplar duas finalidades de leitura, a literária - ler como experiência literária - e a informativa - ler para adquirir e utilizar informação -, assim como os processos de compreensão da leitura - Reter, Fazer inferências diretas, Interpretar e integrar e Avaliar -. A prova é constituída por um conjunto de cadernos, numa composição de itens que envolvem as diferentes finalidades e processos de compreensão da leitura. Cada aluno responde apenas a um caderno de prova. Em 2011, a prova PIRLS foi constituída por 13 cadernos. No último ciclo desta prova, em 2016, foram concebidos 16 cadernos de teste, dos quais quinze apresentavam duas partes: a primeira incluía um texto literário seguido de um conjunto de questões; a segunda incluía um texto informativo e as respetivas questões. O 16º caderno incluía um texto literário, um texto informativo e um conjunto de questões relativas aos dois textos (ProjAVI, 2012c; IAVE, 2017).
No ePIRLS, aplicado pela primeira vez em 2016, avalia-se a literacia de Leitura online. As tarefas propostas aos alunos baseiam-se, deste modo, em simulações de páginas da internet, incidindo sobre Ciências sociais e humanas e Ciências da terra, da vida e do espaço. Estas páginas de internet simuladas, são muito semelhantes às verdadeiras páginas da internet, utilizando recursos interativos, de multimédia, janelas de navegação e links para recursos digitais. Na prova ePIRLS avalia-se apenas a compreensão da leitura e não as competências de navegação pelo que surgem também tutoriais e até “professores Avatar” que pretendem orientar a navegação dos alunos. Nesta prova, as questões incidem sobre as cinco temáticas de ciências já referidas, combinadas duas a duas. Também nesta prova, cada aluno responde apenas a um caderno de prova, composto por duas temáticas e respetivas questões. Neste estudo, também são aplicados questionários visando recolher
Avaliações internacionais e desempenho dos alunos portugueses
29 informação de contexto que permite perceber que fatores influenciam a literacia de Leitura online (IAVE, 2017).