Entrevistado: RPGB2 Entrevistador: NA e EC
Data/Hora: 7 de Novembro de 2008, 10h30
NA: Uma primeira pergunta: como é que está montada a estrutura de gestão do PISA a
nível nacional? Nós sabemos que o GAVE é o responsável mas em termos estruturais como é que funciona?
RPGB2: Há duas pessoas que estão no topo desta pirâmide, não é? O PISA era suposto
ser uma pirâmide em que cada um dos países com uma estrutura de pessoas colaboram nesse importante programa. Há um responsável que é o PGB, que neste caso sou eu que é o PISA Governing Board. Sou eu o PGB português e depois há, dependente dele, uma NPM, que é o National Program Manager, que neste caso é a Dra. Anabela Serrão. Ela assumiu essa responsabilidade no início de Janeiro deste ano e ela é a pessoa que no fundo tem que gerir o grupo que se devota a este programa. Só que a nossa equipa é extremamente pequenina. Depois temos duas pessoas do GAVE que são duas tarefeiras que fazem o trabalho auxiliar. O que é que é preciso assegurar? O PISA é um programa de 3 em 3 anos, não é? Mas, por exemplo, em 2009 vamos ter o novo ciclo de leitura, que nos vai permitir até fazer pela primeira vez uma boa comparação com o que se passou em 2000. No fundo, fecha-se major de 9 em 9 anos, só que no ano imediatamente anterior é feito um piloto. Este ano houve, portanto, um piloto. Já fizemos o piloto e esse piloto permite despistar problemas e dificuldades em certos itens, porque depois é feita uma análise estatística relativamente a cada item para se perceber aqueles itens em que aparecem discrepâncias inexplicáveis entre países para verificar se são problemas de tradução, se são problemas culturais, e o fim do piloto é decidir quais são os itens que devem entrar e quais os que não e ao mesmo tempo a questão dos questionários, não é? Porque o PISA não só há-de ter uma parte cognitiva como tem uma parte de questionários.
EC: De background…
131 RPGB2: É a coordenadora nacional.
NA: Coordena. Portanto, tem essas duas tarefas, mas como é que isso é feito? Dá-me
ideia de que é uma tarefa ampla só para duas pessoas.
RPGB2: Quer dizer, em permanência são estas duas pessoas, mas depois temos, por
exemplo, os problemas da tradução e, nessa altura, vamos buscar normalmente elementos do GAVE, do Inglês ou…
NA: Que trabalham noutras áreas...
RPGB2: Trabalham noutras áreas e podem dar apoio. Temos o problema da
codificação. O PISA não é classificado, é codificado, são códigos. Tal como a gente utiliza já nas provas de aferição; já é um impacto do PISA, nas provas de aferição, sem dúvida, que é atribuir códigos a níveis de desempenho, portanto, não funcionar com aquela classificação tradicional, drástica que é “está certo ou está errado”, mas introduzir códigos que nos permitem perceber qual é no trajecto para a solução qual é, digamos e, portanto, nem sempre se associa um valor a isto, não é?
NA: Há um conjunto de respostas pré-formatadas e portanto a partir da resposta que o
aluno dá, assim se…
RPGB2: Assim se encaixa num código. Exactamente. Porque no trajecto para a
solução, às vezes, há varias estratégias. Por exemplo, quando se faz as provas de aferição pede-se uma área e o aluno vai buscar o perímetro, isto pode corresponder a um código. É tipicamente uma daquelas áreas em que…tenta-se antecipar que é para depois, no fundo, devolver às escolas, que é aquilo que estamos a fazer, esses códigos e a sua interpretação para que os professores tenham elementos de feedback fundamentais. O PISA é também, assim, codificado e essa codificação é feita de uma maneira muito…o PISA é todo ele muito estrito e muito severo em termos de regras e, por exemplo, os codificadores têm de codificar ao mesmo tempo, dentro de um horário fixo; a codificação não pode ser feita na vertical, portanto, dá-me mais jeito pegar numa folha e fazer na vertical, mas não… tenho de fazer na horizontal para se garantir que ninguém codifica, por exemplo, “já que eu estou nesta página faço esta”, e isto é uma das preocupações do NPM que tem de estar sempre presente e que também codifica.
132
RPGB2: São pessoas do GAVE, são normalmente professores das disciplinas que
colaboram na elaboração das provas e que também fazem esse trabalho. Podem ser e podem não ser, não é? Esse trabalho, além de tudo, é feito com redundância, de tal maneira que se consegue ver qual foi a percentagem de erros na codificação; abaixo de uma certa percentagem essas pessoas são desligadas do projecto porque aqui tem de se ter um imenso cuidado. Umas das preocupações que eu tenho tido com o PISA é que eu penso que…nós entrámos no PISA em 2000... eu conheço um bocadinho da história do PISA, mas como não era eu o responsável há certas coisas que eu ando a inferir ou a descobrir, não é? Nós entrámos no PISA já um bocadinho tarde, entrámos no primeiro ano, mas um bocadinho à pressa. Penso que foi uma decisão tomada um bocadinho em cima da hora e, portanto, as nossas traduções não foram brilhantes, porque foram feitas muito à pressa e isso foi uma das coisas que eu detectei quando, em 2002, trabalhei com o Ministro Justino, no Gabinete. Eu sempre achei que o PISA... fazia-me muita espécie que nós tivéssemos resultados tão maus e fui tentar despistar o que é que se passava. Uma das coisas que eu detectei naquela altura é que exactamente as nossas traduções eram muito pedantes e muito pouco adaptadas a miúdos de 15 anos, mas isso aconteceu porque tudo foi feito a correr. Não foi possível passar por fases diferentes em que a pessoa diz “agora já está uma tradução bem-feita, vamos tentar ver se a linguagem está adequada”, porque há 50 mil maneiras de escrever o mesmo texto, como é evidente. Esse é um lado da questão. O outro lado é também o cuidado em…nós somos muito severos e temos alguns hábitos quando classificamos, enquanto professores, que é um bocadinho da nossa cultura, não é? Quer dizer, quando nós vemos um texto escrito por alguém, que contém erros de ortografia, nós imediatamente achamos que foi pessoa ignorante e que as ideias não valem nada e que uma pessoa que escreve desta maneira tem de ser logo penalizada e isso é outra coisa que nós descobrimos; é que a codificação passou já por essa fase e o PISA não tem que levar isso em consideração, mas é muito complicado explicar que aquelas regras têm de ser seguidas de uma forma muito…
NA: Para garantir a fidedignidade do instrumento…
RPGB2: Exactamente. Por exemplo, no caso da leitura se para nós, em Portugal, no
caso das provas de aferição é uma das dimensões que é sempre avaliada, que é o caso da correcção ortográfica como é evidente, para além da sintaxe, da relevância, etc, no caso do PISA não. A ortografia não conta, mas quem é que os convence do contrário? Portanto, determinamos uma série de…
133
NA: Tem havido esse trabalho de aperfeiçoamento da tradução e dos dispositivos
técnicos.
RPGB2: Pois, mas nem sempre é fácil porque, por exemplo, uma das coisas que o
PISA faz é ter um conjunto de itens que são os chamados link itens que são usados em 2000, em 2003, em 2006 e assim por diante para assegurar a comparação intra-anual, intra-ciclo. Ora, o que é que acontece aí? Se um certo item for alterado por uma questão de melhoria da tradução…
NA: Perde a comparabilidade.
RPGB2: Pode perder a comparabilidade e essa é uma coisa que nós discutimos com o
consórcio.
NA: Portanto, todos estes problemas são discutidos... RPGB2: Claro, claro.
NA: Não são decisões que se tomem só a nível nacional.
RPGB2: Não, de forma alguma, porque há aqui uma responsabilidade muito grande de
assegurar esta comparabilidade, isto não se pode mudar. Quer dizer, uma coisa que está mal feita em 2000, pode-se fazer alguma pequena alteração mas aquele item fica marcado e depois é esse o problema, não é!? Perguntam-me assim: “Então, e se houver uma quebra na estatística, qual é a posição que tomamos?” e eu digo sempre que para mim mais importante que ter uma garantia de sobriedade é a garantia de estarmos a fazer uma avaliação que se aproxime, não é?
NA: Sim, claro. É um dilema.
RPGB2: É um dilema complicado. Eu penso que não fizemos grandes alterações e
tentámos encontrar o meio-termo e ir buscar aqueles exemplos em que de facto o texto…e aliás se comparar as traduções portuguesas com as brasileiras vai ver que… coitados dos brasileiros que estão a ser sujeitos aos nossos itens PISA, em vez de terem 300 e não sei quantos eram capazes de ter para aí 200 que percebem o que é que lá está escrito. Portanto, as equipas, por exemplo, codificam…o caso da aplicação não…
134
RPGB2: A aplicação no terreno…é escolhido o conjunto, penso que foram 50 escolas,
pena não estar cá a Dra. Anabela…
NA: Mas é uma amostragem de escolas com determinados critérios? É uma decisão
nacional?
RPGB2: Penso que no caso do estudo principal não. É uma decisão obviamente do
consórcio, ou seja, damos-lhe a base de dados e eles dizem „é a escola, tal, tal, tal e tal‟. Não podemos mudar, podemos fazer alguma substituição, porque às vezes não há alunos que cheguem, mas tem que haver a garantia de 85% pelo menos. No caso do estudo piloto, não são escolhidas, é o próprio país que escolhe e, portanto, é uma amostrazinha que se faz também um bocadinho escolhida em função da conveniência e de garantir alguma variedade nessa amostra.
NA: E o dispositivo de aplicação?
RPGB2: A aplicação é muito simples. È contactar as escolas, é ir lá; neste caso, ou vai
a Dra. Anabela ou vai uma das duas colaboradoras do PISA, que vão à escola, levam os cadernos, os alunos são expostos ao teste e é tudo devolvido, como é evidente. Depois passa-se aqui o processo de codificação…
NA: A escola, digamos, só disponibiliza o espaço e os alunos. RPGB2: Exactamente.
NA: Toda a logística é montada pelo GAVE, pelo pessoal do GAVE ou mobilizado
pelo GAVE.
RPGB2: Exactamente. E portanto, o que é que acontece? Fazem o teste, o teste é todo
recolhido e há essa preocupação em ter tudo em cofre, em sítios fechados, salas fechadas, faz-se a codificação, é ela introduzida, é enviada e depois há…quer dizer, normalmente o NPM tem sempre tarefas que eles marcam: „até ao dia tal têm de fazer isto, até ao dia tal têm de fazer aquilo‟…
NA: Sim, são as Operational Procedures.
RPGB2: É tudo muito bem definido e tem que se seguir rigorosamente. O meu papel aí
é menor. Eu conheço menos as minudências dessas coisas, não é? Eu só apareço ou nas reuniões do PG Board como aconteceu agora, que vim de Haia, onde houve esta reunião
135
onde se tomam as decisões políticas mais…onde se discutem os orçamentos, se podem ou não aumentar, onde há aquelas guerras dos países em que uns querem pagar menos…os americanos querem sempre pagar menos, se for mais… querem mais por menos, não é!?
EC: Já agora…a estabilização dessa rede, porque há aquela rede de actores em termos
internacionais, fantástica, essa estabilização, em termos de reuniões, como é que se processa? São actos de negociação? As reuniões, por exemplo as do PGB, como são? Como é que o Sr. Professor as caracterizaria? São actos de negociação? São de imposição? Como é que se gerem ali? Porque, tanta gente, com interesses tão díspares…
RPGB2: Tão díspares…é complicado. E, depois, formam-se sempre grupos e nestas
coisas formam-se grupos e subgrupos, não é?
EC: Esse aspecto muito interessante, não é?
RPGB2: É muito interessante. Mas, por exemplo, essa reunião do PGB normalmente
tem…há um secretariado e há no fundo uma coordenação e há grupos, há um grupo técnico, há um grupo estratégico com elementos que são eleitos pelos vários elementos para prepararem a estratégia…portanto, o trabalho vem muito preparado. Depois, o PISA, aquilo que se nota muito no PGB é que, digamos, os países que são os países fundadores da ideia do PISA, que estão na base do racional do PISA que é fundamentalmente a Holanda, que tem uma importante Universidade no consórcio, a Austrália, que tem o ACER, é a Inglaterra…são aqueles países que no fundo…e normalmente o que a gente verifica é que esses países têm sempre um grande protagonismo….a Nova Zelândia, a Austrália, a Inglaterra, a Irlanda, a Holanda…
EC: O Japão, talvez.
RPGB2: O Japão, sim! O chairman é exactamente um japonês, não é? Portanto, no
fundo são esses países que têm grande protagonismo. Neste momento, há um ano foi criado um grupo que é o GIP, que é o Grupo Ibero-americano do PISA, não é?
NA: Assim uma espécie de lobby.
RPGB2: É um lobby, exactamente, e que nós estamos presentes. Eu devo dizer que,
136
americanas porque, uma vez, estive no Instituto de Sistemas e Robótica e meteram-me numa coisa dessas e lá numa coisa qualquer ibero-americano e lá um senhor que era um espanhol dizia (…) querem comparar-me com os melhores, não? Deram-me uma espécie de... uma coisinha para a gente publicar numas publicações inacreditáveis, e pronto. E, depois, nós temos um problema muito complicado dentro do GIP, que é o facto de o GIP ter Portugal e o Brasil, em que o Brasil não investe grande coisa no PISA, investe muito pouco no PISA, nós investimos muito mas é sobretudo coração e alma, porque temos pouca gente e pouco dinheiro e pouca expertise também para o PISA e, portanto, são dois países…os brasileiros nunca aparecem, por exemplo, agora não apareceram e quando aparecem andam a fazer compras. E, por outro lado, os espanhóis aparecem não só pelas suas regiões, cada uma delas é um país, eles aparecem mesmo no porte do PISA com uma coisa in touch, a Catalunha e o País Basco e portanto aparecem sempre com as várias regiões, que são n, sei lá quantas, e depois aparecem com os países Latino-americanos, o México, a Argêntica, a Colômbia, o Uruguai, o Chile…
NA: Então, o objectivo desse grupo, no contexto da estrutura dirigente do PISA… RPGB2: No fundo, é tentar fazer…uma coisa em que estamos envolvidos e me tem
dado imensas dores de cabeça, é um relatório do PISA, mas focado sobre os países Ibero-americanos e em que…
NA: Sim, sim. Realmente, há um pouco essa crítica que se lê de que o PISA,
nomeadamente a nível dos instrumentos, está muito marcado por uma certa cultura Anglo-saxónica.
EC: Sobretudo os franceses.
RPGB2: Sim, é verdade. Mas já agora, um parêntese aí; uma das coisas que nós
investimos foi o tentar criar itens nossos, portugueses aprovados pelo consórcio e conseguimos. Conseguimos e por acaso eles agora…houve ainda no enquadramento do GIP um curso sobre elaboração de itens.
EC: Professor, peço desculpa… para este novo ciclo?
RPGB2: Sim, sim. Já para este novo ciclo e foi muito engraçado porque o nosso grupo
137
que foram ao México. Penso que foi um curso no México…foi num desses países, não é? Foram mesmo fazer um curso de como…
NA: De como construir.
RPGB2: Tivemos, logo, itens aprovados. Aliás, acho que foi o único país, porque até os
espanhóis têm tentado meter assim às carradas e agora no Board do PISA verifiquei que há 4 itens nossos que estão como…não sei se os espanhóis já conseguiram 4 também, acho que aquilo deve ter sido porque dava mau aspecto um esforço tão grande que eles tinham feito e não tinham conseguido. Mesmo nessa dimensão nós estamos muito atentos e claro que há, de vez em quando, reuniões técnicas em que os vários responsáveis fazem uma análise cultural, são propostos itens novos e a gente faz uma análise, porque há tantos países, não é? Para vos dar um exemplo, havia um texto qualquer que já não me lembro de que país era, que falava “os deuses isto, os deuses aquilo”, aquelas coisas que a gente usa muito, que os árabes chumbaram porque não se podia dizer que Ala…porque era uma coisa assim um bocadinho leve, não é? Há essa preocupação de criar itens que de um ponto de vista cultural sejam…
EC: E também há, da parte do consórcio, a preocupação de dar formação?
RPGB2: Sim, claro que há essa preocupação de formação. O GIP tem funcionado um
bocadinho como isso. Nós já organizamos aqui em Lisboa dois workshops, foi um sobre análise de dados e um sobre o PISA em geral para os países do GIP.
EC: Isso foi recente professor?
RPGB2: Foi este ano. Fizemos um pequeno workshop aqui mesmo, no GAVE. Foi o
ano passado….é capaz de ter sido o ano passado.
NA: Portanto, as relações entre a estrutura nacional do PISA e a direcção internacional
fazem-se fundamentalmente através das reuniões que vão havendo…
RPGB2: Exactamente, em que vamos estando presentes.
NA: E também, pelos vistos, nesse tipo de iniciativas mais especificas, mais técnicas,
138
RPGB2: Exactamente! Tanto que o que se passa é que isto é um projecto onde há muita
interacção. Claro que, depois, a capacidade de decisão é outra coisa porque aí como em qualquer instância internacional um país sozinho não terá grande peso.
NA: E o peso também tem a ver com a capacidade técnica e cientifica que existe, não é? RPGB2: Pois, exactamente!
NA: No caso de já ter um certo background, penso que também é capaz de ser
importante.
RPGB2: Nós fazemos um grande esforço, por exemplo, para ilustrar esse problema da
capacidade técnica e como de facto a capacidade técnica é fundamental nisto, os países do GIP…eu lá entrei no GIP, mas enfim…eu gostava que fosse uma coisa mais latina a tentar puxar pelos italianos e pelos franceses mas os espanhóis querem aquilo…até porque isto é uma coisa que é depois tudo, as viagens e não sei que, são pagas pela OEI e portanto, não é? A gente farta-se ai de viajar à conta deles e ainda bem, se é assim e se a gente vai aprender alguma coisa, se valer a pena, aproveitamos (…) mas deixe-me só dizer uma coisa engraçada: o GIP resolveu fazer o tal report e então para isso contrataram a peso de ouro, imagino eu, um senhor que é o Douglas Willms…
EC: O Willms…escreve muito sobre o PISA.
RPGB2: Exactamente. E então, Oviedo fez uma espécie de um…porque aquela parte
mais dura da estatística foi ele que fez, arranjou um conjunto de indicadores, definiu…aliás, ele fez esse trabalho para o Qatar, nós falamos do Qatar que tem muito dinheiro e fez esse trabalho para o Qatar e depois deu à manivela e depois os tipos do GIP contrataram-no. O que é que ele fez? Fez aquela curva básica numérica da distribuição dos estudantes em função do estatuto socio-económico e cultural e do respectivo score, é aquela curva que nós conhecemos, não é? Fez isso a nível de escola, com as bolinhas e as pintinhas e se são verdes, um triângulo se é privado, se é publica, inventou uma coisa chamada “risco relativo” e o “risco absoluto”, que é um bocadinho parecido com aquilo que se faz em Ciências da Saúde, que é dizer quantas vezes a probabilidade de ter cancro do pulmão dado que sou fumador é maior do que, dado que não sou…e uma coisa que é quanto é o risco absoluto que é quanto é que é reduzida a probabilidade de morrer de cancro do pulmão se eu deixar de fumar ou se eu não for
139
fumador, e portanto, agora podem estabelecer o equivalente; quantas é que a minha a probabilidade de ter maus resultados no PISA é…
NA: Indiciado pelo estatuto sócio-económico, se frequenta uma escola pública ou
privada…
RPGB2: Exactamente. Depois ele criou 10 indicadores que são a dimensão das
turmas…
EC: A dimensão geográfica provavelmente…
RPGB2: Não, não. Criou essas coisas e depois como ele já tinha feito isso para o Qatar
deu à manivela e produziu uns relatórios de duas páginas para cada…portanto, são coisas destas, não é? Isto é para as escolas, com as bolinhas…e depois ele tem aqui estas curvinhas que são Quality of Construction, isto é dos questionários, que dizem “Quality of Construction Accountability” que era para saber se as escolas escondem erros, esconde ou não, “Curriculum Coverage”, para saber se o currículo é copiado ou não, “Appropriate Level”, se o nível é ou não adequado aos alunos, “Science Time”, qual é o tempo devotado ao ensino das ciências, “Number of Courses”, “Student Interest”, “Relevant to Students”, “School Resources” e “Class Size”. Depois, ele o que fez foi correlacionar isto com o estatuto sócio-económico e cultural para verificar se houvesse