3 DA LÓGICA DAS COMPETÊNCIAS E HABILIDADES AO PISA: UM
3.4 Estrutura político-administrativa-operacional do Pisa
3.4.2 Dimensões processual, operacional e técnica dos testes
O Pisa, inquérito internacional, divide-se em várias áreas e procedimentos que buscam dar legitimidade ao programa, com os objetivos de permitir comparabilidade dos resultados entre os países, no desenvolvimento dos ciclos de medição e verificação de aprendizagens. Discorreremos sobre as principais fases que constituem os procedimentos operacionais dessa aferição. Mas, antes, é necessário registrar que qualquer técnica que visa operacionalizar determinados processos tem como pano de fundo os fundamentos de primeira ordem que condicionam sua aplicabilidade, portanto, longe de serem procedimentos isentos de constituintes políticos, eles são, em sua concreticidade, um movimento intencional para implementação da política. Passemos à analise de cada fase.
1. Planejamento e desenvolvimento da prova
As provas e seus itens são desenvolvidos pelo Consórcio contratado pelo Conselho de Governo do Pisa (PGB). Elas são objeto de consulta e verificação por parte dos centros nacionais e dos intelectuais que analisam as questões, propondo incorporação e supressão de
itens de acordo com a cultura específica de cada país. Este processo não é, em absoluto, consensual, cabendo em última instância uma decisão por parte do PGB.
O fato de o PGB tomar as decisões finais sobre o conteúdo da prova, mesmo sob insatisfação, soa como legítimo para os intelectuais tradicionais, pois, como disse Lange (2006), no Conselho estão os países que pagam a conta do Pisa. Porém, tal legitimidade, em última instância, é construída pela força dos interesses. É falso o argumento recorrente de que “cada cabeça, um voto”, pois, como já vimos, uma das formas de atuação da OCDE é a pressão, sobre os países em desenvolvimento, para o aceite dos protocolos e normatizações. Um processo de dominação que se inicia na tentativa de construção de falsos consensos e atinge consentimento com o uso da força do constrangimento e da pressão advinda dos países considerados mais desenvolvidos.
As provas são aplicadas em um faixa de tempo determinada pelo PGB, que compreende mais ou menos dois meses. Esta determinação tem por objetivo garantir que os países organizem a aplicação dos testes, levando em consideração os requisitos com relação à faixa etária dos estudantes, que deverão, na data de realização da prova, ter entre 15 anos e 3 meses e 16 anos e 2 meses.
Cada estudante tem 2 horas para a realização da prova principal, que engloba as três áreas específicas do programa, sendo que 70% da prova consistem no domínio central que é verificado a cada ciclo. Ainda têm entre 20 e 30 minutos para responder um questionário socioeconômico que busca informações sobre o entorno do processo educativo dos estudantes, suas relações familiares e o ambiente escolar. O diretor de escola também responde a um questionário, no qual fornece informações sobre as condições da escola e a sua composição socioeconômica.97
As provas também passam por um processo de análise e tradução para os idiomas dos países participantes. Esse processo é acompanhando pelos tecnocratas e pelos centros nacionais do Pisa, que aplicam uma prova piloto para verificação a existência de possíveis enviesamentos culturais e/ou linguagens e conteúdos inapropriados para a prova ou que estejam em desacordo com a cultura de cada país. Após esse percurso, as provas finais são submetidas aos estudantes sorteados no processo de amostragem.
97
2. O processo de amostragem e seleção dos estudantes
O processo de amostragem é realizado em duas etapas. A primeira consiste na escolha, por sorteio, das escolas públicas e privadas que têm alunos que se enquadram nos critérios estabelecidos pelo programa. Após esse processo, cada escola escolhe, também por sorteio, 35 alunos que participarão dos testes.
Cada país participa do Pisa com no mínimo 150 escolas, ou com a totalidade de suas escolas, caso o número seja inferior a esse. Desta forma, espera-se medir a aprendizagem de 5.250 alunos de cada país. Sendo que o mínimo admitido pela organização é de 4.500 estudantes submetidos aos testes. No decorrer dos ciclos, os países, como o Brasil, foram aumentando suas amostras. O recomendável é que a amostragem tenha abrangência nacional.
3. A análise dos dados
O Pisa usa a Teoria de Resposta ao Item (TRI), um método recorrente nas avaliações de larga escala,98 que consiste em utilizar as respostas dos alunos a um conjunto de itens da prova para obter cálculos aproximados da dificuldades e ao mesmo tempo aferir a capacidade dos alunos que fazem o teste. Esse método também permite a construção de escalas e relações com outros itens de respostas dos questionários, como gênero e situação socioeconômica (Turner, 2006).
A opção teórico-metodológica de utilização da TRI no Pisa acompanha os pressupostos e fundamentos que dão base à implementação da lógica de competências e habilidades empreendida pela OCDE. Com a TRI busca-se medir as destrezas de distintos grupos de estudantes que realizam provas diferentes, com conteúdo similar.
Esse procedimento teórico-metodológico faz opção por determinadas escalas de medida que são prescritas intencionalmente de acordo com o resultado que se espera alcançar. Sua lógica de funcionamento trabalha com o instituto de “variáveis latentes”, que busca identificar as competências e habilidades em uma área determinada. Ela também considera de forma linear o desempenho dos estudantes, numa perspectiva unidimensional. Sendo o Pisa,
98
Atualmente, na área educacional, vem crescendo o interesse pela aplicação de técnicas derivadas da TRI, que propõem modelos de variáveis latentes para representar a relação entre a probabilidade de um aluno responder corretamente a um item e seus traços latentes ou habilidades na área do conhecimento avaliada, os quais não são observados diretamente. Tendo como elemento central os itens, e não a prova como um todo, a TRI permite, por exemplo, a comparação entre populações distintas submetidas a provas diferentes, mas com alguns itens comuns, ou, ainda, a comparação entre indivíduos da mesma população que tenham sido submetidos a diferentes provas, com ou sem itens comuns (Andrade; Valle, 1998, p.13).
isento de determinações sociopolíticas estruturais que, ao nosso modo de entender, influenciam as formas como os sujeitos assimilam e aplicam seus conhecimentos.
A TRI é a teoria que responde à busca por resultados objetivos e mensuráveis que facilitam a comparabilidade, a fim de instaurar a competitividade entre escolas e sistemas educacionais. Oriunda da psicometria, essa metodologia de construção dos itens de uma prova e de análise dos seus resultados serve para estabelecer uma mesma métrica para medir e classificar estudantes diversos em variados contextos. O Pisa, como instrumento de medida, é um exame parcial, signatário de uma concepção mecanicista do mundo que subscreve a ideologia positivista. Seus fundamentos sustentam a ocultação das determinações econômicas e sociais que perpassam as relações sociais no âmbito do capitalismo e que interferem no processo de apreensão dos saberes.
[...] o exame é só́ um instrumento que não pode por si mesmo resolver os problemas gerados em outras instâncias sociais. Não pode ser justo quando a estrutura social é injusta; não pode melhorar a qualidade da educação quando existe uma drástica redução de subsídio e os docentes se encontram mal pagos; não pode melhorar os processos de aprendizagem dos estudantes quando não se atende nem à conformação intelectual dos docentes, nem ao estudo dos processos de aprender de cada sujeito [...], afirmamos que o exame é um espaço social superdimensionado. Também enunciamos que o exame não pode resolver uma infinidade de problemas que se condensam nele. (Barriga, 2003, p.27)
Os resultados oriundos desse exame são tratados pelo Consórcio do Pisa, que elabora os documentos estatísticos, tabelas e gráficos que dão base às análises feitas pelos tecnocratas da OCDE e dos países participantes, notadamente, na construção de seus relatórios nacionais e nos documentos de comparabilidade entre escolas e Estados que, por sua vez, vão orientar processos de reformas. Tais reformas, orientadas pelos resultados parciais impressos pelo exame, desconsideram as determinações e consequências oriundas do sistema sociometabólico do capital e acabam por sustentar políticas que geram mais desigualdades no interior dos sistemas educacionais.
Nesse sentido, a política de avaliação externa em larga escala, ou melhor, os testes e exames de mensuração e verificação impetrada/os pela OCDE, busca(m) aferir se os sistemas educacionais estão implementando as proposituras que emergem do organismo. Assim, o Pisa se transformou num veículo que carrega e difunde um padrão universal de conteúdos – os resultados obtidos e aferidos ocultam as determinações político-econômicas e sociais próprias do sistema sociometabolico do capital – e, concomitantemente, institui e é instituído sob a lógica das competências e habilidades.
Nossa tese é que, a partir deste exame, a Organização, de posse dos resultados, materializa uma estratégia político-ideológica de adaptação da educação dos países-membros e parceiros que não alcançam os resultados almejados, incidindo, sobretudo, nas dimensões da gestão e avaliação dos sistemas educacionais, como veremos a seguir.