CAPÍTULO 4 – DESCRIÇÃO DO PERCURSO DE PESQUISA: DA ORIGEM DA IDEIA à
5.3 As avaliações externas em larga escala para o Núcleo de Avaliação: percepções e usos
Como já descrevemos, a Assessoria de AIP pediu seu desligamento no final de 2014 a partir da parceria estabelecida entre a PMC e a empresa Comunitas. Em abril de 2015, após um processo de escolha entre os CPs, foi constituído o Núcleo de Avaliação, vinculado à Coordenadoria Setorial de Formação do Depe. Tal Núcleo, inicialmente, foi composto por duas CPs do EF e uma da educação infantil. No entanto, no mesmo ano, uma das CPs passou a desempenhar a função de supervisora educacional e o Núcleo de Avaliação ficou, apenas, com dois membros. No início de 2016, uma OP da rede substituiu a CP que havia deixado o Núcleo.
Em outubro de 2015, realizamos uma entrevista com uma das integrantes do Núcleo de Avaliação, com o intuito de conhecer quais seriam as ações destinadas à política de AIP153 e aos resultados da avaliação externa em larga escala. A integrante do Núcleo de Avaliação que entrevistamos se efetivou na RMEC em 2009. Inicialmente, foi OP de uma escola de EF e, desde 2013, está no cargo de CP. Desse modo, além de conhecer a organização da RMEC, a entrevistada vivenciou boa parte da implementação da política de AIP e acompanhou os processos realizados pela Assessoria de AIP, antes da constituição do Núcleo de Avaliação.
Para a entrevista, utilizamos o mesmo roteiro de perguntas destinado às quatro integrantes da Assessoria de AIP, atuantes entre 2008 e 2014. A entrevista foi realizada no Cefortepe, atendendo à solicitação e disponibilidade da entrevistada. Após a leitura e
assinatura do TCLE, a conversa foi gravada. Realizada a transcrição da entrevista, conforme descrevemos no capítulo anterior, buscamos identificar o conteúdo das mensagens quanto à problemática deste estudo (BARDIN, 1977).
Para complementar as informações obtidas, recorremos às anotações do diário de campo, ao acompanharmos duas reuniões realizadas por esse Núcleo. Uma delas aconteceu no dia 20 de outubro de 2015 e teve como objetivo entregar os relatórios da Prova Campinas com os resultados da aplicação realizada em 2010. Nesse encontro, com a presença dos OPs das escolas de EF da RMEC, houve um resgate histórico da política de AIP e a apresentação dos objetivos e da configuração da Prova Campinas. Uma das integrantes da antiga Assessoria de AIP fez a exposição, posicionando a avaliação externa de desempenho dos estudantes, na política referida, como um de seus módulos. As características da Prova Campinas foram apresentadas por uma professora da RMEC, autora de pesquisa de Mestrado sobre essa avaliação.
A outra reunião que acompanhamos ocorreu em 12 de abril de 2016, com os OPs das escolas de EF, as integrantes do Núcleo de Avaliação e o diretor do Depe. O objetivo foi apresentar os resultados da Provinha Brasil, enquanto rede, e entregar para as OPs os relatórios com os resultados de cada escola, produzidos pela empresa contratada pela SME.
Conseguimos a autorização para acompanhar a primeira reunião durante a entrevista que realizamos, em outubro de 2015, com uma das CPs do Núcleo de Avaliação. Quanto à segunda reunião, ficamos sabendo que ela aconteceria no dia anterior, ao visitarmos uma das escolas selecionadas para esta pesquisa. Dessa forma, não conseguimos entrar em contato com antecedência com o Núcleo de Avaliação. No dia da reunião, dissemos a uma das integrantes do Núcleo que seria importante acompanhar como ocorre o diálogo com as escolas acerca dos resultados da avaliação externa em larga escala. Ela permitiu que acompanhássemos a reunião, nos disse que não havia nada a esconder e que apenas entregariam os relatórios da Provinha Brasil. A seguir apresentamos os dados obtidos com a entrevista e complementados com os registros realizados em diário de campo.
1. O olhar sobre as avaliações externas em larga escala.
Para a CP integrante do Núcleo de Avaliação, os resultados das avaliações externas em larga escala devem ser observados ao se analisar a qualidade da escola,
entretanto, o trabalho da rede e da instituição não deve se orientar exclusivamente por esses dados, já que outros aspectos devem ser contemplados no processo de formação do estudante.
[...] eu entendo que elas [as avaliações externas] são importantes como um
instrumento a mais que vai nos ajudar a ter um panorama aí do perfil de desempenho dos nossos alunos.
[...] não deixa de ser um instrumento importante que serve como termômetro, né? […] então acho que a minha visão é um pouco assim, são instrumentos
importantes, trazem informações importantes que a gente pode usar como parâmetros para ajudar o trabalho da gente, mas não como único parâmetro, né?
Não dá para direcionar o trabalho só em cima disso. A gente tem coisas… até porque ela tem limitações e ela avalia algumas... se considera a “qualidade”, digamos assim, para essa prova, algumas coisas específicas. Acho que a gente
como escola, como sistema e tal, a gente tem uma visão muito maior do que precisa ser trabalhado, do que se traduz em qualidade que não é só ali, o menino
acertar a equação. Isso, é claro, é importante que ele saiba resolver, mas tem
outras questões também que a gente busca trabalhar que não é só ali, aquele conteúdo específico. (Entrevista com a CP Simone).
2. As avaliações externas em larga escala na política de AIP.
Sobre a política de AIP, a CP afirmou que, nela, os resultados das avaliações externas em larga escala são considerados como um indicador de qualidade a mais que auxilia no planejamento, mas sem direcionar o trabalho desenvolvido na rede de ensino. A CP mencionou, ainda, que na RMEC os resultados das avaliações externas em larga escala não são utilizados para ranquear as escolas.
Dentro da política de Avaliação Institucional, eu entendo que para rede, e eu
concordo com esse posicionamento, também é o meu, é um instrumento a mais. [...] tem um peso, mas esse peso, ele acaba sendo diluído porque a gente tem
outras coisas que também pesam, né? Então, assim, a possibilidade da escola poder junto com a sua comunidade, com a CPA participando, né? [...] A escola discutiu seus resultados, tanto das avaliações internas quanto das avaliações externas, ‘olha, internamente a gente trabalhou dentro dessa perspectiva, tendo
como foco essas metas e os nossos resultados foram esses; externamente, os nossos resultados foram esses’. Então, assim, ‘o que a gente como escola vai priorizar a partir daqui para esse ano, né?’ Então, coletivamente, a gente vai estabelecer as
metas, focar nos nossos objetivos, indicar as ações necessárias para que essas metas sejam alcançadas. A CPA vai levantar indicadores para monitorar o andamento dessas ações e ver até que ponto a gente está caminhando para o alcance dessas metas.
[...] a gente não tem essas avaliações externas como a única referência de
trabalho, de planejamento e tudo mais. É uma das referências, é uma referência importante, mas não é a única...
[...] mas eu não vejo essas avaliações, de certa forma, direcionando totalmente o
trabalho. Não que eles não interfiram no nosso planejamento ou não tragam subsídios para o planejamento, trazem. Mas, assim, é diferente de uma rede que, por exemplo, ‘vamos trabalhar para elevar o nosso Ideb, a partir do que é avaliado
no Ideb’. Então, ‘vamos lá, pega a Prova Brasil, vamos pegar os descritores e vamos focar o nosso currículo’. O nosso trabalho em cima apenas daquilo, para gente melhorar os nossos resultados.
[...] é importante a gente também conhecer os nossos resultados enquanto rede,
até para gente ter um olhar mais cuidadoso para algumas questões.
[...] então, ela vai estar sendo considerada até porque os descritores dela, são
descritores que estão presentes em nossas diretrizes curriculares também.
[...] então, assim, do ponto de vista da rede, nós não vamos ranquear as escolas. ‘Ah, essa daqui está melhor do que outra e tal.’ (Entrevista com a CP Simone).
Nessa direção, nas duas reuniões que acompanhamos, sobretudo no encontro de 20 de outubro de 2015, para a entrega dos resultados da Prova Campinas realizada em 2010, foi mencionada a política de AIP e enfatizado que os resultados das avaliações externas em larga escala constituem um dos indicadores a serem considerados no processo de autoavaliação das escolas, contudo, sem serem privilegiados em relação aos demais indicadores de qualidade.
Ainda quanto aos resultados das avaliações externas em larga escala, para a CP entrevistada, é preciso analisá-los considerando as ações realizadas pela escola, bem como seu contexto. Ressaltou, também, que, por meio da AIP, é possível ter outros olhares para os resultados obtidos e, a partir das justificativas apresentadas, atribuir à instituição a responsabilidade que lhe cabe no processo de aprendizagem dos estudantes.
[...] então, essa avaliação externa entra como uma das coisas que a gente
considera. De repente a escola pode chegar e falar assim: ‘olha, a gente teve Ideb
de 5.3, nosso Ideb era, sei lá, 5.1. A gente teve 5.3, mas a nossa média é, a nossa meta lá do MEC, estabelecida pelo MEC era 5.4’, sei lá. ‘A gente cresceu, mas não
atingiu a meta do MEC, mas nós tivemos um crescimento, mas paralelamente a
isso, a gente desenvolveu na escola um projeto de educação ambiental que foi super legal, que a comunidade participou, que os alunos tiveram protagonismo, que mudou... andaram pelo bairro, eles coletaram material, eles fizeram isso, fizeram aquilo e não sei o quê e foi um trabalho super bacana que teve um resultado
positivo para a nossa comunidade. [...] Então, num conjunto, a gente vai dizer: “tá, a gente não atingiu a meta do MEC, mas a gente está caminhando dentro de uma proposta de qualidade que é a proposta de qualidade que a escola acredita que deve ser para aqueles alunos, para aquela comunidade e tudo mais’. É claro
que isso é um dado importante, mas, assim, também a gente não tem que arrancar
os cabelos porque houve um crescimento, né? Agora, por outro lado: ‘a gente tinha que ter atingido uma meta do MEC lá de 5.3 e a gente, ao invés de crescer, a gente andou para trás, nós tivemos 4.8. Ah, mas, também, nós ficamos sem professor de Português o ano inteiro’. Tá, então a gente não vai descuidar dessa meta, mas a gente tem uma justificativa para essa meta não ter sido alcançada.
lá... A gente tem três 7os anos e tem 28 alunos que estão para ser reprovados.’ ‘Pô, então, pera aí escola! Que porcaria de trabalho que vocês estão fazendo, aí? Vocês não estão atingindo meta de MEC e ainda por cima, vocês não estão olhando para os próprios processos internos que os alunos não estão aprendendo e vocês querem reprovar 1/3 dos alunos?’ Então, assim, ‘o que foi feito? Que
trabalho vocês estão fazendo?’ Então, assim, eu acho que essa possibilidade dessa
avaliação participativa dá para gente essa possibilidade de ter diferentes olhares.
Então, assim, embora a gente tenha essa condição de ter mais autonomia da escola
e tal, mas a gente também tem uma responsabilidade maior. Porque, você
concorda? Se a escola está lá no MEC, ali em cima, mas está fazendo um trabalho
super bacana e está provando que os alunos estão caminhando e aprendendo é uma coisa, a gente respeita. Agora, se também não chega aqui, também aqui não está fazendo nada e é mais do mesmo, os alunos não estão caminhando, aí a gente tem um outro olhar. Então, acho que dá para a gente ter esse diálogo e atribuir também a responsabilidade que cabe à escola, né? (Entrevista com a CP Simone). 3. Ações realizadas pelo Núcleo de Avaliação a partir dos resultados das
avaliações externas em larga escala.
O Núcleo de Avaliação foi constituído cerca de seis meses antes de realizarmos a entrevista com uma de suas integrantes. Desse modo, poucas ações foram efetuadas nesse período. Mesmo assim, algumas delas foram relatadas pela CP. De modo geral, são semelhantes àquelas mencionadas pelas integrantes da Assessoria de AIP. Conforme afirmou a CP entrevistada, a intenção foi manter o que já vinha sendo desenvolvido.
Então, o que eu estou fazendo de priorizar é manter minimamente aquilo que a
gente já tinha. Então, é acompanhar as avaliações externas. Então, a Provinha Brasil, é acompanhar a aplicação, acompanhar a inserção dos dados, acompanhar os relatórios, divulgar os dados, discutir os dados. Prova Brasil é dar o suporte, que daí não somos nós que aplicamos, nem nós que corrigimos os dados,
mas é dar o suporte, acompanhar o processo de aplicação [...]. E aí a parte interna, Prova Campinas, vamos retomar aí o processo de elaboração para ver se a
gente consegue ter uma avaliação interna nossa.
[...] a gente teve uma empresa nova que entrou para fazer esse processamento [dos resultados da Provinha Brasil]. Nós tivemos todo o trabalho de acompanhar o
trabalho novamente da empresa de montar de outra forma, né? De indicar como que a gente precisaria que isso fosse montado, que tipo de relatório que a gente precisa e tal.
[...] da Prova Brasil no sentido de acompanhar a aplicação, a inserção de dados e tal, e depois trabalhar com os resultados, né? De divulgar os resultados na rede e
• Encaminhamento dos resultados obtidos nas avaliações externas para a SME, para os Naeds e para as escolas da rede.
Então, na verdade, assim, o trabalho que a gente tem feito é: a gente divulga os
dados para rede toda, quem é de direito, né? Dependendo do nível aí para Secretaria, para os Naeds, para as escolas.
[...] a gente passa para as equipes do Naed. Pesquisadora: Supervisores?
Entrevistada: Supervisores, né? Para representantes, supervisores. Aí,
normalmente, a gente chama nos Naeds. Aí depende, já teve.. depende muito das
estratégias, né? Que a gente acaba adotando pelo que é mais fácil ou pelo que na época é mais interessante, mas ou a gente chama por Naed. (Entrevista com a CP Simone).
• Reunião com os gestores das escolas para socialização dos resultados da rede.
[...] a gente faz o coletivão com todo mundo. [...] a gente fala no geral, apresenta
os resultados da rede no geral, e a gente fala da prova, dos descritores, do que significa esse resultado, de tanto a tanto o que que significa. Então, assim, aquela
apresentação bem geralzona, mas sem focar muito no desempenho de cada escola [...]
Normalmente, é logo que esses resultados são liberados que aí a gente começa esse processo.(Entrevista com a CP Simone).
Pudemos acompanhar esse processo de socialização dos resultados da rede em uma reunião promovida pelo Núcleo em 12 de abril de 2016. No encontro, o Núcleo de Avaliação apresentou os dados da Provinha Brasil de 2015. A partir de um gráfico de pizza, foram demonstrados os resultados do primeiro e do segundo teste. Nessa apresentação, o Núcleo destacou que o crescimento nos resultados é fruto do trabalho dos professores, do
planejamento das escolas e de suas estratégias (Diário de Campo, 12 de abril de 2016).
Na sequência, foi apresentada a série histórica com os resultados dessa avaliação, desde 2009, e foi feito um resgate de algumas ações realizadas, como adesão ao Ler e Escrever, formações para alfabetização e letramento, com o Pacto Nacional pela Alfabetização na Idade Certa (Pnaic) (Diário de Campo, 12 de abril de 2016). Ao analisar os resultados de 2013 a 2015, o Núcleo apontou decréscimo nos resultados, mas afirmou que ainda estão bons, e que
[...] é preciso um olhar cuidadoso para entender os processos. Cada escola tem
uma realidade. Não é para criticar, mas é um dado que é para ser olhado com atenção. O que aconteceu de 2013 para cá? Como a gente pode estar atuando ao
longo do ano em conjunto com o Núcleo de Formação e Currículo para promover? (Fala da CP Simone durante a reunião, Diário de Campo, 12 de abril de 2016).
Também foram apresentados os resultados por Naed e a análise de alguns questões da Provinha (com maior quantia de acertos e erros). Ao analisar as questões, o Núcleo de Avaliação mencionou que os dados não devem ser vistos isoladamente, e que
outras informações devem ser consideradas, mas por esse tipo de prova parece que as crianças estão com dificuldade de inferir informações. Dá indícios que talvez
esse tipo de prática ainda precisa ser mais trabalho em sala (Fala da CP Simone durante a reunião, anotação do Diário de Campo, 12 de abril de 2016).
Realizadas as análises, o Núcleo de Avaliação afirmou que essas informações podem ser utilizadas nos momentos de planejamento e que é preciso verificar se esses resultados condizem com aqueles observados internamente nas instituições. Por fim, foram apresentados alguns slides com depoimentos de professores das escolas que atingiram bons resultados na Provinha Brasil. Nesses depoimentos, recolhidos e organizados pela Assessoria de AIP em anos anteriores, constavam as seguintes atividades: leitura diária para alunos; leitura pelos alunos com manuseio de livros; trabalho integrado dos docentes; prática da discussão de ações pelo coletivo e apoio da direção; formação em serviço; atendimento específico para alunos com dificuldade; acompanhamento da turma pelo mesmo professor (Diário de Campo, 12 de abril de 2016).
• Ações dirigidas às escolas que apresentam menores resultados no Ideb: conversa com as equipe das escolas e formação continuada para os docentes.
A gente vê que as escolas que estão com o índice menor no Ideb e tudo mais,
principalmente de 6o ao 9o que é o nosso nó maior, são escolas que,
coincidentemente, são escolas que ficam em regiões que estão lá naquele cinturão que é o gargalo que tem um número muito grande de alunos para um número
muito pequeno de escolas, né? Que é fundão da Noroeste, da Sudoeste que é uma
região ali que tem um número grande de crianças para um atendimento mais limitado. Então, são escolas que [...] tem maior número de alunos em cada sala.
São escolas que têm falta de professores porque também, assim, professor melhor
classificado acaba optando por estar em outra escola né? Para não ter que se deslocar para tão longe e tudo mais. Então, assim, são escolas que a gente teve alguns problemas com o pessoal, né? Que não tinha a equipe completa, que faltava
a equipe gestora, que faltava professor, que tem um número grande de alunos.
[...] Não dá para não ter um olhar mais cuidadoso para aquelas que não
atingiram as metas, que estão com os índices mais baixos. Então, a gente olha
como que está o desempenho dessa escola, que resultados os alunos tiveram, né? [...] o que que significa esse resultado em termos dos descritores que foram avaliados e ter esse olhar para escola. Então, assim, como que a escola está
trabalhando? Quais dificuldades ela está encontrando, né? No sentido de ajudar a pensar o que poderia melhorar o desempenho daquela escola.
[...] essas escolas que têm mais fragilidades, aí a gente vai à escola ou chama a
equipe da escola para fazer individualmente. Daí para também não expor porque a
intenção não é ficar ‘olha, essa aqui teve um resultado ótimo e esse aqui teve ruim’ [...]
[...] e nas escolas a gente discute mais diretamente os dados com a equipe. Então, olhar o resultado, olhar o que significa aquele resultado, dentro daquele resultado que habilidade os alunos provavelmente têm, quais eles ainda não têm ou pelo menos não apareceu na prova, né? Enfim, a gente faz essa discussão com a equipe
no sentido assim, de dar subsídios para que eles organizem o planejamento e pensem em termos macro para oferecer formação.
[...] e a partir daí, a gente tem trabalhado assim, com formação para esses
professores, né? Procurado priorizar esse atendimento. Agora são todas ações de
médio e longo prazos.(Entrevista CP Simone).
4. O uso das avaliações externas em larga escala pelas escolas da RMEC.
Sobre a utilização dos resultados das avaliações externas pelas escolas da RMEC, a CP integrante do Núcleo de Avaliação afirmou que percebe ritmos e processos diferenciados. De acordo com a entrevistada, há escolas que olham cuidadosamente para esses dados e discutem coletivamente na CPA, assim como há instituições que não trabalham nessa direção. A CP destacou, ainda, que a CPA precisa se apropriar desses resultados para fazer o seu monitoramento.
Discutindo na CPA e a CPA se preocupando com isso: ‘não, mas a gente precisa
pensar. Olha, a gente precisa melhorar. Então, o que que a gente vai fazer para melhorar? Vai ter reforço? Mas aí, se tiver reforço, o pai precisa mandar o filho, não adianta ter reforço se o pai não mandar. Ah, então a gente precisa olhar, fazer um, assim, conversar com os pais para eles mandarem.’ Sabe? Tem esse
envolvimento que antes era uma coisa que ficava lá a cargo da OP, da direção pensar, né? E, a partir do momento que você tem os outros segmentos envolvidos, tem um envolvimento, um acompanhamento maior. Acho que nesse sentido sim.
[...] na verdade, a CPA também precisa se apropriar desses dados para poder fazer
esse monitoramento [...]
[...] a minha percepção é que assim, tem escolas que até têm um olhar cuidadoso
para isso e tal, mas assim, não é uma coisa geral que todas as escolas