Em virtude da escassez de recursos públicos, quando o governo implementa uma política pública, é preciso avaliá-la para se certificar de que o dinheiro público não esteja sendo usado sem resultados efetivos. Ainda que esteja dando bons resultados, é preciso fazer um diagnóstico a fim de aperfeiçoá-la. Quando essa avaliação é feita durante a implementação da política pública chama-se avaliação de processo. Quando se busca investigar os efeitos produzidos com a implementação da política, denomina-se avaliação de impacto (PEREZ, 2009; LOBO, 2009).
Na introdução, expomos que a literatura sobre avalição de políticas públicas segue três critérios principais: eficácia, eficiência e efetividade. De acordo com Arretche (2009, p. 34), a eficácia de uma política pode ser medida a partir da comparação “entre as metas propostas e as metas alcançadas pelo programa ou entre os instrumentos previstos para sua implementação e aqueles efetivamente empregados”. Assim, se as metas são alcançadas no tempo estipulado ou antes desse tempo, a política foi eficaz e, se não as alcança, torna-se ineficaz. Quando a política pública não prevê metas para atingir seus objetivos, não há como ser avaliada por esse aspecto. É o que ocorre com o Pibid.
Como vimos, os valores a serem investidos no programa vão sendo lançados de acordo com o que há de disponibilidade orçamentaria na Capes para o programa, não sendo possível, por exemplo, prever o número de bolsas que serão disponibilizadas a cada edição. Um dado positivo era que, mesmo sem metas, o quantitativo de bolsas vinha crescendo a cada seleção, com exceção de 2010, cujo número de bolsas foi reduzido em relação a 2009, talvez por ser destinado a menos instituições, já que aquele edital limitou o pleito a instituições públicas municipais de ensino superior e universidades e centros universitários comunitários, confessionais e filantrópicos. Embora o Pibid tenha passado por uma crise, a bolsa de auxílio aos estudantes recuperou seu espaço no cenário dos cursos de licenciatura, já que, a partir de 2018, somadas às destinadas ao Residência Pedagógica, houve um aumento de 23,55% em relação às concedidas pelo edital de 2013, que eram direcionadas apenas ao Pibid.
A eficiência pode ser medida pela relação entre os esforços empregados em sua implementação e os resultados alcançados: quanto menos esforços e mais resultados, mais eficiente a política se torna. Nesse sentido, no âmbito geral do programa, não havendo metas a cumprir nem prazo estipulado, não há como medir a eficiência, já que esta está relacionada ao quanto menos recursos e esforços empregados num determinado tempo, mais resultados se espera, ou seja, fazer mais e com qualidade com menos possível.
É possível uma avaliação por esse critério no âmbito dos subprojetos ligados a cada departamento, já que os esforços empregados para a implementação da política partem diretamente dos professores coordenadores de área, dos supervisores e dos licenciandos bolsistas.
Assim, seria preciso avaliar as propostas e a atuação de cada departamento no processo, já que são estes que preveem as ações a serem desenvolvidas nas escolas da educação básica e as executam por meio dos estudantes bolsistas. Para fazer essa avaliação, seria preciso, por exemplo, fazer um acompanhamento das ações até os resultados produzidos, de modo que fosse aferida a proporcionalidade entre os esforços empregados (verbas direcionadas, número de bolsistas, ações desenvolvidas) e os resultados alcançados (quantitativo de escolas e de alunos da educação básica envolvidos no subprojeto, resultados na formação dos licenciandos bolsistas e na aprendizagem dos alunos da educação básica): quanto menos esforços empegados e mais resultados obtidos, mais eficiente é a política (ARRETCHE, 2009).
Já a efetividade é definida como “o exame da relação entre implementação de um determinado programa e seus impactos e/ou resultados, isto é, seu sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévia da vida das populações atingidas pelo programa sob avaliação” (ARRETCHE, 2009, p. 31-32). Pelo viés da efetividade, pode ser aferido um resultado mais amplo da política (impact) ou o efeito causado na população alvo (outcome). A maior dificuldade na avaliação de efetividade é demonstrar a causalidade entre resultados encontrados e a implementação de uma determinada política. Essa dificuldade decorre, segundo Arretche (2009, p. 32-33), não só por razões relacionadas à “obtenção de informações sobre os programas e sobre as populações analisadas”, mas também “à possibilidade de isolar a interferência de variáveis intervenientes”. Nesta pesquisa nos deparamos muito com essa realidade. A falta de acesso a dados precisos e a complexidade das informações prestadas pelos respondentes da amostra não nos permitiu, por exemplo, generalizar os resultados para toda a população investigada por conta dos critérios que tivemos que estabelecer para a seleção da amostra. Além disso, não tendo informações suficientes, conforme detalhamos na metodologia, tivemos que criar meios indiretos para aferir se o programa fez ou não efeito na amostra.
Tomemos o primeiro objetivo do Pibid25 como referência para exemplificarmos essa dificuldade. Se o avaliador investiga o percentual de egressos do Pibid que estão atuando como professores na educação básica, não há como saber em que medida o programa foi determinante
para que atuassem nesse nível de ensino, uma vez que a própria condição de serem formados em licenciatura já os habilita a atuar na educação básica. Para aferir a influência do programa na “escolha” pela educação básica é preciso avaliar outras variáveis: falta de oportunidade de lecionar no ensino superior, por exemplo, ou de trabalhar em outra área que lhe desse retorno financeiro melhor, ou ainda motivos de caráter pessoal.