A partir desses estudos, podem-se esboçar algumas conclusões, que serão retomadas no Capítulo 5, à luz das evidências obtidas na pesquisa de campo.
Primeiramente, note-se que algumas das variáveis elaboradas para o estudo – a proporção de professores na escola com Letra e Vida (em 2005 e em 2007), o indicador material utilizado para o ensino de leitura, o indicador prática pedagógica B e o indicador suporte à prática pedagógica – não se comportaram linearmente em relação aos resultados dos alunos, mas isso não significa que não haja relação entre as variáveis.
Pela análise descritiva da variável proporção dos professores na escola com Letra e Vida em relação a outras variáveis do estudo, observa-se que, apesar de ter atingido grande parte dos professores em números absolutos, a lógica do Programa foi menos incorporada pelas equipes do que seria de esperar, principalmente no que tange à quantidade de material utilizado para o ensino de leitura e às práticas pedagógicas coerentes com o Programa encontradas, visto que a Prática pedagógica B, com pressupostos diferentes do que postula o Programa, teve valores altos no indicador em diversas escolas.
A formação dos professores em nível superior é muito comum, tanto na região metropolitana, quanto no interior do estado. Em diversas situações, a variável porcentagem de professores na escola com ensino superior assumiu sentido inverso aos resultados de desempenho.
Além disso, os professores com dupla ou tripla jornada de trabalho já não são maioria no estado, mas, ao contrário do que se esperava aqui, o fato de os professores trabalharem em apenas uma escola não teve relação positiva com os resultados nos estudos de regressão em que essa variável foi escolhida para explicar a variação dos resultados.
Os estudos de regressão não foram conclusivos sobre os efeitos do Letra e Vida nos resultados dos alunos, quer considerando uma medida imediata ao início da alfabetização (resultados de 1ª série), quer os resultados do Idesp do final do Ciclo 1. O Quadro 4.3 sintetiza o grupo das variáveis explicativas selecionadas em cada estudo exploratório com os resultados de 1ª série do Saresp 2007. A primeira coluna indica os controles, e o sinal entre parênteses, se o sentido da variável foi direto ou inverso ao da explicação dos resultados.
Contexto (controles) Todo o estado Cogesp CEI
Geral (sem controles) porcentagem de professores que trabalham em apenas uma escola (–) NSE A1 a B2 (+) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (–) porcentagem de professores na escola com ensino superior (–) indicador suporte à prática pedagógica (–) indicador de prática pedagógica B (–) NSE A1 a B2 (+) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (+) porcentagem de professores na escola com ensino superior (–) porcentagem de professores com Letra e Vida desde 2005 (+) porcentagem de professores que trabalham em apenas em uma escola (–) indicador suporte à prática pedagógica (–) porcentagem de professores que trabalham em apenas uma escola (–) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (–) NSE A1 a B2 (–) Menos de 100% da equipe de professores com ensino superior
porcentagem de professores que trabalham em apenas uma escola (–) número de classes (+) NSE A1 a B2 (+) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (–) porcentagem de professores que trabalham em apenas uma escola (–) porcentagem de professores com Letra e Vida – 2007 (+) indicador suporte à prática pedagógica (+) porcentagem de professores que trabalham em apenas uma escola (–) Menos de 100% da equipe de professores com ensino superior e NSE (3º quartil – 44% de alunos das classes A1 a B2) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (–) número de classes (+) porcentagem média de pontos no Saresp 2005 – prova de 1ª série (–) porcentagem de professores com experiência de pelo menos três anos em 1a série (–) indicador suporte à prática pedagógica (–) porcentagem de professores que trabalham em apenas uma escola (–)
Quadro 4.3 – Síntese dos resultados obtidos com as análises de regressão realizadas com a variável porcentagem média de pontos dos alunos da 1ª série no Saresp 2007
Observa-se que, sobretudo nos estudos realizados com as escolas da Cogesp, tomando como variável dependente os resultados dos alunos na 1ª série em 2007, a proporção de professores com Letra e Vida apareceu como variável explicativa dos resultados em alguns casos. Quando não se fez nenhum tipo de controle dos dados, a proporção de professores na escola com formação pelo Letra e Vida em 2005 se destacou como explicação dos resultados,
sugerindo que o tempo decorrido depois do curso é relevante para o entendimento de seus impactos sobre os resultados. Essa formação pelo Programa em 2005 volta a aparecer como uma das variáveis explicativas dos resultados dos alunos quando os estudos de regressão se limitaram às escolas que obtiveram notas inferiores no Saresp 2005.
Ao se introduzirem controles sobre as variáveis, os resultados foram diferentes. Ainda considerando os resultados dos alunos da 1ª série na avaliação estadual, em escolas da Cogesp em que nem todos os professores tinham ensino superior, a proporção de professores com formação pelo Letra e Vida, mesmo concluída em 2007, se sobressaiu como variável preditiva dos resultados dos alunos de 1ª série. Nesse contexto, que tende a ser também o de pior nível socioeconômico, o Letra e Vida parece fazer diferença na aprendizagem dos alunos.
Finalmente, rodando a regressão só com as escolas em que as notas dos alunos de 1ª série em 2005, quando o Letra e Vida estava menos difundido, haviam sido inferiores a 50% do total, observou-se que a proporção de professores com Letra e Vida apareceu novamente como explicação da variação dos resultados, relacionando-se em sentido direto com a variável dependente.
Para as escolas da CEI, a variável proporção de professores com formação no Letra e Vida não apareceu em nenhum momento como fator explicativo da variação dos resultados dos alunos. Ao contrário do que se esperaria pelo depoimento dos elaboradores do Programa, que o consideram mais enraizado nas escolas da CEI, a variável se destaca quando se roda a regressão só com as escolas da Cogesp.
Nas análises exploratórias, observa-se que, quando a proporção de professores na escola com Letra e Vida apresenta relação de dependência com os resultados, é sempre em sentido direto.
Outro achado recorrente quando a variável dependente das regressões foram os resultados do Saresp de 1ª série em 2007 foi o sentido inverso da proporção de professores que trabalha em apenas uma escola em relação aos resultados. Infere-se, pois, que, na maior parte dos casos, trabalhar em apenas uma escola não necessariamente faz com que o professor aprimore seu trabalho e se dedique mais ao planejamento de atividades para atender às especificidades de seus alunos, como se supôs inicialmente aqui.
Uma possível explição desse resultado é que trabalhar em apenas uma escola não implica maior disponibilidade do professor, que, nesse caso, poderia se dedicar a outras
atividades, não as remuneradas9. Outra hipótese é que, dependendo da qualidade das interações e do trabalho coletivo em direção ao ensino com base nos pressupostos que são tomados como referência para a avaliação, trabalhar em apenas uma escola pode não favorecer trocas entre pares.
A variável suporte à prática pedagógica se comporta diferentemente, de acordo com o conjunto de variáveis utilizadas. Quando aplicados apenas à CEI, estudos com a variável dependente porcentagem média de pontos dos alunos de 1ª série no Saresp 2007 indicam uma relação inversa na explicação da variação dos resultados, contradizendo o que se esperava aqui e algumas pesquisas anteriores (Soares, 2004; Franco, 2001).
A variável indicativa de prática pedagógica B nas escolas se comportou inversamente aos resultados do Saresp, nas raras vezes em que foi escolhida pelo programa como variável explicativa. Provavelmente pela matriz de referência da prova, essas práticas tendem a influenciar inversamente a obtenção de bons resultados.
Nas análises realizadas com todas as escolas do estado ou apenas com as da CEI, a adoção da porcentagem de alunos que atingem o nível 6 de proficiência na 1ª série como variável dependente também destacou a proporção de professores com Letra e Vida como uma variável importante para a explicação dos resultados. Nesses estudos, se destacaram ainda a porcentagem média de pontos da 1ª série no Saresp 2005, o indicador suporte à prática pedagógica e a porcentagem de professores na escola com ensino superior como variáveis explicativas da variação dos alunos. Contudo, a análise dos resíduos evidenciou a fragilidade dos resultados dos estudos com essa variável.
Quando se tomou o Idesp como variável dependente, ficou patente a influência do coordenador com formação no Letra e Vida – a proporção de professores com essa formação nunca assumiu sentido inverso ao dos resultados.
Nos estudos a partir do Idesp (Quadro 4.4), destacou-se a variável coordenador com participação no Letra e Vida, que apareceu como explicativa da variação dos resultados, em sentido direto, em todos os estudos realizados. Contudo, grande parte da explicação ficava relacionada à variável NSE A1 a B2 e à nota que a escola havia obtido no Saresp 2005, quando os alunos estavam na 2ª série.
9 É importante esclarecer que, na construção da variável, controlou-se o fato de o professor se dedicar a outras
Contexto (controles) Todo o estado Cogesp CEI
Geral (sem controles) porcentagem média de pontos no Saresp 2005 – prova de 2ª série NSE A1 a B2 indicador suporte à prática pedagógica coordenador com Letra e Vida na escola porcentagem de professores na escola com ensino superior porcentagem de professores que trabalham em apenas uma escola NSE A1 a B2 porcentagem média de pontos no Saresp 2005 – prova de 2ª série total de professores de 1ª e 2ª séries total de turmas/classes da escola indicador suporte à prática pedagógica porcentagem de professores na escola com ensino superior coordenador com Letra e Vida na escola porcentagem média de pontos no Saresp 2005 – prova de 2ª série NSE A1 a B2 indicador suporte à prática pedagógica porcentagem de professores na escola com ensino superior coordenador com Letra e Vida na escola
Quadro 4.4 – Síntese dos resultados obtidos com as análises de regressão realizadas com a variável Idesp 2007
Quanto aos estudos comparativos realizados entre escolas com diferentes proporções de professores com Letra e Vida a partir de outra variável de desempenho – a porcentagem de alunos nos níveis de proficiência –, nota-se que só se pode afirmar a tendência de o Letra e Vida ter uma influência diferenciada nos alunos, mas não foi possível fazer a análise dos intervalos de confiança, que permitiria afirmar com mais certeza se as escolas com totalidade de professores com Letra e Vida se diferenciam em alguns contextos, limitando a comparação a um estudo simples de médias. Mesmo assim, assinala-se a tendência de o Letra e Vida ter efeito positivo num nível mais complexo de aquisição de linguagem em alguns contextos de nível socioeconômico dos alunos (notadamente, os mais desfavorecidos e os que têm professores com menos oportunidades de formação superior, menos experiência em 1ª série e equipes com mais professores que trabalham em mais de uma escola).
O Capítulo 5 procura interpretar os resultados das diversas análises, apresentadas à luz dos achados da pesquisa de campo, para compreender algumas das contradições sugeridas pelos dados quantitativos.
AVALIAÇÃO DE
IMPACTO EM PROCESSO
(PARTE II): LIÇÕES
APRENDIDAS NA
PESQUISA DE CAMPO
CAPÍTULO 5
AVALIAÇÃO DE IMPACTO EM PROCESSO (PARTE II):
LIÇÕES APRENDIDAS NA PESQUISA DE CAMPO
Todo processo de mudança na área de educação é um pouco lento... Há uma parte da rede com uma estrutura enraizada. [...] É necessário dar um tempo para esses professores conhecerem o Programa, o compreenderem e aderirem a ele. É necessário respeitar os professores, porque não é possível, de uma hora para outra, dizer que o trabalho que sempre fizeram não serve mais – há uma desestabilização. Seria necessário passar por um processo para os professores conhecerem melhor o Programa.
Professora de 2ª série – Escola Beta
Neste capítulo, destacam-se as principais contribuições da pesquisa de campo para o entendimento de possíveis impactos do programa Letra e Vida, relacionando-as, quando possível, aos dados obtidos nas análises quantitativas já descritas. Assim, à luz dos depoimentos de diretores e coordenadores de escolas bem como de professores que participaram do Programa, ressignificam-se algumas das conclusões derivadas dos estudos de regressão, árvores de decisão e comparação de grupos. Inicialmente, apresentam-se as três escolas visitadas, etapa que permitiu o replanejamento das análises quantitativas e as enriqueceu com depoimentos de seis gestores e 25 professores, dentre os quais, 16 participantes do Letra e Vida. A fala de alguns professores sobre as contribuições do curso para sua formação e as particularidades da implementação do curso em cada escola permitem compreender se eles aplicam (ou não) os pressupostos teóricos aprendidos em sua prática cotidiana e apreender limites do curso para produzir impactos nos resultados dos alunos do ciclo de alfabetização.