A investigação dos possíveis impactos do programa Letra e Vida nos resultados de desempenho dos alunos continuou com uma estratégia metodológica recomendada para as avaliações de impacto: a comparação entre um grupo de pessoas que receberam a intervenção (no caso, o curso Letra e Vida) e um de pessoas que não a receberam (grupo de comparação).
Conforme se viu no capítulo sobre metodologia, criou-se uma variável que agrupava as escolas segundo a coordenadoria a que pertenciam, a proporção de professores na escola com nível superior, a proporção de professores com experiência de mais de três anos em 1ª série e a proporção de professores da escola que só tinha um emprego.
Como medida de desempenho (variável dependente), optou-se pela porcentagem dos alunos que atingiam o nível de proficiência 6 estabelecido para a 1ª série (Quadro 3.10).
Essa opção tem dois motivos: primeiramente porque médias podem alterar resultados e mascarar tendências no desempenho dos alunos. Duas escolas podem ter médias ou porcentagens médias de pontos próximas, mas prática pedagógica que posicione os alunos em diferentes níveis de proficiência. Usar medidas diferentes poderia revelar indícios diferentes dos que foram apontados na investigação descritiva e nos estudos de regressão.
Em segundo lugar, na pesquisa de campo, muitos professores e duas coordenadoras pedagógicas mencionaram o quanto era difícil fazer com que os alunos alcançassem os melhores níveis de proficiência. Na opinião da supervisora do Programa, os resultados do Saresp indicavam que os alunos de 1ª série não vinham avançando como desejado nos primeiros níveis, mas mostravam avanços nos níveis 5 e 6. Para o estudo comparativo entre escolas, a variável definida foi o nível 6.
Assim, para verificar se havia diferença na distribuição dos alunos por esses níveis devido à proporção de professores na escola que participaram do Programa, compararam-se médias com o SPSS.
Para isso, o primeiro e o terceiro quartis da variável NSE A1 a B2 foram novamente adotados como controle. Isso significa que se compararam a porcentagem de alunos de cada escola no nível 6 de proficiência no conjunto de escolas que concentravam menos de 25% dos alunos das classes A1 a B2 (os alunos de menor nível socioeconômico) e as que reuniam mais de 75% desses alunos (os alunos de maior nível socioeconômico).
Para comparar a proporção de professores na escola com Letra e Vida, organizaram-se um grupo de escolas em que 100% dos professores tinham o curso e um de escolas em que nenhum o tinha (considerando professores que podiam ter se formado até 2007).
Sublinhe-se que o controle das características dos professores para a uniformização dos grupos de comparação resultou em agrupamentos muito pequenos, tendo acontecido de apenas uma escola da Cogesp cumprir os critérios determinados para os professores quando se controlou a faixa econômica dos alunos. Nessa tentativa de uniformização, não foi possível nem formar os grupos como se previra, nem calcular intervalos de confiança para os dados obtidos.
Primeiramente, compararam-se os resultados considerando as escolas acima da mediana na variável que agregava formação inicial, experiência e dedicação dos professores à docência (trabalhar em apenas uma escola e não exercer outras atividades remuneradas), conforme o Quadro 4.1.
Grupo de comparação Grupo experimental7
Cogesp 0% da equipe docente participou do curso Letra e Vida
mais de 84,4% do corpo docente tem ensino superior
mais de 50% do corpo docente tem experiência em 1ª série
mais de 66,6% do corpo docente trabalha em apenas uma escola
100% da equipe docente participou do curso Letra e Vida
mais de 84,4% do corpo docente tem ensino superior
mais de 50% do corpo docente tem experiência em 1ª série
mais de 66,6% do corpo docente trabalha em apenas uma escola
CEI 0% da equipe docente participou do
curso Letra e Vida
mais de 84,4% do corpo docente tem ensino superior
mais de 50% do corpo docente tem experiência em 1ª série
mais de 66,6% do corpo docente trabalha em apenas uma escola
100% da equipe docente participou do curso Letra e Vida
mais de 84,4% do corpo docente tem ensino superior
mais de 50% do corpo docente tem experiência em 1ª série
mais de 66,6% do corpo docente trabalha em apenas uma escola
Quadro 4.1 – Primeiro estudo de comparação de grupos
Entre as escolas da Cogesp, os resultados da porcentagem de alunos no nível 6 nos grupos de escolas sem professores com Letra e Vida e nas escolas com toda a equipe formada no curso, controlando-se o nível socioeconômico pela concentração de alunos das classes A1 a B2 nas escolas, estão na Tabela 4.8.
7 A adoção da nomenclatura convencional nos métodos experimentais (grupo de comparação e grupo
Tabela 4.8 – Distribuição dos alunos pelo nível de proficiência 6 em escolas da Cogesp com mais de 84,4% do corpo docente com ensino superior, mais de 50% do corpo docente com experiência em 1ª série e mais de 66,6% do corpo docente trabalhando em apenas uma escola
Escolas da Cogesp com características de professor acima da mediana
Porcentagem de alunos no nível 6 de proficiência Número de escolas(N) 0% prof. LV 15,65 2
Até 25% dos alunos de
NSE A1 a B2 100% prof. LV 26,60 1
0% prof. LV 7,80 1
Acima de 75% dos
alunos de NSE A1 a B2 100% prof. LV 28,50 7
Fonte: Base de dados do questionário de professores do Saresp 2007 – FDE; banco de resultados do Saresp 2007 – 1ª e 2ª série – FDE
Na análise da Tabela 4.8, observa-se que, entre as escolas com os alunos mais desfavorecidos (até 25% dos alunos de NSE A1 a B2), a tendência foi de que a escola com todos os professores formados pelo Letra e Vida tivesse mais alunos no nível 6 de proficiência do que as que não tinham professores com essa formação.
Essa diferença a favor das escolas com 100% de professores com Letra e Vida na preparação dos alunos para atingirem o nível 6 de proficiência se verificou também entre as escolas com alunos das camadas mais favorecidas (escolas que atendem acima de 75% dos alunos de NSE A1 a B2).
Entre as escolas da CEI (Tabela 4.9), a tendência que se pode destacar é que, como havia ocorrido com as escolas da Cogesp, uma porcentagem maior de alunos nas unidades em que todos os professores fizeram o Letra e Vida chega ao nível 6 de proficiência do que os de escolas onde não há professores com essa formação.
Tabela 4.9 – Distribuição dos alunos pelo nível de proficiência 6 em escolas da CEI com mais de 84,4% do corpo docente com ensino superior, mais de 50% do corpo docente com experiência em 1ª série e mais de 66,6% do corpo docente trabalhando em apenas uma escola
Escolas da CEI com características de professor acima da mediana Porcentagem de alunos no nível 6 de proficiência Número de escolas(N) 0% prof. LV 17,42 18
Até 25% dos alunos de NSE
A1 a B2 100% prof. LV 28,02 17
0% prof. LV 40,16 9
Acima de 75% dos alunos de
NSE A1 a B2 100% prof. LV 43,00 3
Fonte: Base de dados do questionário de professores do Saresp 2007 – FDE; banco de resultados do Saresp 2007 – 1ª e 2ª série – FDE
Observa-se ainda que, nas escolas da CEI que atendem majoritariamente alunos de NSE A1 a B2, a participação dos professores no Letra e Vida não parece tão decisiva para o alcance de bons resultados quanto o é para as escolas da Cogesp, considerando-se as diferenças entre a porcentagem de alunos no nível 6 de proficiência das escolas sem professores formados pelo Letra e Vida e a das escolas com toda a equipe docente com essa formação.
Num segundo estudo, compararam-se as porcentagens de alunos no nível 6 de proficiência considerando escolas abaixo da mediana na variável que agregava características de formação inicial, experiência e dedicação dos professores à docência (trabalhar em apenas uma escola e não exercer outras atividades remuneradas), conforme o Quadro 4.2.
Grupo de comparação Grupo experimental
Cogesp 0% da equipe docente participou do curso Letra e Vida
Menos de 84,4% do corpo docente com ensino superior
Menos de 50% do corpo docente com experiência em 1ª série Menos de 66,6% do corpo docente com trabalho em apenas uma escola
100% da equipe docente participou do curso Letra e Vida
Menos de 84,4% do corpo docente com ensino superior
Menos de 50% do corpo docente com experiência em 1ª série Menos 66,6% do corpo docente com trabalho em apenas uma escola
CEI 0% da equipe docente participou do
curso Letra e Vida
Menos de 84,4% do corpo docente com ensino superior
Menos de 50% do corpo docente com experiência em 1ª série Menos de 66,6% do corpo docente com trabalho em apenas uma escola
100% da equipe docente participou do curso Letra e Vida
Menos de 84,4% do corpo docente com ensino superior
Menos de 50% do corpo docente com experiência em 1ª série Menos 66,6% do corpo docente com trabalho em apenas uma escola
Quadro 4.2 – Segundo estudo de comparação de grupos Os resultados do estudo estão na Tabela 4.10.
Tabela 4.10 – Distribuição dos alunos pelo nível de proficiência 6 em escolas da Cogesp com menos de 84,4% do corpo docente com ensino superior, menos de 50% do corpo docente com experiência em 1ª série, menos de 66,6% do corpo docente com trabalho em apenas uma escola
Escolas da Cogesp com características de professor abaixo da mediana
Porcentagem de alunos no nível 6 de proficiência Número de escolas(N) 0% prof. LV 23,10 7
Até 25% dos alunos de NSE
A1 a B2 100% prof. LV 4,00 1
Acima de 75% dos alunos de
NSE A1 a B2 0% prof. LV 22,13 3
Fonte: Base de dados do questionário de professores do Saresp 2007 – FDE; banco de resultados do Saresp 2007 – 1ª e 2ª série – FDE
Considerando as escolas cujos professores teriam características de formação, experiência e trabalho abaixo da mediana das escolas, é possível dizer que na Cogesp, entre as que atendiam os alunos mais desfavorecidos, há apenas uma unidade cuja totalidade dos professores havia participado do Letra e Vida. Nessa unidade, os resultados são diferentes dos anteriores e menos expressivos do que os obtidos pelas escolas onde não há professores com formação no Programa.
Já entre as escolas que atendem alunos mais favorecidos, não foi possível fazer nenhuma comparação, pois nenhuma tem menos de 84,4% do corpo docente com ensino superior, menos de 50% do corpo docente com experiência em 1ª série, menos de 66,6% do corpo docente trabalhando em apenas uma escola e 100% de professores com formação pelo Letra e Vida no âmbito da Cogesp.
Tabela 4.11 – Distribuição dos alunos pelo nível de proficiência 6 em escolas da CEI com menos de 84,4% do corpo docente com ensino superior, menos de 50% do corpo docente com experiência em 1ª série, menos de 66,6% do corpo docente com trabalho em apenas uma escola
escolas da CEI com características de professor abaixo da mediana porcentagem de alunos no nível 6 de proficiência número de escolas (N) 0% prof. LV 23,96 9
até 25% dos alunos de NSE
A1 a B2 100% prof. LV 35,75 2
0% prof. LV 16,90 3
acima de 75% dos alunos de
NSE A1 a B2 100% prof. LV 39,35 2
Fonte: Base de dados do questionário de professores do Saresp 2007 – FDE; banco de resultados do Saresp 2007 – 1ª e 2ª série – FDE
Entre as escolas da CEI que concentravam características de professores abaixo da mediana, observa-se uma tendência independente do nível socioeconômico dos alunos: diferenças expressivas entre o número de alunos no nível de proficiência em estudo de acordo com a proporção de professores que participaram do Programa nos dois extremos de classe econômica: o dos menos e o dos mais favorecidos. Em ambos os grupos, as escolas com a maioria da equipe formada no Letra e Vida tiveram muito mais alunos no nível 6 do que aquelas cujos professores não têm esse curso.
É interessante ressaltar que o Programa parece fazer diferença justamente no nível de proficiência que requer habilidades de leitura e escrita mais complexas e, por isso, parecem mais difíceis de atingir.
Além disso, tomando como exemplo as escolas da CEI que atendem até 25% dos alunos de NSE A1 a B2,observa-se que as maiores porcentagens de alunos no nível 6 foram alcançados em escolas com equipe formada no Letra e Vida, mas cujas outras características
estão abaixo da mediana. Ou seja, as escolas com os melhores resultados são aquelas com equipes com menos de 84,4% com ensino superior, menos de 50% com experiência em 1ª série e menos de 66,6% trabalhando em apenas uma escola. Isso corrobora o que mostraram os estudos de regressão realizados a partir da porcentagem média de pontos dos alunos na 1ª série no Saresp 2007 e aponta a necessidade de investigações específicas para explicá-los.