A organização dos grupos de comparação

Para analisar possíveis impactos do Letra e Vida sobre os professores e os resultados dos alunos, compararam-se dois grupos: um formado por professores que participaram do Programa e outro, por professores que não participaram. A ideia foi tentar estabelecer um

contrafactual, ou seja, forjar uma situação que ilustrasse o que teria acontecido com os

resultados se os professores não tivessem participado do Programa.

Para isso, usou-se a base de resultados de alunos no Saresp 2007, a partir da qual se compararam tendências de desempenho de escolas cuja maioria dos professores participou do Letra e Vida e de escolas cuja maioria dos professores não o fez.

Como já se disse, durante esta pesquisa, entre 2003 e 2007, não havia dados que relacionassem diretamente o desempenho dos alunos no Saresp ao fato de o professor ter ou não participado do Letra e Vida, assim, de modo que as comparações se basearam nos resultados no nível da escola. Assim, a composição da equipe escolar foi fundamental para a verificação pretendida. Analisaram-se os resultados das escolas em que 100% da equipe de professores de 1ª e 2ª série tivessem participado do Programa, em oposição a escolas em que nenhum professor o tivesse feito.

Mais uma vez, é sabido que a análise proposta aqui é muito difícil, tendo em vista a influência de variáveis intervenientes que dificultam o controle dos resultados e podem desviar os achados do estudo. Contudo, buscou-se estabelecer critérios claros para a organização dos grupos de professores comparados e, a partir de suas respostas ao questionário de 1ª e 2ª série do EF, escolher as que evitassem inconsistência nos dados, muitas vezes gerada pela formulação das próprias perguntas.

Para selecionar os agrupamentos pretendidos no arquivo, se definiram e recodificaram algumas variáveis de interesse, a fim de garantir características comuns aos grupos: condição

106

socioeconômica da clientela atendida23, condição de estrutura e organização escolar dada pela dependência administrativa das escolas24, formação inicial dos professores no ensino superior, experiência do professor na 1ª série e estabilidade na escola. Esss variáveis foram recodificadas e combinadas, por meio de uma fórmula, em um número composto que seria usado para a análise de subconjuntos.

A etapa seguinte foi começar a formação do chamado Grupo 1, dos professores que participaram do Letra e Vida, partindo da seleção das respostas à questão 10, escolhendo-se os professores que assinalaram ter participado do Programa e, deste, excluindo os que declararam ter cursado também o Profa ou outro programa de formação continuada em alfabetização. Procurou-se, assim, evitar que o aprendizado derivado de outras atividades de formação contínua pudessem explicar os efeitos observados e, no caso do Profa, o complicador que seria o efeito diverso apenas em professores que cursaram os dois programas, por exemplo.

Nesse sentido, o cuidado com a escolha de professores que declararam ter participado

apenas do Letra e Vida como formação em alfabetização tentou estabelecer algum controle da

ameaça à validade interna da pesquisa conhecida como “história” (Shadish; Cook; Campbell, 2002, p. 55).

Para evitar ambiguidade na precedência temporal entre a formação do professor no Programa e os resultados obtidos pelos alunos no banco de resultados escolhido como referência para a análise (Saresp, 2007), selecionaram-se professores que declararam ter começado o Letra e Vida entre 2003 (1ª turma) e 2005, terminando entre 2004 e 2006.

O passo seguinte foi selecionar os professores que tivessem feito o Letra e Vida até o terceiro módulo, para evitar atrito (Shadish; Cook; Campbell, 2002, p.55) originado pela computação de resultados de escolas com alta percentagem de professores que começaram o Programa sem concluí-lo, não sendo, portanto, representativo da formação estudada.

23 _{Adicionaram-se os dados de nível socioeconômico disponíveis usando a classificação já apresentada. Shadish,}

Cook e Campbell (2002) explicam que a heterogeneidade das unidades (respondentes) pode obscurecer uma “covariância sistemática entre tratamento e resultado” (p. 51). Ou seja, em situações muito diferenciadas, a variação dos resultados pode ser atribuída às características dos respondentes ou a suas condições de trabalho (no caso do nível socioeconômico atendido pela escola). Assim, incorporaram-se os dados de nível socioeconômico da escola, para estabelecer alguma homogeneidade entre os grupos. Sabe-se, no entanto, que é impossível forjar uma homogeneidade, pois, mesmo entre escolas de mesma categoria, há diferenças na clientela e no próprio corpo docente. Ainda assim, para efeito do exercício proposto nesta tese, estabelecer algum controle de nível socioeconômico na escola permitiu identificar grupos mais parecidos, o que teria sido impossível sem esse indicativo.

24 _{Com base nas análises estatísticas anteriores, decidiu-se distinguir as escolas da CEI e da Cogesp, por terem}

107

Também foram escolhidos os professores que afirmaram ter participado do Letra e Vida como cursistas, e não como coordenadores de grupo ou formadores, pela consideração de que estes teriam mais afinidade aos pressupostos de alfabetização que subjazem ao Programa, e ainda com uma formação diversificada, o que poderia afetar os resultados da análise.

Selecionados os professores, passou-se à produção da variável no nível da escola, pois, como dito, não se trabalharam os dados no nível da classe, posto que não era possível atribuir diretamente o resultado de determinada classe a determinado professor. Assim, calculou-se a porcentagem de professores de 1ª e 2ª série, por escola, que haviam passado pela formação completa no Letra e Vida, e, uma vez ordenadas as escolas, selecionaram-se aquelas cuja equipe docente tivesse todo o corpo docente formado no Programa.

Estabelecidos os dois grupos de escolas, fez-se uma análise estatística (comparação de médias) segundo a distribuição dos alunos nos melhores níveis de proficiência tanto nas escolas com alta concentração de professores que participaram do Programa quanto nas em que eles não eram representativos. O objetivo foi verificar se considerando os alunos de 1ª série, haveria diferenças significativas na distribuição no nível 6 de proficiência, dada a formação dos professores na escola no Programa.

A escolha desse nível de proficiência como baliza se deveu, em primeiro lugar, à consideração de que é um nível desejável para todos os alunos e, em segundo, ao fato de haver uma avaliação informal de representantes da própria SEE de que os professores que fizeram o curso concorrem para o avanço dos alunos aos níveis mais altos da proficiência, e importava verificar o fundamento dessas impressões.

Em suma, procurou-se comparar escolas com grande percentagem de professores que concluíram o Letra e Vida (100%) com outras em que poucos o fizeram (0%), para verificar se haveria diferença entre os resultados obtidos por instituições com características semelhantes.