Procedimentos para análise quantitativa

A necessidade de avançar na compreensão da relação entre formação docente e sua influência no desempenho dos alunos impõe o desafio de analisar os dados existentes e buscar meios de mensurá-la. Ao mesmo tempo em que se reconhecem as dificuldades metodológicas para estudos de impacto, defende-se aqui a necessidade de buscar desenhos de pesquisa alternativos que permitam analisar os impactos das diversas políticas e programas educacionais.

Como se viu no Capítulo 1, uma das dificuldades metodológicas de atribuir impactos (e, consequentemente, derivar relações de causalidade) a determinadas ações e programas em educação é que dificilmente se podem controlar (e conhecer) todas as variáveis que intervêm nas mudanças que se seguem à implantação da intervenção. Além disso, é difícil obter dados sobre a situação inicial e antecedentes que podem influir nos resultados subsequentes à intervenção.

Um exemplo desta pesquisa foi a dificuldade de compreender em que medida os conhecimentos que os professores aplicam em sua prática cotidiana, mesmo condizendo com o que aprenderam no Letra e Vida, foram construídos tão somente por sua participação no curso, visto que outras atividades de formação, até mesmo as mais informais como o aprendizado entre pares, pode ter uma influência maior sobre a prática do professor do que o curso de que participou.

Pode-se objetar que essa dificuldade seria superada pela criação de um instrumento que medisse os conhecimentos dos professores cursistas antes e depois do curso, mas, mesmo que ele possa ter concorrido para a ampliação do conhecimento dos cursistas, não se pode concluir que eles passariam a aplicar tais conhecimentos em sala de aula e, ainda mais, que aumentaram os índices quantitativos e qualitativos de alfabetização. Dificilmente se argumentaria em favor de uma relação tão linear e direta. Como visto no Capítulo 1, vários fatores influenciam e condicionam os resultados escolares, de modo que se devem modalizar as conclusões que envolvem relações de causalidade. Além disso, para assegurar o rigor desse tipo de avaliação, ela teria que ser prevista no planejamento do programa, o que não aconteceu nesse caso e tampouco é comum em políticas e programas educacionais.

92

Alguns dos estudiosos que visam compreender os fatores que influem no desempenho dos alunos (muitos deles ligados a pesquisas sobre efeito-escola) têm usado modelos de regressão estatística e análise hierárquica para detectar a relação entre determinado fator e os resultados do processo que se analisa. Segundo Soares e Andrade (2008), esses estudos foram influenciados pelo impacto negativo do Relatório Coleman15, tornando-se mais recorrentes em educação desde a década de 1970, sempre com a preocupação de determinar os fatores que possivelmente expliquem o desempenho dos alunos.

Em particular, estudos baseados em modelos hierárquicos multiníveis têm implicado avanços na compreensão de impactos de intervenções em escolas. Raudenbush e Bryk (2002) advogam sua aplicação em pesquisas que tenham três propósitos gerais: melhor estimativa de efeitos em unidades individuais, formulação e teste de hipóteses sobre os efeitos transversais (por exemplo, como o tamanho da escola pode afetar a relação entre classe social e desempenho acadêmico) e parcelamento dos componentes de variância e covariância entre os níveis (p. 7).

Entretanto, limites nos dados disponíveis não permitiram que se usassem modelos hierárquicos nesta pesquisa, tendo-se buscado usar a análise de regressão múltipla para estimar os efeitos das variáveis de interesse (variáveis independentes) nas variáveis de estudo.

A análise de regressão múltipla é uma técnica adequada para modelar a relação entre uma variável dependente (neste caso, os resultados dos alunos de 1ª série em 2007 e o Idesp de 4ª série de 2007) e um conjunto de variáveis independentes (como a porcentagem de professores na escola que cursaram o Letra e Vida, o nível socioeconômico dos alunos, os resultados obtidos em testes anteriores e outras variáveis apresentadas a seguir):

Os modelos de regressão múltipla são métodos estatísticos que permitem lidar com fenômenos nos quais a variável-resposta é influenciada simultaneamente por muitos fatores [...]. A análise de regressão linear múltipla permite estimar a contribuição de cada fator para explicar as proficiências, descontadas as contribuições dos outros fatores incluídos no modelo (Soares; Alves, 2003, p. 7).

Como defendem Shavelson (1996) e Licht (1995), os estudos de regressão são usados para predição e testagem de teorias. Aqui, aplicou-se o segundo sentido: determinar se a equipe escolar com diversos professores que cursaram o Letra e Vida tinha alguma influência

15 _{O Relatório Coleman, de 1966, mostrou que o fator socioeconômico era mais determinante no desempenho}

dos alunos do que a escola, ou seja, fatores extraescolares como a classe econômica a que o aluno pertencia determinavam, segundo o autor, seus resultados, levando-o a concluir que a “escola não faz diferença”. A partir de então, diversos estudos empíricos procuraram conhecer as características escolares que fazem diferença no desempenho dos alunos.

93

nos resultados obtidos pelos alunos16. Se positivamente indicada pelo modelo, essa influência poderia sustentar que a participação no Programa fez alguma diferença e, portanto, que, potencialmente, ele teria impacto nos resultados dos alunos. Nesse sentido, a regressão pode ajudar a compreender e explicar a natureza do fenômeno em estudo.

Contudo, nem mesmo essa técnica estatística permite relacionar diretamente os resultados dos alunos ao Letra e Vida, devido à dificuldade de se avaliar impacto relatada no primeiro capítulo:

A covariância de X e Y é algo que podemos observar ou medir empiricamente. Não podemos, no entanto, observar diretamente os efeitos causais que talvez acreditemos que tenham criado a covariância. É isso que faz da causalidade um conceito tão metafísico17 _{(Macclendon, 1994, p. 7,} tradução nossa).

Mesmo assumindo que a regressão múltipla não prova causalidade entre as variáveis, sua importância reside no fato de que não é possível falar em causalidade sem que haja covariância entre as variáveis em estudo (Macclendon, 1994). Entender quanto as variáveis covariam ou não é um primeiro passo para inferir alguma relação entre elas, e a regressão permite esclarecer as relações de covariância. Nesse sentido, ainda que a covariância não seja suficiente para inferir causalidade à relação em estudo, se o modelo mostrasse sua inexistência, qualquer outra tentativa de analisar a influência da formação dos professores nos resultados dos alunos dificilmente seria defensável. Além disso, os resultados obtidos pela análise poderiam ser um dos indicadores para o estudo sobre a força da relação da formação dos professores no curso Letra e Vida e os resultados dos alunos.