No que concerne à avaliação institucional, fiel à concepção de que o desempenho do aluno é condicionado por diferentes fatores, o SAEB prevê a investigação sobre tais fatores, pela aplicação de questionários aos alunos avaliados, aos seus professores e professoras e aos diretores das escolas, além de informações relativas às condições da escola e à turma avaliada. Embora presentes desde o primeiro ciclo, os instrumentos também sofreram alterações durante o processo.
Em sua primeira aplicação, os instrumentos contextuais abordaram três eixos básicos: a universalização do ensino, a valorização do magistério e a democratização da gestão. A
60
Segundo Phillipe Perrenoud, competência é a “capacidade de agir eficazmente em um determinado tipo de situação, apoiando-se em conhecimentos, mas sem se limitar a eles”.
61
Consoante informações do INEP, foram consultados cerca de 500 professores de 12 UFs, abrangendo as cinco regiões do País.
elaboração dos instrumentos se deu a partir de três questões globais, decompostas em dimensões de análises específicas e referidas a indicadores, conforme segue:
Quadro 4 – Composição estrutural dos questionários do SAEB 1990
Eixos Dimensões Indicadores
Universalização com qualidade
Escolarização Retenção
Produtividade
matrícula e taxa de escolarização real taxas de evasão, aprovação e repetência taxa de sobrevivência
Valorização do Magistério
Competência
Condições de trabalho
conteúdos e projeto pedagógico
níveis salariais, taxa de professores concursados, vigência do Estatuto do Magistério
Gestão educacional
Integração estado/ município Descentralização
Desburocratização Eficiência
Democratização
equalização custo-aluno
grau de autonomia da escola/melhoria da gestão escolar
relação custo-pessoal docente/pessoal não docente
racionalização de recursos melhoria da gestão escolar
Sistematizado a partir de BONAMINO e FRANCO, 1999, p. 113-114
No segundo ciclo, em 1993, os instrumentos contextuais do SAEB foram aperfeiçoados, à luz dos resultados obtidos no ciclo anterior. Novamente foram examinados os eixos relativos à gestão e à docência, privilegiando-se os aspectos relacionados ao perfil e à prática de docentes e gestores. Em comum, os instrumentos contemplavam a formação e a experiência profissional, a forma de ingresso e a situação funcional de diretores e professores. As informações sobre equipamentos, atividades, funcionamento da escola e estilo de gestão foram solicitadas aos gestores, assim como as informações sobre planejamento das atividades e prática docente, condições de trabalho e participação se dirigiram aos docentes.
No ciclo de 1995, o SAEB incorporou instrumentos de levantamento de dados sobre as características socioeconômicas e culturais, incluindo medidas de educação dos pais ou responsáveis pelos alunos, e sobre os hábitos de estudo dos mesmos. Ressalta-se que a introdução destas questões se caracteriza como uma mudança de enfoque, visto que se deixou de privilegiar os fatores intra-escolares, como ocorrera até então. O argumento para a introdução das medidas de origem social dos alunos nos levantamentos educacionais se baseia na recorrência dos resultados de pesquisas, que indicavam que “as desigualdades no desempenho dos alunos estão mais fortemente correlacionadas
com suas diferentes origens sociais e familiares do que com as diferenças pedagógicas e infra-estruturais existentes entre as escolas.” (BONAMINO E FRANCO, 1999)
Cabe destacar que a pesquisa educacional mais recente tem contestado a tese muito popular de que o grande diferenciador na performance do estudante era o meio social, especialmente a família, sendo que a escola fazia pouca diferença. Estudos como o da Escola Nacional de Ciências Estatísticas (ENCE) do Instituto Brasileiro de Geografia e Estatística (IBGE) mostram o contrário, ou seja, a escola também tem um papel importante na formação do estudante e chega a elevar o desempenho do aluno em 13% nas redes pública e particular de ensino no Brasil. 61
Apesar de concordar com a inclusão das medidas de origem social no levantamento, ressalto que não se deva privilegiar os fatores extra-escolares na análise do desempenho escolar, subestimando a influência das variáveis escolares e dos processos internos aos estabelecimentos de ensino, sob pena de gerar, no limite, o imobilismo perante as desigualdades. Em decorrência da posição assumida é que reafirmo a necessidade da investigação sobre os fatores que levam a organização escolar a fazer diferença nos resultados dos seus alunos, atentando-se para os resultados das pesquisas que focalizam o efeito-escola.
Nesta mesma direção, os resultados do ciclo de 1995 do SAEB apontaram para a importância dos processos internos da escola, destacando pontos importantes da organização da escola como evidências relacionadas ao bom desempenho dos alunos, o que resultou em alterações nos instrumentos utilizados no ciclo seguinte. Portanto, como demonstrado no quadro 3, foram mantidos os itens já mencionados e incluídos indicadores sobre o grau de autonomia e sobre a matriz organizacional da escola nos instrumentos do ciclo de 1997. Para a dimensão Insumo, foram deslocados os itens relativos à infra-estrutura, espaço físico, instalações, equipamentos, recursos e materiais didáticos.
61
Conforme noticiado no jornal Estado de Minas, 18/10/2001, a pesquisa, encomendada pelo Ministério da Educação, utilizando os resultados do SAEB (1999) cruzados com dados sobre a situação socioeconômica das famílias, conseguiu medir o efeito escola, excluindo a influência do nível socioeconômico das famílias. A pesquisa revelou também diferenças regionais importantes da influência que a escola tem no aluno, sendo que o Nordeste é a região onde o desempenho do aluno melhora mais por causa da sala de aula (17%), no Sudeste, 12% e no Sul, apenas em 7,6%. Resultados equivalentes em outras pesquisas tem orientado à conclusão de que o efeito-escola é maior para os alunos com nível socioeconômico menor. (WAISELFISZ, 2000)
No ciclo de 1999, os instrumentos mantêm a perspectiva de levantamento de fatores intra e extra-escolares. A principal alteração a ser sublinhada se refere à inclusão de medidas de indicadores de renda, por meio da descrição de bens e serviços disponíveis na residência dos alunos, em razão da necessidade de enriquecimento das medidas socioeconômicas e das dificuldades de obtenção de medidas de educação dos pais, a partir das respostas dos alunos da quarta série. 62
Quanto ao ciclo de 2001, além da inclusão de item referente à ocupação de pais/responsáveis, merece sublinhar a definição de um referencial teórico para os instrumentos contextuais, no qual se classificam os fatores intra e extra-escolares em constructos relativos a: alunos, sala de aula e escola. A iniciativa objetivou a definição, explicitação e justificação dos constructos que se pretendia captar pela aplicação dos questionários, considerando a importância do papel dos questionários no sentido de oferecer fatores explicativos para a modelagem do desempenho dos alunos, medida pelos instrumentos cognitivos. Segundo o MEC/INEP, a sua definição beneficiou-se das teorias e de resultados de pesquisas educacionais, incorporando também à reflexão estudos relativos aos fatores associados ao desempenho escolar e à escola eficaz.
Exatamente por considerar o papel dos instrumentos contextuais como de fundamental importância na avaliação, que procedo à análise dos questionários utilizados pelo SAEB, enfocando os fatores internos às organizações escolares que têm sido indicados na literatura e pesquisas da área como positivamente associados ao desempenho escolar. Tais fatores compõem a “matriz organizacional da escola”, que envolve as dimensões de processo e insumo no contexto da organização escolar. 63
3.4 – INSTRUMENTOS CONTEXTUAIS E A MATRIZ ORGANIZACIONAL DA