CAPÍTULO 2: AVALIAÇÃO NACIONAL PROVA BRASIL COMO INSTRUMENTO DE
2.3 Avaliação educacional em larga escala: origem e características
Com base no delineamento e reflexões feitos sobre a avaliação educacional, buscaremos demarcar nosso objeto de estudo a Prova Brasil, parte integrante do Saeb. A Prova Brasil é uma avaliação em larga escala e está inscrita no domínio das avaliações externas, apresentada na seção 2.2.1. Sendo assim, iniciaremos o debate procurando compreender as especificidades desse tipo de avaliação.
Em geral, se convencionou chamar a avaliação externa de “avaliação em larga escala”, tendo em vista o grande número de pessoas envolvidas em cada uma de suas etapas: (i) elaboração do projeto de avaliação; (ii) construção de instrumentos padronizados (testes e questionários); (iii) validação estatística dos instrumentos; (iv) constituição e treinamento das equipes de trabalho; (v) execução e monitoramento simultâneos da avaliação em diferentes instituições pelo território nacional; (vi) processamento dos dados e disseminação de resultados; e (vii) repercussão dos resultados na sociedade. Apesar de tais avaliações poderem se pautar na mesma fonte de informação (alunos, professores, diretores) e finalidade de uma avaliação interna, a sua organização é mais complexa, diante do número de participantes, do público para os quais se destina e da abrangência das questões que pretende responder.
Considerando a evolução e complexidade assumida pela sociedade brasileira após o movimento de expansão da rede escolar, na década de 1980, bem como por diversos países das Américas, surgiu a necessidade de conhecer a qualidade dos processos e resultados das escolas dentro do sistema educacional. Para apreender a qualidade de um sistema educacional, não era suficiente agregar os dados de todas as avaliações internas, pois as provas preparadas em cada instituição seguem padrões e critérios distintos.
A realização de uma avaliação externa em larga escala exige, então, procedimentos não usuais nas avaliações escolares, relacionados com os aspectos administrativos, operacionais, técnicos e acadêmicos. Conforme adverte Vianna (2005), uma avaliação em larga escala
[...] não se improvisa, exige experiência, juntamente com uma estrutura básica de funcionamento, controle gerencial e monitoramento que garantam a natureza do produto. É necessário destacar que o programa deve ser baseado em um sistema operacional que assegure a eficiência dos serviços e o valor do produto. O trabalho nesse tipo de avaliação precisa ser monitorado de forma a garantir uma produção de qualidade em todos os
estágios do seu desenvolvimento. Sem a natureza sistêmica das operações tudo pode resultar em um imenso caos. (p. 130)
Uma das primeiras etapas de uma avaliação em larga escala, de acordo com Worthen, Sanders e Fitzpadtrick (2004) e Arredondo e Diago (2009) é a construção do projeto de avaliação. No projeto devem constar respostas para algumas questões, tais como: (a) o que avaliar? – o objeto avaliado deve ser delimitado, por exemplo: desempenho das escolas, dos professores, rendimento dos estudantes entre outros; (b) porque avaliar? – os motivos que justificam a necessidade de realizar a avaliação, definição dos objetivos; (c) qual a natureza da avaliação? – diz respeito aos pressupostos que nortearão a avaliação; (d) quando avaliar? – definir se a avaliação será no início (diagnóstico), durante (formativa) ou no final (somativa) do processo de ensino-aprendizagem; (e) que população avaliar? – definir o público que será a fonte de informação da pesquisa, como exemplo podemos citar: alunos, pais e/ou professores; (f) qual o universo da avaliação? – deliberar se a avaliação será realizada com uma amostra ou abrangerá toda a população avaliada; (g) como avaliar? – o delineamento da metodologia, das estratégias e técnicas padronizadas que serão utilizadas em função do objeto a ser avaliado e dos objetivos; (h) qual o público alvo da avaliação? – definir para quem a avaliação se destina (professores, diretores, gestores públicos, pesquisadores, famílias) para que a disseminação dos resultados atenda a todos; (i) quem executará a avaliação? – decidir sobre o processo de seleção de empresas e/ou profissionais etc..
Diante das particularidades de uma avaliação em larga escala, Vianna (2005) recomenda que ela seja planejada de forma cooperativa entre especialistas e técnicos. Dessa maneira, cada grupo de profissionais se responsabilizaria por um dos momentos de construção e execução da avaliação. Todavia, na segmentação das tarefas é fundamental a integração de todas as equipes caso contrário pode comprometer a qualidade das informações, bem como avaliação como um todo.
Uma avaliação pode ter funções variadas de acordo com as técnicas utilizadas e do interesse político. Dentre os estudiosos, a apresentação de três funções é recorrente: (i) diagnóstica: realizada no início do processo de ensino aprendizagem com o propósito de conhecer os pressupostos de partida, para o planejamento de ações pedagógicas ou administrativas; (ii) formativa: ocorre no decorrer do processo de ensino-aprendizagem, no intuito de orientar e intervir para aperfeiçoar estratégias e sanar dificuldades; e (iii) somativa: realizada no final de uma etapa de ensino-aprendizagem ou de execução de um programa ou
projeto, tem o propósito de verificar o seu grau de aproveitamento, a consecução dos objetivos, possibilitando o monitoramente e o controle dos resultados pelos gestores.
No caso específico da avaliação em larga escala, além dessas, podemos citar as seguintes funções69: (a) a autoavaliação: permite conhecer qual a posição relativa entre os
participantes de uma mesma avaliação; (b) o credenciamento: seus resultados permitem aos participantes ingressarem no mercado de trabalho ou na educação superior, como por exemplo, do Exame Nacional do Ensino Médio (Enem); (c) o accountability: presta conta da qualidade do ensino ofertado apresentando informações aos diferentes públicos interessados nos resultados da avaliação, tais como educadores, gestores públicos e família; e (d) apoio a decisão: oferece informações sobre os resultados alcançados, possibilitando prever situações futuras e propor ações alternativas que visem a melhoria da situação detectada.
Ainda de acordo com sua função, a avaliação em larga escala pode ser longitudinal ou transversal. A longitudinal tende a acompanhar um mesmo grupo de estudantes ao longo de vários anos, identificando o progresso da aprendizagem ou o progresso escolar de cada um deles. A transversal faz um corte no período de escolaridade que se pretende avaliar, por exemplo, todos os alunos que estão terminando a(o) 4ª série/5º ano e 8ª série/9º ano do Ensino Fundamental e seu foco é o desempenho escolar.
Definidas as funções da avaliação em larga escala, é necessário discorrermos sobre alguns de seus tipos ou modalidades, tendo em vista o objeto a ser avaliado. Segundo Afonso (2005) e Arredondo e Diago (2009), essa avaliação pode apresentar as seguintes modalidades: (a) normativa e (b) criterial. A normativa é mais frequente naquelas avaliações que utilizam testes padronizados. O seu referencial de análise é o rendimento geral de um grupo relacionado à média local, regional e/ou nacional. A avaliação normativa é a mais adequada quando a competição e a comparação são os pilares da proposta educacional. Nesse caso, não há uma análise particularizada de cada sujeito e realidade educacional. A criterial tem o foco no indivíduo e busca verificar em que medida ele está atingindo os objetivos do ensino (critérios previamente estabelecidos). Ela se baseia nas metas traçadas pelas instituições individualmente ou por localidade (estado, município, região).
69 A definição destes objetivos foi realizada a partir da análise de Clímaco (2005) e do documento
disponibilizado pela Diretoria de Avaliação da Educação Básica, do Instituto Nacional de Estudos e Pesquisas Pedagógicas Inep, intitulado “Módulo Integrado de Avaliação – versão preliminar. (s/d)”. Nesse documento, as avaliações em larga escala podem ter como objetivo: a) a autoavaliação; b) o credenciamento; c) o diagnóstico e d) o accountability. Além disso, esclarece que uma mesma avaliação pode ser realizada para atender a um objetivo ou a todos.
Outro aspecto a ser considerado nas avaliações externas em larga escala é o método utilizado para selecionar a população70, que pode ser amostral ou censitário. Ele é amostral quando a intenção é de subsidiar os órgãos decisores sobre a evolução do sistema educacional. Para esse fim, uma amostra representativa do universo que se pretende avaliar é selecionada. Quando a intenção é gerar informações para subsidiar as escolas em seu trabalho pedagógico, além de permitir que os gestores públicos conheçam a qualidade dos estabelecimentos de ensino que compõem sua rede, realiza-se a avaliação censitária, da qual participa todo o universo avaliado.
Podemos dizer que o uso das avaliações externas em larga escala foi decorrente das experiências com os surveys educacionais. Esse tipo de pesquisa de base quantitativa e caracterizado pela aplicação de testes e/ou questionário de múltipla escolha, nos anos 1950 a 1960, passou a ser adotado pelos países industrializados, especialmente, EUA, Inglaterra e França para conhecer o funcionamento do sistema escolar (DIAS SOBRINHO, 2003).
No Brasil, essa avaliação, desde os anos 1930, recebeu influência norte-americana. No entanto, a primeira experiência significativa nessa área pode ser percebida a partir da década de 1960 e se consolida nos anos de 1990 com a criação do sistema de avaliação nacional, como será aprofundado na próxima seção. Podemos dizer que existiu uma tendência dos países mencionados, em adotar a avaliação em larga escala para subsidiar as decisões políticas. Apesar de as razões e interesses que os levaram a utilizar essa avaliação sejam diversos, parece haver consenso quanto ao seu principal objetivo que é o de possibilitar a conquista de um sistema educacional de qualidade para todos (CASTRO, 2007).
Após conhecermos as particularidades de uma avaliação educacional em larga escala, na próxima seção analisaremos de que forma as avaliações foram se desenvolvendo no Estado brasileiro até originar o Saeb e, depois de alguns anos, a Prova Brasil.
70 A população diz respeito ao universo de onde são obtidos os dados almejados. Esse universo deve se constituir
de um conjunto de elementos que têm alguma característica em comum que possa ser contada, medida, pesada ou ordenada de algum modo. Por exemplo, a população-alvo de uma avaliação pode ser os alunos de uma determinada série, na rede pública de ensino.