PROGRAMA DE PÓS-GRADUAÇÃO PROFISSIONAL EM GESTÃO E AVALIAÇÃO DA EDUCAÇÃO PÚBLICA
ELISÂNGELA APARECIDA DA SILVA
USO DO PAAE NAS ESCOLAS DE ENSINO MÉDIO DA SRE DE JANAÚBA
ELISÂNGELA APARECIDA DA SILVA
USO DO PAAE NAS ESCOLAS DE ENSINO MÉDIO DA SRE DE JANAÚBA
Dissertação de Mestrado apresentada como requisito parcial à conclusão do Mestrado Profissional em Gestão e Avaliação da Educação Pública, do Centro de Políticas Públicas e Avaliação da Educação, da Faculdade de Educação, Universidade Federal de Juiz de Fora.
Orientador(a): Profº. Dr. Manuel Fernando Palácios da Cunha e Melo
TERMO DE APROVAÇÃO
ELISÂNGELA APARECIDA DA SILVA
USO DO PAAE NAS ESCOLAS DE ENSINO MÉDIO DA SRE DE JANAÚBA
Dissertação apresentada à Banca Examinadora designada pela equipe de Dissertação do Mestrado Profissional CAEd/FACED/UFJF, aprovada em 29/12/2014
Profº. Dr. ManuelFernando Palácios da Cunha e Melo Membro da banca -orientador
Membro da banca
Membro da banca
AGRADECIMENTOS
Agradeço imensamente a Deus – o que seria de mim sem Ele - ao meu marido e a minha mãe, sempre presentes e me apoiando para que eu chegasse até aqui. A todos que vivenciaram um pouco da minha trajetória profissional, Marta Cunha, colegas da SRE, especialmente Waldinéa, Joaquina e Márcia, tão amorosas e confiantes de que tudo daria certo, um obrigado especial. Também agradeço à Secretaria de Estado de Educação de Minas Geraispor propiciar a oportunidade de elevação de conhecimentos através do convênio com a Universidade Federal de Juiz de Fora, ao professororientador Manoel Palácios de Melo e Cunha, aos integrantes da banca examinadora, à Universidade Federal de Juiz de Fora, ao Programa de Pós-graduação emGestão e Avaliação da Educação Pública pela oportunidade de estudo e formação e à equipe de suporte da disciplina Dissertação pelas orientaçõesrealizadas, principalmente ao Kelmer, à Cecília e à Thamyres.Por fim, não poderia me esquecer de agradecer aos diretores e professores das escolas que participaram da pesquisa e permitiram assim a realização deste trabalho.
RESUMO
O presente trabalho objetivou analisar o uso do Programa de Avaliação da Aprendizagem Escolar (PAAE) em seis escolas de ensino médio da SRE de Janaúba. As escolas selecionadas participaram do extinto projeto Escola-referência e por isso têm registrado mais tempo de experiência com o PAAE. O enfoque da pesquisa foi captar informações que revelassem o que é executado pelas escolas em relação ao programa e verificar se esse uso se aproxima dos objetivos declarados pelos idealizadores do PAAE. Para atingir esse propósito, foi realizada uma pesquisa documental e uma pesquisa empírica (entrevista de roteiro semiestruturado com os gestores escolares e questionários aplicados aos docentes das disciplinas avaliadas no programa). O referencial teórico se baseou em Mainardes(2006) e sua obra sobre análise do ciclo de políticas, Weiss (1998) com sua discussão sobre avaliação de programas, entre outros autores que tratam da temática da avaliação. Os resultados da pesquisa apontam que o programa é subutilizado pelas escolas e a motivação desta subutilização tem por causa fatores mais relacionados às escolas do que ao próprio programa. O Plano de Ação Educacional propõe a realização de um conjunto de ações que possam contribuir para a otimização do uso do PAAE pelas escolas.
ABSTRACT
This aimed study to analyze the use of the Program Evaluation School Learning (PAAE) in six high schools SRE Janaúba. The selected schools participated in school-defunct project reference and so have logged more time to experiment with the PAAE. The focus of the research was to obtain information that would reveal which runs the schools in the program and whether such use is approaching the goals declared by the creators of the PAAE. To achieve this purpose, was performed documentary research and empirical research (semistructured interview script with the school managers and questionnaires to teachers of subjects evaluated in the program). The theoretical framework was based on Mainardes (2006) and his work on the analysis of the policy cycle, Weiss (1998) in his discussion of program evaluation, and other writers on the subject of evaluation. The survey results indicate that the program is underutilized by the schools and the motivation of this underutilization is because factors related to schools than the program itself. The Action Plan for Educational proposes to carry out set of actions that may contribute to the optimization of PAAE by schools.
LISTA DE ABREVIATURAS
CAEd – Centro de Políticas Públicas e Avaliação da Educação UFJF – Universidade Federal de Juiz de Fora
PAAE – Programa de Avaliação da Aprendizagem Escolar SIMAVE – Sistema Mineiro de Avaliação da Educação Básica SAEB -Sistema Nacional de Avaliação Básica
ENEM -Exame Nacional do Ensino Médio
Enade – Exame Nacional de Desempenho do Ensino Superior PISA – Progrrama Internacional de Avaliação de Estudantes PROALFA – Programa de Avaliação da Alfabetização
PROEB – Programa de Avaliação da Rede Pública de Educação Básica ANA – Avaliação Nacional da Alfabetização
PAE – Plano de Ação Educacional
SEDUC/RJ – Secretaria de Educação do Rio de Janeiro SRE – Superintendência Regional de Ensino
SEE/MG – Secretaria de Estado da Educação de Minas Gerais CBC – Currículo Básico Comum
ANEB – Avaliação Nacional da Educação Básica IBGE – Instituto Brasileiro de Geografia e Estatística
INEP – Instituo Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira IDEB – Índice de Desenvolvimento da Educação Básica
MEC – Ministério da Educação e Cultura
PAAE – Programa de Avaliação da Aprendizagem Escolar GQTE – Gestão da Qualidade Total na Educação
LISTA DE FIGURAS
FIGURA 1: Tipos de avaliação do PAAE ... p.36 FIGURA 2: Resultado da Aplicação... p.40 FIGURA 3: Resultado por aluno ... p.41 FIGURA 4: Teoria do programa PAAE: alguns mecanismos pelos quais as
aplicações das avaliações do PAAE podem provocar melhorias nos resultados dos alunos ... p.44 FIGURA 5: Item de avaliação do PAAE... p.109 FIGURA 6: Passos para produção de um item de avaliação do PAAE... p.110 FIGURA 7: Recursos humanos envolvidos na elaboração de itens de avaliação
do PAAE... p.111 FIGURA 8: Mapa das SREs que participaram da Oficina de Elaboração de Itens
LISTA DE GRÁFICOS
GRÁFICO 1: Acessos de professores à 1ª avaliação PAAE no ano 2013 p. 48 GRÁFICO 2: Acessos de professores à 2ª avaliação PAAE no ano 2013 p. 49 GRÁFICO 3: Acessos de professores à avaliação Contínua PAAE – 1ª
abertura do sistema em 2013... p. 50 GRÁFICO 4: Acessos de professores à avaliação Contínua PAAE – 2ª
abertura do sistema em 2013... p. 51 GRÁFICO 5: Desempenho médio (%) dos alunos por SREs – PAAE/2013 nas
Avaliações Obrigatórias ... p. 53 GRÁFICO 6: Desempenho médio (%) das escolas da SRE Janaúba nas
avaliações obrigatórias de 2010 ... p. 55 GRÁFICO 7: Evolução do desempenho médio (%) dos alunos nas Avaliações
Obrigatórias PAAE/2008 por SREs... p. 56 GRÁFICO 8: Desempenho Médio (%) de alunos na EE MA nas obrigatórias
em 2013 – por disciplina ... p. 57 GRÁFICO 9: Desempenho Médio (%) de alunos na EE RS nas obrigatórias
em 2013 – por disciplina ... p. 58 GRÁFICO 10: Desempenho Médio (%) de alunos na EE ZM nas obrigatórias
em 2013 – por disciplina ... p. 58 GRÁFICO 11: Média (%) geral das escolas pesquisadas na Avaliação da
Aprendizagem Anual/2013... p. 59 GRÁFICO 12: Evolução da proficiência média em Língua Portuguesa – Ensino
Médio (2009 a 2012) ... p. 65 GRÁFICO 13: Evolução da proficiência média em Matemática– Ensino Médio
(2009 a 2012)... p. 65 GRÁFICO 14: Resultados de desempenho 2000 a 2010 – Proeb 3º ano do
LISTA DE QUADROS
LISTA DE TABELAS
TABELA 1: Médias de Proficiência SAEB -3ª série E.M. Escolas Estaduais de Minas Gerais 2001 –2011 …... p.32 TABELA 2: Resultado PROEB/Proficiência média da rede estadual – 3º ano
EM -2009 a 2012 ... p. 33 TABELA 3: Total de Estabelecimentos por dependência Administrativa – Minas
Gerais 2013 ... p. 46 TABELA 4: Posição da SRE Janaúba em relação a sua proficiência média no
Estado de MG (Avaliação SIMAVE 2012)…... p. 61 TABELA 5: Médias das proficiências de Língua Portuguesa e Matemática dos
alunos de 3ª série de Ensino Médio – Brasil, Estaduais do Brasil e
Estaduais de Minas Gerais (2011) …... p. 62 TABELA6: Resultado PROALFA –Rede Estadual (2006 a 2011)…... p. 62 TABELA7: Resultado PROEB da Rede Estadual/Proficiência Média (2010 -
2011) ... p. 63 TABELA 8: SRE de Janaúba: Taxa de Rendimento Escolar 2009 – REDE
ESTADUAL ... p. 63 TABELA 9: SRE de Janaúba: Taxa de Distorção (%) – 2010 - REDE
ESTADUAL ... p. 63 TABELA 10: Evolução do Percentual de Estudantes do Ensino Médio por
Padrão de Desempenho em Língua Portuguesa -2009 a 2012
…... p. 69 TABELA 11: Evolução do Percentual de Estudantes do Ensino Médio por
Padrão de Desempenho emMatemática - 2009 a 2012 ... p. 69 TABELA 12: Proficiência média de Língua Portuguesa eMatemática 3º ano do
SUMÁRIO
INTRODUÇÃO ..... p. 15 1 O PROGRAMA DE AVALIAÇÃO DA APRENDIZAGEM ESCOLAR:
OS DADOS DESCRITIVOS DO PROGRAMA E SUA
CONTEXTUALIZAÇÃO NA SRE DE JANAÚBA... p. 20 1.1 Os programas do sistema mineiro de avaliação da educação
pública (SIMAVE)... p. 21 1.1.1 O Programa de Avaliação da Rede Pública de Educação Básica
(PROEB)... p. 22 1.1.2 O Programa de Avaliação da Alfabetização (PROALFA) ... p. 23 1.1.3 O Programa de Avaliação da Aprendizagem Escolar (PAAE)... p. 24 1.2 O Programa de Avaliação da Aprendizagem Escolar: justificativa,
histórico, desenho e funcionamento…... p. 26 1.2.1 A especificidade do PAAE e a justificativa para sua criação ... p. 26 1.2.2 Histórico do PAAE ... p. 29 1.2.3 O desenho do PAAE ... p. 32 1.2.4 O funcionamento virtual do PAAE nas escolas de ensino médio ... p. 36 1.2.5 A Teoria do PAAE ... p. 43 1.3 O caso de gestão: do estado de Minas Gerais à SRE de Janaúba
... p. 45 1.3.1 Evidenciando o problema do caso de gestão ... p. 47 1.3.2 Conhecendo a SRE de Janaúba ... p. 60 1.3.3 O Ensino Médio da SRE de Janaúba ... p. 64 1.3.4 Caracterização geral das escolas pesquisadas... p. 69 1.4 Considerações para a análise dos dados... p. 71 2 ANÁLISE DO CASO: O USO DO PAAE NAS ESCOLAS DE ENSINO
MÉDIO DASRE DE JANAÚBA ... p. 73 2.1 Metodologia ... p. 74 2.2 A gestão do currículo e o PAAE... p. 78 2.2.1 Primeiras considerações sobre a questão da gestãodo currículo p. 78 2.2.2 A questão da gestão curricular no ambiente da gestão pública atual
... p. 79 2.2.3 A experiência de gestão curricular nas escolas pesquisadas – traços
2.3 A gestão do PAAE na escola... p. 91 2.3.1 O contexto de influência do PAAE ... p. 92 2.3.2 O contexto da produção de texto do PAAE ... p. 99 2.3.3 O contexto da prática do PAAE – uso do programa pelos professores e
gestores escolares ... p. 100 2.3.4 O contexto da prática do PAAE – gestão do programa na escola.. p. 116 2.3.5 O contexto de resultados ou efeitos do PAAE... p. 121 2.4 Considerações sobre o capítulo 2 – análise dos fatores
associados à execução do PAAE que interferem em sua
implementação... p. 125 3 PROPOSTA DE AÇÃO PARA MELHORIA DA RELAÇÃO PAAE E
ESCOLA... p. 128 3.1 Divulgação e preparação dos operadores para o uso do PAAE
... p. 128 3.2 Capacitação dos operadores do para utilização dos resultados do
PAAE... p. 131 3.2.1 Institucionalização das Oficinas de Elaboração de Itens... p. 132 3.2.2 Capacitação para apropriação dos resultados do PAAE e elaboração
INTRODUÇÃO
As décadas de 1980 e 1990 marcaram a história da educação pública em alguns países da América Latina como o período da política de avaliação educacional. A materialidade desta política se deu através dos sistemas nacionais, estaduais ou municipais de avaliação que, com seus programas, buscaram principalmente mensurar a qualidade da educação. Na atualidade a atuação destes programas é ampla e abrange desde as escolas da educação básica ao ensino superior, num movimento que ocorre através de entes nacionais e internacionais. De maneira geral, as avaliações destes programas são dirigidas a anos de escolaridade específicos ou a alunos de determinada idade e, por abrangerem um número grande de alunos, são chamadas de avaliações em larga escala. Nomes como o Sistema Nacional de Avaliação Básica – Saeb, Exame Nacional do Ensino Médio – Enem, Exame Nacional de Desempenho do Ensino Superior – Enade, Prova Brasil, Sistema Mineiro de Avaliação da Educação Básica – SIMAVE,Programa Internacional de Avaliação de Estudantes – PISA são alguns exemplos de programas que institucionalizam a avaliação como uma estratégia de governos diretamente relacionada ao ensino.
Embora os perfis de cada sistema ou programa de avaliação sejam diferentes entre si, o desenho das políticas de avaliação tem, de maneira geral, similaridades quanto ao fato de buscarem gerar informações para a implementação de políticas educacionais, desejarem melhorar a qualidade do ensino e serem custeados por entidades mantenedoras externas à escola, tais como o Ministério da Educação e as Secretarias Estaduais e Municipais de educação.
No contexto das escolas a adoção das avaliações externas provocou uma consequência direta sobre suas avaliações tradicionais que são feitas pelos próprios professores: a dinâmica da primeira suplantou a da segunda. Bonamino e Franco (1999, p. 101-132) dizem que isto é resultado da centralização pelos órgãos superiores de aspectos ligados à avaliação externa que secundarizam os aspectos ligados à cultura de avaliação feita pela própria escola.
interior. Considerando, especificamente, o contexto do Estado de Minas Gerais enumeram-se algumas avaliações que estão ocontecendo nas escolas públicas mineiras: as avaliações do SIMAVE com o Programa de Avaliação da Alfabetização (PROALFA), o Programa de Avaliação da Rede Pública de Educação Básica (PROEB) e o Programa da Avaliação da Aprendizagem Escolar (PAAE);e as do SAEB com a Prova Brasil, e, a partir de 2013, a Avaliação Nacional da Alfabetização (ANA). Juntam-se a estas, outras avaliações que também ocorrem mas que têm naturezas um pouco distintas, tais como o ENEM e as avaliações internacionais do PISA. Todas estas, somadas às provas bimestrais administradas pela própria escola, tornaram o espaço escolar um campo constante de operações de testes dispostos a mensurar quanto os alunos sabem e/ou o que sabem sobre os conteúdos administrados nas instituições.
É diante desta multiplicidade de programas de avaliação que as escolas do Estado de Minas Gerais receberam, a partir de 2005, o Programa de Avaliação da Aprendizagem Escolar (PAAE), destinado inicialmente aos alunos do 1º ano do ensino médio e, a partir de 2012,também aos alunos do ensino fundamental,com o objetivo primo de fortalecer o currículo e gerar, por consequência, melhoria no rendimento escolar.
O PAAE do ensino médio é um programa criado pela Secretaria de Estado da Educação de Minas Gerais para subsidiar a prática do professor nas escolas a partir de resultados de uma avaliação relacionada ao programa curricular adotado no Estado. Pressupõe-se que o professor é um gestor do currículo na medida em que assume o controle dos momentos em que deve abordar este ou aquele conteúdo em seu exercício docente.
A arquitetura do PAAE foi projetada para dar ao professor melhores condições de assumir a gestão do currículo em sala de aula. Considerando o fato de que esta responsabilidade do professor exige ações céleres,o programa optou pelo uso da tecnologia informatizada para dinamizar o processo de avaliação e geração dos dados.
respeito à possibilidade de intervenção imediata sobre seu público avaliado. Entre suas principais características destacam-se: as provas sãogerenciadas pelos próprios professores da escola – em alguns momentos, no tempo em que ele deseja, as aplicações são administradas nas salas dentro da rotina habitual da aula e seu objetivoé avaliar a aprendizagem dos alunos, com foco direto no próprio aluno.
Diferentemente, a avaliação feita pelo ente externo, como o próprio nome indica, é efetivada por uma instituição externa à escola que avalia redes de ensino e um número elevado de alunos com o objetivo de fornecer informações sobre a situação da qualidade do ensino. O foco deste tipo de avaliação é a escola. Algumas outras distinções serão citadas no capítulo 1, neste momento é importante contextualizar no cenário atual o que dá mote a esta pesquisa.
O PAAE pretende ser um instrumento que fornece elementos para a autoavaliação do professor e um subsídio pedagógico para a realização de intervenções capazes de melhorar a aprendizagem do aluno, a prática docente e os resultados da escola. A projeção que se faz idealmente, no momento em que o programa começa a operar, é que após as aplicações das avaliações diagnósticas realizadas no início do 1º ano do ensino médio a escola se mobilize e elabore um planejamento conectado ao currículo oficial em prol da melhoria dos resultados diagnosticados. Considerando os possíveis resultados longitudinais, a expectativa que esse trabalho de intervenção cria é que ao chegarem ao final do ensino médio, os alunos apresentem um padrão de desempenho condizente com o ano de escolaridade, ou seja, que o maior número possível de alunos do ensino médio seja do nível recomendado nas avaliações estaduais, por exemplo.
Diante da análise da apropriação pela escola das ferramentas do PAAE alguns questionamentos vêm à tona: como a escola está utilizando o PAAE? Quais ferramentas são utilizadas com maior ou menor frequência? Por quê? Os professores e gestores compreendem o que é o programa? Enfim, o programa está funcionando?
contexto da prática. Elas ajudariam a evidenciar os resultados da implementação em relação às proposições do programa.
Esta dissertação aborda como caso de gestão a implementação do Programa de Avaliação da Aprendizagem Escolar (PAAE) no contexto das escolas públicas de ensino médio de Janaúba a fim de entender se o programa está funcionado.
A autora Carol Weiss (1998) define política como algo que expressa a relação oficial entre objetivos e atividades que se vinculam para atingir um determinado propósito numa realidade específica. A política do PAAE tendo como objetivos: fortalecer o currículo, provocar a autoavaliação do professor e ser um subsídio para a realização de intervenções pedagógicas, busca através da atividade de avaliar, subsidiar a melhoria da aprendizagem escolar. Entender o funcionamento do PAAE a partir de uma pesquisa que busca nas instituições escolares respostas sobre o seu usocontribui para uma compreensãodo programa e, consequentemente, para seu aperfeiçoamento e melhora dos seus resultados.
O cenário de análise da pesquisa aqui realizada foram seis escolas de ensino médio da SRE de Janaúba que registraram o maior tempo de participação no programa. Essas escolas integraram o já extinto projeto escolas-referência1 e por isso desenvolveram o PAAE há mais tempo que as demais escolas da jurisdição e receberam ao longo do histórico do PAAE um pouco mais de informações e acompanhamentos diretos. É relevante destacar dois outros fatores especialmente motivadores para a seleção da região pesquisada: o primeiro é por ser este local o campo de atuação da gestora que ora realiza a pesquisa, e o segundo são os resultados pouco satisfatórios desta SRE em comparação às demais regionais do Estado. A localidade pesquisada tem, de maneira geral, os piores índices nas avaliações do Sistema Mineiro de Avaliação. Entender nesta realidade específica, a SRE de Janaúba com seu quadro de resultados pouco satisfatórios, se a política do PAAE tem ou não contribuído com a melhoria da aprendizagem possibilita avaliar a implementação do programa e seus efeitos.
É necessário compreender como é a gestão do programa nas escolas pesquisadas e quais apropriações foram ou não obtidas pelos professores do 1º ano do ensino médio sobre o PAAE. De maneira mais precisa, o objetivo geral desta
investigação é analisar a utilização do PAAE em seis escolas de ensino médio da SRE de Janaúba, com vistas a entender,no processo de implementação do PAAE,o que foi apropriado pelos gestores do programa na escola, diretor e professores, e qual é a distância existente entre o que se projeta idealmente e o que se realiza efetivamente.
Utilizando o método estudo de casos, mediado pelos instrumentos entrevista e questionário, ambos realizados entre julho de 2013 a julho de 2014, foram coletados dados em seis escolas, junto a seus diretores e 41 professores que lecionam as disciplinas avaliadas no programa no 1º ano do ensino médio. Além desses instrumentos foram analisados os documentos que certificam a operacionalização do PAAE nas escolas, como os relatórios e gráficos gerados pelo sistema, entre outros documentos.
O primeiro capítulo deste trabalho traz uma descrição do PAAE no âmbito do SIMAVE com os dados que informam sua origem, objetivos, desenho e funcionamento. É neste capítulo também que se apresentam os contextos de operacionalização do programa, tanto o mais amplo, que é o ensino médio em Minas Gerais, quanto o mais específico da pesquisa, que é a SRE de Janaúba e as escolas pesquisadas.
O segundo capítulo traz a apresentação da pesquisa de campo. Nele são analisados como é o uso do PAAE nas escolas pesquisadas, com atenção especial à gestão do programa no âmbito da escola e são apresentados os dados relativos às entrevistas com os gestores escolares e os questionários com os professores do primeiro ano do ensino médio.Através de documentos obtidos junto à escola, ao Instituto Avaliar e à SRE de Janaúba é feita também a análise documental em que se verificam os registros da operacionalização do PAAE.
A fundamentação teórica para a realização das análises partiu de textos, pesquisas e estudos sobre a avaliação de políticas e programas com predileção dos autores Carol Weiss e Jefferson Mainardes.
1O PROGRAMA DE AVALIAÇÃO DA APRENDIZAGEM ESCOLAR: OS DADOS DESCRITIVOS DO PROGRAMA E SUA CONTEXTUALIZAÇÃONA SRE DE JANAÚBA
Programas dispostos a avaliar a aprendizagem escolar são movimentos recentes no cenário brasileiro. No país, a primeira aplicação de avaliações contextualizadas num sistema é registrada em 1990, com iniciativa do governo federal, através do Sistema Nacional de Avaliação da Educação Básica (SAEB). É a partir deste período que os Estados brasileiros são levados a se mobilizarem em prol de uma organização de sistemas próprios de avaliação de sua rede pública de ensino. De maneira geral, os sistemas de avaliação são compostos por programas que, em seus desenhos, buscam aferir o desempenho das escolas e assim diagnosticar a qualidade do ensino. Poucos são os que têm foco no aluno, especificamente.
No Brasil são encontradas duas experiências de sistemas estaduais de avaliação que têm em seu bojo programas focados diretamente no aluno: o Saerjinho, programa pertencente ao Sistema de Avaliação da Educação do Estado do Rio de Janeiro, cujo objetivo é “acompanhar mais de perto o rendimento dos estudantes, detectando de maneira ágil e fiel as dificuldades de aprendizagem” (SEDUC, 2013); e o Programa da Avaliação da Aprendizagem Escola (PAAE), programa do Sistema Mineiro de Avaliação da Educação Pública.
construção do diagnóstico do programa e, consequentemente, parte do problema de gestão desta pesquisa.
1.1 Os programas do Sistema Mineiro de Avaliação da Educação Pública (SIMAVE)
O Estado de Minas Gerais implantou a partir do ano 2000 o seu sistema estadual de avaliação, denominado Sistema Mineiro de Avaliação da Educação Pública (SIMAVE). Este sistema integra uma das estratégias do Estado para melhorar a qualidade da educação pública e responde às demandas requisitadas pela onda de reformas iniciadas nas décadas de 1980 e 1990, conhecidas por reformas baseadas em padrões. Essas reformas depositaram na cultura da avaliação em larga escala a expectativa de melhoria da educação. Na lógica instaurada, a avaliação permite que, a partir de um conjunto de habilidades, se obtenha indicadores que forneçam informações sobre a qualidade da educação nas escolas. Junto à incorporação de novos princípios e metodologias de gestão, os governos viram na avaliação uma oportunidade de se garantir a melhoria do serviço educacional.Brooke (2012) esclarece que este movimento, iniciado nos Estados Unidos a partir do relatório “Uma nação em risco”2, pode ser descrito da seguinte forma:
A proposta de uma reforma baseada em padrões é relativamente simples. Para melhorar os resultados da educação, é preciso, primeiro, estipular o que cada aluno deve aprender em cada etapa ou ano em termos de conteúdo e nível de proficiência mínima e, ao fazê-lo, aumentar o nível de expectativas e exigências. Segundo, para poder cobrar este nível de aprendizagem, precisa-se criar os instrumentos de avaliação padronizados necessários para mensurar o desempenho dos alunos de forma rigorosa em todas as áreas do currículo para as quais existem padrões. (BROOKE, 2012, p. 145)
O SIMAVE se propõe a executar as demandas das avaliações em larga escala segundo esta estratégia descrita por Brooke, ou seja, é um sistema que define, a partir de padrões mínimos, as expectativas que as escolas devem atingir
2Na década de 1980 foi publicado nos EUA um relatório denominado “Uma nação em risco” que
em relação à aprendizagem dos alunos e essa, por sua vez, é expressa nos níveis de proficiência atingidos ano após ano.
Atualmente, o SIMAVE é composto por três programas: o Programa de Avaliação da Alfabetização (PROALFA), o Programa de Avaliação da Rede Pública de Educação Básica (PROEB) - ambos atuam como avaliações externas de caráter somativo medindo os resultados da escola e do sistema e, indiretamente, os resultados alcançados em sala de aula - e o Programa de Avaliação da Educação Escolar (PAAE), identificado por avaliaçõesde natureza interna com caráter formativo3 e/ou somativa4que mensuram resultados alcançados em diferentes momentos de um ano letivo.
Cada um deles, embora tenha uma metodologia e um público-alvo distintos e bem definidos, são interligados e integrantes de um mesmo sistema que busca tratar a avaliação como ferramenta para melhoria da qualidade da educação no estado.
1.1.1 O Programa de Avaliação da Rede Pública de Educação Básica (PROEB) O PROEB, direcionado a toda rede pública do Estado, inclusive a municipal, foi o primeiro programa a integrar o SIMAVE no ano 2000. Desde sua origem o programa tem por foco avaliar o nível de habilidades desenvolvidas pelos alunos do 5º e 9º ano do ensino fundamental e do 3º ano do ensino médio. Com exceção do ano 2001, em todas as suas edições até o ano 2014, as disciplinas avaliadas sempre foram língua portuguesa e matemática, conforme se vê na tabela seguinte.
3 Avaliação formativa tem seu foco no processo ensino-aprendizagem ela não tem finalidade
probatória e está incorporada no ato de ensinar. Ela pretende melhorar o processo de ensino-aprendizagem mediante o uso de informações levantadas por meio da ação avaliativa. Semelhantemente à avaliação diagnóstica, a avaliação formativa busca detectar dificuldades suscetíveis de aparecer durante a aprendizagem a fim de corrigi-las rapidamente. Todavia, seu foco está no processo de ensino-aprendizagem. Através dessa modalidade de avaliação, informações sobre o desenvolvimento do aluno são fornecidas ao professor, permitindo que a prática docente se ajuste às necessidades discentes durante o processo. (CAED, 2014).
4 Avaliação somativa é uma modalidade avaliativa pontual que ocorre ao fim de um processo
Quadro 1. Trajetória PROEB
Edição 2000 2001 2002 2003 2006 a
2013 Disciplinas
avaliadas Portuguesa L.
Matemática C. Humanas C. Natureza L. Portuguesa Matemática L. Portuguesa Matemática L. Portuguesa Matemática Anos
avaliados 5º e 9º ano do EF
3º ano do EM
5º e 9º ano do EF
3º ano do EM
5º e 9º ano do EF
3º ano do EM
5º e 9º ano do EF
3º ano do EM
5º e 9º ano do EF
3º ano do EM Fonte: Revista do SIMAVE.(MINAS GERAIS; UFJF, 2012)
Desde sua origem, este programa sempre envolveu um elevado número de alunos e registra, em média, a participação de mais de 80% de seu público alvo avaliado. O PROEB, assim como outros programas de avaliação, fornece subsídios para a elaboração de políticas públicas destinadas à educação.
1.1.2 O Programa de Avaliação da Alfabetização (PROALFA)
O Programa de Avaliação da Alfabetização (PROALFA) é o programa mais recente do SIMAVE. Sua primeira avaliação censitária aconteceu em 2006 para acompanhar os resultados da ampliação do ensino fundamental de 9 anos, ocorrida em 2004 no estado mineiro. Ele se constitui numa avaliação que almeja verificar os níveis de alfabetização alcançados pelos alunos dos anos iniciais do ensino fundamental.
As avaliações deste programa são amostrais para os 2º e 4º anos do ensino fundamental e censitária para os alunos do 3º ano e todos os do 4º que tiveram baixo desempenho na avaliação do ano anterior. Elas são anuais e, até o ano de 2014, avaliam somente língua portuguesa. Os diferentes tipos de avaliação do programa foram se agregando ao longo do tempo, conforme se vê no quadro 2:
Quadro 2. Trajetória PROALFA
Edição 2005 2006 2007 a 2012
Tipo de
anos
avaliados rede Estadual Avaliação
censitária (3º ano)
A partir deste ano redes Estadual e municipal
Avaliação censitária (3º ano)
Avaliação amostral (4º ano)
Avaliação censitária (Baixo desempenho) Fonte: Revista SIMAVE (MINAS GERAIS; UFJF, 2012)
Assim como o PROEB, o PROALFA avalia toda a rede pública do Estado. A participação dos alunos neste programa tem também médias percentuais altas que ultrapassam os 80% dos alunos dos níveis avaliados censitariamente.
As avaliações deste programa são peça fundamental para o fornecimento do diagnóstico da alfabetização no Estado e, consequentemente, para a proposição de políticas públicas destinadas aos anos iniciais do ensino fundamental.
1.1.3O Programa de Avaliação da Aprendizagem Escolar (PAAE)
O PAAE, como explicitado anteriormente, tem uma natureza distinta em relação aos dois programas anteriores por se caracterizar como uma avaliação de natureza interna formativa e/ou somativa que se realiza em várias etapas ao longo de um ano e por se destinar a fins pedagógicos de intervenção bem localizada na sala de aula. A seção seguinte detalha este programa.
O quadro abaixo ilustra as principais diferenças entre os três programas do SIMAVE.
Quadro 3. Comparativo PROALFA, PROEB e PAAE
PROALFA PROEB PAAE
OBJETIVO Verificar os níveis de alfabetização alcançados pelos alunos dos anos iniciais do ensino
Avaliar as escolas da rede pública
quanto às
habilidades
desenvolvidas em
Identificar necessidades
imediatas de
fundamental. língua portuguesa e matemática.
PÚBLICO-ALVO Alunos do 2º, 3º e 4º ano do ensino fundamental
Alunos do 5º e 9º ano do ensino fundamental e do 3º ano médio
Alunos dos anos finais do ensino fundamental e do 1º ano do ensino médio
TIPO Censitária e
amostral Censitária Censitária
DISCIPLINAS
AVALIADAS Língua Portuguesa Língua Portuguesa e Matemática Todas as disciplinas do 1º ano do ensino médio e Língua
Portuguesa e
Matemática do ensino fundamental FINALIDADE Intervir no processo
de alfabetização, após a conclusão do 3º ano.
Identificar as características e
problemas do
ensino e as
especificidades das diferentes regiões de Minas Gerais
Viabilizar a gestão curricular de acordo com o estágio de desenvolvimento dos alunos frente ao Currículo Básico Comum – CBC. PERIODICIDADE Uma vez ao ano Uma vez ao ano Obrigatórias: duas
vezes ao ano;
Discricionária: até 3 a cada bimestre; INSTRUMENTO Prova escrita Prova escrita Online e escrita. Fonte: elaboração própria, baseada nas informações dos sites:
http://www.simave.caedufjf.net/e http://www.institutoavaliar.org.br
Considerando a proposta desta pesquisa de compreender a emergência do PAAE como integrante de uma política educacional que adota a avaliação sistêmica como propulsora da melhoria do ensino, passa se a seguir à descrição do pormenorizada do PAAE com o fim de descrever a política do programa.
1.2O Programa de Avaliação da Aprendizagem Escolar: justificativa, histórico, desenho e funcionamento
de itensque, em 2012, já contava com 70 mil questões de múltipla escolha, de todas as disciplinas do Ensino Fundamental e Médio, elaboradas por especialistas, de acordo com padrões definidos pela SEE e de forma a contemplar todos os tópicos obrigatórios Currículo Básico Comum (MINAS GERAIS; UFJF, 2012, p. 14).
1.2.1 A especificidade do PAAE e a justificativa para sua criação
O Programa de Avaliação da Aprendizagem Escolar (PAAE) se insere entre as propostas da Secretaria de Estado de Educação de Minas Gerais como uma ramificação do seu sistema estadual de avaliaçãomascom uma roupagem completamente diferenciada em relação aos outros dois programas que compõem o sistema, o PROALFA e o PROEB. Ele se fundamenta no binômio diagnóstico/verificação da aprendizagem escolar feitas em avaliações geradas a partir de um sistema informatizado de banco de itens.
O diferencial substancial do PAAE está relacionado diretamente a sua natureza e sua metodologia. Seu surgimento tem relação com três fatores, descritos no documento "Memorial do PAAE":
1) a necessidade de contemplar os aspectos não atingidos pelas avaliações externas;
2) a urgente necessidade de garantir a utilização do currículo comum do Estado; e
3) a imperiosa busca de modernizar as ferramentas de ensino e aprendizagem. (MEMÓRIA PAAE, 2010)
O primeiro destes fatores pode ser expresso nas diferenças entre a natureza dos três programas do SIMAVE, mais precisamente, nas diferenças entre as avaliações administradas por um órgão externo à escola e as que são elaboradas e administradas pela própria escola. Nas externas, a intenção de avaliar e medir o desempenho dos sistemas e escolas de maneira generalizada e assim planejarinvestimentos e melhorias futuras, não permite que se olhe para as necessidades individuais dos alunos recém avaliados. Mattos & Simões (2011) dizem sobre isso:
escolar no âmbito da escola e da sala de aula, uma vez que seus dados se referem a alunos concluintes e não oferecem informações diagnósticas que possibilitem intervenções para o programa em andamento e os estudantes em curso no ano letivo. (MATTOS & SIMÕES, 2011, p. 3)
Uma prática comum neste tipo de avaliação, também nomeada de externa, somativa, é avaliar terminalidades. Os alunos percorrem uma trajetória escolar composta por vários anos letivos e são avaliados, ao final deste percurso, em relação às habilidades e conhecimentos que deveriam consolidar. Com esta prática,determinados anos de escolaridade não podem ser contemplados com a realização de possíveis intervenções para corrigir defasagens individuais de aprendizagem relativas a conjunto de habilidades esperadas para uma etapa do ensino. Esta situação é percebida tanto no PROALFA quanto no PROEB, uma vez que, nesses programas os alunos são avaliados em relação a conhecimentos que deveriam ter sido adquiridos/consolidados ao longo de vários anos letivos.Considerando, no entanto, que no ensino fundamental os alunos que passam pelas avaliações ainda terão mais alguns anos na escola, essa poderá intervir nas necessidades individuais de aprendizagem dos alunos que apresentam níveis aquém do esperado. Já na etapa final do ensino médio esta intervenção não é mais possível. Os alunos egressos podem levar defasagens que não serão facilmente corrigidas. O PAAE, ao prever avaliação no início do ensino médio e em vários momentos ao longo do ano, pretende suprir esta suposta falta de atenção às necessidades educacionais dos alunos.
Outro diferencial entre as avaliações realizadas pelo ente externo e as administradas pela própria escola diz respeito às disciplinas mensuradas. Tradicionalmente são avaliadas pelo órgão externo somente as disciplinas Língua Portuguesa e Matemática. As demais disciplinas não são diagnosticadas. O PAAE contempla a realização de avaliações para todas as disciplinas e torna possível que escolas e professores também se avaliem quanto à administração do ensino nos diferentes campos dos saberes.
O segundo fator que justifica a criação do programa diz respeito àimplementação do currículo. O PAAE traz à tona a necessidade de garantir que o currículo comum, tornado obrigatório para todas as escolas estaduais do Estado através da Resolução SEE Nº 666 de 07 de abril de 2005, seja de fato cumprido.
Em Minas Gerais a proposta curricular que orienta o trabalho pedagógico das escolas busca garantir os conteúdos mínimos a serem ensinado pelos professores e aprendidos pelos alunos dos anos finais do ensino fundamental e do ensino médio. Denominado de Conteúdos Básicos Comuns (CBC), este documento tem uma estrutura que define, ano a ano de escolaridade, as diretrizes para o ensino das disciplinas, os eixos e conteúdos selecionados e, principalmente, as competências gerais e específicas que se espera desenvolver nos alunos.
A reciprocidade entre avaliação e currículo se torna imperiosa pois a primeira é construída a fim de medir os níveis de conhecimentos curriculares como se observa na apresentação da proposta feita pela SEE:
A importância dos CBCs justifica tomá-los como base para a elaboração da avaliação anual do Programa de Avaliação da Educação Básica (PROEB) e para o Programa de Avaliação da Aprendizagem Escolar (PAAE) e para o estabelecimento de um plano de metas para cada escola. O progresso dos alunos, reconhecidos por meio dessas avaliações, constitui a referência básica para o estabelecimento de sistema de responsabilização e premiação da escola e de seus servidores. Ao mesmo tempo, a constatação de um domínio cada vez mais satisfatório desses conteúdos pelos alunos gera consequências positivas na carreira docente de todo professor. (PROPOSTA CURRICULAR, CBC 2011. p. 9)
O terceiro e último dos fatores que justifica a criação do PAAE está relacionado a uma tendência de modernização que se impõe sobre os serviços públicos ou de interesse público. As escolas devem adotar a avaliação como inerente ao seu trabalho e realizá-la em conformidade com os estudos mais atuais sobre as implicações da avaliação para o ensino. Apoiada na tecnologia o programa PAAE aufere novas condições à administração das avaliações.
os diferentes espaços pertencentes à escola. Na sala de aula isto também é percebido, na medida em que computadores, datashows, tablets, quadros digitais invadem seu espaço e mudam a dinâmica das aulas. Um dos poucos momentos não alterados pela tecnologia foi aquele destinado à avaliação dos alunos. E aqui se refere a momento, como o tempo específico, separado na aula, em que o aluno está diante das questões avaliativas para respondê-las. O Programme for InternationalStudentAssessment (PISA), programa de avaliação internacional utilizou em 2012 avaliações na forma online em vários países.
Nos últimos anos Minas Gerais tem investido na implementação de ferramentas inovadoras que buscam agilizar a gestão dos processos educacionais. Um bom exemplo de investimento dessa natureza é o Sistema Mineiro de Administração Escolar (SIMADE), cujo foco é a operacionalização, em um sistema informatizado e integrado, das informações relativas à vida escolar dos alunos e dos serviços de secretariado. O PAAE ao se propor também como um sistema informatizado para geração de provas e emissão de resultados, busca atender a esta tendência, instrumentalizando diretamente o professor e a escola. Mais à frente se esclarecerá o funcionamento informatizado do PAAE.
1.2.2 Histórico do PAAE
Concebido, gerenciado e implementado pela Secretaria de Avaliação Educacional da SEE/MG em parceria com o Instituto Avaliar5, o PAAE foi aplicado pela primeira vez, no ano de 2005, em 72 escolas do grupo identificado por Escolas-Referência e, em 2006, ao conjunto das 203 que compõem a totalidade das escolas desse grupo.
A Revista do Sistema de Avaliação informa ainda que a participação das escolas de ensino médio se deu de maneira progressiva. Após a experimentação do PAAE nas Escolas Referência nos anos de 2005 e 2006, 212 escolas do ensino médio participaram em 2007, aproximadamente 1900 escolas em 2008, mais de 2.000 nos anos 2009 a 2012. Nos três primeiros anos a aplicação teve caráter experimental.
5 O Instituto Avaliar é uma organização da sociedade civil que realiza avaliações e estudos
Dois marcos importantes no histórico do PAAE ocorreram em 2010 e 2012. Em 2010 aconteceu a primeira aplicação piloto da versão totalmente online em 17 escolas e em 2012 teve início a aplicação das avaliações nas turmas dos anos finais do ensino fundamental. A trajetória do PAAE é apresentada no quadro4.
Quadro 4. TrajetóriaPAAE EDIÇÕES DISCIPLINAS
AVALIADAS ETAPA ESCOLARIDADDE E AVALIADA
ABRANGÊNCIA
REDE ESTADUAL Nº ALUNOS DE AVALIADOS 2005 Linguagens
C.Natureza Matemática C.Humanas
1º ano EM 72 escolas escolas-referência
aplicação impressa 2006 Linguagens
C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 203 escolas
escolas-referência 56581 2ª Prova: 203 escolas
escolas-referência aplicação impressa
67239
2007 Linguagens C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 212 escolas
escolas-referência 63484 2ª Prova: 212 escolas
escolas-referência aplicação impressa
51404
2008 Linguagens C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 1797
escolas 214.206
2ª Prova: 1853 escolas
aplicação impressa
181.625
2009 Linguagens C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 2165
escolas 226.790
2ª Prova: 2172 escolas
aplicação impressa
167.498
2010 Linguagens C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 2179
escolas 232.908
2ª Prova: 2171 escolas
aplicação impressa
L.Portuguesa
Matemática 1º ano EM 2ª Prova: 17 escolasaplicação online 852 2011 Linguagens
C.Natureza Matemática C.Humanas
1º ano EM 1ª Prova: 2150
escolas 252.087
2ª Prova: 2153 escolas
aplicação impressa
180.193
L.Portuguesa
Matemática 1º ano EM 2ª Prova: 17 escolasaplicação online 2.617 2012 L.Portuguesa
Matemática 6º ao 9º EF 2ª escolasProva: 2817 aplicação impressa
804.916
Linguagens C.Natureza Matemática C.Humanas
1º ano EM 2ª Prova: 2177
escolas
aplicação impressa
186.745
2ª Prova: 288 escolas
aplicação online 25.299 Fonte: Revista do Sistema de Avaliação (MINAS GERAIS; UFJF, 2012)
O quadro ilustra a evolução do atendimento do programa ao um númeromaior de escolas e alunos e a progressiva alteração da forma de aplicação da impressa para a online.
No histórico do programa, outro marco que colaborou significativamente para sua implementação gradativa na totalidade das escolas estaduais, foi a construção do Banco de Itens, sem o qual o programa não existiria. Iniciado em 2004 o banco conta, em 2014,
...com aproximadamente 70.000 itens/questões de múltipla escolha de todas as disciplinas de Ensino Fundamental e Médio, de propriedade exclusiva da SEE/MG, elaborados por especialistas, de acordo com padrões definidos pela SEE e de forma a contemplar todos os tópicos obrigatórios dos CBC. (REVISTA DO SISTEMA, 2012 p. 14)
1.2.3. O desenho do PAAE
Para apresentar o desenho do PAAE, recorre-se às questões levantadas por Condé (2012) em seu estudo sobre o ciclo das políticas públicas quando ele diz que “as políticas operam em torno de questões públicas e em torno de bens públicos” (CONDÉ, 2012, p. 2). Partindo desta afirmativa do autor chega-se ao primeiro ponto de apresentação da política do PAAE. A questão pública relacionada ao PAAE é a qualidade do ensino público. É este o problema que o PAAE busca resolver.
O diagnóstico da aprendizagem do ensino médio, dado pelas avaliações federais e estaduais, revelou dados pouco satisfatórios sobre este nível de aprendizagem.
Os últimos resultados divulgados da Avaliação Nacional da Educação Básica (ANEB), uma das avaliações do SAEB, situam o ensino médio estadual mineiro com as respectivas proficiências para português e matemática: 269,2 e 279,6. Aolongo das últimas seis avaliações amostrais da ANEB/SAEB nota-se uma inconstância no resultado alcançado entre uma edição e outra. Vejam os resultados alcançados na tabela abaixo:
Tabela 1 - Médias de Proficiência SAEB -3ª série E.M. Escolas Estaduais de Minas Gerais 2001 – 2011
ANO 2001 2003 2005 2007 2009 2011
LÍNGUA PORTUGESA 266,5 272,5 268,0 276,7 267,7 269,2
MATEMÁTICA 280,3 290,8 290,3 289,3 276,7 279,6
Fonte: DAEB/Inep/MEC, 2012
As avaliações do sistema estadual de avaliação dão indicações similares ao que ocorre no SAEB. Os resultados do PROEB/SIMAVE ao longo dos anos são os seguintes:
Tabela 2 – Resultado PROEB/Proficiência Média da Rede Estadual – 3º ano E.M. 2009 a 2012
ANO PORTUGUÊS MATEMÁTICA
2009 274,8 284,0
2010 282,2 290,6
2011 271,45 284,7
Fonte: SIMAVE/PROEB, 2013
Os resultados observados no quadro mostram a dificuldade do ensino médio de manter um ritmo crescente em suas proficiências e é esse quadro de resultados pouco expressivos que endossa as justificaspara a criação do PAAE, uma vez que, segundo os idealizadores do programa sua intenção é provocar melhoria nestes índices.
Ainda sobre o desenho do PAAE, importa que se tragam também à luz, além do esclarecimento do problema que motiva sua criação, dados informativos sobre as condições favoráveis ou não a um desenho do programa. O decurso do tempo, após o inicio das avaliações externas do PROEB, forneceu dados substanciais para as políticas de sistema. Apesar desses dados as escolas ainda não contavam com um suporte próprio para direcionar a avaliação elaborada por seus professores de tal forma que esta não entrasse em contradição com as avaliações elaboradas pelo órgão externo. A elaboração de um banco de itens de avaliação que pudesse ser acessado pelos professores abria a possibilidade de resguardar justamente esta interface e evitar que, ao final, os alunos vivenciassem em salade aula questões de avaliação que pouco ou nada se relacionassem com as questões tipicamente vistas nas avaliações externas. É este o ponto inicial que caracteriza o desenho do programa PAAE.
Outro ponto fundamental ao se projetar o programa foia base de referência das provas: o que seria avaliado? Esta questão é respondida com uma frase simples: seria avaliado o que fosse ensinado. Como já visto anteriormente, em Minas Gerais o CBC dá toda a indicação dos conteúdos tornados privilegiados ao ensino em todas as disciplinas e em todos os anos de escolaridade.
Estesdois pilares, um banco de itens informatizadoe o CBC, se tornaram princípios orientadores das ações do programa, pois norteavam o que e como avaliar. Ambos, inseridos no contexto que identificava também a referência da avaliação elaborada pela escola, permitiam a gradativa formação do PAAE. Mattos & Simões (2011) afirmam:
aluno em processo de aprendizagem, possibilitaria ao professor acompanhar a evolução de cada aluno durante o ano letivo. A partir desse pressuposto foram realizados estudos sobre os elementos contextuais das escolas e a política da SEE/MG com o objetivo de delinear um projeto que respondesse às suas demandas. Nasceu daí a concepção teórico-metodológica do PAAE e, em seu bojo, a ideia de que para obter os resultados desejados, a operacionalização das avaliações dependia de um sistema informatizado próprio. (MATTOS & SIMÕES, 2011, p. 3)
A dinâmica deste programa de avaliação foi projetada para permitir a geração de provas e de seus resultados de maneira ágil, uma vez que, esses resultados deveriam provocar intervenções imediatas na rotina escolar. Para atender à questão da celeridade optou-se por pela utilização da tecnologia informatizada. Os primeiros ensaios de implementação do programa contaram com a geração, aplicação das provas, inserção de resultados e emissão de relatórios da aplicação totalmente online. Este primeiro ensaio permitiu visualizar que a etapa da aplicação das avaliações aos alunos não funcionou plenamente por conta das condições dos laboratórios de informática. Do ano 2005 a 2009 todas as etapas de avaliações do programa aconteceram na forma online, com exceção da aplicação, que se deu na forma impressa.
expectativa dos idealizadores do PAAE é que esta forma de avaliação atinja progressivamente todas as escolas de ensino médio do Estado.
Na arquitetura do sistema PAAE a resposta à necessidade de instrumentalizar a escola em suas avaliações surgiu com a implementação dos seguintes tipos de provas: 1) a diagnóstica, aplicada no início do ano letivo a fim de verificar os conhecimentos prévios dos alunos sobre os tópicos/habilidades do CBC. Este primeiro resultado indica a heterogeneidade ou não da turma e estabelece um ponto de partida das atividades curriculares que o professor deverá programar; 2) a avaliação da aprendizagem anual aplicada no final do ano letivo para verificar o conhecimento,relativo aos tópicos/habilidades do CBC, agregado ao longo do ano; e 3) a avaliação contínua, aplicada de acordo o desenvolvimento do CBC ao longo dos bimestres letivos e cujo objetivo é subsidiar o planejamento contínuo das atividades didáticas de sala de aula. O esquema abaixo ilustra a realização dos três tipos de avaliação do programa.
Fonte: Manual do PAAE/2012
Figura 1. Tipos de Avaliação do PAAE
O programa tende a operar com uma estrutura que se aproxima do seu desenho projetado, especialmente por causa da aceleração da incorporação da tecnologia educacional.
Conforme dados do site da SEE/MG, o funcionamento virtual do programa na escola é composto dos seguintes momentos: cadastro de gestores e professores, geração das provas para serem resolvidas pelos alunos, aplicação das provas para os alunos, resolução das provas também pelos professores, inserção de respostas de alunos e de professores, emissão de relatórios e gráficos dos resultados atingidos por alunos, por turmas, por professor, por escola, por município e por SRE.
Cada uma destas etapas tem um momento específico para realização e algumas são interdependentes, ou seja, a realização de uma etapa necessita da execução de uma anterior. Este é o caso, por exemplo, dos gabaritos das provas que só podem ser emitidos após a inserção dasrespostas dos professores. Nesse exemplo, mesmo que se tenham inseridas todas as respostas dos alunos o gabarito oficial da prova só é emitido no momento em que o docente insere no sistema suas respostas.
A realização destas ações tem por consequência final a emissão dos relatórios e estes, por sua vez, apresentam os resultados que possibilitam o diagnóstico da situação dos alunos da escola. São os relatóriosque subsidiarão o planejamento tanto na órbita da escola quanto da SRE ou SEE/MG.
Todas estas etapas são acompanhadas pelos órgãos regional e central e gerenciadas pelo Instituto Avaliar6. Mattos & Simões (2011) destacam a importância dos relatórios emitidos para diferentes interessados.
A riqueza das informações que os relatórios propiciam é tal que possibilita uma grande variedade de iniciativas educacionais em prol da melhoria do padrão de ensino no sistema escolar. Os dados dos relatórios indicam, por exemplo, em quais conteúdos ou em quais habilidades do currículo básico os professores apresentam maior e menor domínio e maior e menor facilidade de ensinar, sendo essa informação importante subsídio para orientar os programas de capacitação e qualificação docente. Do ponto de vista dos alunos, os relatórios indicam, pelos dados de seu desempenho, os conteúdos e habilidades a serem abordados em intervenções pedagógicas específicas, programadas com o objetivo de oferecer atendimento individualizado segundo as necessidades identificadas. Pela análise dos resultados de cada aluno, turma e disciplina, e os resultados gerais da escola, o professores e gestores podem se orientar e tomar
6 O Instituto Avaliar é uma organização da sociedade civil, sem fins lucrativos cuja missão é contribuir
medidas proativas que visem melhorar o trabalho escolar e cumprir metas educacionais de melhores resultados. (MATTOS & SIMÕES, 2011, p. 5)
O programa, embora seja voltado para a utilização direta do professor, não se restringe exclusivamente a ele. Há, para os diferentes envolvidos, objetivos distintos, conforme vemos abaixo:
A SEE/MG: obtém diagnósticos sobre o desempenho dos alunos para subsidiar formulação de políticas públicas voltadas para a formação continuada do professor e condições de trabalho que visem à melhoria da qualidade educacional.
A Escola: estabelece metas de desempenho para professores e alunos; define e executa ações de melhoria; monitora o desempenho dos alunos e das turmas para replanejar a prática pedagógica; orienta os professores quanto às metodologias de ensino mais adequada aos conteúdos e habilidades
O Professor: autoavalia e orienta-se quanto ao desenvolvimento do processo ensino-aprendizagem; verifica se todos os tópicos e habilidades do CBC estão sendo ensinados e aprendidos, e orienta-se quanto ao deorienta-senvolvimento curricular.
O Aluno: identifica os conteúdos em que necessita dedicar maior tempo de estudo, visando melhorar o próprio desempenho escolar. (Manual PAAE, 2011)
Embora haja diferentes interesses, todos convergem para o mesmo ponto: diagnósticos que orientam a melhoria do trabalho pedagógico e resultam em ações para aumento da produtividade. Como posto nas orientações para utilização das avaliações, diretores, especialistas, professores e equipe pedagógica devem utilizar os resultados das avaliações de tal forma que as ações escolares se integrem em ações que promovam, segundo os idealizadores do PAAE, uma diferença significativa no desenvolvimento das habilidades contempladas nos Conteúdos Básicos Comuns (CBC)7. (INSTITUTO AVALIAR, 2013).
É possível visualizar a operacionalização do PAAE, através do manual disponibilizado via web e entregue impresso às escolas. Esse manual esclarece o passo a passo para a realização de todas as etapas do PAAE na escola. Este documento aponta as avaliações do programa acontecendo com as seguintes funcionalidades: 1) cadastramento de usuários; 2) se necessário,edição das turmas
migradas do SIMADE; 3) geração e edição de provas, somente se esta for impressa; 4) aplicação das provas e; 5) geração dos resultados (gráficos de desempenho).
O cadastramento de usuários no sistema PAAE é de responsabilidade de cada servidor (técnico da SRE, gestor escolar, coordenador pedagógico e professor). Somente após este cadastro é que os servidores se tornam usuários com login e senhas individuais. O usuário diretor só tem seu cadastro validado após informação oficial, pelas regionais, aos administradores do PAAE. Ser validado/habilitado implica para o gestor ter o poder de administrar o programa na escola. Entre seus poderes, pós habilitação, incluem-se: habilitar ou desabilitar os professores de sua escola, gerar as avaliações obrigatórias, criar e editar turmas e acessar dados dos perfis de todos os usuários de sua escola.
A funcionalidade criação de turmas de avaliação é de responsabilidade exclusiva do gestor. Até o ano 2013, o que se fazia no ensino médio era informar, num campo específico, o número de turmas e alunos de cada uma delas. A partir de 2014 as informações passaram a ser personalizadas, uma vez que, o PAAE/ensino médio integrou dados do SIMADE. A partir deste ano o gestor apenas edita turmas e os lançamentos e resultados passaram a ser dados por alunos, nominalmente.
O gestor escolar também é o responsável pela geração das avaliações obrigatórias que, geradas a partir de um banco de itens com senhas e usuários exclusivos, são diferentes em cada uma das escolas. O sistema disponibiliza ferramentas de edição das avaliações quando estas são aplicadas na maneira impressa. Há diferenças quanto ao número de questões conforme as disciplinas avaliadas, isto porque se busca contemplar os tópicos dos CBC de cada disciplina. Assim se a disciplina tem mais tópicos no CBC terá também mais itens de avaliação.
mediante a participação onlinenum dispositivo denominado Pesquisa de Qualidade do Item. A qualquer momento da avaliação o professor acessa esta pesquisa através da ferramenta denominada "Comentar questão". Através deste instrumento o professor pode avaliar sobre a questão: sua adequabilidade ao trabalho em sala, emitir um juízo de valor para a questão mensurando ser ela de grau fácil, médio ou difícil e ainda apresentar sugestões para aperfeiçoá-la.
. Fonte: INSTITUTO AVALIAR 2013
Fonte: INSTITUTO AVALIAR, 2014
Figura 1 – Resultado por Aluno – 2ª Prova – 2014
Após seu lançamento no sistema, tais resultados permitem ao professor conhecer os percentuais de participação e acertos dos alunos em cada uma das disciplinas avaliadas. No resultado final da aplicação, junto às respostas dadas também pelo professor, é possível a este ver a resolução justificada da questão. Esta ferramenta sempre será disponibilizada se a resposta do professor não conferir com o gabarito oficial – caso em que também é possível o professor comentar a questão no campo específico.
O professor acessa os gráficos de resultados: dos alunos por tópicos da sua disciplina; das suas turmas, nas disciplinas que leciona; da sua escola na disciplina que leciona; da SRE na disciplina que leciona;
do Estado de Minas Gerais na disciplina que leciona;
do desempenho geral da sua escola em todas as disciplinas. O diretor acessa os gráficos de resultados:
por tópicos de todas as disciplinas da sua escola;
de todas as turmas em todas as disciplinas da sua escola; da sua escola em todas as disciplinas;
da SRE em todas as disciplinas;
do Estado de Minas Gerais em todas as disciplinas;
do desempenho geral da sua escola em todas as disciplinas. (Manual PAAE, 2011)
Os gráficos operam com situações distintas sobre o PAAE, por exemplo: o Gráfico por Turmas mostra como foi o desempenho de uma turma, por tópico do CBC na disciplina do professor, já o Gráfico de Alunos da Escola mostra o desempenho de todos os alunos da escola em todas as disciplinas do PAAE.
É importante notar que alguns gráficos são direcionados a entes específicos que atuam desde a sala de aula até os gestores do ensino no órgão central do Estado. Cita-se, por exemplo, o Gráfico de Alunos por Tópicos (de Conteúdos) no Estado e o Gráfico de Alunos por Tópicos na escola. O primeiro mostra o desempenho de todos os alunos de Minas Gerais por tópico de conteúdo numa determinada disciplina e ainda compara regionais, já o segundo interessa diretamente à escola, pois mostra o desempenho de todos os alunos da escola em todos os tópicos em uma determinada disciplina. Considerando as informações do gráfico, escola, SRE e Estado podem estabelecer ações para melhorar os problemas detectados dentro de suas áreas de atuação.
Estas funcionalidades sofrem pequenas alterações quando as avaliações ocorrem totalmente na forma online ou quando se tratam das avaliações contínuas.
Em relação às avaliações contínuas, a geração de provas também passa a ser de responsabilidade do professor, e não mais do gestor. As avaliações são disponibilizadas somente na versão impressa, sendo assim, após a geração e aplicação das provas o professor deve inserir as respostas de seus alunos manualmente no sistema para obter os resultados. Nesta avaliação o professor não é obrigado a resolver as questões que os alunos fazem, porém o sistema só permite que novas avaliações sejam geradas se os dados da anterior tiverem sido devidamente lançados no sistema.
A descrição do funcionamento virtual do PAAE mostra o aparato disponibilizado às escolas estaduais para que elas operem no sistema e consigam resultados da aprendizagem escolar ao longo de um ano letivo. Esta operacionalização está condicionada a um bom funcionamento do sistema e a outros fatores, tais como: a capacidade das pessoas de usar a informática como um instrumento a favor da aprendizagem escolar, as condições do laboratório de informática, a gestão escolar e a gestão do programa na escola.
1.2.5 A teoria do PAAE
Avaliar um programa exige, segundo a autora Carol Weiss (1998), que se compreendam “as premissas teóricas em que o programa se baseia” (p. 56). Para esta autora os caminhos pelo qual o programa pode ou não funcionar são relevantes para se conhecer e explicar o êxito ou o fracasso do programa. Ela propõe que o avaliador trace, a partir de afirmações claras, a possível relação causa/efeito das atividades que compõem o programa até que este produza o resultado final. Weiss (1998) nomeia esta relação de “elos causais que unem os inputs do programa aos seus outputsesperados” (p. 56).
Fonte: elaborado pelaautorabaseado no livro “Avaliação” de Carol Weiss (1988) Figura 4 -Teoria do programa PAAE: alguns mecanismos pelos quais as aplicações das avaliações do PAAE podem provocar melhoria nos resultados
dos alunos.
menos prejuízos na aprendizagem integral dos conteúdos curriculares e ampliariam sua aprendizagem; 2) aplica-se a avaliação; a escola analisaria onde está a deficiência no ensino; a escola elaboraria capacitações e estudos dos professores; os professores teriam mais condições de ensinar; os alunos aprenderiam mais; 3)aplica-se a avaliação online; os alunos ficariam mais interessados; os resultados, por saírem mais rápido, permitiriam a correção imediata e o conhecimento pelo aluno e professor das dificuldades na aprendizagem; os alunos se autoavaliariam; os alunos se comprometeriam mais, se dedicariam mais aos estudos e aprenderiam mais.
As respostas geradas nas atividades destas cadeias ilustram o ideal de funcionamento do PAAE e é através delas que se pode observar a distância entre o real e o ideal.
1.3. O caso de gestão: do estado de Minas Gerais à SRE de Janaúba.
Conhecer alguns dados do Estado de Minas Gerais ajuda a entender o desafio da implementação de um programa de avaliação que busca atingir a gestão curricular em cada sala de aula das escolas públicas mineiras.
Segundos dados do Instituto Brasileiro de Geografia e Estatística (IBGE), a população mineira em 2010 era de 19.597.330 habitantes distribuídos em 853 municípios. A extensão territorial do Estado de 586.522 km2 coopera para a existência de uma grande diversidade sócio-econômico-cultural da população mineira.
Tabela 3 - Total de Estabelecimentos por Dependência Administrativa - Minas Gerais 2013
Dependência Administrativa Localização Total
ESTADUAL ZONA RURAL 336
ZONA URBANA SEDE DISTRITO 591
ZONA URBANA SEDE MUNICÍPIO 2756
ESTADUAL Total 3683
FEDERAL ZONA RURAL 10
ZONA URBANA SEDE MUNICÍPIO 46
FEDERAL Total 56
MUNICIPAL ZONA RURAL 4230
ZONA URBANA SEDE DISTRITO 803
ZONA URBANA SEDE MUNICÍPIO 4419
MUNICIPAL Total 9452
PRIVADA ZONA RURAL 40
ZONA URBANA SEDE DISTRITO 392
ZONA URBANA SEDE MUNICÍPIO 3952
PRIVADA Total 4384
TOTAL GERAL 17575
Fonte: Cadastro de Escolas (Agosto/2013). SEEMG/SI/SIE/Diretoria de Informações Educacionais.
Nos 3683 estabelecimentos de ensino estaduais são atendidos, aproximadamente 2 milhões e 400 alunos.
Em relação aos dados exclusivamente do ensino médio, Minas Gerais teveno ano de 2012, 2200 escolas estaduais que atendiam, segundo dados do IBGE 2012, 732.261 alunos.
A distribuição das escolas estaduais nos diferentes municípios mineiros varia muito e cada um deles pode ter de uma a pouco mais de 20 unidades escolares.
Há uma densa distribuição de escolas nos vários municípios, o que torna complexa a ação das secretarias de desenvolver os programas e projetos de governo da maneira mais equitativa possível nas diferentes regiões do Estado.
