Relatório de Avaliação Econômica
Programa Coordenador de Pais
Rede Estadual de Goiás
São Paulo – SP Fundação Itaú Social
Relatório de Avaliação Econômica
Programa Coordenador de Pais
Rede Estadual de Goiás
Coordenação Editorial
Clarissa Gondim Teixeira
Execução
Clarissa Gondim Teixeira
(clarissa.teixeira@itau-unibanco.com.br) Luan Pires Paciência
(luan.pires-paciencia@mailer.com.br)
Contribuições
Karen Dias Mendes
Comunicação
Alan Albuquerque R. Correia
Relatório de Avaliação Econômica Programa Coordenador de Pais – Goiás Iniciativa
Fundação Itaú Social Vice-presidente
Fábio Barbosa
Superintendente
Angela Cristina Dannemann
Coordenador
Antonio Bara Bresolin
Equipe
Carlos Eduardo Garrido Clarissa Gondim Teixeira Flávia Defacio
Karen Dias Mendes
Leandro Daniel Santos Carvalho Luan Pires Paciência
Marina Brito Ferraz
Sumário
I. Introdução ...7
II. Revisão Bibliográfica ...8
III. Bases de Dados ...12
III.1. Dimensão família-aluno-escola ...15
III.2. Dimensões frequência e abandono ... 16
III.3. Dimensão desempenho ...17
III.4. Monitoramento dos atendimentos individuais ... 18
IV. Análise descritiva ... 18
IV.1. Perfil socioeconômico ...19
IV.2. Frequência e abandono ... 21
IV.3. Desempenho ...22
IV.4. Atendimentos individuais ...22
V. Metodologia ...23
V.1. Metodologia econométrica ...23
V.2. Dimensão família-aluno-escola ... 24
V.3. Dimensões frequência e abandono ... 27
V.4. Dimensão desempenho ...29
VI. Resultados ...31
VI.1. Dimensão família-aluno-escola ...31
VI.2. Dimensões frequência e abandono ... 33
VI.3. Dimensão desempenho ... 33
VII. Retorno Econômico ...34
VIII. Conclusão ... 35
Referências Bibliográficas...36
Apêndice A – Tabelas auxiliares ... 39
Apêndice B – Distribuição dos fatores ...46
Índice de tabelas
Tabela 1: Escolas por grupo de tratamento e controle...15
Tabela 2: Tamanho da amostra – Dimensão frequência e abandono ...17
Tabela 3: Tamanho da amostra – Dimensão Desempenho ...17
Tabela 4: Estatísticas descritivas – Perfil dos responsáveis ...20
Tabela 5: Estatísticas descritivas – Perfil dos alunos ... 21
Tabela 6: Desempenho na escala SAEB ...22
Tabela 7: Número de alunos do painel balanceado por ano de ensino ... 28
Tabela 8: Desenho de avaliação – dados empilhados ...29
Tabela 9: Efeitos do programa sobre as subdimensões ...31
Tabela 10: Efeitos do programa sobre as subdimensões – Escolas com menos de 800 alunos ... 32
Tabela 11: Efeitos do programa sobre as subdimensões – Escolas com mais de 800 alunos ... 32
Tabela 12: Resultados sobre Abandono e Faltas ... 33
Tabela 13: Resultados sobre Desempenho em Língua Portuguesa e Matemática ... 33
Tabela 14: Análise de benefícios ...34
Tabela 15: Análise de custos ...34
Tabela 16: Razão Custo x Benefício ... 35
Tabela A1: Relação de escolas por grupo ... 39
Tabela A2:Cobertura de atendimento do programa ...40
Tabela A3: Fatores e respectivas variáveis ...41
Tabela A4: Resultados das estimações por variáveis individuais – Questionário dos responsáveis ... 42
Indíce de Figuras e Gráficos
Figura 1: Teoria da mudança – Programa Coordenador de Pais ... 14
Figura 2: Desenho da Avaliação – Frequência e Abandono – Painel Balanceado ... 27
Figura 3: Desempenho por Grupo – 9º ano EF ...30
Figura 4: Desempenho por Grupo – 3º ano EM ...30
Gráfico 1: Acolhimento da Escola – Perspectiva dos pais ...46
Gráfico 2: Diálogo Família-Aluno – Perspectiva dos pais ...46
Gráfico 3: Acolhimento da Escola – Perspectiva dos alunos ...46
Gráfico 4: Valorização da Escola – Perspectiva dos alunos ... 47
I. Introdução
A relação família-escola é um dos pontos determinantes para o sucesso da vida escolar de crianças e jovens. Para aprimorar sua atuação nessa esfera, o estado de Goiás, em Parceria com a Fundação Itaú Social, implantou em outubro de 2013 o programa Coordenadores de Pais – fundamentado na figura de um novo profissional, responsável por realizar a ponte entre os familiares e a escola - em
9 escolas da rede estadual nos municípios de Aparecida de Goiânia, Inhumas, Goiânia e Anápolis. O objetivo do programa é instigar uma participação mais ativa da família no cotidiano escolar e auxiliar os pais de alunos a melhor acompanhar e apoiar o aprendizado dos filhos. Assim, espera-se contribuir para favorecer maior envolvimento de pais e alunos com o ambiente escolar, diminuir o abandono escolar e o absenteísmo. A ideia é que este profissional também auxilie as equipes escolares a construir um clima melhor, mais acolhedor e receptivo no interior da escola, favorável à aprendizagem de cada aluno.
O coordenador de pais tem ações que podem variar segundo o contexto de cada escola. São exemplos de ações: acompanhar a rotina dos alunos na escola (seja na entrada, saída dos alunos, ou durante intervalos); convidar alunos para serem voluntários; realizar conversas com alunos faltosos; participar nas reuniões de pais; atender aos pais, ou responsáveis; mobilizar as famílias para ações voluntárias na escola; e realizar visitas domiciliares quando necessário.
Devido a condições específicas das escolas que receberam o programa em seu primeiro ano de implementação, houve uma intencionalidade por parte da secretaria da educação do estado em focar a ação das coordenadoras de pais nas questões relacionadas a absenteísmo e abandono. Dessa forma, as atividades voltadas à relação família-escola em um contexto mais positivo não foram privilegiadas nesse período de atuação piloto.
Como um dos pressupostos básicos do trabalho do coordenador de pais é que as ações positivas ocorram concomitante às ações de remediação com a finalidade de dar sentido e perenidade à mudança de comportamento dos alunos, é natural que o programa não tenha atingido todo seu potencial nesse contexto.
Um dos diferenciais dessa avaliação é a utilização variáveis racionais relacionadas à dimensão família-aluno-escola coletadas através de pesquisa de campo, explorando esferas fundamentais para a gestão do programa no curto prazo e dificilmente analisadas em avaliações mais tradicionais. Adicionalmente, utilizou-se a metodologia de análise fatorial para agrupar essas variáveis em indicadores e assim facilitar a interpretação dos resultados do programa.
Os resultados apontam para efeito positivo e desejado do programa em duas dimensões estratégicas, apesar do pouco tempo de atuação das coordenadoras de pais, quais são: acolhimento da família na perspectiva dos responsáveis pelo estudante e incentivo dos pais em relação à vida escolar dos filhos na perspectiva dos alunos. Além disso, há indícios de resultados positivos sobre frequência e permanência dos alunos. Por outro lado, não foi identificado impacto sobre desempenho dos alunos, resultado esperado uma vez que entende-se que essa é uma dimensão de efeito de longo prazo, que precisaria de mais tempo de execução do programa para ser impactada.
Esta avaliação é composta, além dessa introdução, por: revisão bibliográfica, bases de dados, análise descritiva, metodologia, resultados e uma conclusão. As análises estão divididas em três grandes grupos de indicadores. O primeiro referente às dimensões de relação família-aluno-escola; o segundo referente à frequência e abandono; e por fim, desempenho.
II. Revisão Bibliográfica
A importância do papel dos pais ou responsáveis (os quais generalizaremos por “responsáveis”) e da escola no desenvolvimento das crianças tem sido foco de inúmeras pesquisas na literatura de
educação, bem como na área de economia da educação. Em especial, o Relatório Coleman1 (1966)
trouxe uma nova luz às discussões ao conferir destaque à relevância do background familiar no
desempenho dos alunos, em detrimento dos fatores diretamente relacionados às escolas. Desde então, muitos estudos buscam entender como e quais fatores escolares e familiares, e mais especificamente, como a interação entre os fatores escolares e familiares podem trazer melhores resultados ao
desenvolvimento dos alunos. Nesse contexto, o envolvimento dos pais nas mais diversas atividades relacionadas à educação dos seus filhos passou a ser mapeado e estudado por vários autores, com destaque para J. Epstein, S. L. Dauber, e W. Jeynes, entre outros.
Entende-se que os responsáveis são os primeiros educadores das crianças e estarão ligados a eles por toda a vida. Dessa forma, dada a grande amplitude de atividades relacionadas, é necessário categorizar
o engajamento dos responsáveis na educação de seus filhos em duas dimensões principais2: i) o
envolvimento dos responsáveis em casa (home-based parent involvement) e ii) o envolvimento dos
responsáveis na escola (school related effort). Em relação às atividades relacionadas ao envolvimento dos responsáveis em casa, destaca-se: incentivar/valorizar as tarefas escolares/estudo; conversar sobre notas/trabalhos e sobre o dia-a-dia escolar; organizar o espaço e momento adequado ao estudo; modelar o comportamento desejado (como por ex, a leitura por prazer); monitorar a lição de casa; dar tutoria ativa aos alunos em casa; aspiração/expectativa dos responsáveis em relação ao desempenho e futuro dos alunos; entre outras. Já as atividades relacionadas ao envolvimento dos responsáveis na escola vão desde a participação em reuniões na escola, passando por ajudar voluntariamente com as atividades em sala de aula ou na comunidade, até participar ativamente da tomada de decisões e gestão da escola.
De maneira geral, o envolvimento dos responsáveis aumenta a percepção positiva dos alunos com relação às escolas (e/ou estudo) e melhora o entendimento de responsáveis sobre a importância da formação escolar, monitoramento e apoio ao progresso dos alunos (Harvard Family Research Project
20113). Em relação ao melhor desempenho dos alunos, este está relacionado ao maior aprendizado,
redução do absenteísmo e abandono escolar, bem como ao desenvolvimento de habilidades e comportamentos sociais.
Assim sendo, os estudos buscam entender como e quais fatores escolares e familiares (e a interação entre eles) trazem melhores resultados ao desenvolvimento dos alunos e podem ser divididos em dois grupos principais:
•
Estudos que focam no mecanismo: avaliam as formas de incentivar o maior envolvimento dosresponsáveis4;
•
Estudos que focam no mecanismo e seus efeitos: avaliam tanto medidas de engajamento dosresponsáveis quanto os seus impactos sobre desempenho escolar dos alunos5;
Especificamente em relação à literatura que trata de avaliar formas de incentivar o maior envolvimento dos responsáveis na escola, o trabalho de Moore et al (2014), por exemplo, avalia o Programa Abriendo Puertas (início em 2007), cujo objetivo é aumentar o interesse e engajamento de pais latinos (residentes nos EUA) nas atividades escolares dos filhos por meio de encontros para orientar os pais no sentido de promover o aprendizado dos filhos e responder de forma correta às expressões emocionais dos
3. Acessado em: http://www.hfrp.org/publications-resources/publications-series/family-involvement-bibliographies.
4. Para um resumo da literatura sobre engajamento dos pais na escola ver Smith et al (2013). Pode-se citar também Moore et al,2014; Epstein e Dauber, 1991; Epstein, 1984; e McWayne et al, 2013, entre outros;
5. Kraft e Dougherty, 2013; Mo e Singh, 2008; Macintosh, 2008; Carter, 2002; Houtenville e Conway, 2008; Wang et al, 2014; Jeynes, 2012 Van Voorhis et al (2013), Cunha et al (2013) entre outros;
filhos. Os resultados do estudo, fruto de uma randomização das escolas participantes do programa, foram positivos, mostrando que os encontros de orientação da escola foram efetivos para estimular o envolvimento dos responsáveis.
Loeb e York (2014), por sua vez, avaliam o efeito do programa READY4K, cujas escolas participantes enviam mensagens de texto aos pais para ajudá-los no processo de alfabetização dos filhos. Os autores encontram que o programa aumenta mais o engajamento dos pais em atividades dentro de casa (efeito entre 0,22 e 0,34 desvio-padrão) do que o envolvimento dos pais em atividades na escola (0,13 a 0,19 desvio-padrão).
Outro resultado interessante, apontado na literatura, se refere ao ponto levantado por Carter (2002) e Van Voorhis et al (2013), que mostram que o pouco envolvimento dos pais pode ser causado por uma falta de conhecimento em como participar/se envolver ou por falta de conhecimentos específicos (como, por exemplo, em matemática). Nesse sentido, programas como o Abriendo Puertas, com encontros e conversas, mostram-se eficazes para informar os pais da importância da assistência em casa. Por outro lado, Houtenville e Conway (2008) encontram que o efeito do esforço dos pais no desempenho acadêmico dos filhos é superior aos efeitos dos recursos da escola, mas que os pais parecem reduzir seus esforços quando aumentam esses recursos, efeito conhecido como crowding out. Adicionalmente, um aspecto interessante sobre o envolvimento dos pais nas atividades escolares dos filhos diz respeito à heterogeneidade dos efeitos por idade dos alunos. Os efeitos de programas de incentivo à participação dos pais parecem ser mais fortes quando as crianças são mais novas, seja porque as crianças respondem mais aos incentivos dos pais (Desforges, 2003), ou porque os professores de crianças menores incentivam mais o envolvimento dos pais (Epstein e Dauber, 1991). Outra heterogeneidade encontrada na literatura refere-se à etnia dos pais e alunos analisados.
Encontram-se efeitos mais fortes para o envolvimento de pais latinos e pais negros (Loeb e York, 2014). Alguns autores acreditam que a relação mais estreita entre pais e filhos de famílias latinas podem explicar os efeitos potencializados para esse grupo de indivíduos (Carter 2002)
Uma vez avaliados programas que aumentam o engajamento dos pais, muitos estudos verificam o quanto desse aumento de participação se reflete em medidas de desempenho dos filhos. Nesses estudos, resultados diferentes são encontrados, principalmente em relação às diferentes dimensões de engajamento consideradas (em casa ou na escola). Em geral, a maior parte desses estudos encontra efeitos positivos do envolvimento dos pais no desempenho (Kraft e Dougherty, 2013; Mo e Singh, 2008; Macintosh, 2008; Carter, 2002; Houtenville e Conway, 2008; Wang et al, 2014; Jeynes, 2012).
aspirações futuras. Na mesma direção, Carter (2002) e Van Voorhis et al (2013), por exemplo, encontram que o envolvimento dos pais dentro de casa tem um impacto maior do que envolvimento deles em atividades na escola. Em relação especificamente às aspirações dos pais, Mo e Singh (2008) e Cunha et al (2013) apontam que as expectativas futuras dos pais com relação à educação dos filhos apresentaram efeitos positivos importantes no desempenho escolar deles.
Por outro lado, outros estudos não encontraram efeitos do envolvimento dos pais em desempenho, principalmente nas notas de matemática (Mo e Singh, 2008; Jimenez e Sawada, 1999). Já em relação a estudos que encontram efeitos negativos, esses são bem raros. Um exemplo é o trabalho de Philips (2011): entre vários tipos de interação entre mães e filhos cujos resultados são positivos no desempenho escolar dos filhos, um tipo de interação gerou resultado negativo, mas por se tratar de um tipo de contato menos relevante para essa dimensão e concorrente em relação à restrição de horas do dia com outros tipos de contato mais relevantes.
Ainda em relação ao desempenho dos alunos, uma grande parte dos estudos identifica o efeito do engajamento sobre o desempenho acadêmico e sobre o desenvolvimento cognitivo. Já o estudo de Gertler et al (2007) preocupa-se em analisar os efeitos sobre reprovação e evasão do programa Apoio a la gestión escolar (AGE), que financia melhorias na infraestrutura ou em materiais propostas por associações de pais. De acordo com os resultados do estudo, o programa reduziu a proporção de alunos reprovados em 5%, porém não foram encontrados efeitos significantes sobre a taxa de evasão. Com relação às heterogeneidades dos efeitos, muitos estudos analisam como o efeito do engajamento dos pais no desempenho muda com a idade dos filhos. Nesse sentido, os efeitos sobre o desempenho, assim como a intensidade do engajamento, também se mostraram maior para crianças menores (Weiss e Lopez, 2015; Van Voorhis et al, 2013). Apesar dessas evidências, Carter (2002) avalia que o envolvimento dos pais permanece importante mesmo quando os filhos atingem a adolescência, principalmente no papel dos pais em aumentar a confiança dos filhos e incentivar a sua autonomia. Macintosh (2008) analisa, ainda, a diferença dos resultados por gênero, encontrando que meninas respondem menos (em termos de desempenho) a certas atitudes dos pais (como a importância que dão ao desempenho e à maior escolaridade na vida dos filhos). Com relação ao efeito diferenciado por etnia, diversos estudos encontram efeitos positivos maiores do engajamento dos pais no aprendizado dos alunos hispânicos e negros (Carter, 2002; Loeb e York, 2014; Wang et al, 2014).
Assim sendo, pode-se concluir que, de acordo com os estudos levantados, o envolvimento dos responsáveis nas atividades escolares dos alunos é mais eficaz, em termos de melhoria de desenvolvimento dos mesmos, no que diz respeito às atividades realizadas dentro do lar, em
comparação às atividades realizadas no âmbito da escola, que requerem o comprometimento por parte da escola (funcionários e diretor). Além disso, o efeito da participação dos responsáveis difere em relação ao gênero e idade dos filhos e etnia das famílias: as meninas respondem menos aos estímulos dos pais; o envolvimento dos pais é mais eficaz quanto menor os filhos e as famílias latinas e negras parecem atingir resultados mais expressivos.
Para que os programas de estímulo ao envolvimento dos pais atinjam os resultados pretendidos, estes devem levar em conta as especificidades da população de interesse (professores, alunos, pais e comunidade), por exemplo, trazendo a comunidade para participar ativamente e de forma conjunta no desenho do programa, para que se adequem às reais necessidades e levem em conta os principais obstáculos enfrentados por essa população, uma vez que fatores culturais podem
interagir de forma diferente com o programa e serem decisivos para determinar sua efetividade. Assim, conforme enfatizado pela literatura, responsáveis com diferentes backgrounds (diferentes situações socioeconômicas, migratórias ou de nível de instrução, entre outros) têm a possibilidade de se engajarem de forma eficaz na vida escolar do filho, se direcionados de forma adequada.
III. Bases de Dados
Para analisar o programa coordenador de pais nesse contexto de envolvimento da família com a escola, sua matriz de avaliação foi fundamental para a escolha dos dados e indicadores a serem analisados. Com isso foi possível identificar as dimensões relevantes para então medir o quanto os objetivos foram atingidos. Ter este registro como ponto de partida garante um olhar mais global para o programa, levando em consideração não apenas os impactos, mas também indicadores de resultado intermediários que refletem o potencial mais imediato das ações e de sua implementação. A matriz aponta para as seguintes dimensões e resultado:
•
Relação família – escola•
Percepção de pertencimento dos responsáveis em relação a escola•
Participação de responsáveis em reuniões de pais•
Participação dos responsáveis em eventos da escola•
Satisfação dos responsáveis com o atendimento da escola•
Relação dos responsáveis com outros atores da escola (professores, coordenadores pedagógicos e diretores)•
Relação aluno – escola•
Percepção de pertencimento do aluno em relação a escola•
Participação dos alunos em eventos da escola•
Frequência dos alunos na escolaA partir da literatura existente no tema, incluímos como indicador de resultado da avaliação a
dimensão de abandono, uma vez que, além das faltas, o programa atua sobre o risco de o aluno não regressar para completar o ano escolar. Incluiu-se também a relação família-aluno, por entender que os assuntos abordados na aproximação dos responsáveis com a escola transborda para comportamentos e valores fora da escola. Além desses, existe a expectativa de melhora no desempenho do aluno como resultado futuro, conforme aponta a literatura.
Com base nesse mapeamento, um fluxo que situa cada dimensão temporalmente foi elaborado, na linha da teoria da mudança, em que, como pressuposto do impacto final, outros resultados mais imediatos devem ocorrer. Como não há clareza de quanto tempo será necessário para atingir cada dimensão, a temporalidade dessa linha lógica será testada nos achados dessa avaliação e de investigações futuras.
No curto prazo, espera-se que escola e família tenham novas iniciativas no sentido de se aproximarem, além de uma melhora no sentimento de pertencimento de alunos e familiares em relação ao
ambiente escolar. No médio prazo, acredita-se que essas iniciativas irão se desdobrar em uma melhor relação entre responsáveis e alunos, facilitando o diálogo entre eles e criando rotinas de estudo em um contexto de valorização e incentivo dos responsáveis em relação aos estudos dos alunos. Como resultado desses impactos tanto nas casas quanto no ambiente escolar, espera-se que haja impacto na frequência dos alunos e na decisão de permanecer com os estudos. Por fim, no longo prazo, há expectativa de melhora no desempenho dos alunos.
O desenho abaixo reflete a lógica explicitada:
Figura 1: Teoria da mudança - Programa Coordenador de Pais Relação família-aluno-escola • Diálogo família-aluno • Incentivo dos responsáveis • Rotinas de estudo
• Valorização dos estudos
Relação família-aluno-escola • Acolhimento da escola • Iniciativas da escola • Iniciativas das famílias
• Desempenho
• Frequência • Abandono
A fim de dar resposta a todas essas dimensões, buscamos 3 fontes de dados complementares que serão descritas nas próximas seções: 1) dados sobre a relação família-aluno-escola; 2) dados sobre frequência e status de matricula; 3) dados sobre desempenho.
Com o objetivo de identificar o efeito do programa nessas dimensões, dividiu-se as escolas de acordo com status em relação ao programa, ou seja, se participaram (grupo de tratamento) e se não participaram mas são semelhantes às escolas do grupo de tratamento nos seguintes variáveis: localização, número de matriculas, IDEB, taxa de distorção idade série, taxas de aprovação, reprovação
e abandono6. Esse grupo é chamado de grupo de controle. Ao todo, a amostra é composta por 15
escolas, sendo 7 do grupo de tratamento7 e 8 do grupo de controle. As informações sobre essas
variáveis por escola encontram-se na tabela A1 do apêndice.
Tabela 1 – Escolas por grupo de tratamento e controle
Grupo de Tratamento Grupo de Controle
Col. Est. João Bênnio Col. Est. Dep. José Luciano
Col. Est. Jardim Guanabara Col. Est. Dep. Assiss Chateaubriand
Col. Est. Rodolfo De Oliveira Col. Est. Colina Azul
Col. Est. Donato C De Abreu Col. Est. Dep. José A De Assiss
Col. Est. Virginio Santillo Col. Est. Estrela Do Sul
Col. Est. Pe. Fernando G De Melo Col. Est. Leiny Lopes De Souza
Col. Est. Gomes De Souza Ramos Col. Est. Durval Nunes Da Mata
Col. Est. Prof. Heli A Ferreira
III.1. Dimensão família-aluno-escola
Para investigar os efeitos do programa nessa dimensão, foi necessário utilizar coleta de dados primária uma vez que tais dados não são coletados usualmente em pesquisas para avaliações externas. Para isso, um questionário para alunos e outro para responsáveis foram estruturados conjuntamente com as áreas de avaliação e gestão do programa. As questões do questionário foram agrupadas de acordo com as subdimensões mapeadas a partir do levantamento da matriz de avaliação do programa. As questões do questionário estão no Apêndice C e as 11 subdimensões, seguidas de uma breve descrição, são apresentadas a seguir:
Perspectiva dos responsáveis:
•
Acolhimento da escola: se o ambiente escolar é amistoso com a família•
Iniciativas da escola: se a escola faz ações para envolver a família•
Iniciativa dos responsáveis: se os responsáveis buscam saber o que acontece na escola•
Valorização dos estudos: se os responsáveis priorizam/incentivam que os filhos estudem•
Rotinas de estudo: se os responsáveis monitoram os hábitos de estudo dos alunos•
Diálogo família-aluno: se há conversa sobre educação e temas relacionadosPerspectiva dos alunos:
•
Acolhimento da escola: se o ambiente escolar é amistoso com o aluno•
Valorização dos estudos: se a família prioriza/incentiva que o aluno estude•
Rotinas de estudo: se aluno estabelece hábitos favoráveis de estudo•
Incentivo da família: se a família monitora/incentiva sua rotina de estudo•
Diálogo família-aluno: se há conversa sobre educação e temas relacionadosVale pontuar também que foram incluídas questões sobre o perfil socioeconômico das famílias que servirão para traçar o panorama geral dos dois grupos, apresentado posteriormente.
A amostra é composta por 710 respostas de questionários, sendo 360 aplicadas com responsáveis e alunos das escolas do grupo de tratamento e 350 com responsáveis e alunos das escolas do grupo de controle8.
III.2. Dimensões frequência e abandono
Foram cedidos pela Secretaria Estadual de Educação de Goiás os dados administrativos do sistema de gestão de frequência e matrículas dos alunos do 7º ano EF ao 3º ano EM da rede nos anos de 2012 a 2014 das 15 escolas listadas acima. Além de informação sobre faltas, também é possível observar o status de matrícula dos alunos, utilizado para medir abandono, segmentadas por turno e turma. O tamanho da amostra é apresentado na tabela a seguir:
Tabela 2 – Tamanho da amostra – Dimensão frequência e abandono Ano 2012 2013 2014 7º ano EF 1.449 1.271 1.332 8º ano EF 1.443 1.415 1.282 9º ano EF 1.921 1.634 1.613 1º ano EM 4.075 4.179 3.710 2º ano EM 3.020 3.284 3.363 3º ano EM 2.488 2.892 2.928 Total 15.416 14.675 15.276
Fonte: Dados sistema de frequência e status de matricula dos alunos, 2012 a 2014.
III.3. Dimensão desempenho
Para avaliar os impactos na dimensão desempenho, foram utilizados dados da avaliação externa da rede, chamada Sistema de Avaliação Educacional de Goiás (SAEGO) aplicado pelo Centro de Políticas Públicas e Avaliação Educacional (CAED) da Universidade Federal de Juiz de Fora. Trata-se de uma prova padronizada feita por alunos das séries finais de cada ciclo escolar nas disciplinas matemática e língua portuguesa. Para fins de avaliação, usamos nas análises apenas os dados das 15 escolas selecionadas.
Tabela 3 - Tamanho da amostra – Dimensão Desempenho
Ano 2011 2012 2013 2014
Toda a Rede
5º ano EF 4.985 4.107 3.568 4.003
9º ano EF 20.327 19.148 19.082 18.727
3º ano EM 15.329 20.411 22.387 22.348
Grupo de Tratamento (alunos em escolas com CP)
5º ano EF - - -
-9º ano EF 417 397 392 405
3º ano EM 267 561 575 630
Grupo de Controle (alunos em escolas sem CP)
5º ano EF - - -
-9º ano EF 692 646 720 601
3º ano EM 609 861 1.099 844
III.4. Monitoramento dos atendimentos individuais
Ademais, também foram disponibilizados os registros realizado pelas Coordenadoras de Pais sobre os alunos atendidos individualmente, ou que receberam visitas domiciliares durante o ano de 2014. De posse dessas informações, é possível identificar a cobertura do programa, ou seja, quantos alunos foram atendidos dentro da totalidade de alunos da escola. É importante destacar que o registro de atendimento não abrange a totalidade de ações realizadas pela coordenadora de pais na escola, que compreende também o acompanhamento das rotinas e reuniões nas escolas.
Esses dados são utilizados somente na descrição da amostra e não como insumo para indicadores de impacto.
IV. Análise descritiva
A seguir, é apresentada uma análise descritiva do perfil dos alunos e famílias, além das informações de atendimento das coordenadoras de pais e das faltas, abandono e desempenho dos alunos dos dois grupos. Optou-se por não apresentar estatísticas descritivas das variáveis individuais da dimensão relação família-aluno-escola por se tratar de um número muito grande de variáveis e não haver sustentação teórica ou empírica para fundamentar o agrupamento nas subdimensões sugeridas na construção do questionário. Esse impasse é contornado através da análise fatorial que será discutida na seção de metodologia. Dessa forma, os resultados médios dos indicadores dessa dimensão serão apresentados juntamente com a tabela de resultados, com o intuito de fornecer informações sobre o ponto de partida no qual o programa atua, que no contexto da avaliação de impacto é representado pela média do grupo contrafactual (controle).
IV.1. Perfil socioeconômico
Os dados apresentados a seguir são provenientes do questionário aplicado pelo IBOPE na pesquisa de campo, juntamente com as questões referentes à dimensão família-aluno-escola. É importante relembrar que trata-se de uma pesquisa amostral e por isso descreve o perfil somente dos
responsáveis e alunos que participaram da pesquisa, isso é, não é necessariamente representativa do universo das 15 escolas do grupo de tratamento e controle e por isso tais variáveis só foram utilizadas como insumo para os modelos dessa dimensão.
Como pode ser visto na tabela 4, a grande maioria dos respondentes são as mães dos alunos e com idade média de 42 anos. Já em relação à raça, a maioria se declara parda em ambos os grupos. Além disso, quase metade da amostra é composta por responsáveis que não possuem fundamental completo. Isso pode representar um obstáculo bastante grande no acompanhamento dos estudos dos filhos e na atuação das coordenadoras de pais, uma vez que conforme apontado na revisão bibliográfica, é comum os responsáveis não fazerem acompanhamento dos estudos dos alunos por falta de conhecimento específico dos conteúdos escolares.
Já sobre ocupação, somente 26,3% e 30,8% dos responsáveis trabalham com carteira assinada nos grupos de tratamento e controle respectivamente. Por fim, é possível notar que apesar de o número de moradores nas casas serem semelhantes entre os grupos, o de tratamento possui renda familiar mais alta que o de controle: 34,3% contra 22,2% possuem renda familiar acima de R$2.172.
Tabela 4 - Estatísticas descritivas – Perfil dos responsáveis
Variável Tratado Controle
Parentesco - Pai 11,4% 11,4% Parentesco - Mãe 78,6% 78,9% Parentesco - Outros 10,0% 9,7% Idade responsável 41,7 41,9 Raça/cor - Branca 26,9% 24,7% Raça/cor - Preta 9,4% 8,6% Raça/cor - Parda 56,6% 61,1% Raça/cor - Amarela 6,0% 4,4% Raça/cor - Indígena 1,1% 1,1%
Escolaridade - Sabe ler/escrever, mas não cursou escola 2,0% 0,8%
Escolaridade - Fundamental (antigo ginásio) incompleto 43,7% 47,8%
Escolaridade - Fundamental (antigo ginásio) completo 12,6% 14,4%
Escolaridade - Ensino Médio (antigo colegial) incompleto 11,7% 10,0%
Escolaridade - Ensino Médio (antigo colegial) completo 19,7% 19,7%
Escolaridade - Superior incompleto 3,7% 1,9%
Escolaridade - Superior completo 5,1% 2,5%
Ocupação - Empregado(a) com carteira de trabalho 26,3% 30,8%
Ocupação - Empregado(a) sem carteira de trabalho 8,6% 16,4%
Ocupação - Autônomo(a)/Freelancer 34,6% 26,7%
Ocupação - Profissional liberal 1,4% 1,7%
Ocupação - Empregador(a) 2,0% 2,2%
Ocupação - Afazeres domésticos 24,0% 19,2%
Ocupação - Aposentado 1,4% 2,5%
Ocupação - Desempregado(a) 1,7% 0,6%
Renda familiar - Até R$ 724,00 3,7% 5,6%
Renda familiar - De R$ 724,01 a R$ 1.448,00 31,7% 32,2%
Renda familiar - De R$ 1.448,01 a R$ 2.172,00 29,1% 39,4%
Renda familiar - De R$ 2.172,01 a R$ 3.620,00 26,9% 16,4%
Renda familiar - Acima de R$ 3.620,00 7,4% 5,8%
Recebe Bolsa Família 22,9% 29,4%
Número de moradores na casa 4,4 4,5
Fonte: Base de dados IBOPE, 2014
Em relação aos alunos, no grupo de controle as participações de meninos e meninas é bastante semelhante, ao passo que no grupo de tratamento a participação de meninos é de quase 58%. Nos
ano anterior também em escola pública. Menos de 30% dos alunos nos dois grupos trabalhavam e na grande maioria eram as mães as responsáveis pelo acompanhamento de seus estudos.
Tabela 5 - Estatísticas descritivas – Perfil dos alunos
Variável Tratado Controle
Gênero – Masculino 57,7% 49,4%
Idade 15,4 15,2
Série escolar - 8° ano EF 14,9% 28,9%
Série escolar - 9° ano EF 24,0% 23,3%
Série escolar - 1° ano EM 48,9% 38,1%
Série escolar - 2° ano EM 12,3% 9,7%
Rede da escola do ano anterior - Pública 96,6% 97,8%
Rede da escola do ano anterior - Particular 3,4% 2,2%
Ocupação - Trabalha 29,7% 25,6%
Acompanhamento dos estudos - Pai 9,7% 11,6%
Acompanhamento dos estudos - Mãe 79,3% 79,2%
Acompanhamento dos estudos - Outros 10,8% 9,2%
Acompanhamento dos estudos - Ninguém 0,3% 0,0%
IV.2. Frequência e abandono
Segundo os dados administrativos da SEDUCE, o número de faltas é em média de 30 dias por ano e a taxa de abandono é de 10%. Esses números se mantêm estáveis em 2013 e 2014. A média de faltas e abandono é maior entre os alunos do EM, os que reprovaram ou evadiram no ano anterior, os alunos do noturno e os alunos que estudam em turmas numerosas.
Os atendidos10 tem um nível de faltas (49 dias por ano) e abandono (15%) bem mais elevado do que a
média dos alunos das escolas, o que está de acordo com o critério de diagnóstico para identificar os alunos foco do programa para atendimentos individuais.
10. Foi possível identificar na base de faltas e status de matricula apenas ¼ dos alunos atendidos, de forma que esses percentuais, apensar de ilustrativos porém não podem ser lidos como representativos do total de alunos atendidos.
IV.3. Desempenho
Como pode ser visto na tabela 6, as escolas que participam do programa apresentam desempenho inferior à média da rede nos anos anteriores ao programa, 2011 a 2013, corroborando a escolha por escolas de menor desempenho. Além disso, é possível notar que o desempenho médio das escolas de tratamento é razoavelmente semelhante ao desempenho médio das escolas de controle nas duas disciplinas e nas duas etapas escolares nos anos anteriores ao programa.
Tabela 6 - Desempenho na escala SAEB
9º ano EF 3º ano EM 2011 2012 2013 2014 2011 2012 2013 2014 Matemática Tratado 247 237 251 256 272 265 261 258 Controle 247 238 252 249 273 263 262 268 Rede estadual GO 248 248 257 249 276 267 266 269 Língua Portuguesa Tratado 240 235 254 257 264 264 270 260 Controle 243 236 257 255 265 260 271 266 Rede estadual GO 241 245 260 253 267 265 274 269
Fonte: Dados SAEGO, 2011 a 2014.
IV.4. Atendimentos individuais
As coordenadoras atenderam individualmente cerca de 16% dos alunos. Algumas escolas realizaram mais atendimentos individuais que outras. O percentual de alunos atendidos varia de 2% a 34% (ver tabela A2 no apêndice). As coordenadoras de pais atenderam igualmente nos 3 turnos e trabalharam com todos os anos do Fundamental II e Médio, com mais intensidade no 8º EF, 9º EF e 1º EM.
A maioria dos alunos atendidos teve registro de apenas um atendimento (65%). Segundo os registros, a maior parte dos atendimentos são relacionados a faltas (85%), o que era de se esperar dado que o número de faltas serve como diagnóstico para realizar o atendimento individual. Esses registros nem sempre seguem o mesmo padrão, dificultando, por exemplo, o detalhamento do motivo do atendimento.
V. Metodologia
A avaliação de impacto tem por objetivo estabelecer uma relação de causa e efeito entre a
participação no programa e uma possível mudança nos indicadores que descrevem os objetivos do programa, chamados indicadores de interesse. A avaliação procura responder o quanto o grupo de alunos que participou do programa melhorou ou piorou nos indicadores de interesse em relação ao grupo que não participou. O uso de métodos estatísticos de correção de viés permite afirmar que diferenças significativas são devido ao programa, e não devido a outros fatores concomitantes.
Para cada base de dados foi usada uma estratégia metodológica específica para correção de possíveis vieses devido à disponibilidade e organização dos dados. De forma geral, sempre que possível, foram utilizadas duas as estratégias metodológicas a seguir:
V.1. Metodologia econométrica
Abaixo são descritos os dois métodos econométricos utilizados, sempre que possível juntamente, para avaliar o impacto do programa nas dimensões de interesse.
Pareamento
A estratégia de pareamento atua na correção para as eventuais diferenças entre os grupos tratados e controles anteriores ao programa. Esse método garante igual composição dos alunos entre os grupos, de forma que sejam similares em todas as informações relevantes disponíveis. É importante destacar que vieses por variáveis não observadas não são corrigidos por esse método.
Diferenças em diferenças
Trata-se da comparação, antes e depois da intervenção, da diferença entre o grupo afetado e o grupo não afetado pelo programa. Nesse método, os grupos são acompanhados ao longo do tempo. Elimina-se, assim, possíveis vieses, observados ou não observados, que não variam no tempo, pois essas diferenças anteriores são abatidas do resultado final.
V.2. Dimensão família-aluno-escola
Mensurar características dessa dimensão não é trivial. Dois desafios para a avaliação de impacto se sobressaem. Em primeiro lugar, mostrou-se necessário incluir uma bateria muito extensa de questões para que todas as subdimensões identificadas na matriz de avaliação pudessem ser medidas. Reportar resultados do programa em cada variável individualmente dificulta a interpretação dos resultados, principalmente para tomada de decisão dos gestores uma vez que não é possível tirar conclusões gerais da eficácia do programa. Uma alternativa para superar essa dificuldade seria agrupá-las nas subdimensões da mesma forma que o questionário foi construído. Entretanto, não há sustentação teórica ou empírica que fundamentem esses agrupamentos para construção de indicadores a serem utilizados em uma avaliação de impacto. Isso é, variáveis podem ter sido consideradas como pertencentes à mesma subdimensão na elaboração do questionário sem que isso seja verdade. Dessa forma, agrupá-las sem algum critério mais robusto poderia implicar em um indicador falso, que não mede uma subdimensão de fato. Além disso, a inclusão errônea de uma variável no indicador pode ter efeitos nocivos na avaliação de impacto, escondendo efeitos do programa naquela subdimensão quando ele existe ou evidenciando um efeito falso do programa.
Em segundo lugar, tratando-se de questões, em geral, subjetivas e correlacionadas com desejabilidade social, é inevitável que tais respostas sejam viesadas por um fator que pode ser entendido como o “politicamente correto”. Esse padrão de resposta implica em um desafio para a avaliação de impacto porque, ao contrário do desejado para a identificação de possíveis efeitos do programa, as respostas das variáveis não possuem muita variabilidade e em geral estão concentradas no extremo da escala. Como forma de tentar reduzir esse viés e como exercício exploratório, diversas formas de perguntas foram incluídas no questionário: do tipo likert com escalas diversas (de 0 a 10, de 1 a 4), do tipo escolha forçada e questões abertas. Além disso, para contornar essas dificuldades e obter resultados mais robustos do efeito do programa, utilizou-se a análise fatorial para a construção de indicadores.
Essa metodologia tem como objetivo agrupar variáveis em fatores latentes não observáveis de acordo com padrões de resposta dos respondentes. A utilização de um método estatístico para agrupamento das variáveis nesses fatores contorna os dois principais problemas da mensuração desses dados: além de dar conforto em tratar determinadas variáveis como indicadores de uma mesma subdimensão, facilitando a interpretação dos resultados, o agrupamento cria indicadores com distribuições menos concentradas no extremo da escala do que as variáveis individuais, criando um contexto mais propício para a avaliação de impacto.
Essa metodologia foi utilizada nas questões do tipo likert, tanto nas que possuem escalas que variam conforme o nível de concordância com o item (de 0 a 10) quanto com nas que possuem escalas categóricas que variam de acordo com a frequência de determinada atividade (varia de 1 a 4, com opções “quase sempre” a “quase nunca” respectivamente).
A análise fatorial exploratória identificou 5 fatores11 daquelas 11 subdimensões identificadas na matriz de avaliação do programa. Em seguida, foram selecionados as variáveis que faziam parte de cada fator de acordo com a carga fatorial (acima de 0,4 somente em um fator), a robustez em relação à matriz de correlação (listwise ou pairwise), à rotação (ortogonal-varimax ou oblíqua-oblimin) e a contribuição positiva da variável em relação à consistência interna daquele fator12. A utilização desses critérios conjuntamente tem como objetivo criar fatores mais robustos, o que é desejável tanto para a avaliação de impacto quanto para a interpretação dos resultados.
Os fatores identificados são listados a seguir e as variáveis que compõem cada um deles pode ser observada na tabela A3 do apêndice. Além disso, detalhes da análise fatorial podem ser encontradas no apêndice B.
Perspectiva dos responsáveis:
•
Acolhimento da escola•
Diálogo família-aluno Perspectiva dos alunos:•
Acolhimento da escola•
Incentivo da família•
Valorização dos estudos11. A escolha inicial do número de fatores foi feita com base nos critérios de Kaiser e Cattel. Esses critérios apontavam para 5 e 7 fatores respectivamente nas questões com escalas likert de 0 a 10 e 1 fator nas questões com escala likert de “quase nunca” a “quase sempre”. Em seguida, utilizou-se diversos critérios para escolha dos itens que compõem cada fator. Foram mantidos os 5 fatores que no fim do procedimento possuíam consistência interna (alpha de Cronbach) acima de 0,6.
12. Carga fatorial acima de 0,4 indica que o fator explica no mínimo 40% daquela variável; matriz de correlação listwise é calculada somente com a amostra cujas respostas não contém nenhum missing. Já a matriz de correlação pairwise é calculada para cada dupla de variáveis por vez, o que gera maior aproveitamento das respostas uma vez que missing em variável fora do par de variáveis em questão não elimina a observação para cálculo dessa correlação; rotação ortogonal gera fatores não correlacionados entre si, ao passo que a rotação oblíqua flexibiliza essa condição.
Antes de prosseguir vale discorrer sobre as variáveis não agrupadas, assim como as subdimensões não identificadas pela análise fatorial. O procedimento que identificou os 5 fatores gera maior segurança para realizar a avaliação de impacto do programa sobre elas, dessa forma, serão apresentados e comentados ao longo do texto as análises sobre esses fatores. Além disso, entende-se que as variáveis inicialmente atribuídas a uma subdimensão especifica, mas não identificada pela análise fatorial não devem ser interpretadas como relevantes para esse fator, mas de forma nenhuma isso implica em falta de relevância dessa variável e das demais subdimensões para o programa. Assim, os impactos individuais em cada variável será apresentado nas tabelas A4 e A5 do apêndice.
Gerados os indicadores de interesse, foca-se na questão da causalidade e eliminação de viés de seleção. Como esses dados foram coletados em uma entrevista que foi realizada apenas 1 vez após o primeiro ano de atuação do programa, não há linha de base e, por isso, não foi possível aplicar a metodologia de diferenças em diferenças nessa base de dados.
Além disso, pesar de as escolas controle terem sido selecionadas de acordo com indicadores chaves, nota-se ainda algumas diferenças nos perfis dos alunos conforme pôde ser apontado nas estatísticas descritivas. Assim, utilizou-se o pareamento para dar conta das diferenças pré-programa com as seguintes variáveis disponíveis: sexo, raça, se recebe bolsa família, escolaridade da mãe, faixa de renda, se trabalha, se mudou de escola no último ano, se já repetiu de ano e turno.
O resultado do pareamento foi positivo para controlar as seguintes variáveis desbalanceadas entre os grupos: gênero e ciclo escolar dos alunos, religião e ocupação dos responsáveis e recebimento do bolsa família.
A partir do pareamento, foi feita a comparação entre os alunos de escolas com e sem coordenador de pais nos indicadores de interesse. O modelo é especificado com cluster de escola uma vez que o programa é uma intervenção nesse nível, o que gera elevados erros padrão devido ao número reduzido de escolas na amostra. Ademais, foram estimados modelos separados para diferentes tamanhos de escola com o objetivo de investigar efeitos heterogêneos do programa. Os resultados dessa análise estão reportados na próxima sessão.
V.3. Dimensões frequência e abandono
Como trata-se de uma série histórica com identificador de aluno, um painel balanceado de alunos do 7º EF ao 3º EM entre 2013 e 201413 foi construído, ou seja, pode-se acompanhar os alunos nas suas trajetórias escolares durante esse período. Os dados em painel com controle de efeito fixo é uma forma de aplicação do método de diferenças em diferenças e corrige por todas as diferenças que não variam no tempo uma vez que acompanha os alunos que se mantiveram nas mesmas escolas durante esse período.
Figura 2 – Desenho da Avaliação – Frequência e Abandono – Painel Balanceado
7º EF 8º EF 9º EF 1º EM 2º EM 3º EM Aprovado Reprovado 2013 7º EF 8º EF 9º EF 1º EM 2º EM 3º EM Sai base 2014
Trata-se de uma amostra selecionada uma vez que foram retirados da amostra os alunos que foram transferidos para outras escolas. Com isso, não podemos afirmar que os resultados são generalizáveis para a totalidade dos alunos da escola. Por outro lado, podemos identificar com maior segurança o efeito do programa isolado de outros fatores.
Tabela 7 - Número de alunos do painel balanceado por ano de ensino 2013 2014 7º ano EF 519 33 8º ano EF 715 501 9º ano EF 631 716 1º ano EM 988 768 2º ano EM 1582 962 3º ano EM 50 1505 Total 4485 4485
Fonte: Dados sistema de frequência e status de matricula dos alunos, 2013 e 2014.
Vale notar que a tabela 6 é diferente da tabela 2 apresentada na seção de descrição da base de dados porque nessa só estão contidos os alunos nos quais é possível acompanhar a trajetória nos dois anos. Além disso, o total de alunos no 7º EF em 2014 e do 3º EM em 2013 são muito menores que os demais porque no primeiro são apenas os alunos que reprovaram o 7º ano em 2013 e no segundo somente os alunos que reprovaram o 3º EM em 2014 conforme quadro do desenho da avaliação para garantir que cada aluno possua observações nos dois anos da análise.
Apesar de as escolas controle terem sido selecionadas de acordo com indicadores chaves, nota-se ainda um perfil de alunos mais vulneráveis nas escolas tratadas – maior percentual de noturno e de reprovados no ano anterior –, o que corrobora a escolha do programa de atuar nas escolas com pior desempenho da rede. No sentido de contornar essas diferenças, foi feito pareamento no nível dos alunos na linha de base pelas seguintes variáveis disponíveis: faltas, turno, ano de ensino, situação de matrícula no ano anterior, número de faltas e abandono na linha de base, se abandonou no ano anterior e interação entre status de matricula.
A melhor especificação do pareamento, isso é, mais completa e que explica um percentual maior da variância dos dados, mostrou-se eficaz para controlar as diferenças significativas entre os grupos nas variáveis turno matutino, 1° e 2° ano do EM, reprovação, progressão parcial e evasão. Contudo, não se mostrou suficiente para balancear outras variáveis como turno vespertino e 7°, 8° e 9° anos do EF. Por um lado, apesar de o pareamento não controlar todas as diferenças nas variáveis observadas entre os grupos, a utilização do método de diferenças em diferenças corrige parte dessas disparidades – aquelas constantes no tempo. Por outro lado, o resultado do pareamento é bastante sensível a diferentes especificações, sendo pouco robustos ao excluir algumas variáveis.
A partir do pareamento foi feita a comparação da variação dos indicadores de frequência e probabilidade de abandono dos alunos entre os grupos através do modelo de diferenças em diferenças.
Como dito anteriormente, apesar da base de dados conter informações no nível do anulo, o programa é uma intervenção no nível da escola. Dessa forma, o modelo de diferenças em diferenças também foi estimado com cluster de escola. O resultado disso é que os estimadores são não viesados, mas com elevados erros padrão, o que pode reduzir o número de efeitos significativos observados – tanto positivos quanto negativos.
V.4. Dimensão desempenho
A base de dados do SAEGO permite acompanhar alunos do 9º ano EF e o 3º ano EM ao longo do período de 2011 a 2014. A análise consiste em verificar o quanto os resultados médios dos alunos das escolas tratadas passa a ser diferente dos resultados médios dos alunos das escolas controle a partir do ano de início do programa. Podemos afirmar que os resultados são generalizáveis para a totalidade dos alunos da escola.
Tabela 8 - Desenho de avaliação - dados empilhados
2011 2012 2013 2014
9º ano EF 9º ano EF 9º ano EF 9º ano EF
3º ano EM 3º ano EM 3º ano EM 3º ano EM
Trata-se de dados de cross section empilhados em que o perfil dos alunos pode mudar ao longo do período observado. Além disso, não há dados socioeconômicos na base de dados, impossibilitando a utilização da metodologia de pareamento. Tais fatores geram fragilidade na inferência de que o resultado mede fidedignamente o efeito do programa.
Entretanto, é possível verificar nos quadros abaixo que o grupo controle segue a tendência do grupo tratado antes do ano de 2014, isto é, não há diferença significativa de trajetória entre o desempenho médio dos alunos no período anterior ao programa, hipótese crucial para o estimador de diferenças em diferenças. Dessa forma, tem-se que o grupo de controle trata-se de um bom contrafactual para o grupo de tratamento.
Figura 3 – Desempenho por Grupo – 9º ano EF Desempenho em Matemática
9º ano EF Desempenho em Língua Portuguesa 9º ano EF
220 230 240 250 260 2011 2012 2013 2014 Escolas tratadas Escolas controle
220 230 240 250 260 2011 2012 2013 2014 Escolas tratadas Escolas controle
Fonte: Dados SAEGO, 2011 a 2014.
Figura 4 – Desempenho por Grupo – 3º ano EM Desempenho em Matemática
3º ano EM Desempenho em Língua Portuguesa 3º ano EM
250 260 270 280
2011 2012 2013 2014 Escolas tratadas Escolas controle
250 260 270 280
2011 2012 2013 2014 Escolas tratadas Escolas controle
VI. Resultados
Nessa sessão apresentamos a análise dos resultados das avaliações de impacto. Como supracitado, os resultados sobre as variáveis individuais contidas no questionário da dimensão família-aluno-escola serão apresentados nas tabelas A4 e A5 do apêndice para consulta.
VI.1. Dimensão família-aluno-escola
A tabela 9 apresenta os resultados sobre as subdimensões agrupadas via análise fatorial. Como pode ser notado, 2 das 5 subdimensões foram afetadas pelo programa: acolhimento da escola na perspectiva dos pais e incentivo dos responsáveis em relação aos estudos na perspectiva dos alunos. Em relação ao primeiro caso, trata-se de um efeito positivo de 3,66% na escala. Já em relação à segunda subdimensão, vale notar que o polo da escala é negativo, isso é, valores menores da escala são mais desejáveis. Assim, o efeito do programa é positivo (no sentido de ação de programa) em 5,09% na escala.
Com isso, é possível concluir que a ação do programa tornou a escola um ambiente mais amistoso para a família e fez com que as famílias monitorassem e incentivassem mais os alunos em relação aos seus estudos.
Tabela 9 - Efeitos do programa sobre as subdimensões
Perspectivas Subdimensão Polo Escala ControleMédia Impacto Impacto (%)
Responsáveis Acolhimento da escola + 0 a 10 7,35 0,29 *** 3,95
Diálogo família-aluno + 0 a 10 8,61 -0,03
Alunos
Acolhimento da escola + 0 a 10 7,10 -0,01
Valorização dos estudos + 0 a 10 6,82 -0,20
Incentivo da família - 1 a 4 1,41 -0,08 *** -5,64
* significativo a 10%, ** significativo a 5%, *** significativo a 1%
Nessa dimensão também foram estimados efeitos heterogêneos por tamanho de escola. As tabelas 10 e 11 apresentam esses resultados14.
14. Para essas análises, foram realizados pareamentos separados com a subamostra, mas com as mesmas variáveis descritas para o modelo com a amostra completa. Por isso, é possível que existam resultados significativos em ambas as subamostras mas não na amostra completa.
Tabela 10 - Efeitos do programa sobre as subdimensões – Escolas com menos de 800 alunos
Perspectivas Subdimensão Polo Escala ControleMédia Impacto Impacto (%)
Responsáveis Acolhimento da escola + 0 a 10 7,51 0,29 ** 3,91
Diálogo família-aluno + 0 a 10 8,59 0,15 ** 1,76
Alunos
Acolhimento da escola + 0 a 10 7,34 -0,29 * -4,01
Valorização dos estudos + 0 a 10 7,46 -0,53 *** -7,65
Incentivo da família - 1 a 4 1,36 -0,02
* significativo a 10%, ** significativo a 5%, *** significativo a 1%
Tabela 11 - Efeitos do programa sobre as subdimensões – Escolas com mais de 800 alunos
Perspectivas Subdimensão Polo Escala ControleMédia Impacto Impacto (%)
Responsáveis Acolhimento da escola + 0 a 10 7,22 0,01
Diálogo família-aluno + 0 a 10 8,55 0,44 ** 5,12
Alunos
Acolhimento da escola + 0 a 10 6,91 0,26 *** 3,74
Valorização dos estudos + 0 a 10 6,28 -1,31 *** -20,85
Incentivo da família - 1 a 4 1,45 -0,16 *** -10,93
* significativo a 10%, ** significativo a 5%, *** significativo a 1%
Como pode ser visto, o impacto sobre acolhimento da escola sob a perspectiva dos responsáveis é significativo apenas nas escolas de menor porte. Já o efeito do programa em estimular o incentivo da família em relação aos estudos é observado somente nas escolas maiores. Além disso, o programa também se mostrou relevante em aumentar o diálogo entre família e aluno nos dois tipos de escolas. Em relação ao acolhimento da escola sob a perspectiva dos alunos os resultados são contrários: positivos nas escolas de maior porte e negativo nas de menor porte. Por fim, em ambos os tamanhos de escolas o efeito sobre valorização dos estudos na perspectiva dos alunos é negativo e significante. Tal resultado deve ser um ponto de atenção uma vez que a valorização dos estudos é primordial e espera-se que as coordenadoras de pais atuem no sentido de estimulá-la.
VI.2. Dimensões frequência e abandono
Os resultados da estimação sobre as dimensões frequência e abandono estão na tabela 12 abaixo. Pode-se dizer que o programa impactou ambas as dimensões. Em relação à frequência, o programa diminuiu as faltas dos alunos em 4,5 dias no ano. Como a média de faltas dos alunos do grupo de controle é de 30 dias, o efeito é da ordem de 15%. Já em relação a abandono, o programa reduziu a taxa de abandono em 6,3 p.p., efeito bastante significativo uma vez que a taxa de abandono médio das escolas do grupo de controle é de 10%.
Tabela 12 - Resultados sobre Abandono e Faltas
Dimensão Média Controle Impacto Impacto (%)
Faltas 30 dias -4,5 dias ** 15
Abandono 10% -6,3 p.p. *** 63
* significativo a 10%, ** significativo a 5%, *** significativo a 1%
Apesar de os resultados serem bastante positivos em relação aos impactos do programa, é importante dizer que eles são sensíveis à diferentes especificações principalmente em relação ao pareamento. Assim, vale ressalvar que tais resultados devem ser interpretados com cautela.
VI.3. Dimensão desempenho
Como pode ser visto na tabela 13, não há evidências estatísticas sobre efeito do programa no desempenho dos alunos em nenhuma das disciplinas ou séries. De certa forma esse resultado é esperado uma vez que essa dimensão provavelmente faz parte daquelas de longo prazo do programa e este por sua vez foi analisado apenas pouco mais de um ano de início.
Tabela 13 - Resultados sobre Desempenho em Língua Portuguesa e Matemática
9º ano EF 3º ano EM
Disciplina Efeito Efeito
Língua Portuguesa 2,4 -3,9
Matemática 6,4 -7,8
VII. Retorno Econômico
A fim de aferir se o investimento realizado no programa resultou em benefícios mais que proporcionais para o capital investido, foi feito um cálculo simples de razão benefício-custo. Trata-se de uma análise simplificada em que não é necessário fazer muitas hipóteses, porém que permite mensurar o potencial do programa e compará-lo com outros investimentos sociais.
Assumindo que o aluno que abandona o ano escolar deverá repetir de ano, é possível afirmar que a redução estimada de 6,3 p.p. na taxa de abandono gera uma economia proporcional ao custo anual por aluno na rede estadual de Goiás. Como temos na amostra tanto alunos dos anos finais do ensino fundamental e de ensino médio, é proposta uma ponderação proporcional ao percentual de alunos no respectivo ciclo de ensino. A economia é de R$ 203,28 por aluno ao ano, que multiplicada pelo número de alunos avaliados, 4.485, gera um benefício da ordem de R$ 911,7 mil reais.
Tabela 14 – Análise de benefícios
Benefícios
R$ 3.226,64 (A) Custo por aluno anual em 2014 (R$ 2.990 = séries finais EF; R$ 3.398 = EM) 6,3% (B) Redução do abandono por causa do programa (pontos percentuais) R$ 203,28 (A*B) Economia por aluno/ano por conta do programa
4.485 (C ) Número de alunos
R$ 911.703,27 (A*B*C) = Benefício: Economia anual gerada pela redução do abandono
Do lado dos custos, tem-se que o custo anual por coordenador de pais é de R$25.496 reais, sendo 1 coordenador de pais por escola e como estamos avaliando 7 escolas, o custo anual é de R$ 178,5 mil, que somado aos custos administrativos de R$ 208,2 mil obtemos o custo total anual de R$ 386,7 mil.
Tabela 15 – Análise de custos
Custos
R$ 25.496,36 (D) Custo anual com folha de pagamentos por coordenador de pais 7 (E) Número de coordenadores
R$ 178.474,52 (D*E) Custo anual do programa com coordenadores de pais R$ 208.227,14 (F) Custo anual de gestão do programa
R$ 386.701,66 (D*E) + (F) = Custo: Custo total do programa em 2014
Da divisão entre o benefício R$ 911,7 mil e o custo de R$ 386,7 mil sabemos que para cada R$ 1 investido no programa ele gera um benefício de R$ 2,36, o que significa que o programa não só é
Tabela 16 – Razão Custo x Benefício
Razão Benefício/Custo R$ 2,36
Podemos simular um cenário mais conservador em que o programa geraria uma redução na taxa de abandono em 3%, por exemplo, teríamos uma economia de R$ 434 mil reais e uma benefício de R$1,12 reais para cada real investido. Conclui-se assim que, mesmo em um cenário menos otimista, o programa ainda seria viável.
VIII. Conclusão
Em resumo, observou-se já no primeiro ano de implementação resultados em dimensões estratégicas do programa: acolhimento da escola e incentivo dos responsáveis em relação aos estudos dos alunos. Além disso, há indícios de resultados positivos sobre as dimensões frequência e abandono, ou seja, redução nas faltas dos alunos e na taxa de abandono. Por fim, não é observado impacto do programa na dimensão desempenho.
Tais resultados parecem sustentar a hipótese temporal sobre os efeitos do programa na teoria de mudança do mesmo, isso é, as dimensões que sofreram impacto com o programa devem ser de curto e médio prazo. Por outro lado, é provável que o programa só consiga agir sobre desempenho dos alunos com maior tempo de execução.
Além disso, é interessante notar que o programa possui impactos diferentes de acordo com o tamanho da escola. As subdimensões acolhimento da escola na perspectiva dos alunos e diálogo família-aluno na perspectiva dos responsáveis só são impactadas nas escolas com mais alunos matriculados. Outro ponto que vale ser destacado é que nessas subamostras, o impacto sobre o incentivo dos responsáveis em relação aos estudos dos alunos permanece positivo, ao posso que na subdimensão valorização dos estudos pelos alunos o impacto do programa foi negativo e significante. Esse resultado combinado pode ser um ponto de atenção para a atuação das coordenadoras de pais uma vez que essas duas subdimensões devem ser estimuladas conjuntamente para que sejam melhoradas com o programa. Por fim, a análise de retorno econômico mostra que o programa é bastante viável e gera efeitos multiplicadores mesmo em cenários menos otimistas e considerando apenas os benefícios sobre permanência dos alunos na escola.
De forma geral, os resultados são bastante animadores, pois sinaliza que o programa está na direção certa e pode ser amadurecido e aprimorado durante os próximos anos de atuação.
A fim de intensificar esses resultados, existe a oportunidade de tratar a agenda positiva de forma mais transversal nos atendimentos de forma complementar às ações específicas de mobilização, ou seja, eventos envolvendo os pais nas questões relativas à escola. Existem temas que o coordenador de pais pode abordar que podem guiar os pais no acompanhamento dos filhos. Dicas positivas relativas à rotina de estudos em casa, à forma e às oportunidades de iniciar um diálogo que nem sempre é fácil com o jovem, de se aproximar do seu universo escolar. Acredita-se que, no momento em que a família demonstra interesse sobre o estudo o jovem se sente mais motivado a se dedicar do que quando a relação é de cobrança.
Adicionalmente indica-se uma maior dedicação de atenção para alunos que estão com menor risco de abandono, a fim de ampliar os resultados do programa. São alunos que podem responder de forma mais eficaz às estratégias do programa, desenvolver laços de pertencimento com a escola, serem mais facilmente motivados para os estudos e se tornarem protagonistas entre os demais.
Referências Bibliográficas
Carter, S. (2002) The Impact of Parent/Family Involvement of Student Outcomes: An Annotated Bibliography of Research from the Past Decade.
Consortium for Appropriate Dispute Resolution in Special Education (CADRE), Eugene, OR. (Retrieved from: http://www.directionservice.org/ cadre.)
Cunha, F. et al (2013) Eliciting Maternal Subjective Expectations about Technology of Cognitive Skill Formation. NBER Working Paper No. 19144.
Desforges, C. e Abouchaar, A. (2003) The impact of parental involvement, parental support and family education on pupil achievement and adjustment: A literature review. DfES Research Report RR433. Epstein, J. L. (1984) School Policy and Parental Involvement: Research Results Educational Horizons, v.62 n.2.
Epstein, J. L., e Dauber, S. L. (1991) School programs and teacher practices of parent involvement in inner-city elementary and middle schools. The elementary school journal.
Gertler et al (2012) Empowering parents to improve education: Evidence from rural Mexico. Journal of Development Economics, vol99, issue 1.
Houtenville, A. J. e Conway, K. S. (2008) Parental Effort, School Resources, and Student Achievement. The Journal of Human Resources v.43, n.2.
Jeynes, W. (2012). A meta-analysis of the efficacy of different types of parental involvement programs for urban students. Urban Education, 47(4), 706-742.
Jeynes, W.H. (2010). The salience of the subtle aspects of parental involvement and encouraging that involvement: Implications for school-based programs. Teachers College Record, 112(3), 747-774. Jeynes, W.H. (2007). The relationship between parental involvement and urban secondary school student academic achievement: A meta-analysis. Urban Education, 42(1), 82-110;
Jeynes, W. (2012) A Meta-Analysis of the Efficacy of Different Types of Parental Involvement Programs for Urban Students. Urban Education.
Jimenez, E. e Sawada, Y. (1999) Do Community-Managed Schools Work? An Evaluation of El Salvador’s EDUCO Program. World Bank Economic Review, v.13, issue 3.
Kraft, M. A., e Dougherty, S. M. (2013) The effect of teacher–family communication on student engagement: Evidence from a randomized field experiment. Journal of Research on Educational Effectiveness v.6, n.3.
Loeb, S. e York, B (2014) One step at a time: the effects of an early literacy text messaging program for parents of preschoolers. NBER Working Paper No. 20659.
Macintosh, J. (2007) Family background, parental involvement, and academic achievement in Canadian schools. Economics Department Concordia University, 2007
Mattingly et al (2002) Evaluating Evaluations: The case of parental involvement programs. Review of Educational Research v.72, n.4.
McWayne, Christine M., et al. (2013) Defining family engagement among Latino Head Start parents: A mixed-methods measurement development study. Early Childhood Research Quarterly v.28, n.3.
Mo, Y. e Singh, K. (2008) Parents’ Relationships and Involvement: Effects on Students’ School Engagement and Performance. Research in Middle Level Education, v.31 n.10.
Moore, K. et al (2014) Child Trends’ Evaluation of the Abriendo Puertas/Opening Doors Program: Executive Summary and Discussion Brief. Publication Number: 2014-26. (Acessado em: Childtrends.org) Noel, A.; Stark, P. e Redford, J. (2013) Parent and Family Involvement in Education, from the National Household Education Surveys Program of 2012. First Look. NCES 2013-028. National Center for Education Statistics.
O’Donnell J. e Kirkner S. L. (2014) The Impact of a Collaborative Family Involvement Program on Latino Families and Children’s Educational Performance. School Community Journal, v24 n1.
Phillips, M. (2011) Parenting, Time Use, and Disparities in Academic Outcomes. In: Greg J. Duncan & Richard J. Murnane (eds.) Whither opportunity. Russell Sage ed.
Smith et al (2013) A Quantitative Synthesis of Family Engagement Interventions: A Preliminary
Examination in Rural Context. R2 Ed Working Paper 2013-7. (Acessado em: National Center for Research on Rural Education: r2ed.unl.edu)
Topor, David R., et al. (2010) Parent involvement and student academic performance: A multiple mediational analysis. Journal of prevention & intervention in the community v.38, n.3.
Van Voorhis, L., et al. (2013) The Impact of Family Involvement on the Education of Children Ages 3 to 8: A Focus on Literacy and Math Achievement Outcomes and Social-Emotional Skills. MDRC. (Acessado em http://www.mdrc.org)
Wang, M., Hill N.E, e Hofkens, T. (2014) Parental involvement and African American and European American adolescents’ academic, behavioral, and emotional development in secondary school. Child development v.85, n.6.
Weiss, H.B., Lopez, M. E. (2015, September). Engajamento das Famílias. Uma visão para o século 21. Keynote presentation at the Seminário Aproximação Família-Escola nas Políticas Educacionais, São Paulo, Brasil. (revisão complementada com a Avaliação feita pelo J-PAL e resumo da apresentação do Jameel: “Programa Aprender en Familia Evaluación de Impacto”)
