4 RESULTADOS
4.2 RESULTADOS DO IMPACTO DA TITULAÇÃO NOS RESULTADOS
Considerando a base de dados formada para a avaliação do impacto do PROFMAT nos resultados acadêmicos dos estudantes matriculados nos municípios tratados, obtivemos os histogramas da distribuição de frequência relativa das notas de matemática dos alunos do 9º ano do Ensino Fundamental para os três anos avaliados 2013, 2015 e 2017, assim como a distribuição de frequências relativas dessas mesmas notas para os três anos em conjunto.
Os resultados estão dispostos no Gráfico 6, em que as médias encontradas são as seguintes: 2013 – média: 245,14 (1.172 municípios e 1.162 observações), 2015 – média: 251,49 (1.172 municípios e 1.152 observações) e 2017 – média: 252,76 (1.172 municípios e 1.163 observações). Para os três anos agrupados, a média calculada foi de 249,79 para 1.172 municípios e 3.477 observações.
A diferença entre o número de municípios acompanhados e o número de observações é resultado da ausência de notas médias de matemática atribuídas para alguns municípios na base disponibilizada pelo INEP. O ano de 2015 é o que tem mais ausência de registros (20 municípios sem nota).
Para os outros dois anos, a falta de dados não ultrapassou o número de 10 municípios, representando um percentual baixo de dados faltantes e que não afetam a análise realizada diante do total de municípios avaliados. Como registrado anteriormente, são médias baixas, em termos comparativos com outras nações com mesmo grau de desenvolvimento econômico, e demonstram um aumento gradual de 7,62 pontos ao longo do período observado de 2013 a 2017
(3,11% em relação a 2013).
Gráfico 6 – Histogramas de frequências relativas – notas de matemática – 9º ano – SAEB
Fonte: cadastro de discentes da CAPES - SAEB/INEP – elaboração própria.
Para a avaliação da normalidade dessa variável, obteve-se o Gráfico 7, contendo a análise de resíduos, o diagrama Normal – Quantil-Quantil, o diagrama de Escala-Locação dos resíduos para valores ajustados e o diagrama com as distâncias de Cook.
Gráfico 7 – Análise dos resíduos e normalidade da variável dependente
Fonte: cadastro de discentes da CAPES - SAEB/INEP – elaboração própria.
Observa-se um bom ajustamento da variável aos pressupostos de normalidade,
permitindo a aplicação de testes estatísticos paramétricos sobre os dados observados; assim como a análise da regressão proposta no modelo descrito na equação (7). O bom ajustamento dos resíduos em torno de zero sugere que o modelo linear escolhido na equação (7) é razoavelmente apropriado.
O diagrama de Escala-Locação não permite extrair conclusões no que diz respeito à violação dos pressupostos de homocedasticidade, enquanto poucos outliers podem ser observados no diagrama das distâncias de Cook. Esses gráficos também demonstram um comportamento bem ajustado da variável dependente às hipóteses adotadas para a adequação do modelo linear utilizado. A presença de heterocedasticidade poderá ser corrigida com o cálculo de erros robustos por meio de métodos estatísticos disponíveis.
Inicialmente, e de forma a avaliar os resultados obtidos nessa equação, consideramos uma comparação com modelos mais simples. Para isso, adotamos uma regressão linear simples de forma a observar, graficamente, o ajustamento da variável dependente (a nota em matemática do 9º ano do ensino fundamental dos municípios tratados) com a variável explicativa de interesse (o percentual de professores titulados pelo PROFMAT em relação ao total de discentes do ensino fundamental do município tratado). O resultado dessa regressão pode ser observado no Gráfico 8, em que a reta da equação de regressão obtida também foi representada.
Gráfico 8 – Regressão Linear Simples: notas do 9º ano versus percentual de titulados
Fonte: cadastro de discentes da CAPES - SAEB/INEP – elaboração própria.
A presença de muitos valores de notas no percentual de titulados iguais à zero deve-se
ao fato de que muitos municípios têm poucos professores titulados e a titulação desses docentes se deu mais ao final do período estudado (2017). Há, ainda, municípios tratados cujos primeiros professores se titularam após 2017, resultando em valores percentuais iguais a zero para os três anos observados. Dessa forma, consideramos apenas os percentuais acumulados de docentes participantes titulados num determinado município até o ano de 2017. Adicionalmente, foi efetuada uma regressão múltipla, considerando o vetor de características educacionais e socioeconômicas do município m no tempo t (𝑋𝑚𝑡), descrito no modelo da equação (7), mas sem o uso do controle por efeitos fixos de tempo e indivíduo (𝛼𝑡, 𝛾𝑚). Uma terceira regressão foi realizada utilizando o modelo da equação (7), mas com a introdução do controle por efeitos fixos, apenas, para o indivíduo (𝛾𝑚). Na sequência, uma quarta regressão foi conduzida, inserindo o controle para efeitos fixos apenas de tempo (𝛼𝑡). Essa análise foi efetuada com o intuito de avaliar o impacto causado pela substituição do efeito do indivíduo por um outro que considerasse o aspecto temporal tanto no valor obtido para o parâmetro 𝛽1 quanto na sua significância estatística. Por último, executou-se a regressão múltipla com o modelo completo proposto na equação (7) e seus respectivos controles e efeitos fixos (𝛼𝑡, 𝛾𝑚) de tempo e indivíduo. Na Tabela 7, comparam-se esses quatro modelos intermediários com aquele proposto na equação (8). Os resultados da variável explicativa descritos nas colunas I a IV apresentam os coeficientes 𝛽1 encontrados para as 4 primeiras regressões descritas acima, utilizando modificações na equação (7) do modelo proposto. Os coeficientes apresentados nas colunas I a IV refletem essas modificações realizadas na equação com o sentido de observar a variação de seus valores na medida que os controles previstos vão sendo adicionados (o vetor de características educacionais e socioeconômicas dos municípios e os efeitos fixos). Na coluna V está o valor do parâmetro de interesse para o modelo descrito na equação (7).
Na coluna (I), observamos o 𝛽1 para a regressão simples entre a variável Percentual de Professores Titulados no Município e a variável “notas em matemática 9º ano” do município tratado obtidas no SAEB. O valor obtido (7,711) é estatisticamente significativo, indicando um acréscimo na nota em 7,711 pontos para cada 1% de professores titulados em relação ao total de docentes do ensino básico do município. Na coluna (II), temos o 𝛽1 obtido para a regressão múltipla com a introdução do vetor das variáveis educacionais e socioeconômicas de controle do município previstas no modelo da equação (7), mas sem a inclusão dos controles para efeitos fixos 𝛼𝑡, 𝛾𝑚. O valor obtido (6,463) também é estatisticamente significativo. As variáveis do vetor de características educacionais e socioeconômicas de controle também apresentaram níveis do valor p abaixo de 1%. Entretanto, apenas o indicador INSE e a relação
Aluno/Professor apresentam impactos significativos nas notas dos alunos, e o INSE responde por um aumento de 1 ponto nessa nota para cada unidade acrescida nesse indicador.
Tabela 7 – Resultados das regressões efetuadas em modelos simples e no modelo da equação (7)
Variável Dependente:
Notas em matemática 9º ano obtidas no SAEB Regressão
Contratados/Concursados 0,014*** -0,009** 0,013*** -0,011***
(0,007) (0,005) (0,006) (0,006)
Nota: anos 2013, 2015 e 2017 *p<0,1; **p<0,05; ***p<0,01 Erros padrões robustos para heterocedasticidade Fonte: cadastro de discentes da CAPES – INEP – RAIS – elaboração própria.
A relação Aluno/Professor reduz a nota de matemática em 1,8 pontos para cada unidade de acréscimo nessa relação. Os demais componentes desse vetor têm efeito insignificante para a nota de matemática. Na coluna (III), descreve-se o coeficiente 𝛽1 obtido para a regressão múltipla com a introdução do controle para efeitos fixos apenas para os municípios, 𝛾𝑚. Observa-se o valor calculado (5,474) com significância estatística. Duas
variáveis de controle (o indicador INSE e a renda média do setor formal) apresentaram o valor p maior que 10%, ou seja, sem relevância estatística. Apenas a componente da relação entre alunos e professores apresentou um efeito mensurável na nota, significando uma redução de 3,49 pontos para uma unidade de acréscimo nessa relação. A coluna (IV) apresenta o coeficiente para um modelo com efeitos fixos apenas para o tempo (𝛼𝑡) e o valor calculado também apresenta significância estatística. Esse valor indica o aumento na nota em 4,357 pontos para um aumento de 1% no número de professores titulados em mestrado do PROFMAT em relação ao total de docentes do ensino básico do município. Nota-se uma mesma tendência no modelo da coluna II, em que os indicadores INSE e a relação aluno/docente apresentam valores estatisticamente significantes e efeitos nas notas de matemática com valores próximos e mesmos sentidos de proporcionalidade.
Os resultados obtidos para o modelo proposto no estudo estão descritos na coluna (V).
O valor do parâmetro calculado (0,258) não tem significância estatística e é o resultante da aplicação do modelo completo da equação (7), em que estão presentes os efeitos fixos de tempo e do município. A introdução desses efeitos fixos, simultaneamente com os controles socioeconômicos dos municípios, demonstrou uma diminuição expressiva no valor do estimador de interesse e a perda de sua significância estatística em comparação aos outros modelos. As variáveis socioeconômicas apresentaram-se estatisticamente significantes exceto a componente de renda média do setor formal. Os valores obtidos são menores que 0,3 e não indicam efeito registrável nas notas dos estudantes. A relação aluno/professor apresenta uma redução da nota de matemática no valor de 1,692 para cada acréscimo de uma unidade nessa relação.
Todas as regressões foram submetidas ao teste de Breusch-Pagan para a verificação da presença de heterocedasticidade. O valor obtido para o valor p ~ 0,00 determina a rejeição da hipótese nula H₀ de que os erros-padrão são homocedásticos. Nesse caso, foi aplicada a correção com a utilização do teste de coeficientes por meio do método de estimadores de erros robustos de MacKinnon e White, HC1. Os erros-padrão, apresentados entre parênteses na Tabela 7, são erros robustos e ajustados por esse método.
Os resultados obtidos para o modelo: 𝑌𝑚𝑡 = 𝛽0+ 𝛽1𝑃𝐶𝐹𝑚𝑡+ 𝛽2𝑋𝑚𝑡+ 𝛼𝑡+ 𝛾𝑚+ 𝑢𝑚− equação (8) − descritos na Tabela 7, coluna (V), apresentam uma forte redução do valor do coeficiente 𝛽1 para, apenas, 0,258, com a respectiva perda de relevância estatística em razão dos controles por município e tempo tomados simultaneamente. As demais variáveis de controle permanecem com seus coeficientes estatisticamente significantes e com valores muito próximos dos respectivos coeficientes obtidos nos outros modelos (colunas II e IV). A variável
“Renda Média do Setor Formal do Município” e o indicador INSE não possuem relevância estatística na regressão apresentada na coluna (III) desse modelo, em que há o controle por efeitos fixos para o indivíduo. A diferença entre o modelo da coluna (III) (efeitos para controle do município) e o modelo da coluna (V) é apenas a introdução do controle para efeito fixo do tempo 𝛼𝑡.
Uma análise da base de dados utilizada para a regressão proposta permite verificar a possível associação da variável preditora 𝑃𝐶𝐹𝑚𝑡 com o passar do tempo. No ano de 2013, a média de percentuais de professores titulados município por município foi de 0,0650%. No ano de 2015, esse percentual passou de 0,2198% e, em 2017, para 0,3845%.
Tabela 8 – Variação percentual dos totais acumulados de titulados entre 2013 e 2017
Base de Dados Titulados c/ dados na RAIS Professores da Educação Básica Percentual
2013 1.317 1.307.933 0,101%
2015 3.977 1.318.407 0,302%
2017 6.238 1.304.937 0,478%
Fonte: cadastro de discentes da CAPES – RAIS - sinopse INEP – elaboração própria.
Na Tabela 8, demonstra-se a variação dos percentuais de totais acumulados de titulados em relação ao total de professores da educação básica sem considerar a variação intramunicipal.
Entretanto, o controle com efeitos fixos para o tempo apontou para um parâmetro estatisticamente significante, o que indica a inexistência de interferência temporal na obtenção do parâmetro de interesse, sendo esse coeficiente resultado da influência do PROFMAT em função do percentual de tratados e não da passagem do tempo e o respectivo acúmulo de docentes titulados. Ainda assim, o controle por município, apenas, indica o impacto positivo do programa, considerando os fatores não observados existentes no nível intramunicipal. Com base nos resultados obtidos, verifica-se que a regressão realizada com efeitos fixos tomados para os indivíduos e para o tempo em conjunto, conforme o modelo completo proposto pela equação (7), aponta para um efeito sem significância estatística para o parâmetro de interesse calculado, indicando um impacto nulo do programa nessa dimensão proposta, segundo a metodologia utilizada e os dados disponíveis para análise.