Fatores FLAG derivados do Ideb

Parte-se da hipótese de que o Ideb cria pressões que induzem comportamentos. Além do valor absoluto do Ideb, procurou-se apreender outros aspectos relacionados ao indicador que poderiam pressionar os agentes a engajarem no gaming: a variação do Ideb no tempo, a distância do Ideb obtido à sua respectiva meta projetada e a variação no tempo da posição da escola no ranking em relação ao seu município e rede.

Foi calculada a variação do Ideb no tempo, por escola e série avaliada. Neste trabalho, supões-se que um valor negativo (indicando queda no Ideb aferido de 2011 versus 2009, por exemplo), indicará, potencialmente, uma maior pressão sobre os agentes para o gaming na realização da Prova Brasil de 2013. A Figura 10 ilustra as distribuições das escolas por ciclo inicial e final do EF e por ano de avaliação em função da variação do Ideb de uma avaliação à seguinte4_.

A Figura10 permite um diagnóstico daconstrução da variável DELT A_IDEBt.

Os valores modais, ou os mais frequentes, em todas as distribuições são próximos de zero, indicando que o caso mais comum é ter escolas com pequenas variações no Ideb. Contudo, as distribuições são mais densas à direita do zero, indicando que há mais escolas com crescimento do que com decaimento do Ideb, nos períodos analisados.

Esta variável DELT A_IDEBt será empregada nas modelagens, com rótulo de

DELT A, estimada por escola para as análises de fraudes, e consolidada por agrupamento nas análises de exclusões, como explicado adiante, neste capítulo. Os valores para os “anos iniciais” são usados nas análises do 5° ano e os “anos finais” para o 9° ano do EF. Esta lógica se repete para as demais variáveis apresentadas a seguir.

4 _{A variável DELT A_IDEBt = IDEBt− IDEBt−1 é a variação do Ideb de um ano para outro,}

Figura 10 – Distribuições da variável FLAG associada à variação do Ideb

Fonte: Elaboração do autor.

Para apreender a pressão nos agentes por conta de metas não atingidas, calculou-se a distância entre o Ideb aferido e sua respectiva meta projetada, para um dado ano5. Esta distância entre o Ideb medido e sua meta projetada é chamado de gap neste trabalho. Supõe-se que quanto mais negativa for a distância, ou melhor, quanto mais abaixo da meta for o Ideb, num dado ano, maior será a pressão de gaming presente na avaliação seguinte.

A Figura 11 ilustra as distribuições das escolas por ciclo inicial e final do EF e por ano de avaliação em função da distância à meta Ideb. Usa-se ogap referente a 2011 como indicador de pressão sobre o resultado de 2013 e o gap de 2013, para 2015.

As distribuições da Figura 11indicam que para os anos iniciais, em geral, as escolas vêm superando suas metas, posto que as densidades à direita do zero são maiores que à esquerda. O contrário se verifica para os anos finais, já a partir de 2013, quando a simetria nas distribuições destegap se perde, havendo mais escolas abaixo de suas metas que acima delas.

5 _{A variável DELT A_GAPt= IDEBt− M ET At é a distância entre o Ideb aferido num dado ano de}

aplicação da Prova Brasil para uma dada escola e a sua respectiva meta predeterminada, por ocasião da criação do Ideb.

2.2. FLAGs – os Fatores Ligados Ao Gaming 77

Figura 11 – Distribuições da variável FLAG associada à distância à meta Ideb

Fonte: Elaboração do autor.

Para apreender a pressão do ranqueamento, citado como um mecanismo de pressão, é proposta uma variável que indica a mudança de posição no ranking de uma dada escola, num dado ano, dentro do conjunto de escolas do mesmo município e rede administrativa6. Uma escola que tenha mantido sua posição de um ano para outro terá valor zero para esta variável. Quanto menor for esta variável (mais negativa) para uma determinada escola, supõe-se que maior será a pressão para que os agentes se envolvam com o gaming na avaliação seguinte.

A Figura 12 ilustra as distribuições das escolas por ciclo inicial e final do EF e por ano de avaliação em função de suas mudanças de posição no ranking no município e rede. Vê-se que entre um quarto e um terço das escolas não mudam de posição noranking, o que enfraquece o poder de influência da variável construída, como será exposto adiante. Os resultados desta variável aferidos em 2011, na modelagem são empregados para explicar os efeitos colaterais em 2013, enquanto os de 2013 explicam os efeitos colaterais medidos em 2015.

6 _{Este FLAG é definido por DELT A_RAN Kt= RAN Kt− RAN Kt−1 onde RAN Ktindica a posição}

em percentis da escola dentro da rede e município. São valores ajustados entre -100 e 100 indicando em percentis, a variação no ranking na rede e município.

Figura 12 – Distribuições da variável FLAG associada a ranking

Fonte: Elaboração do autor.

Para as três variáveis acima, foram criadas variáveis binárias associadas, a fim de facilitar agrupamentos. Por exemplo, uma variável ABAIXO_M ET A é zero se o Ideb do ano anterior esteve acima ou igual à meta e 1 se esteve abaixo dela. Analogamente, são construídas variáveis QU EDA_IDEB e QU EDA_RAN KIN G, autoexplicativas. Estas variáveis dummy, por construção, assumem valor 1 sempre na condição que indica maior pressão sobre os agentes, conforme suposto pela literatura. Estas variáveis estão sumarizadas nas Tabelas 18e 19, em apêndice à página 213.

O Ideb absoluto aferido em dada avaliação também é usado como FLAG de pressão para a avaliação seguinte. Esta variável tem o benefício de apresentar menos lacunas de dados faltantes, quando comparada às demais, por não exigir metas ou valores históricos associados. Como variável explicativa adicional, usa-se o nível socioeconômico, fortemente correlacionado com o Ideb absoluto.

Uma variável auxiliar, binária, baseada na não-divulgação dos resultados Ideb de uma dada escola, também foi analisada, com base no pedido de bloqueio permitido pela governança da Prova Brasil e da divulgação do Ideb por escola ou município. Esta variável não tem poder de “previsão” quanto à indução de comportamentos indesejados, pois não é conhecida por ocasião da avaliação. Ela só se faz conhecida depois de encaminhados os resultados preliminares às secretarias competentes, contudo ilustra padrões interessantes a posteriori discutidos adiante, indicando que o “não reporte” pode estar associado a

2.2. FLAGs – os Fatores Ligados Ao Gaming 79

incidências maiores degaming.

A fonte para as variáveis FLAG sugeridas acima foram os reportes disponibilizados pelo Inep7 _{sobre o Ideb histórico e suas metas projetadas, por escola. A base de dados tem}

alguns valores de Ideb e de metas associadas faltantes, num dado ano, por razões variadas: não atingimento de patamar mínimo de participação, pedidos de veto de reporte atendidos pelo Inep ou mudança no status de atividade da escola. Uma meta pode estar ausente num dado ano pelo encerramento da oferta de cursos num ciclo específico (EF I ou EF II) da escola ou por ela ter sido fechada ou, ainda, pela fusão com outra escola. A dimensão destes dados faltantes está quantificada na Tabela1.

Tabela 1 – Ausência de dados de Ideb e metas associadas para escolas

Porcentagem de escolas sem dados de Ideb nos anos... ...2011 ...2013 ...2015

Anos iniciais Sem Ideb 27,0% 29,9% 30,9%

Sem meta 12,4% 6,6% 2,7%

Anos finais Sem Ideb 21,8% 21,5% 26,5%

Sem meta 12,3% 6,4% 1,9%

Fonte: Elaboração do autor.

A falta destes dados deixa lacunas também nos FLAGs derivados. Nestes casos faltantes, deixam de ser usados como covariantes explicativos nas análises de associação e classificação, sendo expurgados pelo pacote estatístico.