Os autores recomendam que essa fórmula seja aplicada a cada componente de variância de cada nível do modelo individualmente. Ferrão (2003), no entanto, utiliza a
mesma fórmula para calcular a variância explicada no total, tomando como base de comparação a soma das variâncias encontradas em todos os níveis no modelo nulo. A Tabela 43 apresenta a variância explicada pelos modelos.
Tabela 43 - Variância explicada pelos modelos hierárquicos
PAINEL A: VARIÂNCIA ESTIMADA
Componente de variância Modelo
nulo de três níveis
Modelo 1 Modelo 2 Modelo 2’ Modelo 3
Nível 1 (Alunos) Intercepto 150.00 146.00 146.00 146.00 145.00
Nível 2 (Escolas) Intercepto 32.00 29.00 14.00 14.00 14.00
Intercepto 12.00 11.00 3.00 3.00 0.98 Competências_e 2.79 Docentes_e 1.00 Ti_e 0.31 Inglês_e 0.31 Nível 3 (Agrupamentos) Dout_e 0.53 Variância Total 194.00 186.00 163.00 163.00 164.92
PAINEL B: VARIÂNCIA EXPLICADA
Modelo 1 Modelo 2 Modelo 2’ Modelo 3
Componente de variância Sobre modelo anterior Sobre o modelo nulo de três níveis Sobre modelo anterior Sobre o modelo nulo de três níveis Sobre modelo anterior Sobre o modelo nulo de três níveis Sobre modelo anterior Sobre o modelo nulo de três níveis
Nível 1 (Alunos) Intercepto 3% 3% 0% 3% 0% 3% 1% 3%
Nível 2 (Escolas) Intercepto 9% 9% 52% 56% 0% 56% 0% 56%
Intercepto 8% 8% 73% 75% 0% 75% 67% 92% Competências_e Docentes_e Ti_e Inglês_e Nível 3 (Agrupamentos) Dout_e Variância Explicada 4% 4% 12% 16% 0% 16% -1% 15%
A tabela merece uma explicação mais detalhada. Para cada um dos modelos desenvolvidos, são calculadas duas medidas de explicação de variância, uma em relação ao modelo anterior e outra em relação ao modelo nulo de três níveis.
O Modelo 1, por exemplo, explica 3% da variância encontrada no nível dos Alunos, 9% da variância encontrada no nível das escolas e 8% da variância encontrada no nível dos agrupamentos. No global, o modelo explica cerca de 4% da variância. Esses resultados são até mesmo desencorajadores, mas deve-se ter em mente que o objetivo dos modelos não é explicar a variância encontrada no nível dos alunos, mas a variância encontrada nos níveis das escolas e dos agrupamentos.
Os Modelos 2 e 2’ representam um grande avanço nesse sentido. As variáveis de escola contribuem para explicar, respectivamente, 56% e 75% da variância encontrada nos níveis das escolas e dos agrupamentos no modelo nulo. Em relação ao Modelo 1, essas variáveis explicam, respectivamente, 52% e 73% da variância encontrada nos níveis das escolas e dos agrupamentos.
Finalmente, o Modelo 3 auxilia na compreensão da variância estimada para o nível dos agrupamentos. Explica-se: o Modelo 2 estima uma variância para o nível dos agrupamentos igual a 3. Mas essa variância está alocada ao intercepto do nível dos agrupamentos, ou seja, pode-se dizer que diferenças entre os agrupamentos absorveram uma variância igual a 3. Porém, fica-se no escuro sobre quais diferenças estão sendo consideradas.
Ao se decompor a variância do nível dos agrupamentos entre o intercepto e os cinco coeficientes aleatórios das cinco variáveis de nível de escola, percebe-se que a maior parte da variância desse nível é explicada pelas diferenças entre a avaliação que os alunos das competências que foram desenvolvidas ao longo dos cursos nas escolas de cada Grupo Estratégico. Diferenças na avaliação que os alunos fazem do corpo docente das escolas de cada agrupamento também representam uma parte importante da variância encontrada nesse nível.
Não deve ser motivo de preocupação, no entanto, o fato de que a soma das variâncias do Modelo 3 é ligeiramente superior à do Modelo 2. As variâncias de cada componente são elas próprias estimadas e sujeitas a um intervalo de confiança. Portanto, pequenas variações podem ocorrer. Hox (2002) relata casos em que a inclusão de novas variáveis causa um aumento na variância, como se a contribuição da variável na explicação da variância fosse negativa. Esse é um outro fator que complica a análise da proporção da variância que o modelo explica.
Para concluir essa seção, será retomada a última questão da seção anterior que era avaliar se havia evidência para se justificar a variação aleatória dos coeficientes das cinco variáveis de nível de escola selecionadas.
De fato, as evidências são mistas. A magnitude da variância encontrada em cada componente de variância é diretamente proporcional ao quanto aquele componente varia entre os grupos. Por exemplo, o modelo nulo de três níveis estimou uma variância igual a 32 para o intercepto do nível das escolas e 12 para o intercepto do nível dos agrupamentos. Isso significa que os interceptos das escolas apresentam uma variação quase três vezes maior que os interceptos dos agrupamentos.
Os componentes de variância estimados para os coeficientes das cinco variáveis controláveis pelo gestor educacional são de uma magnitude pequena, indicando que variam pouco de um agrupamento para outro. Porém, existe variação e essa variação pode auxiliar a determinação das prioridades de cada agrupamento.
Portanto, o caminho à frente está delineado: os resultados do Modelo 3 serão discutidos, procurando-se diferenciar as ações prioritárias para cada agrupamento de escolas. Antes disso, porém, é necessário analisar os resíduos e a sua linearidade.
8.3.2.4 Análise dos resíduos e da linearidade do modelo proposto
A análise dos resíduos é um dos principais pontos de atenção ao se avaliar a adequação de um modelo estatístico. Johnson e Wichern (1992) afirmam que toda a informação necessária para se avaliar a qualidade de um modelo está nos resíduos.
Iniciando por uma visão geral dos resíduos obtidos, o Gráfico 13 apresenta um histograma dos resíduos padronizados. Eles se distribuem de forma aproximadamente normal, com baixa incidência de valores nas caudas da distribuição.
-4 -2 0 2 4 0 200 0 400 0 6000 8000 1000 0 Freqüência Resíduos padronizados
Gráfico 13 - Histograma dos resíduos padronizados do modelo proposto
A variância dos resíduos, também, deve ser verificada. São comuns casos em que a variância dos resíduos apresenta algum padrão em função dos valores previstos para a variável dependente. O Gráfico 14 apresenta os resíduos como função dos valores previstos para cada respondente e não indica a existência de algum padrão ou de séria heterocedasticidade nos resíduos. Porém, como pode ser observado no gráfico, existe um grupo de 47 respondentes que apresentam resíduos fora do padrão esperado. Esse grupo aparece representado por triângulos vermelhos no gráfico.
Valores previstos para as notas dos respondentes centradas na média da amostra Resíduos padronizados
Gráfico 14 - Resíduos padronizados x Valores previstos
A principal característica em comum entre esses 47 respondentes é que todos eles (e somente eles) obtiveram nota zero no Provão. Portanto, ou se trata de pessoas com preparo muito ruim, ou se trata de pessoas que não responderam a sério o teste, muito embora tenham respondido ao questionário de perfil. Essa argumentação levanta a questão de por que esses casos não foram retirados e isso não foi feito por três motivos. Em primeiro lugar, o critério adotado para serem retirados casos foi o de não ter preenchido as questões utilizadas do questionário de perfil. Em segundo lugar, outras pessoas tiraram notas bastante baixas, muito embora não tenham tirado zero, e não existe um critério absoluto para se determinar a nota mínima que indicaria que o respondente fez a prova de forma consciente. Finalmente, os modelos foram estimados com e sem esses 47 respondentes e os resultados não se alteram, devido ao elevado número de casos, então, não há prejuízo em deixar esses casos.
O mesmo “bom comportamento” pode ser verificado ao se analisarem os resíduos por grupo estratégico ou mesmo por região do país (Gráfico 15), com base nos quais também se pode afirmar que a variância dos resíduos por grupo é aproximadamente constante. No entanto, o agrupamento 3 e a região Sudeste apresentam uma incidência de resíduos grandes maior do que os outros agrupamentos ou regiões.
1 2 3 -4 -2 0 2 4 CO N NE S SE -4 -2 0 2 4
Painel A: Resíduos padronizados por agrupamento
Painel B: Resíduos padronizados por região
Gráfico 15 - Boxplots dos resíduos padronizados do modelo proposto por agrupamento estratégico e por região
A variância dos resíduos por grupo pode ser avaliada através de gráficos similares ao Gráfico 15, porém sendo um gráfico para cada agrupamento (Gráfico 16).
R es íd u os p ad ron iz ad os Valores previstos - Seguidoras - Aspirantes - Líderes
Gráfico 16 - Resíduos padronizados x Valores previstos para cada agrupamento
Finalmente, a linearidade do modelo pode ser avaliada através de um gráfico que relacione os valores previstos e os valores realizados (ver Gráfico 17, no qual a linha vermelha inclinada representa a reta de regressão dos valores previstos sobre os valores realizados).
Valores previstos
Valores realizados (Notas dos respondentes centradas na média global da amostra)
Gráfico 17 - Valores previstos x Valores realizados para o modelo proposto
8.3.2.5 Análise dos coeficientes para cada agrupamento estratégico
Essa seção analisa os coeficientes estimados pelo Modelo 3, procurando diferenciar, sempre que possível, os resultados obtidos para cada agrupamento estratégico.
O intercepto global do Modelo 3 foi -32.97. Como a variável dependente foi centrada na média global da amostra, esse valor representa o quanto um aluno negro, mulato ou indígena, que tenha cursado o ensino médio na rede pública, tenha baixo conhecimento de inglês, faça pouco uso de TI, tenha renda baixa e possua todas as variáveis métricas na média está distante dessa média. Na escala original, esse resultado seria equivalente a uma nota 7 no Provão, já que a nota média de todos os alunos foi 40.1.
Respondentes das raças branca ou amarela apresentaram um desempenho apenas ligeiramente superior, 0.53 pontos acima, aproximadamente o mesmo efeito de ter cursado o ensino médio em escolas particulares. As outras variáveis de aluno, no entanto, apresentam efeitos substancialmente maiores. Pessoas com bom conhecimento de inglês, ou renda
elevada, apresentaram um desempenho médio aproximadamente dois pontos acima dos outros. E respondentes que fazem uso freqüente de TI tiveram um desempenho médio mais de quatro pontos acima dos outros. Portanto, o efeito das condições socioeconômicas é grande. Tudo considerado, essas variáveis representam um acréscimo de 10 pontos na nota do respondente, ou seja, um aluno branco com boas condições socioeconômicas que estudasse na mesma escola que o aluno negro imaginado no parágrafo anterior obteria 17 pontos no Provão, ao invés de 7.
Mas o que mais interessa, no contexto desta tese, são os coeficientes obtidos para as variáveis de escola que, com exceção da composição racial do corpo discente, podem ser mais facilmente controladas pelo gestor escolar. Os resultados obtidos, para essas variáveis somente, são reapresentados abaixo para conveniência (Tabela 44).
Tabela 44 - Coeficientes estimados para as variáveis de nível de escola
Tipo de variável Variável Coeficiente estimado
Competências_e 6.24 (1.21)
Docentes_e -2.92 (0.91)
CandVaga_e 1.75 (0.20)
TI_e 15.49 (2.94)
Inglês_e 7.88 (1.27)
Controlável pelo gestor escolar
Dout_e 4.82 (1.44)
Não controlável pelo gestor escolar Raça_e 11.27 (1.31)
As variáveis Competências_e, Docentes_e e CandVaga_e são métricas e estão padronizadas com média igual a zero e variância unitária. Portanto, os coeficientes obtidos são diretamente comparáveis, pois indicam a variação esperada na nota (centrada na média global) do respondente para uma variação equivalente a um desvio-padrão em cada uma das variáveis independentes. Entre essas três variáveis, a que mais se destaca é a avaliação que o aluno faz das competências desenvolvidas ao longo do curso. A variação em um desvio- padrão nessa variável melhora, significativamente, o desempenho da pessoa; o efeito estimado é de pouco mais de seis pontos. A concorrência na entrada é relevante, mas talvez menos do que poderia se pensar a priori. Uma variação de um desvio-padrão na relação candidato-vaga melhora o desempenho em pouco menos de dois pontos.
Finalmente, a avaliação que os alunos fazem do corpo docente de uma escola apresenta um coeficiente negativo, contrariando a expectativa de que melhores professores conduziriam a um melhor resultado. Muita cautela é necessária ao se analisar esse resultado
porque, evidentemente, não faria sentido sugerir a um gestor escolar que piore deliberadamente a avaliação que os alunos fazem de seu corpo docente. Porém, o que talvez esses resultados estejam sugerindo é que o retorno obtido em termos de aprendizado por reforçar o uso amplo de tecnologia nas disciplinas e fomentar a exposição dos alunos a uma ampla gama de competências é maior do que o retorno obtido por se exigir mais disponibilidade dos professores (que é um dos itens considerados na construção da variável denominada Docentes_e), por exemplo. Outra explicação possível e que será mais bem explorada um pouco mais à frente nessa mesma seção, é que respondentes das melhores escolas atribuam notas menores aos seus professores porque possuíam grande expectativa em relação aos docentes. Esse tema será retomado um pouco mais adiante.
As outras variáveis, TI_e, Inglês_e, Dout_e e Raça_e, expressas em percentuais, medem a composição do corpo discente e do corpo docente das escolas. TI_e, Inglês_e e Raça_e medem, respectivamente, o percentual de respondentes que utilizam computadores com freqüência, o percentual de respondentes com fluência em inglês em cada escola e o percentual de respondentes das raças branca ou amarela em cada escola. Todas essas variáveis possuem um efeito significativo no desempenho médio dos respondentes de uma escola. Por exemplo, um aumento de um por cento na proporção de pessoas que utilizam computadores freqüentemente aumenta o desempenho médio dos respondentes da escola em respeitáveis 15 pontos. A fluência em inglês, também, possui um efeito significativo, em quase oito pontos. Da mesma forma, um aumento de um por cento na proporção de brancos e amarelos aumenta o desempenho dos respondentes daquela instituição em pouco mais de 11 pontos.
É importante lembrar novamente que a interpretação do efeito da língua inglesa e o do uso de tecnologia de informação é delicada e que, nesse momento, as informações disponíveis não permitem chegar a uma conclusão definitiva sobre a forma pela qual elas influenciam o desempenho dos alunos.
Na seção 7.1, “Apresentação das hipóteses de trabalho”, foram levantadas quatro possibilidades para explicar essa influência: situação socioeconômica, acesso a informação, visão de mundo e desenvolvimento de habilidades de aprendizado. As ações que os gestores devem implementar em suas instituições dependem de qual dessas explicações, ou combinação de explicações, é a correta. Na seção 9.1, “Resultados obtidos e contribuições do trabalho”, que apresenta sugestões de ações aos gestores, partir-se-á do princípio de que o efeito observado das variáveis inglês e TI é a resultante de todos os efeitos considerados. Portanto, serão propostas ações que visem atender a todas essas possibilidades.
Finalmente, a variável Dout_e mede o percentual de professores-doutores no corpo docente de uma escola. Aqui sim, existe uma relação positiva e de grande magnitude entre a capacitação de uma escola em termos da composição do corpo docente e o desempenho de seus formandos. Cada ponto percentual a mais na representatividade de doutores no corpo docente melhora o desempenho dos formandos em significativos quatro pontos.
Como conciliar os coeficientes das variáveis Docentes_e e Dout_e? Na realidade, elas medem coisas diferentes. A variável Docentes_e é uma escala somada que combinou duas perguntas:
1) Como é a disponibilidade dos professores do curso na instituição, para orientação extraclasse?;
2) Seus professores têm demonstrado domínio atualizado das disciplinas ministradas?, ao passo que a variável Dout_e mede a participação de professores- doutores no corpo docente.
Uma possibilidade é um cenário no qual alunos com forte preparo prévio, oriundos das melhores escolas de ensino médio, avaliem mal os professores das faculdades em que se formaram, apesar de o percentual de doutores no corpo docente dessas escolas ser relativamente elevado, porque tinham uma expectativa em relação à escola e aos professores muito elevada e difícil de ser cumprida. Esses alunos, provavelmente, teriam um bom desempenho no Provão porque têm acesso a condições privilegiadas dentro e fora da escola.
Por outro lado, alunos menos bem preparados e com expectativas menores avaliariam melhor um corpo docente com um percentual de doutores relativamente mais baixo. Esses alunos, provavelmente, teriam um desempenho inferior ao primeiro grupo, pois não têm acesso às mesmas condições de contorno. De fato, existe evidência para dar suporte a essa hipótese, conforme será demonstrado um pouco mais à frente, ainda nessa seção.
Deixando momentaneamente de lado a confusa interpretação da avaliação que os alunos fazem do corpo docente, as evidências permitem concluir que, do ponto de vista de gestão da instituição, existe um círculo virtuoso, cujo ponto de partida ainda é obscuro, entre um corpo docente com elevada participação de professores-doutores e o desempenho dos formandos.
O próximo passo é analisar os efeitos aleatórios associados às variáveis Competências_e, Docentes_e, TI_e, Inglês_e e Dout_e. Antes disso, no entanto, é importante esclarecer que o efeito aleatório para a variável CandVaga_e foi retirado do modelo final,
apesar de o gestor ter alguma influência sobre essa variável, porque o mesmo era muito próximo de zero.
Os efeitos aleatórios para as cinco variáveis mencionadas foram estimados para cada agrupamento estratégico. A Tabela 45 apresenta os resultados obtidos. A tabela deve ser interpretada da seguinte forma: para obter o coeficiente estimado para um determinado agrupamento, deve-se somar o efeito fixo da variável em questão ao efeito aleatório do agrupamento correspondente. Assim, para se obter o intercepto estimado para o agrupamento das Aspirantes deve-se somar 0.21 (o efeito aleatório correspondente) a -32.97 (o intercepto fixo global). O resultado final é -32.76, conforme demonstrado na tabela.
Iniciando a análise dos resultados pelo grupo das Líderes, para esse grupo foram estimados efeitos aleatórios positivos para o intercepto e para as variáveis Competências_e, TI-e e Inglês_e, o que significa que os efeitos dessas variáveis são ainda maiores nesse grupo.
Por exemplo, para uma escola líder, uma melhoria de um desvio-padrão na variável Competências_e aumentaria o desempenho dos formandos dessa escola 7.98 pontos, ao invés de 6.24, que é o efeito fixo associado à variável.
Já para as variáveis Docentes_e e Dout_e, os efeitos aleatórios estimados são negativos. No caso da variável Dout_e, que possui um coeficiente positivo, isso significa que o aumento na proporção de doutores no corpo docente de uma escola líder em um ponto percentual aumentaria o desempenho dos formandos em 4.51 pontos, ao invés de 4.82.
Porém, no caso da variável Docentes_e, cujo coeficiente é negativo, a interpretação não é tão simples. Novamente, a chave da questão está na expectativa que o respondente tinha em relação aos seus professores e aqui surge a evidência mencionada acima de que respondentes provenientes das melhores escolas de ensino superior, que também seriam provenientes das classes sociais mais abastadas e das melhores escolas de ensino médio, avaliariam menos generosamente os seus professores. O fato de que o coeficiente aleatório associado ao grupo das Líderes é negativo e é o maior em magnitude reforça a hipótese de que os melhores alunos possuem expectativa mais alta e, dessa forma, atribuem as piores avaliações aos seus professores.
Tabela 45 - Efeitos aleatórios previstos e coeficientes estimados para cada Grupo Estratégico
Grupo Estratégico Efeitos fixos
Seguidores Aspirantes Líderes Parâmetros EFEITOS FIXOS DE NÍVEL 1 EFEITOS ALEATÓRIOS DE NÍVEL 1 COEFICIENTE ESTIMADO EFEITOS ALEATÓRIOS DE NÍVEL 1 COEFICIENTE ESTIMADO EFEITOS ALEATÓRIOS DE NÍVEL 1 COEFICIENTE ESTIMADO Intercepto -32.97 -1.24 -34.21 0.21 -32.76 1.02 -31.95 Raça 0.53 0 0.53 0 0.53 0 0.53 Trajetória 0.49 0 0.49 0 0.49 0 0.49 Inglês 2.01 0 2.01 0 2.01 0 2.01 TI 4.88 0 4.88 0 4.88 0 4.88 Renda 2.02 0 2.02 0 2.02 0 2.02 EFEITOS FIXOS DE NÍVEL 2 EFEITOS ALEATÓRIOS DE NÍVEL 2 COEFICIENTE ESTIMADO EFEITOS ALEATÓRIOS DE NÍVEL 2 COEFICIENTE ESTIMADO EFEITOS ALEATÓRIOS DE NÍVEL 2 COEFICIENTE ESTIMADO Competências_e 6.24 -2.09 4.15 0.34 6.58 1.74 7.98 Docentes_e -2.92 1.22 -1.70 -0.16 -3.08 -1.06 -3.98 CandVaga_e 1.75 0 1.75 0 1.75 0 1.75 TI_e 15.49 -0.76 14.73 0.13 15.62 0.63 16.12 Inglês_e 7.88 -0.44 7.44 -0.05 7.83 0.49 8.37 Dout_e 4.82 0.60 5.42 -0.29 4.53 -0.31 4.51 Raça_e 11.27 0 11.27 0 11.27 0 11.27
Para o grupo das aspirantes, foram estimados três efeitos aleatórios positivos, para o intercepto e para as variáveis Competências_e e TI_e, o que também significa que essas variáveis têm seu efeito amplificado nesse grupo.
Os efeitos aleatórios estimados para os grupos Líderes e Aspirantes, embora sejam de magnitudes ligeiramente diferentes, apresentam semelhança quanto à direção do efeito, ou seja, os efeitos aleatórios desses dois grupos tendem a ter a mesma direção (Tabela 46). Por outro lado, os efeitos aleatórios previstos para o grupo Seguidores possui a direção contrária aos efeitos dos outros dois grupos.
Tabela 46 - Direção dos efeitos aleatórios estimados para cada agrupamento
Efeito aleatório Seguidores Aspirantes Líderes
Intercepto - + + Competências_e - + + Docentes_e + - - TI_e - + + Inglês_e - - + Dout_e + - -
É muito interessante que, para os seguidores, tenham estimados efeitos positivos para as variáveis relacionadas aos professores. Mais especificamente no caso da proporção de doutores no corpo docente, isso significa que os gestores dessas escolas conseguiriam uma melhoria no desempenho dos seus alunos maior do que as escolas dos outros grupos, caso adotassem a estratégia de aumentar a proporção de professores-doutores.