Resultados Factores determinantes do sucesso – Efeito escola

Na análise de regressão anterior ignorou-se o facto de os alunos da amostra pertencerem a escolas diferentes. Se a escola frequentada pelo aluno for um factor que potencialmente afecta os resultados escolares dos alunos, então esse factor não deverá ser ignorado na análise. A forma mais adequada de incluir o factor escola na regressão é através de um modelo multinível que considera a estrutura hierárquica dos dados, no nosso caso hierarquizados em dois níveis (nível 1 – alunos e nível 2 – escolas). Neste estudo foi utilizado o SPSS para produzir os resultados do modelo de regressão multinível seguindo Albright e Marinova (2010). Detalhes sobre a modelação multinível podem ser encontrados em Raudenbush and Bryk (2002) e Goldstein (1995). A aplicação de um modelo de regressão multinível implicou duas etapas. Primeiro fez-se uma Análise de variância com 1 factor (factor escola considerado aleatório) para determinar se existe ou não efeito escola (a este modelo chama-se também modelo nulo ou modelo vazio). Desta análise, resultou a consideração de efeito escola estatisticamente significativo para a disciplina de Língua Portuguesa

no 9º ano. A magnitude deste efeito medida como a proporção da variância total que está associada à variância entre escolas (correlação interclasses) é no caso da disciplina de português de 9.8% para o 9º ano.

Tendo-se concluído para a existência do efeito escola na primeira etapa, estimamos na segunda etapa o modelo multinível introduzindo no modelo variáveis do aluno e da escola que condicionam os resultados escolares dos alunos. As variáveis ao nível do aluno que se introduziram são aquelas que se usaram nos modelos de regressão analisados no ponto anterior, e as variáveis ao nível da escola foram aquelas que se revelaram relevantes (tendo-se considerado médias das variáveis ao nível do aluno calculadas ao nível da escola). Depois de explorar várias alternativas, optou-se por um modelo de efeitos fixos para analisar o efeito individual de cada escola. Na ¡Error! No se encuentra el origen de la referencia. mostram-se as estimativas da variância obtidas nos modelos multinível estimados para a disciplina de Português.

Tabela 5. Estimativas da variância no modelo final estimado para a disciplina de Português

Estimativa Desvio padrão Wald Z Sig Ri2

9ºano Variância residual (σ2

r) _{.364191 .011898 30.609 .000 35.2%}

Variância entre-escolas (σ2

u0) _{.026490 .011624 2.279 .023 56.63%}

-2 Restricted Log Likelihood

3603.837

Com a introdução de novas variáveis no modelo (relativamente ao modelo nulo) a variância entre as escolas e a variância entre alunos diminuíram. Assim, a correlação interclasses (ou percentagem da variância total que é explicada pelo factor escola) alterou-se de 9.8% para 6.78%. A consideração das características do aluno veio diminuir o efeito escola no caso do 9º ano. Apresentam-se na ¡Error! No se encuentra el origen de la referencia. valores de R1

2

e R2 2

(última coluna). Estes valores significam a percentagem de variância (residual ou entre-escolas) que se conseguiu reduzir do modelo nulo (em que não se consideram variáveis ao nível do aluno) para o modelo actual (em que se consideram variáveis adicionais a explicar os resultados escolares). Assim, podemos dizer que a introdução de variáveis adicionais no modelo permitiu explicar 35,2% da variância total encontrada nas notas dos alunos a português no 9º ano. Os coeficientes estimados no modelo de regressão multinível mostram-se na Tabela 6.

Tabela 6. Modelo final para a disciplina de Português, 9º ano

Parameter Std. Error Estimate df t Sig.

Intercept .038758 2.9317 14.483 75.641 .000

Conf. Parental - aluno .009822 .039996 1875.638 4.072 .000

Conf. Material - aluno .021682 -.043243 1874.752 -1.994 .046

Sexo - aluno .028737 .301392 1881.833 10.488 .000

FEport - aluno .013018 -.024167 1875.383 -1.856 .064 FE - aluno .031313 -.078208 1879.559 2.498 .013 CRV- aluno .002992 .023142 1874.328 7.735 .000 CRN - aluno .002721 .010824 1874.119 3.979 .000 CRA - aluno .002195 .007348 1874.842 3.348 .001 CRV - escola .015843 .037332 15.352 2.356 .032

Conf. Cultural - escola .048250 .199971 18.118 4.144 .001

Há duas variáveis da escola que influenciam os resultados dos alunos no 9º ano no exame de Português: as competências de raciocínio verbais médias da escola e o conforto cultural médio da escola. As estimativas destes parâmetros indicam que alunos com características semelhantes, em escolas onde em média os alunos apresentem maiores competências de raciocínio verbal e venham de famílias com um nível sociocultural superior tendem a apresentar as notas no exame nacional de português superiores. É também interessante verificar que as variáveis ao nível do aluno são todas estatisticamente significativas para explicar as notas dos exames nacionais no 9º ano, excepto a variável que diz respeito à intensidade das explicações (mas não a variável relativa à sua frequência).

Os efeitos de cada escola da nossa amostra foram estimados como a média dos resíduos (rj) em cada

escola j.Esta média foi ajustada seguindo o procedimento em Raudenbush and Byrk, (2002) ou Goldstein, (1995) para se entrar em conta com o número de alunos em cada escola. Os resultados desta análise permitem-nos estimar o efeito individual de cada escola ou o seu VA. Os valores médios de VA para cada escola da amostra apresentam-se no Gráfico 1 juntamente com os limites inferiores e superiores do intervalo de confiança construído para cada escola.

Gráfico 1. Efeito escola (VA) na disciplina de português do 9º ano

Podemos ver que para a disciplina de Português no 9º ano a maior parte das escolas apresenta valores de VA muito próximos de zero. As excepções são a escola 14 e 85 com valores de VA bastante acima do

esperado (de notar que só se usaram 18 alunos da escola 14 com uma taxa de cobertura de 75%), e as escolas 54 e 88 com valores bastante abaixo de zero.

7. Conclusões

Neste estudo analisamos um conjunto de factores e o seu impacto nas classificações dos alunos (onde demos particular ênfase à disciplina de Língua Portuguesa no 9º ano) através de uma análise de regressão simples e de uma análise de regressão multinível. Os resultados obtidos revelam que o “histórico” do aluno é a variável que mais fortemente se relaciona com os resultados escolares dos alunos (sendo que isto é válido para todas as duas disciplinas analisadas e para os dois anos de escolaridade). Relativamente ao fenómeno das explicações parece-nos poder concluir que os alunos do 9º ano que têm explicações obtêm piores resultados nos exames nacionais da disciplina de Língua Portuguesa (sendo isto também verdade no de matemática), indiciando que neste ano de escolaridade recorrem a explicadores os alunos menos proficientes nestas disciplinas. Ao nível do 12º ano a evidência é contrária, indiciando que as explicações contribuem neste ano para melhorar os resultados escolares dos alunos.

De notar que as variáveis ao nível do aluno parecem explicar uma percentagem inferior a 50% (35.6% no caso analisado neste artigo) da variabilidade nos resultados escolares. Tal significa que outros factores não considerados na análise permitem explicar a restante variabilidade. Investigação futura deverá portanto tentar procurar factores adicionais, ou diferentes medidas para os factores considerados neste estudo, que expliquem os resultados escolares dos alunos. De relevar o facto do factor escola permitir explicar uma parte da variabilidade encontrada (cerca de 7% para o caso da disciplina de Português), sendo que no estudo das outras disciplinas/anos de escolaridade concluímos para um efeito escola semelhante, excepto para o caso da matemática no 12º ano onde a nossa análise revelou ausência de efeito escola.

Este estudo apresenta uma importante contribuição para a literatura nacional na medida em que agrega simultânea e nominalmente, por aluno e por escola, um conjunto de variáveis, consideradas na literatura como as mais influentes nos resultados escolares, com destaque para as explicações, para as condições socioeconómicas e culturais dos alunos e para o seu percurso escolar prévio. É ainda um estudo que permitirá, do ponto de vista das políticas educativas, aumentar o conhecimento sobre os factores que mais têm impacto nos resultados escolares dos alunos, o que representa um ponto de partida na antecipação de problemas e a na eficiência da gestão do percurso escolar dos alunos, o que se comprova pelo elevado poder explicativo da variável “histórico” nesta investigação.

8. Bibliografia

Albright, J.J. and Marinova, D.M. (2010), Estimating Multilevel Models using SPSS, Stata, SAS, and R, artigo disponível online em http://www.iub.edu/statmath/stat/all/hlm/hlm.pdf (consultado pela última vez em 20 Fev. 2011).

Almeida, Leandro S.; Primi Ricardo (2004). Perfis de Capacidades Cognitivas na Bateria de Provas de Raciocínio (BPR-5). Psicologia Escolar e Educacional, Vol. 8 Nº 2, pp 135-144

AVES-Programa. (s.d.). Avaliação de Escolas com Ensino Secundário. Vila Nova de Gaia: Fundação Manuel Leão.

Azevedo Joaquim (Ed.), Avaliação de Escolas. Programa AVES. Porto: Fundação Manuel Leão. Azevedo, J. (2011), Liberdade e Política Pública de Educação, Ensaio sobre um novo compromisso social pela educação. Fundação Manuela Leão.

Costa, Jorge A.,Ventura, Alexandre & Neto-Mendes, António (2003). “As explicações no 12º Ano – contributos para o conhecimento de uma actividade na sombra”. Revista Portuguesa de Investigação Educacional, Vol. 2/2003, pp. 55-68.

Ferrão, M. (2009). Sensivity of value added model specifications: Measuring socio-economicstatus. Revista de Educacin, 348:137–152.

Ferrão, M. and Goldstein, H. (2009). Adjusting for measurement error in the value added model: evidence from Portugal. Quality and Quantity, 43:951–963.

Goldstein, H.(1995), Multilevel statistical models, 2nd Edition, Arnold Publisher, London.

Justino, David (2010) O Difícil é Educá-los, Porto, Fundação Francisco Manuel dos Santos (CIT). Hanushek, E. (1986). The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, XXIV:1141–1177.

Laros J. A. e Marciano, J.L.P. (2008) Análise Multinível aplicada aos dados NELS:88, Estudos em avaliação educacional, 19/40, 263-278.

Lima, J., A. (2008). Em busca da boa escola. Instituições eficazes e sucesso educativo. Ed. Fund. Manuel Leão.

Medina, J.P. (2010). El efecto Escuela. Más Allá del Aula. REICE (2010), Vol.9, Número 1.

Oliveira, M. A. and Santos, C. (2005). Assessing school efficiency in Portugal using FDH and bootstrapping. Applied Economics, 37:957–968.

Perrenoud, Philippe (2003c). Dez princípios para tornar o sistema educativo mais eficaz, In Azevedo, Joaquim (coord.), Avaliação dos resultados escolares, Porto: Asa, pp. 103-126.

Portela, C., Camanho, A., Azevedo, J. (2007). Análise do valor acrescentado de escolas portuguesas. Revista Portuguesa de Investigação Educacional, nº5, p. 43-168.

Portela, M. and Camanho, A. (2010). Analysis of complementary methodologies for the estimation of school value-added. Journal of the Operational Research Society, 61:1122–1132.

Portela, M.C.A.S, Guerreiro, Sandra. Cálculo do Valor Acrescentado no Programa Aves

Duarte, et al, (GEPE), 2008, OTES: Observatório dos Estudantes à Entrada do Secundário, Gabinete de Estatística e Planeamento da Educação.

Raudenbush, S.W. and Bryk, A.S. (2002), Hierarchical linear models: Applications and data analysis methods, second edition, Sage Publications.

Sarrico, C., Rosa, M., and Coelho, I. (2010). The performance of portuguese secondary schools: an exploratory study. Quality Assurance in Education, 18(4):286 –303.

Sarrico, C. and Rosa, M. (2009). Measuring and comparing the performance of Portuguese secondary schools: A confrontation between metric and practice benchmarking. International Journal of Productivity and Performance Management, 58(8):767 –786.

Serrão, A., Ferreira, C., Sousa, H. (2010), PISA 2009 – Competências dos alunos portugueses, Lisboa: GAVE

Torrecilla, Murillo, Quiénes son os Responsables de los Resultados de las Evaluaciones? REICE (2010), Vol.8, Nº 4.

Verdasca, J. (2005), Análises de fluxos e produtividade educacional, Revista Teoria e Prática da Educação, v.S,n.2,p.263-269,maio/ago.2005.