Descrição da metodologia de análise

Para a análise da relação entre clima escolar e desempenho médio da escola, foi utilizado um conjunto de técnicas, em diversas etapas, que permitiu obter sucessivos resultados intermediários e, ao final, esclarecer a natureza da relação existente.

Do ponto de vista metodológico, este estudo está alinhado com a abordagem adotada nos trabalhos já realizados pela equipe do CAEd (FERNANDES e SOARES, 2010) pela qual, apenas um único indicador e uma única etapa não são capazes de sintetizar apropriadamente os processos comportamentais da escola. Então, o processo que aqui se adota envolve um conjunto de técnicas e fases para a obtenção de resultados intermediários por meio dos quais será realizada a análise da relação entre o clima escolar e o desempenho escolar.

3.2.1Confirmação do modelo teórico

A primeira etapa visava estabelecer a confirmação do modelo teórico do clima escolar previamente elaborado por meio da Análise Fatorial (AF), observando as correlações entre as respostas relativas ao clima escolar nas assertivas do questionário contextual aplicado aos alunos.

A análise fatorial é uma técnica de dados multivariados, cujo principal objetivo é tentar explicar as inter-relações entre as variáveis observadas, por meio do menor número de variáveis não observáveis, de tal forma que seja possível descrever uma grande parte da variabilidade dos dados. Na análise fatorial, utilizou-se um conjunto de variáveis aleatórias não observáveis, chamados fatores comuns, de forma que todas as covariâncias ou correlações são explicadas por esses fatores. Qualquer outra parte da variância não explicada pelos fatores comuns é atribuída aos termos de erros residuais que são chamados de fatores únicos ou específicos.

74

Esse tipo de análise teve suas origens nos trabalhos de Spearman, no início do século XIX (HAIR e ANDERSON, 2005), com o objetivo de explicar as correlações entre os resultados dos testes obtidos por um grupo de alunos em diferentes disciplinas, cujos resultados apontaram para a existência de um fator comum a todos os resultados. A análise desenvolvida proporcionou uma medida de inteligência dos alunos, que explicava as altas correlações, e outro fator, específico de cada aluno, que era o responsável pela parte residual dos resultados dos testes.

Para os fins desta pesquisa, o primeiro passo foi o cálculo de uma matriz de correlação das variáveis observáveis para examinar o grau de associação entre essas variáveis. Uma vez confirmada a associação das variáveis, o passo seguinte foi extrair os fatores que mais caracterizam os dados e, assim, criar o modelo que melhor representava o comportamento da população pesquisada. É importante ressaltar que a análise fatorial tem dois fins: o exploratório e o confirmatório. O exploratório tem como objetivo caracterizar o número de fatores representados pelos dados. A confirmatória é utilizada para confirmar os fatores que já estão explicitados a priori. A análise fatorial confirmatória é o caso desta pesquisa que buscava confirmar se as respostas atribuídas às assertivas do questionário contextual podem ser explicadas pelos construtos ou fatores latentes definidos pelas cinco dimensões do clima escolar demonstrados na Figura 2. O que se examina neste caso era o objetivo de construir um indicador unidimensional para o clima escolar, que será apresentado posteriormente.

Na Figura 3 demonstra-se um exemplo teórico da Análise Fatorial Confirmatória. As letras X’s são as variáveis observadas (itens do teste), os erros de medição por “e”, e os fatores latentes ou não observados por A e B. A hipótese a testar é que as variáveis X1 X2 X3 X4 e X5 podem ser explicadas pelo fator A, e X6, X7, X8,

y X9 que medem o fator B; ambos os fatores covariam, e os erros de medida são

75 FIGURA 3 Exemplo de um modelo de representação de análise fatorial confirmatória

FONTE: Arias, 2008, p.1.

Essa análise fatorial permitiu avaliar as correlações entre as respostas atribuídas às 16 assertivas do questionário contextual com os constructos (fatores latentes), não observados diretamente, mas definidos por meio das cinco dimensões do clima escolar. Para confirmar o modelo proposto, utilizou-se o software de LISREL (Linear Structural Relations), versão 8.53 e foram obtidos os resultados apresentados na Figura 4.

Os valores apresentados na penúltima coluna, da Figura 4, são os coeficientes de correlação de cada assertiva com as demais assertivas da mesma dimensão e refletem a contribuição de cada dimensão à composição do construto clima escolar.

76 FIGURA 4 - Resultados da análise fatorial confirmatória do modelo de clima escolar

FONTE: Elaboração própria.

Esses resultados mostram que o modelo é valido, com 10 das 16 assertivas apresentando correlação acima de 0,70% e somente quatro dessas com correlação próxima de 0,50%. As correlações mais expressivas apresentam-se nas assertivas de número 25 - da dimensão Aprendizagem e desenvolvimento, 36 - da Dimensão Pertencimento e inclusão e 37, da Dimensão Satisfação e motivação.

Ou seja, os sentimentos de estar sendo bem cuidado e valorizado na escola e o orgulho de fazer parte dela, de pertencer ao time, são muito fortes como indicativos de um bom clima escolar. Esses sentimentos são reforçados pela percepção dos alunos sobre a existência de oportunidades interessantes de

77

aprendizagem e o sentimento de gostar de estudar na escola e de que vale a pena nela estudar.

A assertiva de número 24 da dimensão Aprendizagem e desenvolvimento e as 30 e 31 da dimensão Convivência e relacionamento apresentam as menores correlações, mas isto não invalida o modelo. As demais superam esse percentual, apresentando boa correlação estatística entre as assertivas e a dimensão.

A confirmação do modelo teórico do clima escolar é uma das contribuições desta pesquisa porque esse conceito passou a ser adotado pelo CAEd nas avaliações dos sistemas estaduais e municipais de ensino16 e permitirá identificar os aspectos do clima escolar que precisam ser melhorados nas escolas, por meio das dimensões descritas.

3.2.2 Construção do indicador unidimensional do clima escolar

Após a confirmação dos componentes do modelo teórico, partiu-se para a segunda etapa da análise que envolveu a construção do indicador unidimensional do clima escolar utilizando a escala de medição para a construção dos escores. Foi considerada a escala de medição das assertivas sobre o clima escolar utilizadas no questionário contextual. No caso desta pesquisa, o nível de medição das respostas é ordinal porque no questionário dos alunos, o nível de concordância com as assertivas varia de 4, para concordo muito até 1 para discordo muito, como dito anteriormente. Nesse caso, a indicação é utilizar o Modelo de Respostas Graduadas da Teoria da Resposta ao Item (TRI), por dispor de vantagens sobre a Teoria Clássica dos Testes (TCT). Como por exemplo, enquanto a TCT incorpora uma série de pressupostos não passíveis de serem testados, o modelo da TRI oferece possibilidade de contar com modelos cujos

16 _{Atualmente o Caed avalia os sistemas educacionais dos Estados: Acre, Alagoas, Amazonas,}

Bahia, Ceará, Espírito Santo, Goiás, Minas Gerais, Mato Grosso do Sul, Paraíba, Pernambuco, Piauí, Rio de Janeiro, Rio Grande do Sul, Rondônia e Paraná. E dos municípios de Belo Horizonte e Campo Grande.

78

pressupostos são passíveis de serem testados empiricamente (ANDRADE et al., 2000).

O modelo proposto considera cada assertiva do questionário contextual do clima escolar para gerar o escore fatorial associado a cada aluno. Com os escores gerados, calcula-se a média. Em seguida, é feita a agregação para cada escola, o que resulta em um valor para o clima escolar de cada uma delas. Finalmente, esses valores de clima escolar são separados em faixas, para facilitar a interpretação. O critério de separação em faixa se baseou na otimização da relação entre o Indicador do clima escolar e a classificação das escolas segundo seu desempenho (FERNANDES et al., 2010), procedimentos que serão abordados mais à frente.

3.2.3 Elaboração do indicador de desempenho

Para estimar o desempenho da escola foi utilizada a proficiência escolar. A proficiência escolar nas avaliações educacionais é uma medida que representa um determinado traço latente (aptidão) de um aluno. Assim sendo, podemos dizer que o conhecimento de um aluno em determinada disciplina é um traço latente que pode ser medido através de instrumentos compostos por itens elaborados a partir de uma matriz de habilidades (CAED, 2013).

A “ferramenta” utilizada para calcular a proficiência foi a Teoria da Resposta ao Item – TRI, sendo caracterizada por um conjunto de modelos matemáticos, no qual a probabilidade de acerto a um item é estimada em função do conhecimento do aluno. Podemos destacar duas das principais características dessa metodologia, que a tornaram tão empregada na área educacional: 1) construção e 2) interpretação de uma escala de conhecimento. Neste estudo utilizamos a média da proficiência dos alunos de cada escola avaliada para relacionar o desempenho escolar e o indicador de clima da escola.

79 3.2.3.1 Construindo um único indicador do desempenho dos alunos

Com os resultados do teste de proficiência para cada disciplina avaliada, precisa- se construir um único valor de desempenho do aluno da escola que considere os resultados de Língua Portuguesa e de Matemática.

Para facilitar a interpretação do desempenho dos alunos das escolas, optou-se por uma subdivisão de grupos, considerando de forma conjunta os resultados de Matemática e Língua Portuguesa.

O modelo que parecia mais indicado para esse agrupamento foi o Modelo de

Cluster Latente, o qual pressupõe que as escolas se dividem em determinado

número de grupos latentes excludentes e exaustivos. Dentro de cada grupo latente construído, as variáveis manifestam-se estatisticamente independentes, pelo que a relação entre elas é dada exclusivamente pela pertinência da escola a um grupo latente em particular. Além disso, a análise de cluster latente tem como base um modelo probabilístico, pressupondo que os dados são gerados a partir de uma combinação de distribuições de probabilidade subjacentes. No caso desta pesquisa optamos por determinar o agrupamento em três clusters a ser explicado na seção 3.2.4.1.

3.2.3.2 Cálculo do índice socioeconômico do aluno

Para o cálculo do indicador de desempenho é necessário o cálculo do indicador socioeconômico do aluno. O cálculo do Índice Socioeconômico (ISE) do aluno realizado pelo CAEd e utilizado nesta pesquisa, tem uma metodologia e escala próprias, em virtude das características específicas da população de alunos avaliados na ocasião do PROEB17_{. O CAEd utiliza a Teoria da Resposta ao Item,}

17 _{Para mais informações favor consultar o artigo Utilização da teoria da resposta ao item na}

produção de indicadores socioeconômicos de Tufi Machado Soares publicado na Revista Brasileira de Pesquisa Operacional volume 25 nº1 – Rio de Janeiro, disponível no Scielo.

80

segundo o modelo de respostas graduadas de Samejima18_{, para o cálculo desse}

indicador de ISE. Com a utilização desse modelo, conseguimos distinguir alunos que apresentem diferentes níveis de respostas a uma mesma variável, como, por exemplo, diferentes quantidades de um mesmo bem de consumo. As perguntas utilizadas para o cálculo do ISE tratam da posse de bens de conforto, informações sobre a moradia do aluno, itens associados a hábitos de caráter cultural, escolaridade da mãe ou responsável e o recebimento ou não de benefício social, como o Programa Bolsa Família. Essas informações são obtidas por meio de questionário contextual aplicado aos alunos avaliados.

Uma vantagem do modelo utilizado é que, se um determinado item significa pouco para a discriminação do sujeito na escala social, o modelo, pela sua própria constituição, é capaz de diminuir a importância desse item no cálculo do escore geral obtido pelo respondente.

3.2.4 Otimização do agrupamento dos resultados do indicador do clima escolar Na seção 3.2.2, foi apresentada a construção do Indicador Unidimensional do Clima Escolar. No entanto, é preciso ter cautela para não gerar dados que não sejam explicativos e interpretáveis. Assim, fez-se necessário utilizar algum critério de otimização que podia ser correlacionado com outro indicador escolar. Nesse caso, trabalhou-se com o cluster de desempenho da escola, por ser mais conhecido, além de mensurável e interpretável de forma direta.

Uma das formas de determinar a relação entre os dados do clima escolar e os

clusters de desempenho da escola é pela Técnica de Escalonamento

Multidimensional. De acordo com Linares (2001) e Guerreo e Ramírezs (2002),

18 _{O Modelo de Samejima (1969) foi criado para analisar itens politômicos ordinais. Ele pressupõe}

que as alternativas das respostas encontrem-se ordenadas desde uma menor para uma maior proximidade com um objeto atitudinal. Este modelo, tenta obter mais informação das respostas dos indivíduos do que simplesmente saber se eles deram respostas corretas ou incorretas, segundo Andrade et al. (2000).

81

essa técnica está composta por métodos que explicitam a estrutura dos dados de maneira espacial, facilitando sua inspeção, análise e interpretação de forma prática.

Para esta pesquisa, utilizou-se o indicador de clima escolar para cada escola como objeto e as dimensões que foram constituídas pelos três clusters de desempenho da escola, os quais foram medidos e interpretados (baixo, médio e alto desempenho).

3.2.4.1 O escalonamento multidimensional

O procedimento para realizar o escalonamento multidimensional precisa definir certos conceitos básicos. Os primeiros referem-se ao termo objeto - pode referir- se a uma coisa, indivíduo e/o evento; e similaridade–dissimilaridade–distância - medida de semelhança que permitem expressar numericamente o vínculo entre o objeto e sua nova realocação numa configuração diferente. Os demais conceitos dizem respeito aos procedimentos para atingir uma configuração de pontos que reflete as similaridades observadas e suas novas realocações.

O ponto de início para o procedimento metodológico do escalonamento é definir uma matriz de dissimilaridade entre “n” objetos, com um elemento denominado ij,

isto é, na fila i e na coluna j, que representará a dissimilaridade do objeto i ao objeto j. Da mesma forma, fixa-se o número de dimensões, “p”, para realizar a análise espacial dos objetos em uma solução específica.

Uma vez definidas a matriz e a dimensão, seguidamente faz-se um arranjo dos “n” objetos na configuração inicial de “p” dimensões. Isso significa supor que as coordenadas do objeto no espaço são (x1, x2, ..., xp).

O passo seguinte é calcular as distâncias entre os objetos dessa configuração. Assim, calcularam-se os dij, que são as distâncias entre o objeto i e o objeto j.

82

definidos, estimou-se uma função de regressão (por exemplo: linear, polinomial ou monótona) e, logo, os parâmetros são estimados por um método de estimação mais indicado. Com os parâmetros estimados obtém-se o que, geralmente, é denominado como disparidade ( ). Finalmente, por meio dos procedimentos estatísticos adequados, mede-se o ajuste entre as distâncias da configuração e as disparidades (GUERREO e RAMÍREZ, 2002).

O resultado final dessa análise proporcionará as coordenadas dos “n” objetos projetados nas “p” dimensões. O espaço dessa dimensão pode ser conceitualmente interpretável e utilizado para entender melhor os dados. Dessa forma, o escalonamento, além de representar em um espaço geométrico um reduzido número de dimensões, as proximidades que existem entre um conjunto de elementos, também é útil como técnica de redução de dados.

No caso deste trabalho, foi utilizado o indicador de clima escolar para cada escola como objeto, e as dimensões foram constituídas pelos três clusters do desempenho escolar, os quais foram medidos e interpretados (baixo, médio e alto desempenhos). O resultado mostrou uma representação do clima escolar de cada escola em um espaço menor, com uma dimensão de três valores, o qual ajudou a entender os dados. Dessa forma, a nova classificação do clima escolar passou a ser: satisfatório, médio e insatisfatório. Essas informações permitiram estabelecer a relação desse indicador com o desempenho escolar, definido pela proficiência média dos alunos de cada escola.

É importante ressaltar que essa elaboração do indicador de clima escolar é um procedimento novo, pelo menos para esta pesquisa, então optamos por adotar a nomenclatura do clima escolar como satisfatório, médio e insatisfatório por estarmos examinando a sensação e a percepção dos alunos sobre este aspecto da escola. Neste caso eles percebem e sentem que o clima escolar satisfatório ou não tão satisfatório como gostariam que estivesse. E, também, porque algumas pesquisas de clima organizacional já adotaram essa mesma nomenclatura.

83

Para a realização dessa análise foi utilizado o programa SPSS, que é um software estatístico inicialmente implementado para as ciências sociais, mas na atualidade é um software importante para tomada de decisão nas estatísticas básicas e avançadas, pois transformam os dados em informações importantes. Essas etapas estatísticas feitas alinham-se a outros trabalhos realizados no sentido de estabelecer correlações entre o desempenho e outra variável já analisada pelo CAEd.

3.2.5 Estudo para compor o indicador de desempenho

Para o cálculo do indicador de resultado educacional, que favorecesse qualificar os atributos relacionados à aquisição de conhecimento e habilidades importantes que os estudantes alcançam na escola, foi necessário procurar uma medida que permitisse considerar, não apenas os conhecimentos e habilidades, mas também as próprias características do aluno e do contexto em que a escola está inserida. Nesse sentido, esta pesquisa procurou utilizar um indicador de resultado educacional de fácil obtenção, elaboração, disponibilidade, confiável e que fosse capaz de identificar as características e particularidades da escola. Entre os indicadores avaliados para descrever o resultado educacional, encontram-se o valor agregado, o abandono escolar e o desempenho médio do aluno na escola. Para a construção do indicador de resultado educacional que permitisse verificar o desempenho escolar, tentou-se primeiramente construir um indicador de valor agregado, que já é utilizado nesse tipo de análise e cujo cálculo pode ser feito mediante a diferença entre o desempenho observado, ou seja, as médias de desempenho dos alunos, e o desempenho esperado ou estimado para aquela escola, controlando o background familiar dos alunos.

No entanto, como as informações do banco de dados que estávamos utilizando são provenientes de dados de corte transversal, levantados em um só ponto no tempo, a medida de valor agregado foi pouco informativa. A alta correlação entre a medida e o nível socioeconômico dos alunos inviabilizou seu aproveitamento. A

84

mais indicada nesse tipo de análise seria uma medida longitudinal, com duas ou mais medidas para os mesmos alunos ao longo de um período de tempo. Dados que não possuíamos.

O outro indicador de resultado educacional que se poderia utilizar seria a taxa de abandono. Embora esse possa ser considerado um indicador educativo para avaliar o processo de ensino e aprendizagem do aluno, é uma variável com pouca variabilidade e poder discriminatório. Nesse indicador também há o fator de não poder ser vinculado diretamente à escola. O aluno pode abandonar a escola por vários motivos de ordem pessoal não diretamente vinculados ao desempenho da escola.

Isso posto, o desempenho escolar, calculado por meio da proficiência escolar que mensura os conhecimentos e habilidades dos alunos, nos testes de Língua Portuguesa e de Matemática, foi o que melhor representou os resultados educacionais dos alunos que estão inseridos na diversidade do contexto escolar. Este foi o indicador utilizado nesta pesquisa.