Avaliação educacional aplicando análise envoltória de dados e apoio multicritério à decisão

(1)

Avaliação educacional aplicando análise envoltória de dados e apoio multicritério à decisão

Felipe Alves Martins (UFF) felipealvesmartins@yahoo.com.br João Carlos Correia Baptista Soares de Mello (UFF) gmajcsm@vm.uff.br

Resumo

Este artigo propõe uma medida de eficiência educacional utilizando a análise envoltória de dados (DEA) como ferramenta multicritério de apoio à decisão. Dois modelos de DEA são comparados: o modelo puro e o modelo com restrições totais aos pesos, estabelecidos através do método MACBETH. Cinco unidades da federação são avaliadas segundo critérios de resultados alcançados e insumos utilizados com o objetivo de contribuir para o processo decisório da alocação de recursos na educação.

Palavras chave: DEA, Avaliação educacional, Multicritério.

1. Introdução

Nos últimos anos, observa-se uma série de esforços para aumentar o nível de educação da população brasileira. Alguns exemplos de medidas adotadas são a criação de novas escolas públicas, melhorias em sua infra-estrutura, aumento do número de professores, incentivos para criação e expansão de escolas particulares, entre outros. Pontuais ou de âmbito geral, em maior ou menor escala, essas medidas consomem o orçamento do governo para a educação e, por isso, devem ser avaliadas quanto a sua eficiência.

Para acompanhar o progresso desses esforços foram criados o Sistema Nacional de Avaliação da Educação Básica (SAEB) e o Sistema Nacional de Avaliação da Educação Superior (SAES). O SAEB é composto por dois instrumentos: provas, pelas quais é medido o desempenho dos alunos em Língua Portuguesa e Matemática, e questionários, pelos quais são coletadas informações sobre alunos, professores, diretores e escolas. O SAES é composto pelo Exame Nacional de Cursos (mais conhecido como Provão), pelo Censo da Educação Superior, pela Avaliação Institucional e pela Avaliação das Condições de Ensino. Esses dois sistemas levam em conta não apenas os resultados obtidos pelos alunos após o processo educacional, mas também as condições e os recursos disponíveis para alcançá-los.

Entretanto, não há publicações que mostrem a eficiência educacional no Brasil em números.

Este artigo propõe um método de avaliação quantitativa multicritério que permita comparar, através de um ranking, a eficiência educacional das Unidades da Federação (UFs) e, assim, contribuir para a decisão de alocação de recursos para a educação. É utilizada a Análise Envoltória de Dados (Data Envelopment Analysis – DEA) como ferramenta de auxílio multicritério à decisão (Multicriteria Decision Aid – MCDA) de modo a calcular a eficiência da educação de Ensino Médio em cinco estados brasileiros. Devido a sua fraca discriminação em problemáticas de ordenação, como já colocado por Soares de Mello et al (2001), o modelo original de DEA é comparado com um método que atribui restrições totais aos pesos.

2. Auxílio Multicritério à Decisão e Análise Envoltória de Dados

Os métodos de Auxílio Multicritério à Decisão possuem, geralmente, duas fases: uma fase de estruturação do problema e outra de avaliação. Na primeira, cabe ao decisor definir o

(2)

avaliação consiste em avaliar as alternativas segundo os pontos de vista (critérios) estabelecidos. Neste trabalho, por conveniência, um dos autores assume o papel do decisor.

Segundo Roy e Bouyssou (1993) apud Soares de Mello et al (2002a), a escolha dos critérios deve obedecer ao três axiomas de Roy:

− Exaustividade: Todos os aspectos do problema devem ser contemplados pelos critérios estabelecidos. Um conjunto de critérios não é exaustivo se duas alternativas com características iguais ainda puderem ser diferenciadas de alguma maneira. Esta condição leva a um aumento do número de critérios;

− Coesão: Significa saber escolher adequadamente os critérios de maximização e minimização;

− Não-redundância: A investigação não deve ser conduzida por critérios redundantes. A condição é satisfeita quando não é mais possível excluir critérios sem afetar as duas primeiras condições.

A Análise Envoltória de Dados (DEA) é um método de avaliação da eficiência de unidades produtivas, considerando os recursos (inputs) e os resultados alcançados (outputs), criado por Charnes et al (1978). Ela determina ainda a melhor combinação de pesos que maximiza a combinação linear dos inputs e outputs, sujeita a restrições convenientes. Vários autores defendem o uso de DEA como ferramenta multicritério, sendo que em Soares de Mello et al (2001) é feita uma revisão desse uso. Utilizando assim o método, os critérios a minimizar são os inputs e os critérios a maximizar são os outputs.

Os modelos DEA clássicos consideram total liberdade de atribuição de pesos. Em Soares de Mello et al (2002b) é mostrado como usar o programa de multicritério MACBETH (Bana e Costa & Vansnick, 1995) para impor restrições aos pesos, através de uma região de segurança do tipo 2. Se o modelo DEA for usado com pesos fixos, ele ainda manterá as características de medida de eficiência, mas se comportará como método multicritério da Escola Americana.

A fim de determinar pesos com o método MACBETH, é usada uma escala semântica e o decisor confere graus de atratividade aos critérios para que o software estabeleça, por programação linear, os pesos e os intervalos em que é possível variá-los sem afetar a consistência da análise. A descrição detalhada do método não é objeto deste trabalho, mas pode ser encontrada em Soares de Mello et al (2002a).

3. Fase de estruturação

Foram selecionadas cinco UFs cujos dados estavam à disposição no momento do estudo:

Bahia, Rio de Janeiro, Santa Catarina, São Paulo e Tocantins.

Quanto aos pontos de vista, é importante ressaltar a importância para o cálculo da eficiência de comparar resultados alcançados (outputs) com recursos disponíveis (inputs). Abaixo, segue a descrição dos critérios escolhidos.

3.1. Critério 1: Média dos resultados obtidos no exame do SAEB

O exame do SAEB verifica o nível de instrução dos estudantes de todo o país segundo um mesmo padrão e, por isso, é um bom critério de output para comparação de resultados. As informações obtidas nos relatórios do SAEB (2002) correspondem ao percentual de alunos em vários níveis de proficiência (i) nas provas de Língua Portuguesa (t = 1) e de Matemática (t = 2). O cálculo da nota de cada prova (N) é feito pela fórmula (1):

(3)





=

= + =

⋅

=

∑

= 10, 2

1 ,

8

1 2

min max

t se x

t se n x

p n

N ^x

i

i i i

t (1)

− pi : percentual de alunos que obtiveram nível de proficiência i;

− nimax : nota máxima no nível de proficiência i;

− nimin : nota mínima no nível de proficiência i;

− x : número de níveis de proficiência.

Na prova de Matemática há dez níveis de proficiência e na prova de Língua Portuguesa há oito níveis. Para chegar à nota final de cada UF, foi utilizada a média entre as notas das duas provas.

Alternativas Nota Final

Bahia 261 Rio de Janeiro 277

Santa Catarina 283

São Paulo 275

Tocantins 246

Fonte: MEC / INEP – 2001

Tabela 1 – Notas para as alternativas segundo o critério 1

3.2. Critério 2: Percentual de alunos aprovados

O percentual de alunos aprovados é um critério de output que avalia se os alunos estão progredindo conforme o mínimo esperado, que é a aprovação. Embora cada escola tenha um sistema próprio de avaliação e possa decidir quantos alunos irá aprovar, este é um dos principais critérios utilizados para verificar o desempenho dos alunos.

Alternativas %

Bahia 72,90%

Rio de Janeiro 72,50%

Santa Catarina 78,80%

São Paulo 83,00%

Tocantins 73,10%

3.3. Critério 3: Rendimento médio por domicílio

Há muito tempo que se enfatiza a grande influência dos aspectos sócio-econômicos nos resultados educacionais, segundo já apontado por Coleman et al (1965) apud INEP (2002).

Considerar o rendimento médio por domicílio permite medir quais resultados educacionais uma UF pode alcançar com o nível sócio-econômico médio que possui. Este critério deve ser minimizado, ou seja, é um critério de input.

(4)

Alternativas Rendimento Médio por Domicílio (R$)

Bahia 624,00 Rio de Janeiro 1.321,00

Santa Catarina 1.232,00

São Paulo 1.488,00

Tocantins 790,00

Fonte: IBGE – 2001

3.4.Critério 4: Número de professores para cada 100 alunos

A inclusão deste critério de input no índice de eficiência permite avaliar se uma UF precisa de muitos professores para atingir determinado desempenho.

Alternativas Nº Professores / 100 Alunos

Bahia 4,38 Rio de Janeiro 6,83

Santa Catarina 6,04 São Paulo 5,49

Tocantins 4,17

3.5. Critério 5: Percentual de alunos atendidos por bibliotecas disponíveis nas escolas Para uma abordagem mais completa, cabe acrescentar um critério que considere a infra- estrutura disponível aos alunos. O percentual de alunos atendidos por bibliotecas disponíveis nas escolas é um critério de input.

Alternativas %

Bahia 73,70%

São Paulo 86,13%

Tocantins 91,89%

4. Fase de avaliação

A fim de que os critérios influenciem o índice de eficiência da mesma forma, é necessário normalizá-los. A tabela 6 mostra o resultado da normalização:

(5)

Alternativas %

Aprovações Média SAEB Rendimento

Médio Professores / 100 Alunos

% Alunos atendidos por

bibliotecas

Bahia 87,8 92,1 41,9 64,1 77,4

Rio de Janeiro 87,3 97,8 88,8 100,0 86,4

Santa Catarina 94,9 100,0 82,8 88,4 100,0

São Paulo 100,0 97,2 100,0 80,3 90,4

Tocantins 88,1 87,1 53,1 61,0 96,5

Tabela 6 – Notas normalizadas para as alternativas segundo todos os critérios

O modelo original de Análise Envoltória de Dados consiste em um problema de programação linear que calcula os pesos que maximizam a eficiência de cada alternativa. O ranking das UFs segundo esse modelo encontra-se na tabela 7.

Alternativas Eficiência 1

Bahia 100,00%

Tocantins 100,00%

São Paulo 97,22%

Tabela 7 – Ranking das alternativas segundo DEA puro

No segundo método de avaliação os pesos são determinados pelo decisor. As tabelas 8 e 9 mostram, respectivamente, a quantificação dos julgamentos de valor para os critérios de output e input feita pelo MACBETH weights.

Critérios Pesos

% Aprovações 36,36%

Média SAEB 63,64%

Tabela 8 – Pesos estabelecidos pelo decisor para os critérios de output

Critérios Pesos

Rendimento Médio 45,00%

Professores / 100 Alunos 35,00%

% Alunos atendidos por bibliotecas 20,00%

Tabela 9 – Pesos estabelecidos pelo decisor para os critérios de input

Através de uma razão de somas ponderadas, calcula-se o índice de eficiência para o modelo de DEA com restrições totais aos pesos. O resultado é apresentado na tabela 10.

(6)

Alternativas Eficiência 2

Bahia 100,00%

Tocantins 84,92%

São Paulo 67,51%

Tabela 10 – Ranking das alternativas segundo DEA com restrições totais aos pesos

5. Discussão dos resultados

No primeiro método de avaliação, Bahia e Tocantins aparecem como os únicos estados eficientes na alocação de recursos para o Ensino Médio dentre as alternativas estudadas. São Paulo e Rio de Janeiro têm índices de eficiência muito próximos e Santa Catarina encontra-se na última posição do ranking.

Neste estudo, o método de Análise Envoltória de Dados com restrições totais aos pesos é confirmado como melhor discriminante que o modelo de DEA puro. Bahia permanece sendo o estado mais eficiente, colocando Tocantins na segunda posição. As outras três posições são completamente alteradas.

6. Conclusões

Primeiramente, pode se concluir que a Análise Envoltória de Dados com pesos estabelecidos pelo decisor é uma ferramenta mais adequada para a problemática de ordenação aplicada na avaliação de eficiência educacional do que o modelo puro. Além de discriminar melhor as alternativas, ela permite associar informações quantitativas – por exemplo, notas dos alunos e nível de renda – e qualitativas – opinião do decisor quanto à relevância de cada critério. Por outro lado é mais subjetiva, perdendo a independência às opiniões pessoais do modelo clássico.

Apesar da utilização de informações atualizadas, os resultados apresentados devem ser considerados com certa cautela devido a algumas simplificações feitas para a construção do índice final. O percentual de aprovações, por exemplo, é uma medida que pode trazer uma série de distorções, já que cada escola possui um critério próprio de avaliação. Além disso, no período estudado, o exame do SAEB só avaliou os alunos com relação a Língua Portuguesa e Matemática, o que não representa todo o Ensino Médio. Estes são só alguns dos pontos fracos da análise que merecem ser mencionados.

Deve ser enfatizado também o significado de uma unidade eficiente: foi aquela que, dentre as estudadas, melhor usou os recursos de que dispõe (ou que se dispôs a investir) para promover políticas educacionais adequadas.

No entanto, o objetivo principal deste trabalho é estudar a aplicação da Análise Envoltória de Dados como ferramenta multicritério de avaliação educacional. Por fim, verifica-se que as técnicas apresentadas são de grande utilidade nesse tipo de análise e que outros estudos devem ser conduzidos para melhor aplicá-las.

Referências

BANA e COSTA, C.A. & VANSNICK, J.C. (1995) - A theoretical framework for Measuring Attractiveness by a Categorical Based Evaluation Technique (MACBETH). In: Clímaco, J. (ed.) Multicriteria Analysis. Springer

(7)

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS (2002) - Relatório SAEB 2001 Matemática. Brasília.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS (2002) - Relatório SAEB 2001 Português. Brasília.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS (2002) - SAEB 2001 Novas Perspectivas. Brasília.

ROY, B. e D. BOUYSSOU (1993) - Aide multicritère à la décision: méthods et cas. Economica, Paris.

SOARES DE MELLO, J.C.C.B.; GOMES, E.G.; SOARES DE MELLO, M.H.C.; LINS, M.P.E. (2001) - Seleção de variáveis para utilização de análise envoltória de dados como ferramenta multicritério: uma aplicação em educação. Anais do XXI Encontro Nacional de Engenharia de Produção - ENEGEP 2001. Salvador.

Outubro.

SOARES DE MELLO, J.C.C.B.; GOMES, E.G.; LINS, M.P.E. (2002a) - Análise multicritério da presença da Universidade Federal Fluminense com o uso do método MACBETH. Revista Produção Vol. 11, n. 2, p. 53-67.

SOARES DE MELLO, J.C.C.B.; LINS, M.P.E. SOARES DE MELLO, M.H.C.; GOMES, E.G. (2002b) - Evaluating the Performance of Calculus Classes Using Operational Research Tools. European Journal Of Engineering Education, Londres, v. 27, n. 2, p. 209-218.