EFICIÊNCIA E EFICÁCIA EM CURSOS DE PÓS-GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO

(1)

EFICIÊNCIA E EFICÁCIA EM CURSOS DE PÓS-GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO

Annibal Parracho Sant’Anna

¹

RESUMO

A avaliação dos cursos de pós-graduação no Brasil é fortemente influenciada por indicadores de produtividade.

Deve-se estimular a eficiência no aproveitamento dos recursos, mas há maior benefício social na maximização do produto. Ademais, como a avaliação orienta a demanda, a classificação pelos resultados eleva a demanda pelos cursos de maior produção, que podem apresentar capacidade ociosa, enquanto a avaliação baseada na produtividade dirige a demanda para cursos onde os recursos já estão plenamente empregados. Neste trabalho, aplicamos avaliações probabilísticas a cursos de Engenharia de Produção, com atenção especial à diferença entre as medidas baseadas apenas em volumes de resultados e aquelas que contrabalançam esses resultados com medidas do volume de recurso docente empregado. Como variáveis de resultado, consideramos alunos formados e publicação em periódicos de renome internacional. Concluímos que, no conjunto considerado, o resultado da avaliação baseada nestas variáveis muda consideravelmente ao preferirmos a maximização da eficiência

à

da eficácia.

Palavras chave: eficiência – eficácia - pós-graduação – avaliação probabilística

1. INTRODUÇÃO

A avaliação dos cursos de pós-graduação no Brasil é fortemente influenciada por indicadores de produtividade, caracterizados pela presença de um denominador, o núcleo de referência docente que tenta medir, de forma mais ou menos elaborada, o volume da força de trabalho docente empregada. Se, de um lado, é legítimo compelir as instituições públicas (majoritárias entre as avaliadas até hoje) a extraírem da sua disponibilidade de recursos docentes resultados proporcionais aos obtidos por aquelas mais eficientes na utilização dos recursos que contratam, de outro lado, o interesse social dominante está na maximização do produto. Além disso, como a avaliação resulta em uma ordenação dos cursos que orienta a demanda para aqueles classificados em melhores posições, a avaliação baseada no resultado obtido tem a vantagem de elevar a demanda pelos cursos de maior produção, estimulando o aproveitamento da sua eventual capacidade ociosa, enquanto a avaliação baseada na produtividade estará dirigindo a demanda para cursos onde a força de trabalho docente já está plenamente empregada.

Neste trabalho, aplicamos um conjunto de avaliações probabilísticas a dados extraídos dos relatórios dos cursos de pós-graduação do Brasil, da área de Engenharia de Produção, relativos aos anos de 2001 e 2002. As avaliações probabilísticas, como desenvolvido em [1] e [2], permitem combinar tanto critérios unidirecionais quanto critérios alinhados em diferentes direções. No caso da avaliação da produtividade, permite contrastar resultados obtidos e recursos empregados de formas mais informativas que o simples cálculo de quocientes insumo/produto. A idéia básica é medir a qualidade em termos de proximidade às fronteiras, seja de melhor seja de pior desempenho. No caso presente, ela permite estudar a diferença entre as medidas baseadas apenas em volumes de resultados e aquelas que contrabalançam esses resultados com a medida do volume de recurso docente empregado, dada aqui pelo número total de docentes informado no relatório.

Como variáveis de resultado, consideramos o número de mestres formados e publicação em periódicos classificados pelos consultores da CAPES como de nível Internacional A ou B (os dois níveis mais altos). Não consideramos o número de doutores formados, não apenas porque ainda é muito pequeno o número de instituições oferecendo o doutorado na área, mas, também porque, enquanto o mestrado acadêmico visa, basicamente, à atração de novos talentos e sua qualificação básica para a atividade de pesquisa, de tal sorte que a certificação da qualidade do processo em aspectos acompanhados pelo sistema da CAPES, permite assegurar a qualidade do resultado, o processo de formação dos doutores e a decisão quanto à atribuição do título de doutor exigem um exame mais próximo. Segundo os consultores da CAPES, nos anos de 1998 e 1999, os docentes das dezesseis instituições aqui analisadas, na área de Engenharia de Produção, não publicaram nenhum artigo em periódico classificável como de nível internacional A ou B. Assim, considerando que a formação de doutores tem de estar vinculada à sua qualificação para produzir resultados de pesquisa de elevada relevância, preferimos usar essa medida de publicação como um indicador da produção de pesquisa capaz de avaliar conjuntamente a formação de doutores.

Para limitar o efeito de variações ocasionais, os dados utilizados nas análises que compõem este trabalho são médias aritméticas dos valores informados nos relatórios relativos aos anos de 2001 e 2002.

Pesos indicativos da qualidade das dissertações ou dos artigos poderão também ser usados, bastando, para tanto, que seja possível chegar a alguma concordância quanto aos

1 Annibal Parracho Sant’Anna, TPP – Escola de Engenharia – UFF, Rua Passo da Pátria, 156, 24210-240 -Niterói-RJ, Brazil, tppaps@vm.uff.br

© 2004 WCETE March 14 - 17, 2004, São Paulo, BRAZIL

World Congress on Engineering and Technology Education

1211

(2)

critérios de ponderação. Da mesma forma, o agrupamento dos docentes em grupos de pesquisa e a quantificação de outros recursos humanos envolvidos também podem ser considerados, advindo das dificuldades de quantificação inerentes a maior dificuldade para sua inclusão na análise.

Na seção seguinte, é apresentada a classificação das medidas probabilísticas. Na Seção 3 são apresentados os dados estudados e na Seção 4 os resultados da sua análise.

Uma discussão desses resultados é apresentada em seguida.

2. OTIMISMO E PESSIMISMO, CONSERVADORISMO E

PROGRESSIVISMO

Para comparar unidades produtivas de acordo com a produtividade, a abordagem mais empregada atualmente é a da Análise Envoltória de Dados (DEA), desenvolvida inicialmente por [3] com base no conceito de eficiência de Farrell [4]. A DEA compara as unidades pela eficiência em extrair o maior agregado de produtos possível do menor agregado de recursos utilizados. Algumas características tornam a DEA um instrumento atraente: a eficiência é medida realisticamente, em termos de distância aos melhores desempenhos; para levar em conta que cada unidade pode ter o seu próprio nicho de mercado, a agregação dos recursos e a agregação dos produtos são efetuadas utilizando, para cada unidade avaliada, os pesos que lhe sejam mais favoráveis; algoritmos distintos podem ser empregados para analisar a situação em que as unidades de operação atendem a encomendas cujo volume é determinado fora do seu campo de decisão, de modo que seus esforços para elevar a produtividade são orientados para a minimização do volume de recursos utilizados, e para analisar a situação oposta em que os recursos disponíveis estão fora do campo de decisão da unidade produtiva e a produtividade é dada pelo volume de produção extraída.

Em [1] desenvolve-se uma abordagem alternativa para medir a produtividade em termos de afastamento da fronteira baseada na modelagem das variáveis com erros aleatórios.

Mais importante nesta abordagem que a correta atribuição de probabilidades é a forma como estas probabilidades são combinadas para gerar as medidas de eficiência. Neste sentido, ainda que a indisponibilidade de dados nos impeça de modelar corretamente as distribuições, podemos chegar a medidas de eficiência mais confiáveis que as extraídas dos dados tratados como determinísticos. A idéia básica é, embora elevando a medida de eficiência de qualquer unidade de produção fortemente sempre que apresente desempenho extremo seja na minimização do volume de algum recurso seja na maximização do volume de algum produto, amenizar a influência desses pontos extremos, levando em conta o desempenho de mais variáveis e de mais unidades de observação. Enquanto a fronteira de excelência tende a ser formada por desempenhos raros, a comparação

em variáveis em que a unidade não apresente desempenho extremo e a comparação com um conjunto de observações com valores mais freqüentes torna o procedimento de avaliação mais resistente a erros aleatórios.

Com a introdução de erros de medida aleatórios, os volumes de inputs e outputs inicialmente apresentados de forma determinística passam a ser tratados como estimativas de parâmetros de posição de distribuições de probabilidades independentes. Pode-se derivar, do conjunto de valores observados, estimativas para outros parâmetros dessas distribuições. É difícil dispor de informação a priori sobre a forma da distribuição das perturbações aleatórias e, nas primeiras aplicações, não é comum dispor de um número de observações em cada unidade suficiente para, mesmo assumindo as habituais hipóteses de normalidade da distribuição e independência entre as observações, estimar, com precisão satisfatória, sua variância. Assumimos neste trabalho a hipótese clássica de perturbações independentes e de média zero com distribuição normal. Para modelar a dispersão, nos baseamos na amplitude observada.

Estimamos o desvio padrão das perturbações afetando cada variável dividindo a amplitude do conjunto das medidas obtidas para essa variável pela razão, constante, entre o valor esperado da amplitude de uma amostra normal do tamanho observado e o desvio padrão da distribuição normal amostrada.

Um grande número de medidas pode ser construído a partir da composição das probabilidades de atingir as fronteiras em cada variável, conforme utilizemos os conectivos “e” ou “ou” e conforme tomemos a fronteira inferior ou a fronteira superior como referência. O uso de formas diferentes de exigir que se atinja simultaneamente a maximização de outputs e a minimização de inputs permite avaliar o efeito de pequenas diferenças sobre a produtividade global. Propomos aqui uma classificação das medidas probabilísticas a partir de dois eixos subjetivos, que facilita identificação dessas diferenças. Dizemos que uma composição é otimista quando considera a probabilidade de atingir a fronteira de excelência (ou afastar-se da fronteira de pior desempenho) em uma única variável. E pessimista quando se baseia na exigência de aproximação da fronteira de excelência (ou afastamento da fronteira de pior desempenho), conjuntamente, em todas as variáveis. Por outro lado, dizemos que uma composição é progressista quando toma como referência a fronteira de excelência e conservadora quando toma como referência a fronteira de pior desempenho. Cada uma dessas caracterizações sendo aplicada separadamente aos inputs e aos outputs, chegamos a um conjunto de 16 medidas de significados diferentes.

Algebricamente, a abordagem acima desenvolvida pode ser formalizada considerando m unidades de produção U

1

, ...

, U

m

, nas quais medimos, com incerteza, volumes empregados de n inputs e volumes produzidos de p outputs.

Representemos por (i

i1

, ... , i

in

) e (o

i1

, ... , o

ip

) os vetores de valores observados para n inputs e p outputs da unidade de

© 2004 WCETE March 14 - 17, 2004, São Paulo, BRAZIL

World Congress on Engineering and Technology Education

1212

(3)

produção U

i

. Tratamos esses vetores como observações de vetores aleatórios (I

i1

, ... , I

in

) e (O

i1

, ... , O

ip

). Atribuímos às coordenadas desses vetores distribuições independentes. Ao volume empregado I

ij

do j-ésimo input na unidade de produção U

i0

atribuímos uma distribuição normal de valor esperado I

i0j

e desvio padrão RI

j

/d

2

(m) onde

RI

j

= máx

i

I

ij

– min

i

I

ij (2.1)

é a amplitude observada para o j-ésimo input e d

2

(m) é a razão tabelada entre o valor esperado da amplitude da amostra normal de tamanho m e o desvio padrão da distribuição amostrada. Analogamente, ao volume produzido O

ik

do k-ésimo output em U

i0

atribuímos uma distribuição normal de valor esperado O

i0k

e desvio padrão RO

k

/d

2

(m) onde

RO

k

= máx

i

o

ik

– min

i

o

ik (2.2)

a amplitude observada para o output referido.

Para cada unidade de produção i

0

e cada input j, sejam M

i0j

= P[I

i0j0

= I

ij

, para todo i de 1 a m],

(2.3)

a probabilidade de a referida unidade de produção maximizar a utilização do referido input, e

m

i0j

= P[I

i0j0

= I

ij

, para todo i de 1 a m],

(2.4)

a probabilidade de tal unidade de produção minimizar a utilização do mesmo input. Analogamente, para os outputs.

Esta abordagem probabilística constitui-se em um instrumento de composição de múltiplos critérios que se aplica tanto ao caso de dois grupos de critérios, dados, no presente contexto, pelos grupos das variáveis a maximizar, os resultados produzidos, e das variáveis a minimizar, os recursos utilizados, quanto no caso de mais de dois grupos ou no caso de todas as variáveis em um mesmo grupo. Este último caso será explorado neste trabalho, quando concentrarmos a avaliação nos resultados produzidos, deixando de lado a relação com os volumes de recursos empregados.

3. DADOS

A tabela 3.1 apresenta as médias aritméticas dos valores registrados nos anos de 2001 e 2002 nos dezesseis cursos formando mestres nesses anos, para as três variáveis consideradas. As probabilidades de minimizar e de maximizar cada input e cada output são apresentadas, na forma de percentagens, nas tabelas 3.2 e 3.3.

TABELA 3.1.NÚMEROS MÉDIOS DE 2001/2002

Instituição Total de Docentes Mestres titulados Artigos

Usp 31 21,5 2,5

Ufscar 30 25,5 2,5

Ufrj 26 67 9,5

Ufsm 25,5 45,5 1

Uff 24,5 25,5 3

Cefetrj 20 21 8,5

Ufpe 15 16 2

Uspscar 14,5 25,5 1

Ufrgs 14 13,5 5

Unip 14 22,5 3

Unimep 13 15,5 3

Ufrn 12 11,5 0

PucRio 11,5 20,5 2

Ufmg 10,5 17,5 0

Ufei 9 12 0

Ufpb 8 24 1

TABELA 3.2. PROBABILIDADES DE MINIMIZAR

Usp 0,06 5,59 4,34

Ufscar 0,08 3,93 4,34

Ufrj 0,32 0,02 0,03

Ufsm 0,37 0,48 9,05

Uff 0,49 3,93 3,33

Cefetrj 1,64 5,84 0,07

Ufpe 5,12 8,81 5,60

Uspscar 5,68 3,93 9,05

Ufrgs 6,29 10,70 1,02

Unip 6,29 5,13 3,33

Unimep 7,66 9,16 3,33

Ufrn 9,28 12,44 14,05

PucRio 10,19 6,09 5,60

Ufmg 12,21 7,81 14,05

Ufei 15,85 11,98 14,05

Ufpb 18,72 4,50 9,05

TABELA 3.3. PROBABILIDADES DE MAXIMIZAR

Usp 28,98 2,23 2,09

Ufscar 24,97 3,24 2,09

Ufrj 13,05 56,23 42,61

Ufsm 11,95 15,76 0,85

Uff 9,99 3,24 2,75

Cefetrj 4,11 2,13 30,54

Ufpe 1,29 1,29 1,56

Uspscar 1,13 3,24 0,85

© 2004 WCETE March 14 - 17, 2004, São Paulo, BRAZIL

World Congress on Engineering and Technology Education

1213

(4)

Ufrgs 1,00 0,99 7,49

Unip 1,00 2,46 2,75

Unimep 0,77 1,23 2,75

Ufrn 0,58 0,80 0,44

PucRio 0,51 2,03 1,56

Ufmg 0,38 1,51 0,44

Ufei 0,24 0,85 0,44

Ufpb 0,18 2,83 0,85

4. ANÁLISES COMPARATIVAS

As tabelas 4.1 e 4.2 apresentam os valores das 8 medidas probabilísticas aplicáveis ao caso de um único input e dois outputs. Na Tabela 4.1, aparecem as medidas geradas pelo ponto de vista conservador e na Tabela 4.2 aquelas geradas pelo ponto de vista progressista. Como se considera um único input, não há distinção do ponto de vista otimista ou pessimista quanto ao input. Nas tabelas as medidas são identificas pelo tratamento conservador, progressista, otimista e pessimista dado aos outputs. Nas tabelas desta seção, os valores de todas as medidas são dados em porcentagens.

Analisando as tabelas 4.1 e 4.2, verifica-se a grande variabilidade das classificações, não apenas quando se passa do ponto de vista conservador quanto ao input para o progressista, mas, também seguindo a análise dos outputs.

Ufpb é a instituição mais produtiviva quando se aplica a composição pessimista e conservadora para os outputs e progressista para o input ou nos casos de composição otimista para os outputs, salvo quando se adota opção progressista para os outputs e conservadora para o input.

Neste último caso, assim como nas composições ao mesmo tempo progressista e pessimista para os outputs, qualquer que seja o tratamento dado ao input, é Ufrj a mais produtiva.

Finalmente, no caso da composição pessimista e conservadora tanto para o input quanto para os outputs, a mais produtiva é Unip. Nota-se que somente nos casos em que Ufrj é a mais produtiva, há grandes diferenças entre as maiores medidas de produtividade.

TABELA 4.1. MEDIDAS CONSERVADORAS NO INPUT

Instituição Conservador Otimista

Conservador Pessimista

Progressista Otimista

Progressista Pessimista

Usp 70,9 64,1 3,04 0,03

Ufscar 74,9 69,0 3,95 0,05

Ufrj 87,0 86,9 65,1 20,8

Ufsm 88,0 79,7 14,5 0,12

Uff 89,9 83,6 5,32 0,08

Cefetrj 95,9 90,2 30,7 0,62

Ufpe 98,2 85,0 2,80 0,02

Uspscar 98,5 86,4 4,02 0,03

Ufrgs 98,9 87,5 8,33 0,07

Unip 98,8 90,8 5,09 0,07

Unimep 98,9 87,1 3,92 0,03

Ufrn 97,7 74,8 1,23 0,00

PucRio 99,2 88,2 3,54 0,03

Ufmg 98,5 78,9 1,93 0,01

Ufei 98,1 75,5 1,27 0,00

Ufpb 99,4 86,7 3,64 0,02

TABELA 4.2. MEDIDAS PROGRESSISTAS NO INPUT

Usp 0,06 0,05 0,00 0,000

Ufscar 0,08 0,08 0,00 0,000

Ufrj 0,32 0,32 0,24 0,076

Ufsm 0,37 0,33 0,06 0,000

Uff 0,49 0,46 0,03 0,000

Cefetrj 1,64 1,55 0,53 0,011

Ufpe 5,10 4,41 0,15 0,001

Uspscar 5,66 4,96 0,23 0,002

Ufrgs 6,28 5,56 0,53 0,005

Unip 6,28 5,77 0,32 0,004

Unimep 7,64 6,73 0,30 0,003

Ufrn 9,12 6,98 0,11 0,000

PucRio 10,2 9,03 0,36 0,003

Ufmg 12,1 9,68 0,24 0,001

Ufei 15,6 12,0 0,20 0,001

Ufpb 18,6 16,3 0,68 0,004

A tabela 4.3 confronta os valores das eficiências DEA para retornos variáveis de escala, do modelo orientado para a minimização do input com o modelo orientado para a maximização do output. Verifica-se, grosso modo, concordância entre os resultados da aplicação da abordagem DEA com a abordagem probabilística, mas cada uma permite detectar diferentes nuances. A fronteira de eficiência da DEA, que apresenta necessariamente os mesmos pontos nas duas orientações, inclui Ufrgs, além de Ufrj, Cefetrj e Ufpb, que apareceram com valor máximo em avaliações probabilística, mas não inclui Unip. Fora da fronteira e eficiência, se registra considerável variação das posições, não apenas em relação às classificações probabilística, mas, também, entre as duas orientações da DEA. Nesta tabela, as eficiências na orientação para a maximização do output são apresentadas invertidas para facilitar a comparação.

TABELA 4.3. ANÁLISE ENVOLTÓRIA DE DADOS

World Congress on Engineering and Technology Education

1214

(5)

Instituição Orientada ao input Orientada ao Output

Usp

33 32

Ufscar

35 38

Ufrj

100 100

Ufsm

67 69

Uff

47 40

Cefetrj

100 100

Ufpe

63 44

Uspscar

60 65

Ufrgs

100 100

Unip

80 71

Unimep

85 72

Ufrn

67 34

PucRio

83 70

Ufmg

76 58

Ufei

89 45

Ufpb

100 100

Finalmente, a tabela 4.4 apresenta as medidas probabilísticas de eficácia na produção de mestres titulados e artigos de nível internacional A ou B. As quatro possíveis combinações das opções conservadora ou progressista e otimista ou pessimista conduzem a classificações bem mais concordantes que as produzidas quando se envolvem os recursos empregados. As amplitudes dos vetores de postos das instituições nesta tabela são menores que nas anteriores.

Os cursos colocados na quatro últimas posições quanto à eficácia são sempre os mesmos, Ufrn, Ufei, Ufmg e Ufpe, nesta ordem. Do mesmo modo, Ufrj e Cefetrj sempre ocupam as duas primeiras posições. Ufsm, Uff e Ufscar, também, consistentemente, ocupam as posições seguintes, em termos de maior volume produzido, ficando as demais instituições nas posições intermediárias.

TABELA 4.4. MEDIDAS DE EFICÁCIA

Usp 99,76 90,31 4,27 0,05

Ufscar 99,83 91,90 5,26 0,07

Ufrj 100,00 99,95 74,88 23,96

Ufsm 99,96 90,52 16,47 0,13

Uff 99,87 92,88 5,91 0,09

Cefetrj 100,00 94,09 32,02 0,65

Ufpe 99,51 86,08 2,84 0,02

Uspscar 99,64 87,38 4,06 0,03

Ufrgs 99,89 88,39 8,41 0,07

Unip 99,83 91,71 5,14 0,07

Unimep 99,70 87,82 3,95 0,03

Ufrn 98,25 75,26 1,23 0,00

PucRio 99,66 88,65 3,56 0,03

Ufmg 98,90 79,23 1,94 0,01

Ufei 98,32 75,65 1,28 0,00

Ufpb 99,59 86,86 3,65 0,02

5. COMENTÁRIOS FINAIS

A aplicação desenvolvida deixou claro o amplo potencial de análise aberto pela abordagem probabilística. A principal constatação na análise efetuada é a considerável variação nas posições dos cursos ao longo das diferentes relações de eficiência. Quando, em vez de produtividade, a classificação é feita em termos de resultados absolutos, então a forma de compor já não afeta substancialmente a classificação dos cursos.

Um último comentário deve ser feito quanto à ponderação das variáveis. Uma importante característica que as medidas probabilísticas aqui aplicadas compartilham com a DEA é prescindirem da atribuição de pesos. Neste sentido, os resultados produzidos são considerados igualmente valiosos: a importância da dissertação em relação ao trabalho publicado não é levada em conta. A classificação das variáveis quanto a sua importância relativa, pode, entretanto, ser introduzida na composição das variáveis, se for julgada conveniente.

6. REFERÊNCIAS

[1] Sant'Anna, A. P., Cálculo Probabilístico de Produtividades Globais, Anais do XXXIV SBPO, Rio de Janeiro, 2002.

[2] Sant’Anna, A. P., Cálculo Probabilístico de Produtividades Globais no Ensino de Pós-Graduação em Engenharia de Produção, Anais do IX Encontro de Educação em Engenharia, Petrópolis, 2003.

[3] Charnes, A., Cooper, W. W. e Rhodes. E. Measuring the Efficiency of Decision Making Units, European Journal of Operations Research, 2, 1978, 429-444.

[4] Farrell, M. J. The measurement of productive efficiency, Journal of the Royal Statistical Society, 120, 1957, 449-460.

World Congress on Engineering and Technology Education

1215