CÁLCULO PROBABILÍSTICO DE PRODUTIVIDADES GLOBAIS NO ENSINO DE
PÓS-GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO
ANNIBAL PARRACHO SANT’ANNA
UNIVERSIDADE FEDERAL FLUMINENSE Rua Passo da Pátria, 156 - Niterói
tppaps@vm.uff.br
RESUMO
Este trabalho consiste em uma aplicação da metodologia de cálculo probabilístico de produtividades globais à avaliação da produtividade de cursos de mestrado em Engenharia de Produção. Diversos critérios de composição de classificações probabilísticas são aplicados aos dados da CAPES relativos a dois outputs, alunos com dissertações aprovadas e docentes com comunicações de resultados de pesquisa publicadas, e do lado do input, a quantidade de professores. O objetivo da análise é gerar medidas de produtividade do recurso docente na produção de ensino e pesquisa.
PALAVRAS CHAVE: Avaliação Institucional - Produtividade - Probabilidades
1. INTRODUÇÃO
A importância da avaliação objetiva do desempenho na prestação de serviços de elevada complexidade e relevância nunca é suficientemente enfatizada. No caso da atividade acadêmica, esta matéria tem sido objeto de intensa discussão. Alternativas para a avaliação da produtividade nesse contexto e da contribuição que a mesma pode fornecer para a elevação da qualidade acadêmica são discutidas em profundidade em Sant’Anna (1998 e 2001).
Aplicamos aqui, a metodologia de cálculo probabilístico de produtividades globais, desenvolvida em Sant’Anna (2002), à avaliação da produtividade de cursos de mestrado em Engenharia de Produção. O objetivo da análise é medir a produtividade do recurso docente na produção de ensino e pesquisa.
Diversos critérios de composição de classificações probabilísticas, todos baseados no princípio de que a eficiência é percebida em termos de proximidade às fronteiras, seja de melhor seja de pior desempenho, são aqui aplicados a dados básicos da produção de ensino e pesquisa para extrair medidas de eficiência na aplicação dos recursos. Os dados são da CAPES, relativos a dois outputs, alunos com dissertações aprovadas e docentes com comunicações de resultados de pesquisa publicadas. Um único input é considerado, o volume do recurso docente, medido pela média entre os números de docentes no núcleo de referência docente, conforme as duas definições mais estrita e mais abrangente usadas pela CAPES.
A análise pode ser estendida a outras variáveis que possam ser julgadas mais importantes. Em particular, quanto à medição dos resultados, optamos pelas variáveis menos sujeitas a erro. Variáveis como o número de artigos publicados pelo conjunto dos professores do curso são sujeitas a erros devido à omissão ou repetição de registros que podem distorcer a avaliar. Pesos indicativos da qualidade das dissertações ou dos artigos poderão também ser usados, bastando, para tanto, que se chegue a alguma concordância quanto aos critérios de ponderação. Nosso objetivo, neste trabalho, é demonstrar a viabilidade da comparação quantitativa.
2. CÁLCULO PROBABILÍSTICO DE PRODUTIVIDADES GLOBAIS
As medidas de eficiência aqui propostas consideram os seguintes conceitos:
C1 - a probabilidade de apresentar o volume máximo em algum output e o volume mínimo em algum input;
C2 - a probabilidade de apresentar o volume máximo em algum output e não apresentar o volume máximo em nenhum input;
C3 - a probabilidade de não apresentar o volume mínimo em nenhum output e apresentar o volume mínimo em algum input.
C4 - a probabilidade de não apresentar o volume mínimo em nenhum output e não apresentar o volume máximo em nenhum input;
C5 - a probabilidade de apresentar o volume máximo em algum output e não apresentar o volume máximo em algum input;
C6 - a probabilidade não apresentar o volume mínimo em algum output e apresentar o volume mínimo algum input;
C7 - a probabilidade de não apresentar o volume mínimo em todos os outputs (isto é, apresentar algum output com valor superior ao mínimo) e não apresentar o volume máximo em nenhum input;
C8 - a probabilidade de não apresentar o volume mínimo em nenhum output e não apresentar o valor máximo em todos os inputs (isto é, apresentar algum input com volume inferior ao máximo);
Além destas, são analisadas medidas baseadas na produtividade:
C9 - a probabilidade de apresentar o valor máximo em alguma razão de produtividade;
C10 - a probabilidade de apresentar o valor máximo em alguma razão de produtividade e não apresentar o valor mínimo em outra;
Outras variantes destas medidas podem também se consideradas, mais exigentes, substituindo-se, por exemplo, a exigência de otimização de algum input pela de todos os inputs ou a de otimização de algum output pela de todos os outputs, ou menos exigentes, exigindo, por exemplo, otimização apenas no conjunto dos inputs ou apenas no conjunto dos outputs. Além disto, deixamos de lado a
possibilidade de se atribuir maior importância a um output que a outro ou maior importância a um input que a outro.
Para facilitar a comparação, tendo em vista que os conceitos acima definidos apresentam diferentes graus de exigência, transformamos essas medidas de probabilidade em medidas de eficiência dividindo a probabilidade de cada unidade segundo cada conceito pela probabilidade máxima observada segundo tal conceito.
3. ALEATORIZAÇÃO DOS REGISTROS
Com a introdução de erros de medida aleatórios, os volumes de inputs e outputs inicialmente apresentados de forma determinística passam a ser tratados como estimativas das médias de distribuições de probabilidades independentes. Pode-se derivar, do conjunto de valores observados, estimativas para outros parâmetros dessas distribuições.
É difícil dispor de informação a priori sobre a distribuição das perturbações aleatórias e, nas primeiras aplicações, não é comum dispor de um número de observações em cada unidade suficiente para, mesmo assumindo as habituais hipóteses de normalidade da distribuição e independência entre as observações, estimar, com precisão satisfatória, sua variância. Nesta seção, é desenvolvida uma sistemática para modelar as parcelas probabilísticas das medidas de inputs e outputs, com base na amostra de valores observados em todas as unidades examinadas.
Como usual, assumimos perturbações independentes e de média zero e com distribuição completamente determinada pelos dois primeiros momentos. Para que a aleatorização seja mais efetiva, convém que se facilite ao máximo a troca de postos entre opções próximas. Com estes objetivos, a melhor escolha é a da distribuição uniforme. Adiante, serão comparados resultados obtidos assumindo a hipótese de distribuição uniforme com a mais comum hipótese de distribuição normal.
Para modelar a dispersão, a hipótese básica que aqui se assume é que, se duas unidades de produção quaisquer pertencem ao conjunto analisado, existe uma probabilidade não nula de inversão entre as suas posições relativamente ao volume observado de cada recurso ou produto e esta probabilidade deve ser pequena quando se consideram as unidades com o maior e o menor valor. Estabelecer quão pequena deve ser e como decresce com o afastamento entre as medidas observadas completa a modelagem estatística. Se o número de unidades comparadas não é muito pequeno, probabilidade pequena ou probabilidade zero de inversão entre a primeira e a última faz muito pouca diferença quando se vão calcular, a seguir, probabilidades de pertencer à fronteira. Assim, para simplificar, tomamos a amplitude observada entre as medidas registradas como estimativa para a amplitude da distribuição de cada medida.
Formalmente, dado o volume observado Rij na unidade de produção j-ésima do recurso ou produto i-ésimo, podem-se resumir as hipóteses estabelecidas nos parágrafos acima dizendo que cada um desses volumes é uniformemente distribuído em torno do respectivo registro Rij e estas distribuições uniformes são independentes, todas aquelas relativas a um mesmo recurso ou produto tendo a mesma amplitude, igual, para o recurso ou produto i-ésimo, ao máximo das diferenças Rij1 – Rij2, para j1 e j2 variando ao longo de todas as unidades de produção avaliadas.
Podemos, alternativamente, seguir a prática usual de derivar estimativa para o desvio padrão da perturbação de cada medida do desvio padrão amostral, sendo a amostra, no caso, constituída pelos valores observados no conjunto das unidades de produção examinadas. O fato de que os valores esperados das variáveis na amostra são diferentes deve fazer este procedimento superestimar a dispersão. Por outro lado, para a distribuição normal, para a qual o desvio padrão é o parâmetro de dispersão que ocorre naturalmente, o gradual decréscimo da densidade com o afastamento do centro exige, para facilitar adequadamente as inversões de posição, que a relação entre a dispersão atribuída a cada medida e a dispersão observada entre as medidas iniciais seja maior. Assim, quando se assuma normalidade, estimar-se-á o desvio padrão de cada observação pelo desvio padrão amostral.
Pode-se, ainda, abandonar a hipótese de idêntica dispersão e ampliar ou reduzir o desvio-padrão de uma ou outra medida para refletir uma certeza maior ou menor sobre as medidas referentes a unidades de produção mais bem ou menos bem conhecidas.
4. DADOS
Analisamos dados do triênio de 1998 a 2000 dos relatórios encaminhados à CAPES pelos cursos de pós-graduação em Engenharia de Produção.
Consideramos como input a média aritmética dos tamanhos médios do núcleo de referência docente segundo os conceitos 1 (todos os docentes) e 6 (docentes que dedicam pelo menos 30% do tempo à instituição). Dois outputs foram considerados, o número médio de docentes apresentando algum resultado de pesquisa em cada ano e o número médio de dissertações de mestrado aprovadas em cada ano. Para reduzir a influência das variações aleatórias, trabalhamos aqui com a média dos dados referentes aos três anos.
O uso da média reduz a influência de variações acidentais, mas não elimina a imprecisão intrínseca na medição dos inputs e outputs considerados pelos números de pessoas em cada um dos grupos. Por isto é útil a aleatorização das classificações. A possibilidade de grandes variações é demonstrada pela grande distância dos dados de SC aos demais. A Tabela 4.1 apresenta os valores das variáveis consideradas.
Tabela 4.1. Números Médios no Triênio 1998/2000 Cursos Núcleo docente Docentes em atas Alunos titulados
SC 89,8 62,7 209,3 RJ 29,8 15,3 67,7 SM 24,0 6,0 23,3 SP 23,0 15,3 45,0 FSCAR 22,0 16,0 20,7 ESPB 19,0 13,5 4,0 FF 18,2 8,3 19,0 CEFET 14,5 8,0 13,0 PE 12,5 7,7 9,0 MEP 12,2 9,7 11,0 RGS 11,3 7,3 14,0 PB 10,8 8,0 8,7 PUC 10,7 7,7 24,7 SPSCAR 10,5 6,7 30,7 MG 9,5 5,0 13,0 P 9,0 6,5 16,5 EI 7,7 6,3 6,3 5. RESULTADOS
As probabilidades de maximizar o input, cada output e seus inversos são apresentadas na tabela 5.1,calculadas segundo a hipótese de distribuições uniformes com amplitude dada pela amplitude amostral e, também, assumindo a hipótese de distribuições normais com desvio padrão dado pelo desvio padrão amostral. Para simplificar a análise, além da independência das perturbações afetando cada medida, também foi assumida, no cálculo das produtividades globais, independência entre as distribuições relativas aos diferentes conceitos elementares. As probabilidades de minimizar inputs e outputs foram calculadas através das probabilidades de maximizar o inverso para facilitar o cotejo com os valores das probabilidades de maximizar e minimizar as produtividades, calculadas através de razões output/input, e apresentadas na Tabela 5.2, juntamente com as eficiências segundo a Análise Envoltória de Dados assumindo retornos constantes de escala (DEA-CRS) e a classificação oficial da CAPES com base nos dados do triênio.
Tabela 5.1. Probabilidades de Atingir a Fronteira
CURSO PROBABILIDADE DE MAXIMIZAR PROBABILIDADE DE MINIMIZAR
DOCENTES DOC. PUBL. AL. TIT. DOCENTES DOC. PUBL. AL. TIT. Unif. Norm. Unif. Norm. Unif. Norm. Unif. Norm. Unif. Norm. Unif. Norm.
SC 93% 81% 95% 83% 93% 81% 0% 0% 0% 0% 0% 0% RJ 3% 3% 1% 2% 4% 4% 0% 0% 0% 1% 0% 0% SM 1% 2% 0% 1% 0% 1% 0% 1% 17% 13% 0% 1% SP 1% 2% 1% 2% 2% 2% 0% 1% 0% 1% 0% 1% FSCAR 1% 2% 1% 2% 0% 1% 0% 1% 0% 0% 0% 1% ESPB 1% 1% 1% 2% 0% 1% 0% 1% 0% 1% 70% 59% FF 0% 1% 0% 1% 0% 1% 0% 1% 1% 3% 0% 1% CEFET 0% 1% 0% 1% 0% 1% 0% 3% 1% 4% 1% 2% PE 0% 1% 0% 1% 0% 1% 1% 4% 2% 5% 4% 5% MEP 0% 1% 0% 1% 0% 1% 2% 5% 0% 2% 2% 3% RGS 0% 1% 0% 1% 0% 1% 3% 6% 3% 6% 1% 2% PB 0% 1% 0% 1% 0% 1% 5% 7% 1% 4% 5% 6% PUC 0% 1% 0% 1% 0% 1% 5% 8% 2% 5% 0% 1% SPSCAR 0% 1% 0% 1% 1% 1% 6% 8% 7% 8% 0% 1% MG 0% 1% 0% 1% 0% 1% 13% 12% 48% 28% 1% 2% P 0% 1% 0% 1% 0% 1% 19% 15% 9% 9% 0% 1% EI 0% 1% 0% 1% 0% 1% 45% 28% 11% 10% 16% 14%
Tabela 5.2 Probabilidades de Maximizar Produtividades Parciais, DEA e classificação Oficial
CURSO CAPES DEA PROBABILIDADE DE MAXIMIZAR PROBABILIDADE DE MINIMIZAR
UNIFORME NORMAL UNIFORME NORMAL
PUB/DOC TIT/DOC PUB/DOC TIT/DOC DOC/PUB DOC/TIT DOC/PUB DOC/TIT
SC 2 98% 3% 15% 6% 14% 0% 0% 1% 1% RJ 4 80% 0% 13% 1% 13% 2% 0% 3% 1% SM 3 37% 0% 0% 0% 1% 88% 1% 78% 1% SP 5 91% 1% 5% 5% 8% 0% 0% 1% 1% FSCAR 5 90% 7% 0% 9% 1% 0% 1% 1% 2% ESPB 3 86% 5% 0% 7% 0% 0% 92% 1% 81% FF 3 60% 0% 0% 0% 1% 5% 0% 5% 1% CEFET 3 70% 0% 0% 1% 1% 1% 1% 2% 2% PE 4 75% 0% 0% 3% 1% 0% 2% 1% 2% MEP 4 97% 24% 0% 15% 1% 0% 1% 1% 2% RGS 5 83% 1% 0% 4% 2% 0% 0% 1% 1% PB 3 90% 10% 0% 9% 1% 0% 1% 1% 2% PUC 5 100% 6% 15% 8% 14% 0% 0% 1% 1% SPSCAR 5 100% 0% 50% 3% 33% 0% 0% 1% 0% MG 4 71% 0% 0% 1% 3% 2% 0% 3% 1% P 3 97% 7% 3% 8% 6% 0% 0% 1% 1% EI 3 100% 36% 0% 19% 1% 0% 1% 0% 2%
As medidas de eficiência agregada indicadas na Seção 2 são, a seguir calculadas, assumindo-se a hipóteassumindo-se simplificadora de independência entre as probabilidades de atingir a fronteira em variáveis diferentes. Com apenas um input, as medidas de eficiência C2 e C5 coincidem. O mesmo acontece com C4 e C8. Temos, então, acrescentando as duas medidas baseadas nas razões de produtividade, oito alternativas de acesso à eficiência.
Tabela 5.3. Eficiências Globais Probabilísticas segundo Distribuição Uniforme
CURSO C1 C2 C3 C4 C6 C7 C9 C10 SC 0% 100% 0% 7% 0% 7% 36% 36% RJ 0% 72% 0% 98% 0% 97% 26% 25% SM 0% 3% 0% 83% 0% 99% 0% 0% SP 0% 35% 0% 100% 0% 99% 11% 11% FSCAR 0% 20% 0% 100% 0% 99% 15% 15% ESPB 0% 9% 0% 30% 0% 100% 10% 1% FF 0% 2% 0% 100% 0% 100% 0% 0% CEFET 0% 1% 1% 99% 0% 100% 0% 0% PE 1% 0% 3% 95% 3% 100% 0% 0% MEP 7% 2% 4% 99% 3% 100% 49% 49% RGS 4% 1% 9% 98% 7% 100% 1% 1% PB 5% 0% 13% 95% 11% 100% 19% 19% PUC 48% 4% 16% 99% 12% 100% 39% 40% SPSCAR 100% 6% 17% 94% 14% 100% 100% 100% MG 10% 0% 21% 52% 30% 100% 0% 0% P 38% 1% 51% 92% 43% 100% 18% 18% EI 1% 0% 100% 76% 100% 98% 72% 71%
Tabela 5.4. Eficiências Globais Probabilísticas segundo Distribuição Normal CURSO C1 C2 C3 C4 C6 C7 C9 C10 SC 19% 100% 0% 19% 0% 19% 56% 56% RJ 6% 33% 2% 99% 1% 97% 39% 38% SM 3% 9% 2% 87% 2% 98% 3% 1% SP 7% 22% 3% 100% 2% 99% 34% 35% FSCAR 6% 17% 3% 100% 3% 99% 27% 26% ESPB 6% 12% 2% 41% 4% 99% 21% 4% FF 6% 10% 5% 97% 4% 99% 5% 5% CEFET 11% 9% 11% 96% 9% 100% 6% 6% PE 17% 8% 17% 92% 15% 100% 9% 9% MEP 22% 9% 20% 97% 17% 100% 45% 45% RGS 26% 8% 25% 95% 22% 100% 16% 16% PB 29% 8% 29% 93% 26% 100% 28% 28% PUC 41% 11% 33% 97% 27% 100% 59% 59% SPSCAR 47% 11% 33% 93% 29% 100% 100% 100% MG 44% 7% 38% 72% 42% 99% 10% 10% P 64% 8% 60% 91% 53% 100% 39% 39% EI 100% 7% 100% 79% 100% 99% 57% 56%
Algumas medidas de eficiência são afetadas pela distância do curso SC aos demais. As medidas que consideram apenas probabilidades de minimizar não são afetadas por esta observação discrepante. C1 é a única medida em que são diferentes os cursos próximos às fronteiras de eficiência uniforme e normal. Isto decorre dos valores muito pequenos das probabilidades de satisfazer as exigências de simultânea minimização de input e maximização de output.
6. ANÁLISE DE CORRELAÇÕES.
As tabelas abaixo apresentam as medidas de correlação dos vetores de eficiência segundo os diversos critérios. A Tabela 6.1 exibe as correlações sob a hipótese de distribuição uniforme e a Tabela 6.2 as correlações geradas sob a hipótese de normalidade. As tabelas 6.1 e 6.2 confirmam a grande discordância entre os critérios. Revelam ainda que as relações são praticamente as mesmas, seja a distribuição normal seja a distribuição uniforme a escolhida. Apenas C3 e C6, que enfatizam a minimização do número de professores, e C9 e C10, os critérios derivados das razões de produtividade parciais, apresentam alta correlação, igual ou superior a 99%, tanto no caso normal quanto no caso uniforme. Com exceção do critério C1, todos os critérios apresentam aproximadamente as mesmas correlações entre si.
Tabela 6.1. Correlações entre os Vetores de Eficiência Uniforme C1 C2 C3 C4 C6 C7 C9 C2 -19% C3 17% -28% C4 18% -47% -1% C6 12% -27% 99% -6% C7 14% -78% 13% 71% 13% C9 67% 9% 47% -1% 44% -12% C10 68% 9% 47% 2% 44% -12% 100%
Tabela 6.2. Correlações entre os Vetores de Eficiência Normal C1 C2 C3 C4 C6 C7 C9 C2 -20% C3 98% -34% C4 -1% -68% 10% C6 97% -33% 99% 5% C7 9% -96% 23% 76% 22% C9 49% 27% 36% -9% 32% -23% C10 51% 27% 38% -1% 34% -24% 99%
A Tabela 6.3 apresenta as correlações entre os vetores de eficiência produzidos pelo mesmo critério aplicado a probabilidades derivadas de diferentes hipóteses quanto à distribuição. Além disso, apresenta as correlações desses vetores com o vetor de escores de eficiência DEA-CRS e com o vetor de classificação dos cursos produzido por especialistas encarregados pela CAPES de gerar, com base em indicadores extraídos de um conjunto de dados mais amplo, uma avaliação oficial dos cursos.
Tabela 6.3. Correlações entre os Vetores de Eficiência e com Outras Classificações C1 C2 C3 C4 C6 C7 C9 C10 Oficial X Uniforme 38% -20% -17% 55% -17% 47% 16% 38% Oficial X Normal -6% -36% -6% 58% -8% 47% 24% -6% DEA X Uniforme 40% 20% 38% -9% 33% -21% 65% 64% DEA X Normal 50% 22% 41% -13% 37% -20% 76% 74% Uniforme X Normal 39% 92% 96% 99% 97% 100% 94% 39%
A Tabela 6.3, salvo quando se examinam os resultados pelo critério C1, confirma que a escolha da distribuição afeta muito pouco. A concordância com a abordagem DEA é maior para as medidas de eficiência probabilística baseadas nas razões de produtividade, o que era de esperar, dada a construção das fronteiras DEA a partir dessas razões. Nota-se, também, que concordam mais com a avaliação dos especialistas os critérios baseados na exigência de afastamento da fronteira de ineficiência que aqueles baseados na proximidade das fronteiras de excelência. Isto sugere que a avaliação oficial esteja concentrando a atenção nos desempenhos mais susceptíveis de crítica, ao menos, quanto à produtividade relativamente aos outputs considerados nesta análise.
7. CONCLUSÃO
A aplicação realizada evidencia as diferenças entre os conceitos agregados medidos. O principal resultado da análise é a constatação de que todos os cursos analisados atingem posições de eficiência relativa muito alta em algum critério e muito baixa em algum outro. Isto mostra que, quanto às variáveis incluídas na análise, que são as variáveis básicas do ensino de pós-graduação, os cursos examinados apresentam desempenhos tão próximos que pequenas variações nos dados informados se refletem em grande mudança de posição relativa. Resultados diferentes obtidos através da aplicação da Análise Envoltória de Dados, que, por sua vez, divergem também dos postos oficiais, confirmam a homogeneidade dos cursos.
8. REFERÊNCIAS
SANT'ANNA, A. P., Dynamic Models for Higher Education in Various Sites. Proceedings of
the ICEE-98, Rio de Janeiro 1998.
SANT'ANNA, A. P., Qualidade Produtividade e GED. Anais do XXXIII SBPO, Campos do Jordão, 2001.
SANT'ANNA, A. P., Cálculo Probabilístico de Produtividades Globais. Anais do XXXIV
