A AVALIAÇÃO CRUZADA: UMA REVISÃO BIBLIOGRÁFICA E IMPLEMENTAÇÃO COMPUTACIONAL

A AVALIAÇÃO CRUZADA: UMA REVISÃO BIBLIOGRÁFICA E

IMPLEMENTAÇÃO COMPUTACIONAL

Lidia Angulo Meza

Departamento de Ciência dos Materiais – Universidade Federal Fluminense Av. dos Trabalhadores 420, Volta Redonda, RJ

lidia@metal.eeimvr.uff.br

Bruno Tonioni Cunha

Departamento de Ciência dos Materiais – Universidade Federal Fluminense Av. dos Trabalhadores 420, Volta Redonda, RJ

btonioni@yahoo.com.br

RESUMO

Uma dificuldade na Análise Envoltória de Dados (Data Envelopment Analysis – DEA) no uso dos modelos clássicos é que, com freqüência, há várias DMUs avaliadas como 100% eficientes. Uma forma de incrementar a discriminação em DEA sem informação previa do decisor é utilizando a Avaliação Cruzada. A idéia principal deste método é a avaliação do conjunto de DMUs, assim além de calcular a própria eficiência, ela calcula a eficiência das outras DMUs. Vários pesquisadores já introduziram simplificações ou modificações para este modelo. Neste trabalho apresenta-se uma pesquisa bibliográfica das variações e simplificações deste enfoque existentes na literatura. Para se fazer uma comparação dos modelos analisam-se as características de cada proposta teoricamente e usando um exemplo numérico. Além domais, como o procedimento para calcular esta eficiência pode ser computacionalmente exaustivo, apresenta-se uma implementação computacional no software SIAD que facilita o uso da avaliação cruzada.

PALAVRAS CHAVE: Análise Envoltória de Dados, Avaliação Cruzada, Software.

ABSTRACT

One drawback in using Data Envelopment Analysis – DEA – models is that there are several DMUs classified as 100% efficient. One way to improve discrimination in DEA without a priori information from the decision maker is using Cross Evaluation. The main idea behind this method is a peer-evaluation, in this sense, besides calculating its own efficiency, the DMU calculates other DMUs´ efficiency index. Several researchers have already proposed simplifications or modification of this method. In this paper we present a bibliographic research of the different proposals for Cross Evaluation. To be able to compare this models, we analyze the characteristics of each approach theoretically and using a numerical example. More over, considering that the procedure to calculate a cross efficiency index can be computationally expensive, we present a computational implementation perform in the software SIAD to facilitate the use of Cross Evaluation.

KEYWORDS. Data Envelopment Analysis, Cross Evaluation, Software.

1. Introdução

O objetivo da Análise Envoltória de Dados (Data Envelopment Analysis — DEA) é avaliar a eficiência de unidades produtivas que realizam tarefas similares, chamadas de unidades de tomada de decisão (Decision Making Units — DMUs). Essas unidades são comparadas e distinguem-se pelas quantidades de recursos (inputs) que consomem e de bens (outputs) que produzem (Cooper et al., 2000; Estellita-Lins e Angulo-Meza, 2000).

Para realizar esta avaliação, DEA utiliza problemas de programação linear (PPL) cujo objetivo é maximizar o índice de eficiência enquanto se cumprem com determinadas restrições. Assim, os PPLs permitem que cada DMU apareça da melhor maneira possível, isto é, serão dados pesos maiores a aquelas variáveis que tenham níveis de outputs maiores (níveis menores no caso dos inputs) e outorgará pesos menores ou nulos a aquelas variáveis que lhe sejam desfavoráveis. Isto tem como conseqüência que os pesos utilizados pelas diferentes DMUs para cada variável variem amplamente (Angulo-Meza, 1998). Esta situação também permite que várias DMUs atinjam o 100% de eficiência, o que dificulta a escolha da melhor DMU ou de uma ordenação delas.

Este tipo de situação tem sido a preocupação de muitos pesquisadores. Uma maneira de evitar as diferenças nos pesos determinados para cada DMU e dos pesos nulos, sem a arbitrariedade das restrições e sem o conhecimento prévio da importância relativa de cada variável, é utilizando a Avaliação Cruzada (Cross Evaluation). Esta é uma variação interessante de DEA inicialmente desenvolvida em 1986 por Sexton et al. e tem como idéia principal utilizar DEA em uma avaliação do conjunto o que significa que cada DMU é avaliada segundo o conjunto de pesos ótimo das outras DMUs, sendo a média de todas as eficiências a eficiência cruzada.

Desde o aparecimento da avaliação cruzada, que é apresentada na seção 2, diversas variantes têm surgido, as quais tentam simplificar o método ou fornecer maior sentido aos resultados. O objetivo deste artigo é apresentar os resultados da pesquisa bibliográfica realizada no tema e fazer uma comparação dos diversos enfoques apresentando as características de cada variação. Isso é feito na seção 3. Utiliza-se um exemplo numérico para ilustrar o uso de cada proposta comparando os resultados para estabelecer diferenças tanto de conceição quanto práticos. Uma discussão sobre os resultados é apresentada na seção 4. Dado que o procedimento para o cálculo dos índices da avaliação cruzada pode ser computacionalmente exaustivo, pois trata-se de um procedimento em duas etapas, apresenta-se uma implementação computacional realizada no SIAD (Angulo-Meza et al, 2005) para facilitar e divulgar o uso de esta técnica a que é apresentada na seção 5. Finalmente, na seção 6 são apresentados as conclusões deste trabalho.

2. A Análise Envoltória de Dados e a Avaliação Cruzada

A Análise Envoltória de Dados (Data Envelopment Analysis – DEA) foi desenvolvida por Charnes, Cooper e Rhodes (1978) e usa a programação linear para avaliação de eficiências das DMUs que utilizam os mesmos recursos (inputs) e geram os mesmos produtos (outputs).

Existem dois modelos DEA clássicos: CCR e BCC. O modelo CCR (também conhecido por CRS ou constant returns to scale), adota como hipótese retornos constantes de escala (Charnes, Cooper e Rhodes, 1978) e assume proporcionalidade entre inputs e outputs.

Matematicamente, o modelo DEA CCR maximiza o quociente entre a combinação linear dos

outputs e a combinação linear dos inputs, com a restrição de que para qualquer DMU esse

quociente não pode ser maior que 1. Esse problema de programação fracionária, mediante alguns artifícios matemáticos, pode ser linearizado, transformando-se no Problema de Programação Linear (PPL). Considera-se que cada DMU j, j = 1...n, é uma unidade de produção que utiliza m

inputs xik, i =1...m, para produzir s outputs yrj, r =1...s; xio e yro são os inputs e outputs da DMU o.

Em (1) apresentamos a formulação linearizada do modelo CCR para determinar a eficiência, ho,

da DMU O; xio e yro são os inputs e outputs da DMU o; vi e ur são os pesos calculados pelo

1 1 1 1 1 0 1 0 s o r ro r m i io i s m r rj i ij r i r i Max h u y sujeito a: v x u y v x , j ,...,n u ,v i,r = = = = = = − ≤ = ≥ ∀

∑

∑

∑

∑

Freqüentemente, dado que cada DMU tem a liberdade de escolher os próprios pesos para determinar seu índice de eficiência, o conjunto de pesos ótimo encontrado pode ignorar as variáveis em que teve mal desempenho, outorgando peso nulo àquela variável e considerando somente aquelas de bom desempenho, podendo chegar a situação extrema de outorgar pesos somente um input e um output. Um conjunto de pesos com essas características não é real, nem é desejável para a análise.

Outro problema, também relacionado ao conjunto de pesos, é a fraca discriminação entre DMUs, pois várias DMUs podem ser identificadas como eficientes. Em geral, isso acontece em casos em que a quantidade de DMU não é maior com relação à quantidade de variáveis utilizadas (recomenda-se que o número de variáveis seja pelo menos três vezes maior que o número de variáveis), mas isso não impede que essa situação ocorra na presença de poucas variáveis.

A avaliação Cruzada foi inicialmente proposta por Sexton et al (1986) como uma forma de resolver os dois problemas mencionados, já que eles encontram-se muito relacionados, e é aplicado em situações em que não existe consenso entre os decisores sobre a importância relativa das variáveis para utilizar restrições aos pesos e deseja-se incrementar a discriminação entre DMUs (veja Angulo-Meza e Lins, 2002, para maiores detalhes).

Esta técnica tem como idéia principal utilizar DEA para realizar uma avaliação feita por todas as DMUs da análise ao invés de fazer a auto-avaliação, que é calculada pelos modelos DEA padrão (Doyle e Green, 1994). Assim cada DMU é avaliada usando o conjunto de pesos ótimo obtido por cada uma das outras DMUs, sendo a média de todas essas eficiências a eficiência cruzada da DMU em análise. Esta avaliação pode ser vista como uma média das eficiências de uma DMU calculadas sob o "ponto de vista" das outras DMUs.

Para realizar este procedimento precisa-se dos pesos ótimos obtidos resolvendo os PPLs para cada DMU. A eficiência cruzada poderia ser facilmente realizada utilizando esses pesos, mas como já foi observado, para as DMUs eficientes este conjunto de pesos não é único (Cooper et al, 2000). Isto significa que existem múltiplos conjuntos de pesos ótimos (soluções ótimas) que fornecem o mesmo índice de eficiência para a DMU.

Para que o conjunto de pesos fornecido como solução ótima não prejudique ou beneficie nenhuma DMU, é utilizado um novo PPL com uma função objetivo secundária. A idéia do novo PPL é escolher um conjunto de pesos que seja ótimo no PPL inicial, isto é, obtenha a mesma eficiência para a DMU em análise, mas que tenha como objetivo secundário minimizar as eficiências cruzadas das outras DMUs. Sexton et al. (1986) chamam a esta formulação de formulação agressiva, devido à minimização na função objetivo. Já considerando a maximização das eficiências cruzadas das outras DMUs, tem-se uma formulação benevolente.

Para descrevermos o método definimos em (2) como a eficiência cruzada da DMU O utilizando o conjunto de pesos da DMU k. Definida desta forma, Ekk seria a eficiência da DMU k

utilizando os próprios pesos, isto é, a eficiência calculada pelo modelo CCR que chamaremos de eficiência padrão: 1 1 s rk ro r ko m ik io i u y E v x = = =

∑

∑

A proposta original de Sexton et al (1986) indica que a função objetivo do segundo PPL tem a forma em (3) em que o objetivo é minimizar a soma das eficiências cruzadas das outras DMUs

utilizando os pesos da DMU k. Esta função objetivo nos leva a um problema de programação fracionária não linear que não pode ser resolvido pelos métodos de solução padrão de programação linear. 1 1 s rk rj r kj m j k j k ik ij i u y Minimizar E = v x = ≠ ≠ =

∑

∑

∑

∑

Os pesquisadores Doyle e Green (1994) apresentaram duas propostas para substituir a função objetivo anterior. Na primeira substituição, a função objetivo trata de minimizar a soma para todas as DMUs diferentes de k da soma ponderada do numerador de cada fração menos a soma ponderada do denominador da função objetivo anterior, sendo que o conjunto de pesos utilizado para calcular essas somas ponderadas é o conjunto de pesos da DMU k que tratamos de encontrar. A função objetivo apresentada em (4) é chamada de Bk.

1 1 1 1 s m s m k rk rj ik ij rk rj ik ij j k r i r j k i j k Minimizar B = u y v x = u y v x ≠ = = = ≠ = ≠ ⎛ ⎞ ⎛ ⎞ ⎛ ₋ ⎞ ₋ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠

∑ ∑

∑

∑ ∑

∑ ∑

A segunda proposta dos autores foi substituir a subtração pela divisão. Assim, obtemos a função objetivo chamada de Ck, apresentada em (5).

1 1 1 1 s s rk rj rk rj j k r r j k k m m ik ij ik ij i j k j k i u y u y Minimizar C = = v x v x ≠ = = ≠ = ≠ ≠ = ⎛ ⎞ ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ ⎜ ⎟ ⎝ ⎠

∑ ∑

∑ ∑

∑ ∑

∑ ∑

Para o caso das formulações benevolentes de Ak, Bk e Ck basta substituir a minimização da função objetivo pela maximização.

Finalmente, a formulação agressiva Bk a ser resolvida para se obter o conjunto de pesos a ser utilizado para a avaliação cruzada é apresentada em (6). Nesta formulação, a primeira restrição garante que os pesos a serem determinados aplicados para avaliar outras DMUs não forneçam eficiências maiores do que 1 (esta é uma restrição padrão em DEA). A segunda restrição garante que esses pesos forneçam a mesma eficiência previamente encontrada para a DMU k. Já a terceira restrição não faz parte da formulação inicial no modelo CCR, mas aparece na linearização da função objetivo do modelo. Na verdade não é preciso utilizá-la, mas acredita-se que ajuda a evitar degeneração (Doyle e Green, 1994). Finalmente, a última restrição garante que os pesos sejam não negativos.

1 1 1 1 1 1 1 0 0 1 0 s m k rk rj ik ij r j k i j k s m rk rj ik ij r i s m rk rk kk ik ik r i m ik ik i rk ik Minimizar B = u y v x sujeito a: u y v x , j k u y E v x v x , j k u ,v i,r = ≠ = ≠ = = = = = ⎛ ⎞ ⎛ ⎞ − ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ ⎝ ⎠ − ≤ ∀ ≠ − = = ∀ ≠ ≥ ∀

∑ ∑

∑ ∑

∑

∑

∑

∑

∑

Analogamente, para a função objetivo Ck, linearizada fazendo o denominador igual a 1, a formulação é apresentada em (7) na qual a primeira, a segunda e a última restrição são iguais às da formulação (6) e a última restrição é o resultado da normalização da função objetivo Ck.

1 1 1 1 1 1 0 0 1 0 s k rk rj r j k s m rk rj ik ij r i s m rk rk kk ik ik r i m ik ij i j k rk ik Minimizar C = u y sujeito a: u y v x , j k u y E v x v x u ,v i,r = ≠ = = = = = ≠ − ≤ ∀ ≠ − = = ≥ ∀

∑ ∑

∑

∑

∑

∑

∑ ∑

Trabalhos posteriores e o próprio trabalho de Doyle e Green (1994) mostram que os resultados das formulações Bk e Ck são muito parecidos com relação ao s pesos (Angulo-Meza, 1998), sendo as ordenações idênticas, por isso muitos analistas utilizam somente uma das formulações, geralmente a formulação Ck (Anderson et al, 1998, e Anderson et al, 2002).

Uma vez determinado o conjunto de pesos, as eficiências cruzadas podem ser organizadas em uma matriz chamada de matriz de eficiências cruzadas, mostrada na tabela 1.

Tabela 1. Matriz de eficiências cruzadas.

DMU 1 2 3 4 5 ... n 1 E11 E12 E13 E14 E15 ... E1n 2 E21 E22 E23 E24 E25 ... E2n 3 E31 E32 E33 E34 E35 ... E3n 4 E41 E42 E43 E44 E45 ... E4n 5 E51 E52 E53 E54 E55 ... E5n ... ... ... ... ... ... ... ... n En1 En2 En3 En4 En5 ... Enn e1 e2 e3 e4 e5 ... en

e´1 e´2 e´3 e´4 e´5 ... e´n

Nesta matriz a diagonal corresponde a eficiência padrão calculada pelo modelo CCR, a coluna k corresponde as eficiências da DMU k obtidas usando os pesos ou “pontos de vista” de todas as DMUs da avaliação. Já a linha k corresponde às avaliações feitas com o conjunto de pesos da DMU k. Na última linha da matriz calcula-se a eficiência cruzada média da DMU k, ek,

que é calculada como a média da coluna k incluindo a diagonal, Ekk (permitindo a

auto-avaliação), ou não, e´k.

Para ilustrar melhor a aplicação da Avaliação Cruzada, que será chamada de clássica, considere o exemplo apresentado na tabela 2, em que apresentam-se também os pesos e a eficiência padrão do modelo CCR implementado no software SIAD (Angulo-Meza et al, 2005).

Tabela 2. Dados para a avaliação cruzada

Dados Pesos DMU

Input 1 Input 2 Output 1 Input 1 Input 2 Output 1

Eficiência padrão A 2 8 1 0,5000 0,0000 0,3500 35% B 9 2 5 0,0746 0,1642 0,2000 100% C 7 9 10 0,0373 0,0821 0,1000 100% D 5 10 5 0,2000 0,0000 0,1400 70% E 10 3 3 0,0602 0,1325 0,1614 48,43%

Na tabela 2 pode-se observar que enquanto não houve pesos zeros para as duas DMUs 100% eficientes, a DMU D forneceu peso zero ao input 2 para poder atingir 70% de eficiência. O mesmo acontece com a DMU A. Por outro lado, comparando os pesos das variáveis da DMU D e da E vemos que a DMU D atingiu uma eficiência melhor do que a DMU E ignorando o input 2 da análise que a DMU E não ignorou. Este resultado pode ser considerado injusto pela DMU E.

Assim, para evitar problemas com os pesos e obter uma ordenação final das DMUs utilizamos a Avaliação Cruzada, nas suas formulações agressivas das propostas Bk (6) e Ck (7), cujas matrizes de eficiências cruzadas se encontram nas tabelas 4 e 6. Os pesos obtidos pelas respectivas formulações podem ser observados nas tabela 3 e 5.

Tabela 3. Pesos obtidos usando a formulação agressiva de Bk. Pesos

DMU

Input 1 Input 2 Output 1

A 0,5000 0,0000 0,3500

B 0,0000 0,5000 0,2000

C 0,0746 0,1641 0,2000

D 0,2000 0,0000 0,1400

E 0,0571 0,1428 0,1600

Tabela 4. Resultados da Avaliação Cruzada usando a formulação agressiva de Bk.

DMU A DMU B DMU C DMU D DMU E

DMU A 0,3500 0,3889 1,0000 0,7000 0,2100 DMU B 0,0500 1,0000 0,4444 0,2000 0,4000 DMU C 0,1368 1,0000 1,0000 0,4965 0,4845 DMU D 0,3500 0,3889 1,0000 0,7000 0,2100 DMU E 0,1273 1,0006 0,9496 0,4669 0,4803 ek 0,2028 0,7558 0,8789 0,5127 0,3570 e' k 0,1734 0,6947 0,8485 0,4659 0,3261

Tabela 5. Pesos obtidos usando a formulação agressiva de Ck. Pesos

DMU

Input 1 Input 2 Output 1 A 0,0322 0,0000 0,0225 B 0,0000 0,0333 0,0133 C 0,0384 0,0000 0,0269 D 0,0357 0,0000 0,0250 E 0,0104 0,0261 0,0293

Tabela 6. Resultados da Avaliação Cruzada usando a formulação agressiva de Ck.

DMU A DMU B DMU C DMU D DMU E

DMU A 0,3500 0,3889 1,0000 0,7000 0,2100 DMU B 0,0500 1,0000 0,4444 0,2000 0,4000 DMU C 0,3500 0,3889 1,0000 0,7000 0,2100 DMU D 0,3500 0,3889 1,0000 0,7000 0,2100 DMU E 0,1367 1,0000 1,0000 0,4963 0,4843 ek 0,2473 0,6333 0,8889 0,5593 0,3029 e' k 0,2217 0,5417 0,8611 0,5241 0,2575

Observando a tabela 3 de pesos da formulação Bk verifica-se que foram encontrados

conjuntos diferentes de pesos para três DMUs, B, C e E. Também é curioso observar que o conjunto de pesos observado para a DMU B na tabela 2, foi outorgado a DMU C na tabela 3. Para outros exemplos numéricos isso não foi observado (Angulo-Meza, 1998).

Já na tabela 5, pesos da formulação Ck, os conjuntos de pesos encontrados foram

completamente diferentes àqueles achados pela formulação padrão de DEA, tabela 2, e pela formulação Bk, tabela 3. Somente com estes resultados pode-se verificar a multiplicidade de pesos

para uma mesma eficiência ainda nas DMUs ineficientes.

Usando as eficiências cruzadas médias, é feita uma ordenação segundo as eficiências cruzadas, assim a ordenação segundo a formulação Bk é de melhor para pior: C, B, D, E e A. Já para a formulação Ck a ordenação se manteve. O que verifica empiricamente o resultado

observado por Doyle e Green (1994) e Angulo-Meza (1998) de ordenações iguais. Ainda, não foram testadas as formulações benevolentes, mas tal como os pesquisadores mencionados já observaram, as ordenações também foram semelhantes embora as eficiências médias achadas foram maiores.

3. Pesquisa Bibliográfica

Desde a proposta de Sexton et al (1986) e o trabalho de Doyle e Green (1994) vários trabalhos surgiram propondo variações de implementação da avaliação cruzada. Tal como será visto, estas propostas estão centradas na simplificação desta técnica, ou simplesmente na interpretação dos resultados obtidos na avaliação cruzada clássica.

3.1. Médias dos pesos

Uma das primeiras variações propostas foi a de Anderson et al. (1998). Eles destacaram que na avaliação cruzada não se tem garantia de que todos os conjuntos de pesos possíveis sejam analisados, já que muitos conjuntos de pesos poderiam ignorar algumas variáveis, assim como acontece no exemplo ilustrativo da tabela 2 e que também pode ser observado nas tabelas 3 e 5 dos pesos da avaliação cruzada clássica.

Desta forma, eles propuseram o cálculo dos pesos como sendo a média dos pesos para a variável. Uma vez calculada a média para todos as variáveis, elas são utilizadas para calcular a eficiência cruzada das DMUs. Assim, temos somente um conjunto de pesos para o cálculo da eficiência cruzada final.

Para ilustrar este enfoque, utilizam-se os dados e os pesos apresentados na tabela 2, obtendo-se os pesos da tabela 7.

Tabela 7. Pesos médios para as DMUs Pesos

DMU

Input 1 Input 2 Output 1 A 0,5000 0,0000 0,3500 B 0,0746 0,1642 0,2000 C 0,0373 0,0821 0,1000 D 0,2000 0,0000 0,1400 E 0,0602 0,1325 0,1614 Média 0,1744 0,0758 0,1903

Com esses pesos são calculadas as seguintes eficiências cruzadas (expressas em percentagens): DMU A, 19,93%; DMU B, 55,27%; DMU C, 100%; DMU D, 58,38% e DMU, E 28,95%.

A ordenação final das DMUs usando esses índices de eficiência cruzada é C, D, B, E e A. Pode-se notar que existe uma mudança na ordem das DMUs B e D com relação a ordenação da avaliação cruzada clássica, no entanto, a diferença entre as eficiências é mínima pouco mais de 3%, isso é devido a que a média dos pesos forneceu um peso maior para o input 1 do que para o input 2, ao contrário do que acontece quando B calculou seu próprio conjunto de pesos, tabela 2, e nas formulações cruzadas clássicas, tabelas 3 e 5, em que o peso do input 2 é maior do que o input 1. Dado que está se privilegiando o input 1, o desempenho de B diminui. A DMU A continua sendo a DMU de pior desempenho e a DMU C, a de melhor desempenho.

Por outro lado, observa-se que foi cumprida a meta que era distribuir os pesos não permitindo que nenhuma variável fosse ignorada da análise, além de evitar o uso do segundo PPL para determinar pesos ótimos para avaliação cruzada.

É importante destacar que este enfoque também foi utilizado por Soares de Mello et al (2002) em que, além de só trabalhar com DMUs eficientes, ela é utilizada no contexto de uma fronteira suavizada.

3.2. Médias dos Pesos das DMUs ineficientes

Soares de Mello et al (2004) propuseram uma variante do enfoque anterior que consiste em remover as DMUs eficientes usando os valores dos pesos das DMUs ineficientes para o cálculo

da média dos pesos. Os pesquisadores destacam que a vantagem desta proposta é que elimina a imprecisão devido à existência de múltiplas soluções das DMUs eficientes o que descarta o uso do segundo modelo para a determinação do melhor conjunto de pesos eficiente para a DMUs, facilitando assim o cálculo da eficiência cruzada final das DMUs.

Na tabela 8 apresentam-se os pesos médios finais segundo esta proposta usando os dados apresentados na tabela 2.

Tabela 8. Pesos para as variáveis segundo a proposta do uso de pesos de DMUs ineficientes

DMU Input 1 Input 2 Output

A 0,5000 0,0000 0,3500 D 0,2000 0,0000 0,1400 E 0,0602 0,1325 0,1614 Média 0,2534 0,0442 0,2171

As eficiências (expressas em percentagens) das DMUs calculadas com esta proposta são as seguintes: DMU A, 25,24%; DMU B, 45,83%; DMU C, 100%; DMU D, 63,54% e DMU E, 24,43%. Estas eficiências fornecem a ordenação final seguinte: C, D, B, A e E.

Usando esta proposta observa-se que existe uma inversão na ordenação de B e D igual que a proposta anterior e pelo mesmo motivo (peso maior para o input 1 do que para o input 2), assim como uma inversão das posições das DMUs A e E, com uma diferença muito pequena de menos de 1%. Isso acontece devido a que o peso para o input 1 foi maior que para o input 2, com uma diferença mais acentuada que no enfoque anterior (tabela 7). Assim o desempenho da DMU A aumenta, pois vemos que seu conjunto de pesos favorece a A (tabelas 2, 3 e 5).

3.3. Eficiência cruzada usando as DMUs Eficientes

Uma crítica a avaliação cruzada é o uso de conjuntos de pesos de DMUs ineficientes para avaliação das DMUs da análise, pois DMUs ineficientes não deveriam influenciar no cálculo da eficiência cruzada de DMUs eficientes, tal como acontece no cálculo da eficiência padrão DEA. Isso já tinha sido notado em Angulo-Meza (1998) e, tal como já tinha sido mencionado, este enfoque foi usado em Soares de Mello et al (2002) em outro tipo de fronteira. A proposta é utilizar somente os pesos das DMU eficientes.

Usando os dados e os pesos apresentados na tabela 2, temos a matriz de eficiências cruzadas apresentadas na tabela 9.

Tabela 9. Matriz de eficiências cruzadas da proposta de pesos de DMUs eficientes DMU A DMU B DMU C DMU D DMU E

DMU B 0,1367 1,0000 1,0000 0,4963 0,48434 DMU C 0,1367 1,0000 1,0000 0,4963 0,48434

ek 0,1367 1,0000 1,0000 0,4963 0,48434

Observa-se que as eficiências das DMUs são iguais avaliadas pelas DMUs B e C, o que ocasiona um empate entre as duas DMUs eficientes. Esta situação pode acontecer em outros casos, já que este é um resultado empírico e não foram realizadas demonstrações matemáticas que garantam que esta situação ocorra sempre. Além disso, estamos utilizando os pesos obtidos pelo CCR. Desta forma, não é possível fazermos uma ordenação.

É interessante notar que também podem ser utilizados os pesos das formulações Bk (6) ou Ck (7), que é um enfoque mais adequado. Assim utilizando os pesos obtidos pela formulação Ck tem-se os resultados apresentados na tabela 10.

Tabela 10. Matriz de eficiências cruzadas usando os pesos de DMUs eficientes, formulação Ck DMU A DMU B DMU C DMU D DMU E

DMU B 0,0500 1,0000 0,4444 0,2000 0,4000 DMU C 0,3500 0,3889 1,0000 0,7000 0,2100

Fazendo uma ordenação segundo as eficiências cruzadas temos: C, B, D, E e A, ordenação idêntica à obtida pelas propostas Bk e Ck.

Esta proposta evita um problema na eficiência cruzada no que diz respeito à retirada de uma DMU ineficiente que influencia na eficiência cruzada final das outras DMUs, que pode ocasionar uma mudança na ordenação final. Dado que somente estão sendo consideradas as DMUs eficientes na primeira etapa, somente a retirada de uma DMU eficiente pode influenciar na eficiência cruzada das outras DMUs, tal como acontece nos modelos DEA padrão.

3.4 Pesos Fixos

Em Anderson et al (2002) foi mostrado que no caso particular de um input e múltiplos

outputs, a avaliação cruzada não apresenta liberdade nos pesos, mas trata-se de pesos fixos para as DMU’s. Isso pode contradizer a natureza da avaliação cruzada em que o conjunto de pesos obtidos para determinar a eficiência de cada DMU é utilizado para avaliar todas as outras DMU’s, fazendo desta forma uma avaliação em conjunto ao invés de uma auto-avaliação. Além disso, a avaliação cruzada mantém a flexibilidade de DEA.

Eles mostraram que a eficiência cruzada com um input é múltiplos outputs é dado por (8) em que pode-se notar que o termo entre colchetes, que é o peso da variável, yrk, independe de k, a DMU que está sendo avaliada, o que mostra que os pesos são fixos para as m variáveis.

1 1 1 1

1

u

y

n

v

e

x

⎡

⎛

⎞

⎤

⎢

⎜

_⎜

⎟

_⎟

⎥

⎢

⎝

⎠

⎥

⎣

⎦

=

∑

∑

Os resultados computacionais apresentados pelos pesquisadores corroboraram a dedução matemática realizada. Isto significa que no caso especifico de um input e múltiplos outputs, a avaliação cruzada não apresenta flexibilidade nos pesos. Já o mesmo não acontece quando trabalha-se com um output e múltiplos inputs, que é o nosso caso.

Usando este resultado, Estellita Lins et al. (2003) avaliaram pesos comuns para cada variável e, em seqüência, a eficiência de cada DMU com estes pesos. Para um número pequeno de DMUs eficiente o efeito de existência de soluções múltipla causa impacto pequeno nos resultados finais, fato que já tinha sido observado empiricamente por Angulo-Meza (1998).

Mais do que uma variação da avaliação cruzada, o trabalho de Anderson et al (2002) é uma observação sobre a inexistência da flexibilidade dos pesos em uma situação específica.

4. Comparação dos resultados

Na tabela 11 apresentam-se os índices de eficiências expressos em percentagens para as DMUs considerando todos as enfoques mencionados na seção 3, assim como as ordenações decorrentes.

Tabela 11. Índices de eficiência cruzada para as diferentes propostas da Avaliação Cruzada. Proposta

DMU

Bk Ck

Média dos pesos

Média dos pesos das ineficientes

Uso dos pesos das Eficientes DMU A 20,28% 24,73% 19,93% 25,24% 20,00% DMU B 75,58% 63,33% 55,27% 45,83% 69,45% DMU C 87,89% 88,89% 100% 100% 72,22% DMU D 51,27% 55,93% 58,38% 63,54% 45,00% DMU E 35,70% 30,29% 28,95% 24,43% 30,50%

Nas quatro propostas a DMU de melhor desempenho é a C e a DMU de pior desempenho é a DMU A, com exceção da proposta do uso dos pesos das ineficientes, em que a DMU E é a pior. Isto pode acontecer devido a que são privilegiados os pesos das DMUs ineficientes e a DMU A com o maior peso para o input 1 influencia a média final dos pesos a seu favor.

Tabela 12. Ordenações das DMUs para as diferentes propostas da Avaliação Cruzada Proposta Ordem Bk Ck Média dos pesos

Média dos pesos das ineficientes

Média dos pesos das Eficientes 1º C C C C C 2º B B D D B 3º D D B B D 4º E E E A E 5º A A A E A

Também é interessante notar que a DMU B que era 100% eficiente no modelo CCR agora é a segunda colocada, e ainda é a terceira colocada usando a proposta da média dos pesos e média dos pesos ineficientes, tabela 12.

Para três propostas as ordenações das DMUs são idênticas, elas são Bk, Ck e a média dos

pesos eficientes usando os pesos da formulação Ck. Isso acontece devido a que se permite o uso

de diferentes conjuntos de pesos e se realiza uma média final para o cálculo do índice. Nos outros casos, um conjunto de pesos é usado e fornece um único índice de eficiência, o que prejudica DMUs com tendências a favorecer uma ou mais variáveis, tal como acontece com a DMU B.

Por outro lado, vemos que a Avaliação Cruzada em qualquer das suas propostas fornece uma ordenação sem empates das DMUs, tal como era seu objetivo inicial.

5. Implementação Computacional no SIAD

Como já foi mencionado na seção 2, a Avaliação Cruzada é um processo em duas etapas. Na primeira, os PPLs correspondentes ao modelo CCR são executados para se obter a eficiência de cada DMU. Na segunda etapa, de posse das eficiências da primeira, são executados os PPLs secundários para determinar os pesos eficientes. Este processo pode ser tedioso, mesmo com um número não muito grande de DMUs, já que precisa-se resolver o dobro de PPLs do que no enfoque clássico. Além disso, a segunda etapa depende dos resultados da primeira, e isso sem considerar o procedimento do cálculo da matriz de eficiências cruzadas.

Pelo anteriormente exposto, faz-se necessária uma implementação computacional que automatize os procedimentos a serem realizados. O software SIAD (Angulo-Meza et al, 2005) surgiu como uma alternativa em DEA para automatizar os procedimentos de modelos já existentes e possibilitar a incorporação de modelos mais avançados. Desta forma, a Avaliação Cruzada foi incorporada dentro da nova versão do SIAD.

Figura 1. Matriz de eficiências da avaliação cruzada.

De todas as propostas anteriormente descritas, foi implementada a formulação Ck (7). Assim, após a etapa de cálculo da eficiência das DMUs usando o modelo CCR, são executados os PPLs da segunda etapa utilizando o algoritmo Simplex já embutido no software. Todos os cálculos são realizados internamente e, ao final, é apresentada uma tela com os resultados das avaliações cruzadas, tal como mostrado na figura 1. Nenhum esforço adicional é requerido ao usuário.

Da mesma forma quando utilizados outros modelos, todos os resultados da avaliação cruzada (eficiências da primeira etapa, matriz de eficiências cruzadas e eficiências cruzadas finais) podem ser salvos em arquivos de resultados do tipo texto (txt). Esse arquivo de resultados facilita a interpretação e uso dos resultados fora do ambiente SIAD.

5. Conclusões

A Avaliação Cruzada é um método para incrementar a discriminação em DEA que permite anular os efeitos dos pesos nulos enquanto se mantém flexibilidade e variedade nos pesos.

Neste artigo foram apresentadas três variações deste método, três propostas cujos objetivos são minimizar o esforço computacional, enquanto se mantém flexibilidade.

Na primeira proposta, tenta-se obter uma redistribuição de pesos através da média dos mesmos, o que evita ponderações diferentes das variáveis. Já na segunda proposta, tenta-se reduzir o esforço computacional, no que diz respeito ao uso de um segundo PPL, evitando a inclusão das ponderações das DMUs eficientes, nas quais ocorrem múltiplas soluções ótimas, considerando para a média somente as ponderações das DMUs ineficientes.

Um grande problema observado nas médias de pesos e a inexistência da flexibilidade dos pesos, os pesos finais usados para calcular o índice de eficiência são fixos, podendo beneficiar algumas DMUs enquanto prejudicam outras. Ao considerar as ponderações das DMUs ineficientes acontece que as ineficientes são privilegiadas em detrimento das eficientes, o que pode ser considerada uma situação absurda por muitos. Além disso, a justificativa da eliminação do problema da multiplicidade de soluções eficientes não é verdadeira, pois tal como foi observado nos resultados do exemplo numérico existem também soluções múltiplas para as DMUs ineficientes. Pode-se dizer que uma vantagem destes enfoques é que reduzem o efeito da retirada de uma DMU da análise, mas não anulam este problema.

Assim, uma terceira proposta considera somente as ponderações das DMUs eficientes. Este enfoque reduz a complexidade computacional, já que o número de PPLs calculados na segunda etapa da Avaliação Cruzada é igual ao numero de DMUs eficientes da primeira etapa. Além disso, elimina-se o efeito da retirada de uma DMU ineficiente da análise. Assim somente a retirada de DMUs eficientes altera o índice de eficiência final, tal como acontece nos modelos DEA padrão clássicos.

Uma proposta não analisada no trabalho, foi a de Leta et al. (2005), em que havendo duas DMUs eficientes não foi utilizada a avaliação cruzada clássica, mas uma DMU avaliará a outra, e a que for melhor avaliada pela concorrente será a melhor, sendo que este enfoque é válido nos casos em que somente duas DMUs são eficientes. Este procedimento pode ser visto como uma variação da terceira proposta usada somente para desempatar duas DMUs. Além disso, destaca-se que nos trabalhos de Estellita Lins et al (2003) e Soares de Mello et al (2004) a avaliação cruzada foi utilizada em conjunto com restrições aos pesos (Allen et al, 1997).

Pelo observado neste trabalho, a forma mais adequada para avaliação cruzada tem a ver com a sua forma original, isto é, permitir flexibilidade de pesos que pode ser Bk, Ck ou a terceira

variante, uso das eficientes. Estes enfoques são agora mais fáceis de utilizar com a implementação computacional no SIAD.

Esta implementação da Avaliação Cruzada facilita e automatiza o processo, e elimina as falhas que possam acontecer quando se trabalha com um processo manual, especialmente na avaliação cruzada que é um processo de duas etapas. Além disso, a facilidade no processo e a possibilidade de guardar os resultados fazem dele uma ferramenta muito útil e tem sido usada ativamente não só pelos autores deste artigo, mas também por outros pesquisadores interessados em DEA e suas extensões. É importante destacar que o tempo computacional do processo leva apenas, no pior caso, alguns segundos.

Vemos que em todas as suas variações a Avaliação Cruzada fornece uma ordenação sem empates das DMUs, e também parece eliminar conjuntos de pesos não reais que possam ser usados pelas DMUs.

Cabe ressaltar que a avaliação cruzada somente pode ser aplicada considerando o modelo CCR, isto é, considerando proporcionalidade. Foram realizadas tentativas para propor uma avaliação cruzada considerando o BCC, mas a existência da variável adicional no modelo

multiplicadores faz com que as eficiências calculadas finais, quando usadas as ponderações de outras DMUs, sejam negativas, o que inviabiliza esta técnica.

Além disso, é importante destacar que a diferença dos modelos DEA padrão, a avaliação cruzada não pode ser utilizada para estabelecer metas, nem benchmarks para as DMUs ineficientes

6. Agradecimentos

Ao CNPq pelo apoio financeiro, por intermédio do Edital CNPq 19/2004 – Universal, processo n.º 480628/2004-1.

7. Bibliografia

Allen, R., Athanassopoulos, A., Dyson, R.G., Thanassoulis, E. (1997). “Weights restrictions and value judgements in data envelopment analysis: evolution, development and future directions”,

Annals of Operations Research, 73, 13-34.

Anderson, T. R., Uslu, A., Holingsworth, K. B. (1998). “Revisiting Extensions in Efficiency Measurement of Alternate Machine Component Grouping Solutions via Data Envelopment Analysis”, working paper.

Anderson, T.R., Hollingsworth, K., Inman, L. (2002). “The Fixed Weighting Nature of A Cross-Evaluation Model”, Journal of Productivity Analysis, 17 (3), 249-255.

Angulo-Meza, L. (1998). “Data Envelopment Analysis (DEA) na Determinação da Eficiência dos Programas de Pós-Graduação da COPPE/UFRJ”, Tese de mestrado, COPPE/UFRJ, Rio de Janeiro.

Angulo-Meza, L.; Estellita Lins, M.P. (2002). “Review of Methods for Increasing Discrimination in Data Envelopment Analysis”, Annals of Operations Research, 116, 225-242.

Angulo-Meza, L., Biondi Neto, L., Soares de Mello, J.C.C.B., Gomes, E.G. (2005). “ISYDS Integrated System for Decision Support (SIAD Sistema Integrado de Apoio a Decisão): A Software Package for Data Envelopment Analysis Model”, Pesquisa Operacional, 25 (3), 493-504.

Banker, R.D., Charnes, A., Cooper, W.W. (1984). “Some models for estimating technical scale inefficiencies in data envelopment analysis”, Management Science, 30 (9), 1078-1092.

Charnes, A., Cooper, W.W., Rhodes, E. (1978). “Measuring the efficiency of decision-making units”, European Journal of Operational Research, 2, 429-444.

Cooper, W.W., Seiford, L.M., Tone, K. (2000). Data envelopment analysis: a comprehensive text

with models, applications, references and DEA-solver software. Boston: Kluwer Academic

Publishers.

Doyle, J., Green, R. (1994). “Efficiency and cross-efficiency in DEA derivations, meanings and uses”, Journal of the Operational Research Society, 45, 567-578.

Estelita Lins, M. P., Angulo-Meza, L. A. (2000). Análise Envoltória de Dados: e perspectivas de

integração no ambiente do Apoio à Decisão, Editora da COPPE/UFRJ, Rio de Janeiro.

Estellita Lins, M.P., Gomes, E.G., Soares de Mello, J.C.C.B. ; Soares de Mello, A.J.R. (2003). “Olympic ranking based on a Zero Sum Gains DEA model”, European Journal of Operational

Research, 148(2), 312-322.

Leta, F.R., Soares de Mello, J.C.C.B., Gomes, E.G., Angulo Meza, L. (2005). “Métodos de melhora de ordenação em DEA aplicados à avaliação estática de tornos mecânicos”, Investigação

Operacional, 25.

Sexton, T.R. (1986). “The Methodology of DEA”. In: Silkman, R.H. (ed) Measuring Efficiency:

An Assessment of DEA – Jossey Bass Inc., 7-29.

Soares de Mello, J.C.C.B., Lins. M.P.E., Gomes, E.G. (2002). “Construction of a smoothed DEA frontier”, Pesquisa Operacional, 22(2), 183-201.

Soares de Mello, J.C.C.B., Gomes, E.G., Angulo-Meza, L., Biondi Neto, L., Coelho, P.H.G., (2004). A modified DEA model for olympic evaluation. In: Memórias del XII Congreso