MÉTODO DE CONDORCET COM
DECISORES FRACAMENTE
RACIONAIS: APLICAÇÃO AO
CAMPEONATO MUNDIAL DE
CONSTRUTORES DE FÓRMULA 1
Silvio Figueiredo Gomes Junior (UEZO )
silviofgj@gmail.com
Joao Carlos Correia Baptista Soares de Mello (UFF )
jcsmello@pesquisador.cnpq.br
Lidia Angulo Meza (UFF )
lidia_a_meza@yahoo.com
Os métodos ordinais são bastante utilizados para estabelecer rankings em competições esportivas. Sua utilização ocorre porque os resultados esportivos são, via de regra, dados em uma escala ordinal. No entanto, estes métodos supõem que o decisor é fortemente racional e, desta forma, fornecem um ranking completo. Este trabalho analisa o caso em que o decisor é fracamente racional. Neste caso, o decisor respeita a transitividade da preferências mas não da indiferença. Mostra ainda como adaptar o método de Condorcet para lidar com esta situação, utilizando como exemplo os resultados do campeonato mundial de construtores de Fórmula 1 do ano de 2012.
Palavras-chaves: Decisor; Método de Condorcet; Fórmula 1; Transitividade
2 1. Introdução
Um campeonato esportivo é um conjunto de vários jogos, ou provas, cujos resultados são agregados para estabelecer o resultado final da competição, conforme descreve Gomes Júnior
et al. (2007). Algumas vezes há uma agregação completa, em outras cada resultado indica
quais são os próximos jogos. Em qualquer dos casos, se cada jogo ou prova for interpretado como um critério, ou um decisor, o resultado final do campeonato é um problema de multicritério, normalmente ordinal.
A utilização dos métodos ordinais em esportes ocorre porque os resultados esportivos são, via de regra, dados em uma escala ordinal. No entanto, estes métodos supõem que o decisor é fortemente racional e, desta forma, fornecem um ranking completo. Em termos técnicos, diz-se que estes métodos ordinais fornecem uma pré-ordem total pois consideram as relações de preferência ou indiferença por parte do decisor.
O objetivo deste trabalho é avaliar o caso em que o decisor é fracamente racional, isto é, quando o decisor respeita a transitividade da preferências mas não da indiferença e mostrar como isso pode ocorrer e como adaptar o método de Condorcet para lidar com esta situação. Este artigo apresenta uma variação do método de Condorcet quando os decisores são fracamente racionais, o que pode acontecer quando há sub-alternativas. Para ilustrar esta situação serão comparadas as equipes do campeonato mundial de Fórmula 1 que participaram do campeonato no ano de 2012.
Vale ressaltar que, embora o sistema de pontuação do campeonato faça uma ordenação dos pilotos ou dos construtores, neste artigo será utilizado o termo classificação, por ser o termo vulgarmente utilizado em linguagem não técnica. Ainda sim, doravante, o termo classificação refere-se a uma ordenação, ou seja, uma P.
Atualmente, encontra-se grande aplicabilidade da Pesquisa Operacional (PO) em esportes, buscando estabelecer classificações mais justas para os mais diversos tipos de campeonatos, organizar tabelas, interpretar resultados, fazer previsões, etc. Haigh (2009) descreve exemplos da utilização da matemática nos esportes.
No futebol, diversas aplicações podem ser encontradas como Alves et al. (2011), Dixon e Coles (1997), Dixon e Robinson (1998), Held e Vollnhals (2005). Além de aplicações no futebol, Pollard (2002) verifica a alteração ocorrida no público dos jogos de baseball e hockey
3 no gelo. Nas competições de Fórmula 1, pode-se citar Kladroba (2000), Soares de Mello et al. (2005), Chaves et al. (2010), Gutiérrez e Lozano (2012) e Sitarz (2013).
2. Métodos multidecisor
O Apoio Multicritério à Decisão surgiu formalmente como ramo da Pesquisa Operacional na década de 1970. No entanto, alguns métodos elementares já existiam desde a revolução francesa e consistem em um conjunto de métodos e técnicas para auxiliar ou apoiar a tomada de decisões, quando da presença de uma multiplicidade de critérios. (GOMES et al., 2006) A forma de explicitar as estruturas de preferência do decisor varia de acordo com o método de análise multicritério escolhido. Os chamados métodos ordinais são considerados bastante intuitivos e pouco exigentes tanto em termos computacionais quanto em relação às informações necessárias por parte do decisor. Dele não são necessárias mais do que as pré-ordens relativas a cada critério (BARBA-ROMERO e POMEROL, 1997). Para o uso dos métodos ordinais, o decisor deve ordenar as alternativas de acordo com as suas preferências ou, eventualmente, usar uma ordenação natural como, por exemplo, renda obtida.
Na literatura, os três métodos multicritério ordinais mais referenciados são os de Borda, Condorcet e Copeland, podendo aparecer variantes mais elaboradas dos métodos básicos. A grande vantagem da facilidade de uso e compreensão destes métodos é realçada por Kangas et
al. (2006) e Laukkanen et al. (2004), que os aplicam a problemas de gestão florestal. Leskinen et al. (2004) advertem para o perigo de extrair mais informação do que se deve de resultados
que combinam informações ordinal e cardinal. Gomes Júnior et al. (2013) utilizam uma sequencia dos métodos ordinais para estabelecer um ranking olímpico. Outras aplicações podem ser vistas em Caillaux et al. (2011) e Valladares et al. (2008).
Segundo Arrow (1951), não existe escolha justa, ou seja, não existe método multicritério, ou multidecisor “perfeito”. Considera-se como justo um método de escolha multidecisor que obedeça aos axiomas de universalidade, da unanimidade, da independência em relação às alternativas irrelevantes, da transitividade e da totalidade. O teorema de Arrow garante que, com exceção de métodos de ditador, nenhum método de escolha atende simultaneamente a esses axiomas.
São de especial interesse neste estudo os axiomas da independência em relação às alternativas irrelevantes, da transitividade e da universalidade. O primeiro afirma que a ordem de
4 preferência entre duas alternativas não deve depender das suas preferências em relação a uma terceira alternativa. O axioma da transitividade afirma que se uma alternativa é preferível a uma segunda, e esta a uma terceira, então a primeira deve ser preferível à terceira (o fato de em resultados de jogos de futebol não se verificar esta propriedade é o motivo da afirmação popular de que “futebol não tem lógica”). Já o axioma da universalidade exige que o método funcione, respeitando todos os outros axiomas, para qualquer conjunto de preferências dos decisores. Assim, um método que respeite os axiomas em alguns casos particulares, não respeita a universalidade.
O método de Borda, considerado precursor da escola americana de multicritério, que na essência é uma soma de pontos, tem a grande vantagem da simplicidade e, por isso, algumas de suas variantes são usadas em competições desportivas como descrito por Soares de Mello
et al. (2005) e Kladroba (2000). No entanto, apesar de sua simplicidade e amplo uso de suas
variações, o método de Borda não respeita um dos mais importantes axiomas de Arrow, o da independência em relação às alternativas irrelevantes. Ou seja, a posição final de duas alternativas não é independente em relação às suas classificações em relação a alternativas irrelevantes. Tal fato pode gerar distorções, com destaque para a extrema dependência dos resultados em referência ao conjunto de avaliação escolhido e a possibilidade de manipulações pouco honestas.
Já o método de Condorcet, considerado precursor da atual escola francesa de multicritério, trabalha com relações de superação. As alternativas são comparadas sempre duas a duas e constrói-se um grafo que expressa a relação entre elas. Este método, menos simples, tem a vantagem de impedir distorções ao fazer com que a posição relativa de duas alternativas independa de suas posições relativas a qualquer outra.
O método de Copeland usa a mesma matriz de adjacência que representa o grafo do método de Condorcet. A partir dela calcula-se a soma das vitórias menos as derrotas, em uma votação por maioria simples. As alternativas são então ordenadas pelo resultado dessa soma. O método de Copeland alia a vantagem de sempre fornecer uma ordenação total (ao contrário do de Condorcet) ao fato de dar o mesmo resultado de Condorcet, quando este não apresenta nenhum ciclo de intransitividade.
2.1. O Método de Condorcet
O método de Condorcet exige que cada decisor ordene todas as alternativas de acordo com suas preferências. No entanto, em vez de se atribuir uma pontuação a cada alternativa como
5 no método de Borda, o método estabelece relações de superação. Deve-se verificar, em cada par de alternativas, qual delas foi preferida pela maioria dos decisores. Nesse caso, diz-se que esta alternativa é preferível em relação à outra.
Através da representação da relação de preferência por um grafo, a determinação de alternativas dominantes e dominadas (quando existem), fica bastante facilitada. Quanto existe uma e só uma alternativa dominante, ela é a escolhida. O método de Condorcet, considerado mais justo que o de Borda, tem a grande desvantagem de conduzir a situações de intransitividade, levando ao célebre “paradoxo de Condorcet”. Este ocorre quando A é preferível a B, B é preferível a C e C é preferível a A (situação conhecida como “Tripleta de Condorcet”, ilustrada na Figura 1). Isto significa que o método de Condorcet nem sempre induz uma pré-ordem no conjunto das alternativas.
Figura 1 – Tripleta de Condorcet.
Fonte: Próprio autor
Uma outra situação a ser analisada, proposta neste trabalho, é quando existe sub-alternativas para cada alternativa. Nesta situação, o decisor é considerado fracamente racional pois as preferências estritas são transitivas mas a indiferença não é.
Nesta situação, uma alternativa só é preferida à outra quando a sub-alternativa melhor colocada da primeira fica à frente da sub-alternativa melhor colocada da segunda e a pior colocada da primeira também fica à frente da pior colocada da segunda. Caso contrário, a segunda alternativa é a preferida. Por outro lado, caso uma alternativa tenha uma sub-alternativa melhor colocada mas o mesmo não ocorre com a outra sub-sub-alternativa, nenhuma das alternativas é preferida.
Para ilustrar esta situação, seja o exemplo com três alternativas (A, B e C), com duas sub-alternativas cada uma. Em um determinado critério, a ordenação ocorreu conforme
6 apresentado na Tabela 1.
Tabela 1 – Ordenação das alternativas.
Fonte: Próprio autor
Comparando as alternativas A e B na Tabela 1, verifica-se que a melhor colocada da alternativa A (A1) fica melhor posicionada que a melhor colocada que a alternativa B (B1) e a pior colocada da alternativa A (A2) fica em uma posição pior que a pior posição da alternativa B (B2), assim, tem-se um empate entre as alternativas A e B.
Comparando-se agora as alternativas A e C, verifica-se que ocorre a mesma situação ocorrida entre A e B, assim, as alternativas A e C também ficam empatadas. Neste caso, a alternativa A é indiferente às alternativas B e C, no entanto, B e C não são indiferentes entre si. Logo, a transitividade da indiferença não é respeitada.
Como será mostrado adiante, esta é uma situação que ocorre em campeonatos em que haja ordenação de times baseada na ordenação dos indivíduos pertencentes aos times. Um exemplo desta situação é o campeonato mundial de construtores de Fórmula 1.
3. O campeonato mundial de Fórmula 1
O campeonato de Fórmula 1 teve início em 1950 em Silverstone, na Inglaterra com apenas 6 Grandes Prêmios a serem disputados na Europa.
O regulamento do campeonato mundial Fórmula 1, para pilotos, determina que o piloto campeão da temporada é o piloto que soma maior número de pontos ao final de todas as corridas da temporada. Os outros pilotos tinham a classificação no campeonato determinada pelo total de pontos alcançados.
7 (2009). A Tabela 2 apresenta os sistemas de pontuação utilizados ao longo do campeonato.
Tabela 2 – Sistemas de Pontuação da Fórmula 1.
Fonte: Próprio autor
Como pode-se verificar na Tabela 2, a partir do ano de 2010, um maior número de pilotos passou a pontuar em cada corrida. No entanto, em cada corrida, apenas os dez primeiros colocados somam pontos, sendo a pontuação de cada colocado apresentada na Tabela 2. No campeonato de 2012, disputou-se um total de 20 corridas, com 24 pilotos participando de cada prova, num total de 2 pilotos por cada equipe, tendo, então, 12 equipes participantes. Este regulamento é, na verdade, uma variação do método de Borda. A diferença mais evidente em relação ao método de Borda tradicional é que os primeiros colocados marcam mais pontos, enquanto no método original marcam menos.
O regulamento prevê a possibilidade de empates na pontuação final, preconizando sucessivos critérios de desempate. Assim, usa o método Lexicográfico sendo o critério mais importante (e, portanto, o primeiro a ser usado) a pontuação obtida com o método de Borda modificado. Havendo duas alternativas ou mais com o mesmo número de pontos somados ao final do campeonato, é considerado o maior número de vitórias de cada piloto para que haja o desempate. Permanecendo as alternativas empatadas, o segundo critério é o maior número de corridas em que cada piloto terminou uma corrida em segundo lugar e assim sucessivamente. Diversos problemas ou situações antidesportivas podem ocorrer como consequência da utilização deste sistema de pontuação como descrito em (SOARES DE MELLO et al., 2005). Em relação ao campeonato de construtores, o primeiro mundial de construtores foi entregue no ano de 1958, para a equipe Vanwall. Na maioria das temporadas até 1979, somente os resultados do melhor piloto da equipe em cada corrida contava para a apuração do
8 campeonato. No ano seguinte, houve modificação na regra, e os pontos eram obtidos pela soma dos resultados dos dois pilotos de uma equipe, o que dura até hoje. Somente em dez ocasiões a equipe campeã do mundial de construtores não teve um de seus pilotos conquistando o título de campeão de pilotos. Assim, como no caso do campeonato de pilotos, a equipe construtora vencedora do campeonato é a equipe que soma maior número de pontos, somando os pontos obtidos por seus dois pilotos em cada corrida do campeonato. Note-se que esta soma de pontos pode provocar distorções semelhantes às apontadas por Soares de Mello
et al. (2005) para o campeonato de pilotos. Estas distorções podem ser agravadas pelo fato de,
atualmente, uma equipe pequena (STR-Ferrari) ser, na prática, uma filial de uma das grandes equipes (Red Bull Racing-Renault). Para mitigar essas distorções será mostrada a adaptação do método de Condorcet para o campeonato de equipes.
Observe-se que, como cada equipe (alternativa) tem dois pilotos (sub-alternativas) este campeonato caracteriza-se pelo fato de cada decisor (corrida) poder ser apenas fracamente racional.
4. Análise do campeonato de 2012
O campeonato de 2012 caracterizou-se pela disputa entre as equipes Red Bull Racing-Renault, Ferrari, McLaren-Mercedes e Lotus-Renault Racing-Renault, sendo mais acirrada entre as duas primeiras. Foi um dos campeonatos mais disputados dos últimos anos, com oito pilotos diferentes vencidos corridas ao longo da temporada. Devido a essa regularidade de resultados presta-se facilmente à análise por métodos ordinais. Essa classificação encerra as distorções apresentados por (SOARES DE MELLO et al., 2005), oriunda da forma como os métodos ordinais são usados.
Para obter uma ordenação do campeonato de construtores sem essas distorções, usa-se o método de Condorcet. Uma característica desta análise é que cada equipe possui dois pilotos participando de cada corrida. Desta forma, a análise de Condorcet não é tão direta como no método tradicional. A existência de sub-alternativas implica em decisão fracamente racional como mostrado no item 3.
Para construção da matriz de Condorcet, as alternativas são comparadas duas a duas para estabelecer a preferência do decisor. Para avaliação da preferência entre as equipes que participam do campeonato de construtores da Fórmula 1, é preciso comparar as sub-alternativas de cada uma delas, pois cada equipe participa do campeonato com dois pilotos. A Tabela 3 apresenta a comparação entre as equipes Sauber-Ferrari e Williams-Renault. Nesta
9 tabela, a primeira coluna apresenta cada uma das corridas do campeonato. As colunas 2 à 5, apresentam as posições de cada um dos pilotos destas equipes ao final de cada uma das provas. Para efeitos da construção dessa matriz considera-se que entre duas equipes, se algum piloto abandonar uma corrida, o piloto que completou mais voltas fica melhor classificado que um piloto que completou menos voltas. Ainda, um piloto que abandonou superou aquele que não obteve tempos para se classificar para a largada, e este foi melhor que aquele que nem participou dos treinos. As colunas 6 a 8 apresentam as relações de preferência entre as equipes. O número 1 na coluna representa a preferência do decisor.
Por exemplo, na corrida disputada na Austrália, os dois pilotos da equipe Sauber-Ferrari terminaram a corrida em posições melhores que os pilotos da equipe Williams-Renault. Neste caso, a primeira equipe é preferida em relação à segunda. Na corrida realizada na China, ocorreu o inverso, os dois pilotos da equipel Williams-Renault terminam em posições à frente dos pilotos da equipe Sauber-Ferrari, logo, a equipe Williams-renault é a preferida. Uma terceira situação ocorreu na corrida da Malásia. O piloto Sérgio Perez, da equipe Sauber-Ferrari termina à frente dos pilotos da equipe Williams-Renault, no entanto, o piloto Kamul Kobayashi, também da equipe Sauber-Ferrari termina atrás dos pilotos da equipe Williams-Renault. Neste caso, não existe uma equipe preferida, caracterizando um empate entre as alternativas. Vale ressaltar que sempre haverá empate entre as alternativas quando um piloto de uma equipe ganhar a corrida e o outro piloto desistir na largada pois, em relação a qualquer outra equipe em que os dois pilotos participarem de pelo menos uma volta da prova, uma equipe será preferida em uma sub-alternativa mas não será preferida na outra.
10
Fonte: Próprio autor
Depois de comparar as sub-alternativas em todas as provas, as vitórias de cada uma das alternativas e os empates são somados. A alternativa que tiver a maior soma é a alternativa preferida e esse resultado implica no número 1 da linha referente a alternativa na Tabela 4. A Tabela 4 mostra a matriz de adjacência obtida para o grafo de Condorcet relativo ao campeonato de construtores de Fórmula 1 de 2012. O número 1 significa que a equipe indicada na linha obteve mais vezes uma classificação melhor que a equipe indicada na coluna. Os espaços em branco equivalem a zeros. A ordem em que as equipes aparecem na matriz equivale à sua ordenação oficial no campeonato.
Os ordenações finais de todas as corridas foram obtidas no site http://www.f1.com.
11
Fonte: Próprio autor
Para extrair uma ordenação da matriz começa-se por fazer uma destilação descendente (DIAS
ET AL., 1996). Para tal observa-se se há alguma equipe que supera todas as outras, ou seja, se
existe alguma linha cujo único zero seja na diagonal principal. Retira-se essa equipe e repete-se o procedimento.
Com essa destilação é possível fazer a ordenação todas as equipes, na sequência seguinte: Red Bull Racing-Renault, Ferrari, McLaren-Mercedes, Lotus-Renault, Force India-Mercedes, Sauber-Ferrari, STR-Ferrari, Mercedes, Williams-Renault, Caterham-Renault, Marussia-Cosworth e HRT-Marussia-Cosworth. Repare-se que, nessa ordenação, só houve alteração em relação à classificação oficial, nas equipes Force India-Mercedes e STR-Ferrari. Todas as demais equipes possuem a mesma ordenação que a ordenação oficial.
Caso não se conseguisse fazer uma ordenação decrescente de todas as equipes por não haver, a partir de certo ponto, equipes dominantes. Deveria ser feito então o procedimento inverso, uma destilação ascendente. Neste tipo de destilação, é possível identificar as equipes dominadas.
A ordenação obtida pelo método de Condorcet, comparada com a ordenação oficial, é apresentada na Tabela 5.
12 Tabela 5 – Resultados finais de 2012 (oficial e Condorcet).
Fonte: Próprio autor
5. Conclusões
Foi mostrado ao longo deste artigo que, devido à analogia formal entre o campeonato mundial de Fórmula 1 e um processo de escolha multidecisor, não existe um regulamento que possa ser considerado justo.
No entanto, o regulamento vigente até 2002, agrava os defeitos do método de Borda, no qual ele se baseia. O método de Condorcet permite contornar as distorções do método da variante do método de Borda usada, mas nem sempre fornece uma ordenação completa, devido à existência dos ciclos de intransitividade. Além disso, é um método extremamente técnico para ser entendido pelo público.
A comparação do resultado oficial e o obtido pelo método de Condorcet mostra resultados muito semelhantes, com variações apenas entre as equipes Force India-Mercedes e STR-Ferrari.
Usando os resultados do campeonato de 2012, foi possível ordenar todas as equipes através do método de Condorcet, por não ter havido nenhum ciclo de intransitividade entre as alternativas. Quando surgem estes ciclos intransitivos, a solução que ele fornece é menos sensível às alternativas irrelevantes que o método de Borda e uma alternativa é usar o método de Copeland (BARBA-ROMERO e POMEROL, 1997). Esse método consiste em contar em
13 relação a quantas alternativas cada uma é preferível, ou seja, somar os elementos de cada linha da matriz de adjacência. As alternativas são então ordenadas pelo resultado dessa soma. O método de Copeland alia a vantagem de fornecer uma ordenação total, ao fato de dar o mesmo resultado de Condorcet, quando este não apresenta nenhum ciclo de intransitividade. Quando esses ciclos existem, o método de Copeland permite fazer a ordenação, e mantém a classificação das alternativas (equipes) que não pertencem a nenhum ciclo de intransitividade.
REFERÊNCIAS
ALVES, A. M., SOARES DE MELLO, J. C. C. B., RAMOS, T. G. & SANT´ANNA, A. P. Weak Rationality in Football Results: An Analysis of the Guanabara Cup Using the Bowman and Colantoni Method. 3rd IMA International Conference on Mathematics in Sport. Salford: The Institute of Mathematics and its Applicatios, 2011.
ARROW, K. J. Social Choice and Individual Values. New York: Wiley, 1951
BARBA-ROMERO, S. & POMEROL, J. C. Decisiones Multicriterio: Fundamentos Teóricos e Utilización Práctica: Universidad de Alcalá, 1997 (Colección de Economia).
CAILLAUX, M. A., SANT´ANNA, A. P., ANGULO-MEZA, L. & SOARES DE MELLO, J. C. C. B. Container Logistics in Mercosur: Choice of a Transhipment Port Using Ordinal Copeland Method, Data Envelopment Analysis and Probabilistic Composition. Maritime Economics and Logistics Vol. 13, n. 4, p. 355-370, 2011. CHAVES, M. C. C., GOMES JÚNIOR, S. F., PEREIRA, E. R. & SOARES DE MELLO, J. C. C. B. Utilização do método ELECTRE II para avaliação de pilotos no campeonato de Fórmula 1. Produção Vol. 20, n. 1, p. 11, 2010.
DIAS, L. M. C., ALMEIDA, L. M. A. T. & CLIMACO, J. C. N. Apoio Multicritério à Decisão. Coimbra: Universidade de Coimbra, 1996, 175
DIXON, M. J. & COLES, S. G. Modelling association football scores and inefficiencies in the football betting market. Journal of the Royal Statistical Society Series a-Statistics in Society Vol. 46, n. Rio +20, p. 15, 1997. DIXON, M. J. B. & ROBINSON, M. E. A birth process model for association football matches. Journal of the Royal Statistical Society. Series D: The Statistician Vol. 47, n. 3, p. 15, 1998.
GOMES, C. F. S., GOMES, L. F. A. M. & ALMEIDA, A. T. Tomada de Decisão Gerencial: O Enfoque Multicritério. São Paulo: Editora Atlas, 2006
GOMES JUNIOR, S. F. & SOARES DE MELLO, J. C. C. B. Avaliação dos pilotos no campeonato mundial de Fórmula 1 no ano de 2006 utilizando modelo DEA com restrições cone rattio não arquimedianas. Sistemas & Gestão Vol. 2, n. 3, p. 216-230, 2007.
GOMES JÚNIOR, S. F., SOARES DE MELLO, J. C. C. B. & ANGULO MEZA, L. An Olympic ranking based on sequential use of ordinal multicriteria methods. 4th International Conference on Mathematics in Sport. Leuven-Belgium, 2013, p.
14
GUTIÉRREZ, E. & LOZANO, S. A DEA Approach to Performance-Based Budgeting of Formula One Constructors. Journal of Sports Economics Vol., n., p., 2012.
HAIGH, J. Uses and limitations of mathematics in sport. IMA Journal Management Mathematics Vol. 20, n. 2, p. 97-108, 2009.
HELD, L. V., R. . Dynamic rating of European football teams. IMA - Journal of Management Mathematics Vol. 16, n., p. 9, 2005.
KANGAS, A., LAUKKANEN, S. & KANGAS, J. Social choice theory and its applications in sustainable forest management-a review. Forest Policy and Economics Vol. 9, n. 1, p. 77-92, 2006.
KLADROBA, A. Das aggregations problem bei der erstellung von rankings: Einige anmerkungen am beispiel der Formel 1 weltmeisterschaft 1998. Jahrbucher fur Nationalokonomie und Statistik Vol. 220, n. 3, p. 302-314, 2000.
LAUKKANEN, S., PALANDER, T. & KANGAS, J. Applying voting theory in participatory decision support for sustainable timber harvesting. Canadian Journal of Forest Research Vol. 34, n. 7, p. 1511-1524, 2004. LESKINEN, P., KANGAS, A. S. & KANGAS, J. Rank-based modelling of preferences in multi-criteria decision making. European Journal of Operational Research Vol. 158, n. 3, p. 721-733, 2004.
POLLARD, R. Evidence of a reduced home advantage when a team moves to a new stadium. Journal of Sports Sciences Vol. 20, n. 12, p. 969-973, 2002.
SITARZ, S. The medal points' incenter for rankings in sport. Applied Mathematics Letters Vol. 26, n. 4, p. 408-412, 2013.
SOARES DE MELLO, J. C. C. B., GOMES, L. F. A. M., GOMES, E. G. & SOARES DE MELLO, M. H. C. Use of ordinal multi-criteria methods in the analysis of the Formula 1 World Championship. Cadernos Ebape.BR Vol. 3, n. 2, p. 1-8, 2005.
VALLADARES, G. S., GOMES, E. G., SOARES DE MELLO, J. C. C. B., PEREIRA, M. G., DOS ANJOS, L. H. C., EBELING, A. G. & BENITES, V. D. Principal component analysis and ordinal multicriteria methods to study organosols and related soils. Revista Brasileira De Ciencia Do Solo Vol. 32, n. 1, p. 285-296, 2008.
