REVISÃO DA LITERATURA

Esta seção apresenta os aspectos necessários para o embasamento deste primeiro artigo da tese e está dividida em duas seções. A primeira delas, focada em bases estatísticas e matemáticas, expõe, com base em evidências empíricas e reforçadas através de um exemplo hipotético, o tipo de informação comumente fornecido pelos rankings. A segunda, por sua

vez, mostra, através de aspetos oriundos da psicologia, o padrão de percepção normalmente encontrado quando as pessoas analisam os dados dos rankings.

2.2.1 Que tipo de informação os rankings fornecem?

Independente dos métodos usados durante a construção dos rankings e dos problemas específicos que podem existir a partir deles, não há dúvidas, conforme exemplificado na introdução geral desta tese, de que os rankings são ferramentas que estão apoiando os processos de tomada de decisão, principalmente de usuários e entidades ranqueadas. Na essência, eles podem ser vistos como modelos de simplificação nos quais problemas de múltiplas dimensões são forçados a serem representados de forma unidimensional. Sob a luz da Ciência Cognitiva, este processo de simplificação é justificado representando um caminho interessante para reduzir a complexidade do ambiente e permitir insights que suportam escolhas (TVERSKY, A.; KAHNEMAN, 1974). A conhecida racionalidade limitada do ser humano também poderia reforçar esse argumento (KAUFMAN et al., 1949; MILLER, G. A., 1956).

Em síntese, a criação de indicadores compostos (ou índices) – que é a base para a construção dos rankings aqui estudados (veja a introdução geral) – pode ser descrita nos seguintes passos: (i) definição e especificação do que deve ser mensurado; (ii) seleção de dados; (iii) análise multivariada para investigar a estrutura do conjunto de indicadores; (iv) imputação de dados faltantes; (v) definição do método de normalização; (vi) definição dos pesos dos indicadores; (vii) definição do método de agregação; (viii) análise de sensibilidade e robustez; (ix) definição da forma de visualização dos dados (NARDO et al., 2005).

Esses passos representam um processo complexo com um grande número de possibilidades que podem influenciar diretamente o ranking que está sendo construído. De fato, “não existe uma receita para a criação de indicadores compostos que seja ao mesmo tempo universalmente aplicável e suficientemente detalhada” (CHERCHYE et al., 2007). Em outras palavras, a metodologia para a criação de indicadores compostos bem como o número e a natureza dos indicadores empregados podem ser diferentes para cada caso (ENSERINK, 2007). Em geral, indicadores compostos são sensíveis tanto aos aspectos metodológicos quanto ao conjunto de indicadores (MARGINSON, 2007; SAISANA; D’HOMBRES; SALTELLI, 2011).

Apesar de existir um grande número de métodos de agregação que podem ser utilizados na construção de rankings, a ampla maioria destes usa algum método matemático

simples, como média aritmética, soma, média geométrica ou média aritmética ponderada. Para ilustrar, a tabela 2.1 sumariza um extrato de rankings explorando seus aspectos principais. É possível observar que todos os rankings usam dados normalizados – ou seja, os valores dos indicadores estão representados na mesma unidade (NARDO et al., 2005) – e que todos os métodos de agregação simples citados podem ser encontrados. Além disso, seis rankings têm mais de 140 entidades e apenas dois possuem dez ou mais indicadores.

Tabela 2.1 – Extrato de uma amostra de rankings: sumário de algumas características

Ranking Significado do Índice Número de Indicadores1 Tipo de Entidade Número de Entidades Método de Agregação

ARWU2 Qualidade das

universidades

6 N3 Universidade 500 Média aritmética ponderada

IEF3 Liberdade

econômica

10N3 País 177 Média aritmética

EFW4 Liberdade

econômica

5N2 País 144 Média aritmética

FSI5 Insegurança 12 N2 País 174 Soma

HDI6 Qualidade de vida 4 N1 País 187 Média geométrica

RGI7 Governança 4 N3 País 58 Média aritmética

ponderada

THE8 Qualidade das

universidades

5 N3 Universidade 400 Média aritmética ponderada

Notas: 1Somente foram contabilizados os indicadores diretamente relacionados com o cálculo do índice, ou seja, utilizados na fórmula de agregação. Portanto, por questões de simplicidade, a hierarquia de indicadores – ou os sub-indicadores – não foi considerada; 2Academic Ranking of World Universities 2012 (CENTER FOR WORLD-CLASS UNIVERSITIES OF

SHANGHAI JIAO TONG UNIVERSITY (CWCU), 2012). Os dados completos estão fornecidos apenas para as top-100 entidades; 3Index of Economic Freedom 2013 (MILLER, T.; HOLMES; FEULNER, 2013). Existem 185 países incluídos

no relatório do ranking, mas apenas 177 foram ranqueados. 4Economic Freedom of the World 2012 (FRASER

INSTITUTE, 2012); 5Failed States Index 2012 (THE FUND FOR PEACE, 2012); 6Human Development Index 2013

(UNITED NATIONS DEVELOPMENT PROGRAMME, 2013a, 2013b); 7Resource Governance Index 2013 (REVENUE

WATCH INSTITUTE, 2013); 8Times Higher Education World University Rankings 2012-2013 (THOMSON REUTERS,

2013). Os dados completos estão fornecidos apenas para as top-200 entidades. N1Dados normalizados na faixa de 0 a 1.

N2

Dados normalizados na faixa de 0 a 10. N3Dados normalizados na faixa de 0 a 100. De agora em diante, somente as siglas em inglês dos rankings serão usadas. Fonte: elaborada pelo autor.

Considerando a complexidade do processo de construção de rankings e o grande número de rankings existentes, muitos estudos têm discutido alguns problemas nesses processos através de diferentes abordagens e focando em diferentes rankings. Por exemplo, eles têm: (i) criticado os métodos de normalização empregados (BILLAUT; BOUYSSOU; VINCKE, 2010; GLÄNZEL, 2011); (ii) enfatizado que “a estimação dos índices ignora uma

incerteza inerente” (HOYLAND; MOENE; WILLUMSEN, 2012); (iii) proposto novos

indicadores considerando que o composto de indicadores estava equivocado (LOPES et al., 2011; MIHCI; TOLGA TANER; SEZEN, 2012; TANER; SEZEN; MIHCI, 2011); (iv) avaliado a capacidade de alguns rankings em mensurar o que eles deveriam estar mensurando de acordo com seus objetivos (CREMONINI; WESTERHEIJDEN; ENDERS, J., 2008;

IOANNIDIS et al., 2007); (v) postulado que alguns rankings não estão considerando todas as influências na mensuração dos seus indicadores (COOPER; POLETTI, 2011; CREMONINI; WESTERHEIJDEN; ENDERS, J., 2008; NWAGWU, 2010); (vi) questionado a metodologia usada para estimar o valor de alguns indicadores (ABRAMO; CICERO; D’ANGELO, 2012; LIN; HUANG; CHEN, D., 2013; LÓPEZ-ILLESCAS; ANEGÓN; MOED, 2009; MEYER, M.; WALDKIRCH; ZAGGI, 2012; SEVERT et al., 2009; STEPHENS et al., 2011; WANG, C. et al., 2010); (vii) sugerido novos caminhos para estimar os pesos de cada indicador (KÖKSALAN et al., 2010; LUKMAN; KRAJNC; GLAVIČ, 2010); (viii) questionado a ausência de pesos (BLANCARD; HOARAU, 2011; NATHAN; MISHRA, S.; REDDY, 2008); e assim por diante. Esses numerosos, recentes e influentes estudos fornecem evidências de que o processo de construção dos rankings tem sido questionado além de ser o foco de interesse de uma série de estudiosos.

Mesmo considerando que todos os problemas exemplificados acima pudessem ser resolvidos, um importante raciocínio pode ser desenvolvido: em processos de simplificação, geralmente, uma dimensão simplesmente não representa todas (JAMAL; SMITH; WATSON, 2008). Para ilustrar graficamente esse aspecto, a figura 2.1 é fornecida.

Figura 2.1 – Cenário de um ranking hipotético num universo bidimensional discreto

Notas: (i) estão representadas duas dimensões nas quais todos os pontos (x, y) onde , ℕ∗ 𝑒 , estão plotados; (ii) os nove possíveis pares (x, y) que têm media aritmética 5 e soma 10 estão destacados em preto; (iii) os demais pontos estão plotados em cinza escuro; e (iv) cada eixo do gráfico – x e y – poderia estar representando algum indicador do ranking. Fonte: elaborada pelo autor.

A figura 2.1 mostra um cenário bidimensional discreto no qual todos os possíveis pontos , onde , ℕ∗ 𝑒 , estão plotados num gráfico de dispersão. Cada eixo do gráfico – x e y – poderia representar um indicador de um ranking. Nesse gráfico, nove diferentes pontos , que tem a mesma média aritmética (5) e a mesma soma (10) – alguns deles com a mesma média geométrica – estão destacados em preto. Pode-se notar que todos

0 2 4 6 8 10 0 2 4 6 8 10

esses pontos deveriam ser considerados equivalentes, ou seja, deveriam ter a mesma posição, em rankings que usassem a média aritmética ou a soma como método de agregação. O exemplo a seguir ilustra esse aspecto genericamente apresentado no gráfico através de u m ranking hipotético.

Considere que a figura 2.1 esteja mostrando os indicadores de um ranking de “sucesso profissional de médicos” onde o eixo x representa a “experiência profissional” – medida em anos de trabalho – enquanto que o eixo y representa o “salário anual” obtido exclusivamente com os esforços profissionais – medido em centenas de milhares de dólares. Embora os médicos representados pelos pontos (1,9) e (9,1) tenham a mesma média aritmética (5), média geométrica (3) e soma (10) – e, consequentemente, a mesma posição em possíveis rankings construídos a partir desses métodos de agregação – a realidade de cada um desses profissionais é consideravelmente diferente. O médico (1,9) é um bom exemplar de sucesso repentino na profissão, enquanto que o médico (9,1) provavelmente tem habilidades abaixo da média dos outros médicos. Mesmo considerando que os médicos têm, em média, bons salários em comparação com outros profissionais, uma pessoa que recebe U$ 900.000 no primeiro ano de trabalho parece ter um desempenho excepcional. Como referência, médicos com doutorado e com 20 anos ou mais de experiência profissional recebem em torno de U$ 174.000 por ano nos Estados Unidos (HEALTHCARE SALARIES, 2013). Obviamente, este é um cenário didático, hipotético e simplista no qual o critério de avaliação do sucesso profissional dos médicos está baseado somente no relacionamento direto entre os anos de experiência e o salário anual.

O exemplo acima mostra que os valores agregados (ou índices) não capturam corretamente a complexidade do ambiente que está sendo representada pelos indicadores a partir dos quais são gerados. Mais especificamente, eles não necessariamente são capazes de posicionar entidades não similaridades em posições distantes no ranking. Claramente, os médicos representados pelos pontos (1,8) e (2,9) – que possuem média aritmética (4,5 e 5,5), média geométrica (2,83 e 4,24) e soma (9 e 11) – embora possuam índices diferentes do ponto (1,9) em todos esses métodos de agregação, parecem ser mais próximos, ou mais similares, deste ponto do que o ponto (9,1).

Considerando que a maioria dos rankings normalmente usa um dos métodos de agregação acima explorados em suas construções, assim como alguns daqueles mostrados na tabela 2.1, pode-se entender que esse aspecto não está relacionado com contextos específicos. Ou seja, a possibilidade de classificar entidades não muito similares em posições próximas no ranking, como mostrado no exemplo hipotético, é um aspecto comum à maioria dos rankings

que são construídos baseados nesses métodos de agregação. Em outras palavras, não seria leviano afirmar que esse aspecto é inerente ao processo de construção desses rankings e, portanto, aos próprios rankings. A base que sustenta o argumento ora apresentado é simples: para transpor dados de duas dimensões para uma única, necessariamente alguma informação será perdida (JAMAL; SMITH; WATSON, 2008).

Entretanto, o exemplo acima, apesar de didático, é extremamente simplista e não representa corretamente o contexto da maioria dos rankings. Considerando que todos os rankings sumarizados na tabela 2.1 possuem mais de dois indicadores na composição dos seus índices – característica essa que está alinhada com a natureza multidimensional dos índices dos rankings (NARDO et al., 2005) – esse aspecto pode ser incrementado. Ou seja, é possível que o problema de transpor de n dimensões para uma única pode ser dependente, em algum nível, do valor de n.

Apesar do exemplo hipotético ter mostrado que os rankings não capturam integralmente a complexidade dos ambientes que estão representando – ou seja, que não necessariamente ranqueiam entidades similares em posições próximas no ranking – é essencial destacar que eles não são construídos com essa finalidade. Os rankings são ferramentas criadas para oferecer uma visão agregada sobre um contexto específico. Eles não objetivam representar claramente cada indicador (ou dimensão) sozinho, mas uma visão consolidada (ou agregada) deles. Portanto, é oportuno considerar que, como mostrado no exemplo hipotético, esse é um aspecto que naturalmente deve ser encontrado nos rankings e que, portanto, é de conhecimento dos seus responsáveis.

Com base nos argumentos apresentados, uma questão simples pode ser destacada para a discussão: os usuários dos rankings, assim como os estatísticos responsáveis por eles, realmente conhecem e consideram esse aspecto naturalmente encontrado nos rankings em seus julgamentos? Ou seja, os usuários consideram que as entidades pertencentes aos rankings, mesmo estando ranqueadas em posições próximas, podem não ser similares entre si? Na verdade, como as pessoas estão interpretando as informações disponíveis nos rankings? A próxima seção dessa revisão da literatura responde essas questões.

2.2.2 Como as pessoas estão interpretando as informações disponíveis nos rankings?

Ao longo das últimas décadas, muitos estudos, principalmente oriundos da Ciência Cognitiva e da Psicologia, têm mostrado que as pessoas interpretam, ou percebem, um conjunto de dados através de categorias. Por exemplo, pode-se destacar que: (i) as pessoas

tendem a reconhecer dados num pequeno número de categorias (MILLER, G. A., 1956); (ii) as pessoas não podem captar rapidamente mais do que seis itens (KAUFMAN et al., 1949); (iii) as pessoas separam pontos num plano em grupos quando submetidas a experimentos visuais (KAUFMAN et al., 1949; KUBOVY; WAGEMANS, 1995; OEFFELEN, VAN; VOS, 1982); (iv) os adultos e as crianças organizam conjuntos de números em categorias (LASKI; SIEGLER, 2007; SHEPARD; KILPATRIC; CUNNINGHAM, 1975); e assim por diante.

Além disso, outros estudos demonstraram que a existência de limites construídos entre categorias influenciam positivamente na avaliação que as pessoas fazem sobre a distância entre os itens dessas categorias (ALLEN, V. L.; WILDER, 1979; LOCKSLEY; ORTIZ; HEPBURN, 1980; MADDOX et al., 2008; MAKI, 1982; MISHRA, A.; MISHRA, H., 2010; OTTEN, 2002; TVERSKY, B., 1992). De modo complementar, sabe-se que as pessoas percebem itens dentro de uma categoria como mais similares do que itens entre categorias (BRENNER; ROTTENSTREICH; SOOD, 1999; LECLERC; HSEE; NUNES, 2005).

Considerando espaços unidimensionais, assim como aqueles encontrados nos rankings, evidências sugerem que as pessoas percebem categorias baseadas tanto no valor do dígito mais à esquerda (BIZER; SCHINDLER, 2005; POLTROCK; SCHWARTZ, 1984; THOMAS; MORWITZ, 2005; VERGUTS; MOOR, DE, 2005) quanto em números arredondados (múltiplos de 10 ou 5) (COUPLAND, 2011; DAHAENE; MEHLER, 1992; HORNIK, J.; CHERIAN; ZAKAY, 1994; JANSEN; POLLMANN, 2001; KAUFMAN et al., 1949; LUSIGNAN, DE et al., 2004; POPE, D.; SIMONSOHN, 2011; TARRANT; MANFREDO, 1993).

Recentemente os estudos acima descritos foram relacionados. Foi mostrado que os usuários tendem a considerar o “efeito top-10” quando analisam os rankings (ISAAC; SCHINDLER, 2013). Os autores demonstraram, entre outros aspectos, que os consumidores: (i) mentalmente dividem os rankings num pequeno grupo de categorias; (ii) percebem, de modo exagerado, que existem diferenças entre os itens dessas diferentes categorias, mesmo quando estes itens estão próximos dos limites entre elas; e (iii) interpretam os rankings gerando categorias através de números arredondados – referentes às posições das entidades ranqueadas – terminados em zero ou cinco. Pode-se entender, portanto, que os usuários mentalmente criam as conhecidas categorias top nas suas análises, como, por exemplo, top-5, top-10, top-15 e assim por diante.

Em outras palavras, o artigo do “efeito top-10” indicou que, após a identificação de uma categoria top, os consumidores reconhecem que dois itens pertencentes a essa categoria são mais próximos entre si, ou mais similares, do que um par de itens formado por um elemento dessa categoria e outro não pertencente a ela. Os autores ressaltaram que esse aspecto pode ser claramente identificado quando os pares de itens encontrados no limite de uma categoria top são comparados. Por exemplo, dada a categoria top-10 de um ranking qualquer, o item 10 – ou seja, o item limite dessa categoria top – foi percebido como mais similar do item 9 do que do item 11, apesar de ambos estarem separados do item 10 apenas uma posição no ranking.

Assim como sinalizado na introdução geral desta tese, os aspectos destacados nessa seção representam um padrão de percepção. Mesmo considerando que pessoas diferentes podem ter percepções diferentes sobre determinados contextos, o padrão descrito será considerado como comum aos usuários dos rankings para efeitos dos estudos aqui apresentados. Dessa forma, a expressão “percepção dos usuários”, amplamente usada neste trabalho, estará se referindo a esse padrão.