A construção de um sistema de indicadores

Etimologicamente, o termo sistema vem do grego e significa combinar, ajustar, formar um conjunto. Conceitualmente, entende-se por sistema um objeto complexo no qual toda parte está relacionada, no mínimo, com outra parte (BUNGE, 2002), ou ainda, um todo organizado finalisticamente, como partes articuladas e não amontoadas (ABBAGNANO, 1982).

Há sistemas de diversas naturezas. Segundo Bunge (2002), o átomo é um exemplo de sistema físico, pois se compõe de prótons, nêutrons e elétrons. Uma firma social, por sua vez, exemplifica um sistema social, sendo composta por gerente, empregados e artefatos (BUNGE, 2002). Já a linguagem é um sistema de signos que se mantêm juntos pela concatenação e significado (BUNGE, 2002).

Como se pode observar, em uma acepção geral, a ideia de sistema presume a combinação coordenada de partes, a partir de uma lógica, de modo a concorrerem para um resultado ou para formarem um conjunto.

Por sistema de indicadores entende-se o conjunto de indicadores referente a determinado aspecto. É construído segundo uma lógica específica de estruturação, na qual devem estar refletidas as múltiplas dimensões que caracterizam o aspecto ou fenômeno da realidade a ser observado.

Os sistemas de indicadores são representações do mundo, produzidas por determinado grupo, em determinado tempo e lugar. Como representação, sempre estarão refletidos em sua construção juízos de valores dos investigadores sobre a questão investigada (CARLEY, 1985). Por isso, pode-se dizer que não há conjunto de indicadores definitivos ou fixos, eles sempre demandarão ajustes, de um local para outro e no tempo.

Em sua concepção, estão envolvidas definições teóricas, metodológicas e operacionais. Mesmo não havendo uma teoria formal que estabeleça orientações objetivas para a construção de sistemas de indicadores, é frequente, na literatura específica, a definição de alguns passos a serem seguidos. Nesse sentido, Januzzi (2006), em convergência com Wong (2006), sugere o cumprimento de quatro etapas, a saber:

i. A primeira refere-se à definição operacional do conceito abstrato ou temática à qual o sistema se refere, a ser elaborada com base no interesse teórico ou programático referido;

ii. Estabelecido o conceito de base para o sistema de indicadores, passa-se para a especificação das suas dimensões, de modo a torná-lo, de fato, um objeto claro e bem delimitado, passível de ser ‘indicado’ de forma quantitativa;

iii. A terceira etapa diz respeito à obtenção dos dados de entrada, matéria- prima para a construção de indicadores. Os dados brutos podem ser informações censitárias, estimativas amostrais, registros administrativos, ou ainda dados coletados por meio da observação direta;

iv. A última se refere à combinação orientada dos dados de entrada, construindo, com isso, os indicadores, que juntos conformam o sistema, que deverá traduzir em termos tangíveis o conceito abstrato inicialmente idealizado. Uma vez concluída a concepção do sistema de indicadores, Bellen (2007) afirma que cinco aspectos devem estar definidos: i. escopo (classificação das dimensões da ferramenta); ii. esfera (unidades nas quais a ferramenta se aplica); iii. dados (tipos de dados e forma como são tratados na avaliação); iv. participação (o nível de participação na elaboração da ferramenta); v. interface (relacionada com o grau de facilidade para se observarem e interpretarem os resultados fornecidos pela ferramenta).

Tratando-se especificamente da construção dos indicadores, os métodos envolvidos variam de acordo com o tipo ou a característica do indicador. Muitas classificações podem ser encontradas na literatura.

Uma classificação bastante usual corresponde à distinção entre indicadores objetivos (ou quantitativos) e subjetivos (ou qualitativos).

Indicadores objetivos referem-se a ocorrências concretas da realidade. Segundo Carley (1985), são mensuráveis numa escala de intervalos ou graus e podem ser submetidos aos métodos usuais de análise de dados. São construídos a partir das estatísticas públicas disponíveis. Exemplos de indicadores objetivos são o percentual de casas com rede de água, a taxa de evasão escolar, etc. (JANUZZI, 2006).

Os indicadores subjetivos são construídos a partir de avaliações do público ou de especialistas em relação a determinados aspectos, representando variáveis psicológicas. Os dados de entrada podem ser obtidos por meio de pesquisas de público ou em grupos de discussão. São exemplos de indicadores subjetivos o índice de confiança nas instituições ou notas avaliativas sobre a performance dos governantes (JANUZZI, 2006).

A classificação dos indicadores como descritivos e normativos é também encontrada na literatura.

Os descritivos, como o nome o indica, descrevem características e aspectos da realidade empírica, não sendo fortemente dotados de significados valorativos. Exemplos são a taxa de mortalidade infantil e a taxa de evasão escolar (JANUZZI, 2006).

Os normativos refletem juízos de valor ou critérios normativos em relação à dimensão social estudada. Conforme dispõe Januzzi (2006), a proporção de pobres é um indicador normativo de insuficiência de meios para a sobrevivência, pois sua construção envolve uma série de decisões metodológicas normativas sobre quais variáveis devem compor o indicador, tais como ingestão diária de calorias, acesso à saúde, lazer e educação, dentre outras (JANUZZI, 2006).

Para Januzzi (2006), todo indicador social ou estatística pública é normativo, pois se origina de processos interpretativos da realidade, que não são neutros nem objetivos em sua formulação. Portanto, “[…] a normatividade de um indicador é uma questão de grau, reservando-se o termo normativo àqueles indicadores de construção metodológica mais complexa e dependentes de definições conceituais mais específicas” (JANUZZI, 2006, p. 21).

No que se refere ao modo como são selecionados os indicadores, Bellen (2007) afirma que há duas abordagens dominantes: a primeira, denominada top-down, consiste na definição da estrutura do sistema e de quais indicadores serão utilizados por especialistas e pesquisadores. Nessa situação, os responsáveis pela aplicação dos indicadores nos diversos universos podem adaptar o sistema às condições locais, mas não podem redefini-lo ou modificar os indicadores estabelecidos; a outra, denominada bottom-up, é caracterizada pela ampla participação (comunidades, líderes, gestores e, finalmente, especialistas) no processo de definição dos temas a serem mensurados e dos indicadores.

Para o autor, a vantagem da abordagem top-down é fornecer uma aproximação científica mais homogênea; a desvantagem é não estabelecer contato com as prioridades da comunidade. Quanto à bottom-up, a vantagem é que a comunidade constrói e valida o projeto, e sua desvantagem pode vir a ser o foco estreito, podendo deixar de incluir no sistema aspectos importantes. Essas abordagens são os extremos de uma mesma linha; todavia, é possível construir ferramentas que se insiram ao longo da linha. Segundo Bellen (2007), a situação ideal é aquela em que as pessoas selecionam suas prioridades e as incorporam a um sistema desenvolvido por especialistas.

Os indicadores que irão compor um dado sistema ainda podem ser classificados de acordo com a forma com que os dados de entrada são utilizados. Nesse caso, podem ser de natureza composta ou simples.

Os indicadores simples correspondem a um sistema de indicadores separados ou não agregados. Os indicadores compostos são uma composição de diversos indicadores que formam uma cifra resumida (CARLEY, 1985).

A realidade é complexa, por isso, algumas situações reais só são passíveis de mensuração por meio de indicadores compostos ou agregados. Esses tipos de indicadores impõem, contudo, duas limitações: a primeira diz respeito a juntar variáveis expressas em diferentes unidades de mensuração, como, por exemplo, unidades físicas distintas ou medidas físicas com sociais, pois o processo de agregação não é simplesmente uma média de dados individuais combinados; a segunda é que, quanto mais agregado for um indicador, menor é seu potencial de auxiliar nas tomadas de decisão.

No processo de agregação dos dados para a construção de indicadores, podem ser utilizados modelos de ponderação, que consistem em julgamentos de valor, atribuindo importância diferente a elementos distintos da ferramenta (BELLEN, 2007). Carley (1985) discorre sobre o assunto:

Um índice composto exige que medidas diferentes sejam transformadas numa escala comum, para que possam ser somadas. Por vezes, esse procedimento, é acompanhado de uma ‘atribuição de pesos’ aos indicadores, numa tentativa de expressar a contribuição diferencial de cada indicador incluído no indicador composto [...]. Existem dificuldades associadas à agregação de indicadores e à escolha de um esquema de ponderação. Quando se desenvolve algum esquema aritmético para fazer a ponderação, ele tem que pressupor um modelo de comportamento social que presuma que seus componentes são somáveis. [...] Essas relações só podem decorrer

da pressuposição de um modelo social. Outros esquemas de ponderação se baseiam em opiniões administrativas ou especializadas, às vezes reunidas por técnicas semelhantes à Delphi. Também isso envolve a pressuposição de algum modelo, ainda que implicitamente, por parte dos ‘especialistas’ (CARLEY, 1985, p. 89-90).

Wong (2006) afirma que há duas abordagens para se montar um esquema de ponderação: os métodos estatísticos e os métodos não-estatísticos.

Os métodos não-estatísticos têm a vantagem de ser mais simples e mais facilmente compreensíveis. De acordo com essa autora, a vantagem da simplicidade é a visibilidade, o que significa que as decisões sobre os pesos podem ser facilmente reconhecidas e debatidas. A autora lista quatro métodos não-estatísticos:

i. O primeiro deles é denominado de nulo, ou sem atribuição de valor (null). Nesse método não são aplicados pesos. Segundo a autora, a aparente simplicidade do método é claramente uma desvantagem, pois assume que todos os indicadores são de igual importância para o conceito em questão;

ii. O segundo baseia-se na consulta a especialistas (experts) sobre questões específicas. As opiniões podem ser obtidas por meio de perguntas diretas ou de técnicas interativas, como o Delphi, no qual é solicitado que se responda anonimamente a questões em duas ou mais rodadas até se atingir um consenso (Wong, 2006). Esse método tem a vantagem de integrar o conhecimento especializado na ponderação. Todavia, tem como desvantagem a escolha dos especialistas, a definição dos pesos que deverão ser considerados e o envolvimento de valores pessoais no processo;

iii. A utilização de literatura específica para a obtenção dos pesos pode ser uma alternativa ao método baseado na opinião de especialistas;

iv. A opinião do público é outro método não-estatístico, operacionalizado por meio de questionários, dinâmicas e votação.

Métodos estatísticos tendem a ser mais complexos e de entendimento mais limitado. Por outro lado, são mais precisos, menos influenciados por juízos de valor. Wong (2006) elenca cinco deles: Z-scores, análise regressiva (regression analysis), análise fatorial (factor analysis), análise multicriterial (multi-criterial analysis) e análise em grupo (cluster analysis).

Carley (1985) entende que o melhor modo de lidar com a influência dos juízos de valor associados aos esquemas de ponderação é reconhecer que o processo de seleção e desenvolvimento dos indicadores é uma ação política, que deve, tanto quanto possível, contemplar no processo uma diversidade significativa de orientações e valores.

Concluídas as etapas de concepção e seleção dos indicadores, parte-se para a etapa final do sistema, que é a interpretação e avaliação dos dados obtidos. Segundo Wong (2006), indicadores isolados são informações vazias, que dificilmente fornecem alguma mensagem significante para a ação da gestão. É a análise dos indicadores que agrega valor e transforma informações em inteligência.

Wong (2006) identifica duas maneiras de interpretar os valores dos indicadores: por meio da comparação com outras áreas num contexto espacial maior ou a partir de sua trajetória (direção e grau) no tempo. No caso dos bens culturais, como seu monitoramento está relacionado com o acesso a um status absoluto dos valores, como foi discutido na seção anterior, a interpretação dos valores obtidos deverá seguir a segunda opção, por meio da comparação no tempo das mudanças e permanências identificadas no próprio bem.

A análise e a interpretação de indicadores devem ser cuidadosamente construídas para aumentar o seu valor potencial e para minimizar, tanto quanto possível, possíveis distorções.

Construído esse quadro teórico sobre o que são, para que servem e como são concebidos os sistemas de indicadores, parte-se para a última seção desse capítulo, cujo objetivo é verificar como são aplicadas na prática as questões de fundo teórico levantadas até então.