FORMULAÇÃO DE INDICADORES DE DESEMPENHO

Numa visão genérica, Terribili Filho (2010) relaciona quatro níveis hierárquicos da informação: dado, informação, conhecimento e inteligência, esclarecendo que os dados são a matéria prima da informação, que processada, refinada e interpretada se transforma em conhecimento. Para que o conhecimento seja aplicado, precisa ser sintetizado. A capacidade de síntese é uma habilidade da racionalidade humana, que congrega experiência e prática, completada com uma dose de intuição, para assim, aplicar o conhecimento na melhoria dos processos.

Uchoa (2013) esclarece que dado é uma informação disponível, mas ainda não organizada ou manipulada. Ainda não possui foco na gestão. Pode ser um número, um texto, uma imagem, um som, um vídeo ou alguma outra mídia. Informação é um dado que já passou por um primeiro nível de organização, de acordo com um interesse específico, como em um relatório. Já o indicador é uma variável crítica, que precisa ser controlada, mantida em determinados patamares.

CLASSIFICAÇÃO MÁXIMO MÍNIMO MÉDIA

Ótimo 100 91 95,5

Bom 90 81 85,5

Regular 80 56 68

Ruim 55 41 48

105

O MPOG (BRASIL, 2012c) traduziu os níveis de informação em formato gráfico, que denominou Pirâmide da Informação (Figura 4):

Figura 4 - Pirâmide da Informação

Fonte: MPOG (BRASIL, 2012c)

Apesar da qualidade e do volume de métodos, normas e padronizações desenvolvidas pelo DNIT, todos com riqueza de detalhes e formuladas sob rigor científico, poucas estão voltadas para o desempenho na gestão de contratos, sendo esta uma área ainda carente de indicadores e parâmetros de medição.

Para o MPOG (BRASIL, 2012c), um bom indicador deve ser relevante para a formulação de políticas, ser adequado à análise e ser mensurável. Para congregar estas propriedades, precisam apresentar elementos indispensáveis, quais sejam: representatividade, simplicidade, sensibilidade a mudanças, possibilidade de comparações a nível internacional, escopo abrangente, disponibilidade de valores de referência, fundamentação científica, base em padrões internacionais, consenso sobre sua validade, aplicação em modelos econômicos de previsão e em sistemas de informações, viabilidade em termos de tempo e recursos, documentação adequada e atualização periódica.

O MPOG (BRASIL, 2012c), considerando as abordagens de autores como Rua (2004), Jannuzzi (2005) e Ferreira, Cassiolato e Gonzalez (2009), separa as propriedades dos indicadores em dois grupos distintos:

1. Propriedades essenciais: são aquelas que qualquer indicador deve apresentar e sempre devem ser consideradas como critérios de escolha, independente da fase do ciclo de gestão em que se encontra a política sob análise (planejamento, execução, avaliação, etc). São elas:

106

(a) Utilidade: Deve suportar decisões, sejam no nível operacional, tático ou estratégico. Os indicadores devem, portanto, basear-se nas necessidades de decisão; (b) Validade: capacidade de representar, com a maior proximidade possível, a realidade que se deseja medir e modificar;

(c) Confiabilidade: indicadores devem ter origem em fontes confiáveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgação; (d) Disponibilidade: os dados básicos para seu cômputo devem ser de fácil obtenção. 2. Propriedades complementares: são também muito importantes, mas podem ser alvo de uma análise de conferência dependendo da avaliação particularizada da situação. São elas:

(a) Simplicidade: indicadores devem ser de fácil obtenção, construção, manutenção, comunicação e entendimento pelo público em geral, interno ou externo.

(b) Clareza: geralmente um indicador é definido como uma divisão entre duas variáveis básicas; é formado, portanto, por um numerador e um denominador, ambos compostos por dados de fácil obtenção. Eventualmente, porém, ele pode ser complexo na sua fórmula, envolvendo muitas variáveis. Em todo caso, porém, é imprescindível que seja claro, atenda à necessidade do gestor e que esteja adequadamente documentado.

(c) Sensibilidade: capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas;

(d) Desagregabilidade: capacidade de representação regionalizada, considerando que a dimensão territorial se apresenta como um componente essencial na implementação de políticas públicas;

(e) Economicidade: capacidade do indicador de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser favorável;

(f) Estabilidade: capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações das variáveis de interesse, com mínima interferência causada por outras variáveis;

(g) Mensurabilidade: capacidade de alcance e mensuração quando necessário, na sua versão mais atual, com maior precisão possível e sem ambiguidade;

(h) Auditabilidade: ou rastreabilidade, qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores (obtenção, tratamento, formatação, difusão, interpretação).

Diógenes (2002 apud BROCHADO, 2008) praticamente ratifica as características de indicadores selecionadas pelo MPOG (BRASIL, 2012c), acrescentando apenas a

107

necessidade da abordagem experimental: antes de serem estabelecidos como definitivos, os indicadores precisam ser testados e adequados, caso não se mostrem realmente importantes.

Já Uchoa (2013), além de repetir as características relatadas pelo MPOG (BRASIL, 2012c), acrescenta que na identificação e seleção de um indicador é importante considerar que ele permita a investigação, com base em dados fáceis de analisar e permitir juízos de valor, bem como permitir comparação com referências internas e externas ou ainda com séries históricas de acontecimentos. Estas características, segundo o autor, são imprescindíveis para garantir a sua posterior operacionalização.

Além disso, é necessário identificar se a escolha do indicador atende às expectativas de seus públicos de interesse, como os órgãos setoriais, órgãos centrais, órgãos de controle e outros possíveis interessados, de modo a assegurar a relevância do indicador proposto.

Uchoa (2013), no entanto, observa que não é obrigatório que todos os atributos sinalizem pela adequação do indicador, pois alguns podem não ser eliminatórios. Uma análise global deve ser feita para que somente sejam definidos indicadores minimamente razoáveis.

Ainda relacionadas pelo MPOG (BRASIL, 2012c), além das propriedades citadas, é importante que o processo de escolha de indicadores considere os seguintes aspectos:

 Publicidade: os indicadores devem ser públicos, isto é, conhecidos e acessíveis a todos os níveis da instituição, bem como à sociedade e aos demais entes da administração pública.  Temporalidade: a identificação dos indicadores de desempenho deve considerar algumas

questões temporais – em primeiro lugar o momento em que deve começar a medição; em segundo lugar a disponibilidade de obtenção quando os diferentes resultados começarem a acontecer; e, por fim, a possibilidade de que, por meio dessas medidas, seja possível realizar um acompanhamento periódico do desempenho da ação.

 Factibilidade: os dados necessários para as medições se constituem em informações que fazem parte dos processos de gestão da instituição e, portanto, obtidas através de instrumentos de coleta, seja por amostra ou censo, estatísticas, aplicação de questionários, observação etc., dependendo do aspecto a ser medido. Uma proposta de elaboração de indicadores deverá permitir dispor de indicadores de medição factível, em momentos adequados e com uma periodicidade que equilibre as necessidades de informação com os recursos técnicos e financeiros.

Essa classificação possui foco maior na avaliação dos recursos alocados e dos resultados alcançados. Segundo essa ótica, o TCU (BRASIL, 2000) entende que os indicadores podem ser de:

108

 Economicidade: medem os gastos envolvidos na obtenção dos insumos (materiais,

humanos, financeiros etc.) necessários às ações que produzirão os resultados planejados.

Visam a minimizar custos sem comprometer os padrões de qualidade estabelecidos e requer

um sistema que estabeleça referenciais de comparação e negociação;

 Eficiência: essa medida possui estreita relação com produtividade, ou seja, o quanto se

consegue produzir com os meios disponibilizados. Assim, a partir de um padrão ou

referencial, a eficiência de um processo será tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos, ou os mesmos produtos e/ou serviços sejam obtidos com menor quantidade de recursos;

 Eficácia: aponta o grau com que um Programa atinge as metas e objetivos planejados,

ou seja, uma vez estabelecido o referencial (linha de base) e as metas a serem alcançadas, utilizam-se indicadores de resultado para avaliar se estas foram atingidas ou superadas;

 Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a

intervenção, ou seja, aponta se houve mudanças socioeconômicas, ambientais ou

institucionais decorrentes dos resultados obtidos pela política, plano ou programa. É o que realmente importa para efeitos de transformação social.

Uchoa (2013) relaciona as etapas a serem seguidas para elaboração de indicadores: selecionar um objetivo, identificar os fatores críticos de sucesso, escolher indicadores que representem o atingimento dos objetivos (indicadores de resultado), avaliar a qualidade do indicador, estabelecer um plano de ação para alcance do objetivo, considerando a superação dos fatores críticos de sucesso, analisar o conjunto de indicadores definidos e proceder ajustes, selecionar os indicadores que realmente interessam e proceder ajustes.

Os componentes básicos de um indicador devem ser: medida, fórmula, índice, padrão de comparação e meta, conforme definição a seguir.

- Medida: grandeza qualitativa ou quantitativa que permite classificar as características, resultados e consequências dos produtos, processos ou sistemas;

- Fórmula: padrão matemático que expressa a forma de realização do cálculo; - Índice (número): valor de um indicador em determinado momento;

- Padrão de comparação: índice arbitrário e aceitável para uma avaliação comparativa de padrão de cumprimento; e

- Meta: índice (número) orientado por um indicador em relação a um padrão de comparação a ser alcançado durante certo período.

109

O MPOG (BRASIL, 2009b) desenhou o processo para formulação de indicadores definindo os dez passos necessários para assegurar que os princípios da qualidade e do sistema de medição do desempenho estejam em conformidade com o desejado pela organização (ver Figura 5):

Figura 5 - Etapas de medição e os 10 passos para a construção de indicadores

Fonte: MPOG (BRASIL, 2009b).

Após a realização do passo 1, os subsídios principais para a elaboração do indicador já estão definidos. Os indicadores devem ser especificados por meio de métricas estatísticas, comumente formados por porcentagem, média, número bruto, proporção e índice.

Uchoa (2013) ressalta que a interpretação dos indicadores merece atenção especial, dado que pode ser responsável pelo sucesso ou fracasso de toda a iniciativa relacionada ao planejamento e à definição, preparação, coleta e apresentação de indicadores. Para os gestores, o autor recomenda que ao interpretar os resultados, não devem focar em explicar o passado, mas em aprender sobre o futuro.

O MPOG (BRASIL, 2012c) alerta que sempre existirão limitações durante a construção e utilização de indicadores, que não podem ser desconsideradas. A seguir, são apresentadas as principais limitações identificadas.

110

Há de se ter em mente que a gestão e cômputo dos indicadores advêm direta ou indiretamente de procedimentos executados por pessoas que possuem interesses, sofrem e geram pressões, e que não podem ser consideradas plenamente isentas. Assim, ao se conceberem indicadores, é preciso que os gestores tenham clareza da necessidade, pertinência e conveniência de quais informações serão coletadas e de como serão coletadas, o que envolve conhecimento dos meios, do ambiente e das pessoas envolvidas neste processo.

Medições efetivas envolvem custos significativos, principalmente pelo tempo requerido dos atores envolvidos na concepção, planejamento e implementação dos indicadores. Deve-se buscar instrumentos, tais como os sistemas de informação, que sejam amigáveis a todos os envolvidos, de modo que estes não se tornem fardos à coleta, tratamento e apresentação das informações, bem como não induzam ao descompromisso na prestação ou utilização das informações.

Qualquer conjunto de indicadores é uma redução da realidade aferida, e outras formas de aquisição de informações acerca do desempenho organizacional, tais como a troca de experiências e impressões interpessoais, não podem ser desprezados.

Por fim, deve-se atentar que o indicador apenas aponta, assinala, indica como o próprio nome revela. Não se deve confiar cega e permanentemente nas medidas, portanto o gestor de uma política pública deve, periodicamente, realizar uma avaliação crítica acerca da pertinência dos indicadores selecionados, considerando ainda que, a todo tempo, surgem modelos aperfeiçoados baseados em novas teorias (MAGALHÃES, 2004).

A validação preliminar dos indicadores sugeridos perante as partes interessadas como base para a decisão de manter, modificar ou excluir os indicadores inicialmente propostos, que segundo o MPOG (BRASIL, 2012c) é posterior à seleção e validação, não foi considerada por não haver condições de consulta com amplitude suficiente para representar a organização.

Neste estudo, para formulação dos indicadores que avaliem aspectos de efetividade, eficácia, eficiência e economicidade, buscou-se atender aos condicionantes definidos na revisão bibliográfica, apresentada neste capítulo.

111