RANKING DE DESEMPENHO NA EXECUÇÃO ORÇAMENTÁRIA DA DESPESA EM FUNÇÕES SOCIAIS EM MUNICÍPIOS: AVALIAÇÃO EM UM ÚNICO ÍNDICE ( )

Autores

Maurício Corrêa da Silva

Doutor em Ciências Contábeis (UnB/UFPB/UFRN – 2014/2016). Mestre em Ciências Contábeis (UnB/UFPB/UFRN/UFPE – 2004/2005). Professor Adjunto do Departamento de Ciências Contábeis da UFRN e do Programa de Mestrado em Ciências Contábeis da UFRN. E-mail: prof.mauriciocsilva@gmail.com

Joana Darc Medeiros Martins

Doutoranda em Ciências Contábeis (UnB/UFPB/UFRN). Mestre em Ciências Contábeis (UnB/UFPB/UFRN). Professora Assistente do Departamento de Ciências Contábeis da UFRN.

E-mail: joanadmm@yahoo.com.br

Fábia Jaiany Viana de Souza

Servidora do Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte. Mestra em Ciências Contábeis (UnB/UFRN/UFPB). Doutoranda em Ciências Contábeis (UFPB).

E-mail: fabiajaiany@yahoo.com.br Aneide Oliveira Araujo

Doutora em Controladoria e Contabilidade (FEA-USP). Professora do Departamento de Ciências Contábeis da UFRN e do Programa de Mestrado em Ciências Contábeis da UFRN. E-mail: aneide2010@gmail.com

José Dionísio Gomes da Silva

Doutor em Controladoria e Contabilidade (FEA-USP). Mestre em Administração pela UFRN. Professor Titular do Departamento de Ciências Contábeis da UFRN. Professor do Programa de Mestrado em Ciências Contábeis da UFRN.

E-mail: dionisio@ufrnet.br

RESUMO

O objetivo desta investigação é avaliar o desempenho na execução orçamentária da despesa em funções sociais dos gestores públicos dos 50 municípios mais populosos brasileiros no ano de 2013, a partir do IDFS (Índice de Desempenho de Funções Sociais) dos anos de 2002 a 2014, com a utilização da Análise de Componentes Principais (ACP), a fim de elaborar um único índice e estabelecer o ranking de desempenho. Foi utilizado o método de pesquisa empírico-analítico com o suporte das Teorias da Agência e da Medição. Os resultados evidenciaram com base no Índice de Desempenho de Funções Sociais único (2002 a 2014), que os municípios de Santos (SP), seguido de São Bernardo do Campo (SP) e Belo Horizonte (MG) obtiveram as primeiras posições no ranking (mais eficientes). Nas últimas posições

(piores desempenhos) ficaram os municípios de Feira de Santana (BA), 48ª posição, Aparecida de Goiânia (GO), 49ª e na última posição (50ª), o município de São Gonçalo (RJ). Palavras-chave: Avaliação de Desempenho; Índice; Execução Orçamentária da Despesa; Funções Sociais.

1 INTRODUÇÃO

O Art. 6º da Constituição Federal de 1988 (Emenda Constituição nº 90, de 15 de setembro de 2015) estabelece que são direitos sociais: a educação, a saúde, a alimentação, o trabalho, a moradia, o transporte, o lazer, a segurança, a previdência social, a proteção à maternidade e à infância e a assistência aos desamparados (BRASIL, 2015).

As ações governamentais concretizadas em programas, projetos, atividades e operações especiais do governo federal, governos estaduais, governo distrital e governos municipais são registradas com o maior nível de agregação das diversas áreas de despesa que competem ao setor público com a denominação de função (educação, saúde, trabalho, transporte, segurança pública etc.), conforme instruções contidas na Portaria nº 42, de 14 de abril de 1999, do Ministério do Planejamento, Orçamento e Gestão - MPOG – (BRASIL, 1999).

Nas pesquisas de avaliação de resultados, Rezende (1997) relaciona como gastos sociais (bens semipúblicos), as funções: assistência social; previdência social; saúde; educação; cultura; urbanismo; habitação e saneamento. Bovo (2001) considera as despesas nas funções: educação e cultura; saúde e saneamento; assistência e previdência; habitação e urbanismo, constantes das execuções orçamentárias como funções sociais.

Para Lavinas (2007), as funções assistência social e previdência social são gastos sociais do governo federal e as funções: assistência social; saúde; educação; direitos da cidadania; urbanismo; habitação; saneamento e gestão ambiental como gastos sociais dos governos municipais.

Silva (2016) considera como funções sociais (gastos sociais) de gestores públicos municipais, as seguintes funções de governo: assistência social; previdência social; saúde; educação; cultura; direitos da cidadania; urbanismo; habitação e gestão ambiental. Na pesquisa foi elaborado o Índice de Desempenho de Funções Sociais (IDFS) dos 50 municípios brasileiros mais populosos no ano de 2013. O IDFS foi aplicado em cada um dos trezes exercícios financeiros, do período de 2002 a 2014.

A elaboração do IDFS, segundo Silva (2016), tem a finalidade de avaliar a eficiência da alocação dos recursos financeiros (inputs) para atender às comunidades de forma agregada nas funções sociais de governo, a partir de uma visão macro de desempenho entre os gestores públicos municipais. O desempenho é apurado pelo resultado da ponderação dos coeficientes e as variâncias das variáveis (funções de governo) em relação aos escores padronizados, a partir de equações lineares. O efeito prático da avaliação é que o melhor desempenho traduz a maior eficiência alocativa na distribuição dos recursos financeiros para atender a população.

De acordo com Siche et al. (2007), índices ou indicadores funcionam como um sinal de alarme para manifestar a situação do sistema avaliado, pois são valores estáticos, isto é, dão uma fotografia do momento atual. Figueiredo Filho et al. (2013) esclarecem que os indicadores permitem estimar a efetividade das ações governamentais e avaliar em que medida o dinheiro público está sendo eficientemente utilizado. A construção e a divulgação de indicadores sociais têm um papel fundamental no planejamento e execução das ações públicas.

As propriedades de um indicador para seu emprego na pesquisa acadêmica ou na formulação e avaliação de políticas públicas, deve: 1) ter um grau de cobertura populacional adequado aos propósitos a que se presta; 2) ser sensível a políticas públicas implementadas; 3)

ser específico a efeitos de programas setoriais; 4) ser inteligível para os agentes e públicos-alvo das políticas; 5) ser atualizável periodicamente, a custos razoáveis; 6) ser amplamente desagregável em termos geográficos, sociodemográficos e socioeconômicos; e 7) gozar de certa historicidade para possibilitar comparações no tempo (JANNUZZI, 2002).

Diante do exposto, surge a seguinte questão de pesquisa: Qual o ranking de desempenho de gestores públicos municipais na execução orçamentária da despesa em funções sociais, a partir do IDFS dos anos de 2002 a 2014? Assim, o objetivo desta investigação é avaliar o desempenho na execução orçamentária da despesa em funções sociais dos gestores públicos dos 50 municípios mais populosos brasileiros no ano de 2013, a partir do IDFS (Índice de Desempenho de Funções Sociais) dos anos de 2002 a 2014, com a utilização da Análise de Componentes Principais (ACP), a fim de elaborar um único índice e estabelecer o ranking de desempenho.

As pesquisas de avaliação de desempenho do setor público são formas de exercer o controle social, diminuir a assimetria da informação e neste sentido o estudo agrega sua contribuição aos estudos correlatos de Silva et al. (2016a), que sintetizou o IRFS (Índice de Responsabilidade Fiscal, Social e de Gestão da Confederação Nacional de Municípios – CNM) dos anos de 2005 a 2010; Silva et al. (2016b), os IDEB (Índice de Desenvolvimento da Educação Básica do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP) de 2005 a 2013 e Silva et al. (2015), os IDHM (Índice de Desenvolvimento Humano Municipal do Programa das Nações Unidas para o Desenvolvimento – PNUD), o IFDM (Índice de Desenvolvimento Municipal da Federação das Indústrias do Estado do Rio de Janeiro – FIRJAN) e o IRFS do ano de 2010.

A relevância do estudo está na busca de contribuir com a elaboração de indicadores a partir da sintetização em um único índice que foi publicado e divulgado em treze exercícios financeiros (IDFS de 2002 a 2014).

A pesquisa está amparada nas Teorias da Agência e da Medição e para atingir o objetivo proposto, este artigo está dividido em cinco seções. Após esta introdução, a seção dois traz a revisão da literatura. A seção seguinte os procedimentos metodológicos. A quarta seção mostra os resultados da pesquisa e análises. A quinta seção trata das considerações finais.

2 REVISÃO DA LITERATURA 2.1 Teoria da Agência

Marôcco (2009) esclarece que o modelo da Teoria da Agência encontra, no contexto da administração pública, subsídios para evidenciar o problema de agência ao destacar a questão da assimetria de informação presente no relacionamento entre o Estado (principal) e o agente burocrático. O domínio da informação, a competência técnica e o conhecimento específico atribuem ao agente um poder burocrático responsável pela execução da política e administração dos recursos públicos disponíveis, muitas vezes direcionados na defesa dos interesses e vantagens particulares caracterizando assim, uma forte evidência de um comportamento oportunista do agente burocrático.

A Teoria da Agência foi formalizada no artigo seminal de Jensen e Meckling (1976). Ela explica o comportamento dos agentes da firma, em especial a relação entre acionistas e gestores e descreve muitas relações sociais que vão além do ambiente empresarial.

Suzart (2012) afirma com base na Teoria da Agência, que há evidências de que os gestores públicos, ao invés de atender aos anseios sociais, podem buscar saciar interesses pessoais. O aumento do número de notícias sobre desvios e a má gestão de recursos públicos corroboram com a assertiva.

Na relação de agência aplicada no setor público os cidadãos delegam aos gestores públicos a capacidade de decidir como empregar os recursos, que a sociedade disponibiliza ao Estado, e esperam que estes gestores maximizem suas utilidades, isto é, promovam ações que propiciem um bem-estar coletivo (SUZART, 2012).

Matias-Pereira (2005) observa que a Teoria da Agência analisa os potenciais conflitos entre o mandante e o mandatário. Para resolver esses problemas dever-se-á procurar uma solução ótima, que permita tanto ao agente como ao mandante aproximarem-se o máximo possível de sua utilidade pessoal máxima. Assim, a Teoria da Agência diz respeito àquele que, numa organização, delega responsabilidade a outro indivíduo, denominado agente, o qual age de acordo com os seus objetivos privados. Entretanto, o problema reside no fato de que, na administração em geral e na pública em particular, torna-se difícil a fiscalização do comportamento do agente.

Araújo e Sanchez (2005) esclarecem que segundo a Teoria da Agência o problema na relação governo/burocracia reside na assimetria de informação, ou seja, no fato de duas partes que se relacionam não deterem o mesmo conhecimento, colocando uma das partes – quem delega responsabilidades – em desvantagens no relacionamento com a outra.

Os referidos autores argumentam que aproveitar essa assimetria de informação pode levar a burocracia a buscar interesses distintos aos dos políticos eleitos. Isto é, pode haver o falseamento das metas estabelecidas pelo poder político, sendo que a corrupção burocrática é um exemplo disso. Os autores ainda afirmam que a corrupção, em qualquer de suas manifestações, representa um ônus insustentável para qualquer sociedade.

De acordo com Marôcco (2009), os agentes políticos são representantes do Estado com atuação da plena liberdade funcional e autoridade pública suprema de governo, responsáveis por formular a política, as diretrizes do aparato público, bem como prover os recursos necessários para apoiar tomadas de decisões estratégicas no âmbito da esfera federal.

Para Filgueiras (2011), as primeiras objeções à Teoria da Agência assinalam o fato de ela concentrar o processo democrático na etapa eleitoral e conceber a política pelo mercado. Não há uma concepção abrangente sem uma noção mais ampla de público, em que o problema da responsabilização não atente apenas para os custos da delegação, mas também para o processo democrático como um todo. Além disso, essa concepção minimalista produz uma concepção restrita de cidadania, marcada pelo consumidor passivo de bens públicos e centrada numa perspectiva derivada de uma racionalidade instrumental.

A sociedade e os gestores públicos são partes de uma relação de agência, quando a primeira delega aos segundos o poder de utilizar os recursos públicos, com a condição de que os anseios sociais sejam atendidos. Nesta relação, o principal (a sociedade) procura certificar de que os agentes (os gestores públicos) atuem de modo a atender seus interesses (SUZART, 2012).

Usando o modelo principal-agente para interpretar fenômenos em políticas governamentais, Secchi (2013) assevera que se percebe uma cadeia de relacionamentos composta por três elos principais: 1) os cidadãos são o principal e os políticos eleitos são os agentes; 2) os políticos eleitos são o principal e os designados politicamente são os agentes; e 3) os designados são o principal e a máquina burocrática é o agente. O autor continua esclarecendo que o problema implícito em uma relação entre agente e principal é fazer que os interesses do principal sejam efetivamente levados adiante pelo agente.

Dente as contribuições da Teoria da Agência, pode-se destacar as análises da assimetria da informação (ARAÚJO; SANCHEZ, 2005; MARÔCCO, 2009) e os conflitos entre o mandante e o mandatário (MATIAS-PEREIRA, 2005).

Assim, a Teoria da Agência, na perspectiva da administração pública, apresenta-se como um arcabouço para a análise das relações entre a sociedade (principal) e os gestores públicos (agente). As ações tomadas pelo agente podem não estar dentro dos interesses do

principal. O antagonismo de interesses deve ser monitorado e acompanhado pelo principal (cidadãos) através das análises das prestações de contas e nas participações em audiências públicas. As pesquisas de avaliação de programas de governo são formas de exercer o controle social e podem diminuir a assimetria da informação.

2.2 Estudos anteriores

As pesquisas a seguir apresentadas estão ligadas diretamente ao tema da presente investigação. Silva et al. (2015) avaliaram o desempenho dos cem municípios brasileiros com os melhores IDHM para elaborarem um único índice e o respectivo ranking de desempenho, a partir da sintetização dos IDHM, o IFDM e o IRFS do ano de 2010. Os resultados evidenciaram com base no Índice Geral de Desempenho (IGD), que os municípios de São Caetano do Sul (SP), Santos (SP) e Vitória (ES) apresentaram os melhores desempenhos. Os municípios de Santa Cruz da Conceição (SP), Porto União (SC) e Palmas (TO) ficaram nas últimas posições (piores desempenhos).

Silva et al. (2016a) elaboraram um único índice de desempenho de responsabilidade fiscal, social e gestão das capitais das unidades da Federação Brasileira, a partir dos IRFS dos anos de 2005 a 2010. Os resultados revelaram que no ranking geral, Vitória (ES) e Campo Grande (MS) apresentaram os melhores desempenhos de responsabilidade fiscal, social e de gestão, no período de 2005 a 2010 (1ª e 2ª posições, respectivamente) e Maceió/AL (25ª) e Salvador/BA (26ª) ficaram nas últimas posições.

Silva et al. (2016b) elaboraram um único índice de desenvolvimento da educação básica dos Estados e do Distrito Federal, a partir dos IDEB de 2005 a 2013. Os resultados revelaram que o Estado de Minas Gerais apresentou o melhor desempenho no índice que sintetiza todos os IDEB até agora divulgados pelo INEP com o escore de 4.2187, o qual foi considerado na escala de 0 a 1, como eficiente (1 = 100%) para, a partir do mesmo, identificar a porcentagem relativa da eficiência dos demais Estados e do Distrito Federal. Os Estados do Paraná e São Paulo ficaram, respectivamente na 2ª e 3ª posição e os Estados do Rio Grande do Norte (25ª), Alagoas (26ª) e Bahia (27ª) nas últimas posições.

3 PROCEDIMENTOS METODOLÓGICOS

3.1 Caracterizações da pesquisa, do método e da base de dados

Esta pesquisa, quanto aos objetivos, classifica-se como pesquisa de avaliação de resultados com a utilização da pesquisa quantitativa (empirismo). Martins e Theóphilo (2009) esclarecem que a pesquisa de avaliação é uma estratégia de investigação aplicada para avaliar programas, projetos, políticas etc.

O estudo foi desenvolvido com o método empírico-analítico (arquivo/empirista - banco de dados) que corresponde à utilização de técnica de coleta, tratamento e análise de dados com métrica quantitativa. Segundo Matias-Pereira (2012), o processo de validação da prova científica no método empírico-analítico é feito por meio de testes de instrumentos, graus de significância e sistematização das definições operacionais.

A métrica quantitativa é utilizada para calcular o índice de desempenho único dos municípios, a partir dos Índices de Desempenho de Funções Sociais (IDFS) dos anos de 2002 a 2014, conforme consta na pesquisa de Silva (2016). A métrica quantitativa está fundamentada na Teoria da Medição (ARIAS, 2010; COHEN; FRANCO, 2012; STEVENSON, 1981; BASTOS; KELLER, 2004; MARTINS, 2005).

Segundo Arias (2010), a Teoria da Representação da Medição ou simplesmente Teoria da Medição, a medição, no sentido mais amplo, é a atribuição de números a objetos ou eventos, de acordo com as regras. O autor esclarece ainda, que a estatística é uma ciência útil para a pesquisa empírica, seja em psicologia ou qualquer outra ciência. É geralmente conhecida como a ciência dos grandes números, porque suas leis e princípios atingem o seu prazo de validade máximo em grandes conjuntos de casos ou eventos.

Para Cohen e Franco (2012), pela Teoria da Medição, os números são símbolos com dois significados: o quantitativo habitual, que implica que com eles podem ser realizadas operações algébricas, e o qualitativo, que pode significar uma denominação arbitrária ou estabelecer uma ordem.

Stevenson (1981) argumenta que a estatística compreende a organização, o resumo e, em geral, a simplificação de informações que podem ser muito complexas. A finalidade é tornar as coisas mais fáceis de entender, de relatar e de discutir. Martins (2005) esclarece que a estatística não cria leis ou teorias, seu grande valor está em fornecer subsídios para que o pesquisador utilize as informações relevantes, visando à construção ou verificação de teorias.

Bastos e Keller (2004) argumentam que a corrente metodológica do empirismo (pesquisa quantitativa) coloca a mensuração quantitativa como critério do que seria ou não científico, do que seria ou não verdadeiro. O empirismo busca reproduzir as condições do fenômeno em laboratório, com a pretensão de reconstruir o ambiente propício capaz de superar subjetivismos, incursões de juízos de valor e influências ideológicas.

A Tabela 1 apresenta os Índices de Desempenho de Funções Sociais (IDFS) dos anos de 2002 a 2014 dos municípios avaliados na pesquisa de Silva (2016) – amostra intencional.

Tabela 1 - Índice de Desempenho de Funções Sociais (IDFS) dos anos de 2002 a 2014 - ranking Municípios/Anos 2 3 4 5 6 7 8 9 10 11 12 13 14 São Paulo (SP) 0.65 0.68 0.54 0.51 0.53 0.58 0.84 0.45 0.70 0.51 0.69 0.62 0.57 Rio de Janeiro (RJ) 0.84 0.83 0.77 0.62 0.44 0.41 0.80 0.31 0.50 0.44 0.65 0.60 0.63 Salvador (BA) 0.10 0.07 0.06 0.05 0.17 0.15 0.14 0.05 0.20 0.11 0.11 0.09 0.18 Fortaleza (CE) 0.17 0.25 0.23 0.22 0.38 0.41 0.31 0.20 0.31 0.24 0.24 0.30 0.18 Belo Horizonte (MG) 0.66 0.80 0.69 0.81 0.74 0.80 0.90 0.47 0.52 0.42 0.42 0.62 0.54 Manaus (AM) 0.22 0.16 0.12 0.18 0.24 0.35 0.37 0.07 0.24 0.13 0.25 0.16 0.27 Curitiba (PR) 0.76 0.52 0.49 0.53 0.53 0.60 0.90 0.31 0.54 0.33 0.52 0.46 0.48 Recife (PE) 0.36 0.33 0.39 0.43 0.43 0.52 0.56 0.25 0.35 0.28 0.43 0.43 0.43 Porto Alegre RS) 0.75 0.82 0.58 0.79 0.75 0.79 0.71 0.40 0.48 0.41 0.41 0.61 0.38 Belém (PA) 0.16 0.20 0.25 0.20 0.27 0.26 0.25 0.09 0.14 0.10 0.12 0.11 0 Goiânia (GO) 0.30 0.33 0.36 0.39 0.34 0.30 0.34 0.35 0.16 0.19 0.06 0.43 0.15 Guarulhos (SP) 0.30 0.26 0.27 0.30 0.32 0.33 0.48 0.24 0.42 0.28 0.20 0.31 0.31 Campinas (SP) 0.65 0.73 0.59 0.72 0.49 0.48 0.72 0.29 0.50 0.34 0.28 0.37 0.42 São Luís (MA) 0.29 0.23 0.19 0.24 0.25 0.25 0.34 0.19 0.26 0.37 0.23 0.22 0.16 São Gonçalo (RJ) 0.01 0.02 0 0 0 0 0 0.03 0.03 0.03 0 0 0.02 Maceió (AL) 0.11 0.08 0.20 0.13 0.29 0.19 0.12 0.10 0.10 0.13 0.03 0.08 0.05 Natal (RN) 0.22 0.19 0.10 0.19 0.26 0.28 0.51 0.13 0.28 0.17 0.15 0.17 0.34 Teresina (PI) 0.25 0.29 0.30 0.32 0.28 0.37 0.40 0.21 0.29 0.22 0.16 0.25 0.18 Campo Grande (MS) 0.35 0.40 0.51 0.45 0.53 0.52 0.59 0.31 0.37 0.32 0.24 0.33 0.39 São Bernardo do Campo (SP) 0.77 0.73 0.66 0.66 0.39 0.41 0.65 0.29 1 1 0.99 1 0.79

João Pessoa (PB) 0.08 0.38 0.31 0.44 0.34 0.25 0.32 0.21 0.27 0.24 0.13 0.24 0.17 Santo André (SP) 0.52 0.79 0.73 0.60 0.57 0.64 0.52 0.38 0.43 0.51 0.32 0.33 0.31 Osasco (SP) 0.14 0.24 0.32 0.30 0.22 0.21 0.38 0.26 0.56 0.47 0.34 0.35 0.35 Ribeirão Preto (SP) 0.52 0.59 0.42 0.46 0.41 0.41 0.66 0.33 0.39 0.27 0.31 0.31 0.26 Uberlândia (MG) 0.28 0.29 0.26 0.30 0.31 0.33 0.43 0.21 0.28 0.21 0.32 0.22 0.12 Contagem (MG) 0.25 0.11 0.15 0.37 0.11 0.35 0.35 0.23 0.29 0.28 0.19 0.21 0.23 Aracaju (SE) 0.43 0.36 0.45 0.59 0.40 0.41 0.71 0.29 0.38 0.51 0.38 0.31 0.23 Feira de Santana (BA) 0 0.02 0.06 0.18 0.15 0.11 0.15 0.06 0.08 0.09 0.02 0.12 0.08 Cuiabá (MT) 0.26 0.25 0.22 0.28 0.41 0.28 0.37 0.15 0.20 0.23 0.32 0.26 0.26 Joinville (SC) 0.54 0.45 0.54 0.56 0.47 0.46 0.61 0.30 0.38 0.28 0.27 0.28 0.26 Juiz de Fora (MG) 0.34 0.41 0.41 0.58 0.49 0.49 0.54 0.23 0.31 0.31 0.26 0.31 0.25 Londrina (PR) 0.62 0.84 0.59 0.82 0.54 0.55 0.45 0.27 0.36 0.43 0.33 0.38 0.19 Aparecida de Goiânia (GO) 0.04 0.02 0.00 0.06 0.12 0.09 0.14 0 0 0 0.01 0.03 0.00 Niterói (RJ) 0.78 0.58 0.44 0.49 0.42 0.44 0.55 0.34 0.46 0.39 0.41 0.36 0.48 Porto Velho (RO) 0.10 0.09 0.44 0.12 0.14 0.24 0.62 0.20 0.39 0.23 0.24 0.16 0.20 Serra (ES) 0.31 0.34 0.37 0.44 0.33 0.45 0.76 0.21 0.43 0.26 0.33 0.20 0.27 Caxias do Sul (RS) 0.67 0.72 0.67 0.54 0.52 0.58 0.83 0.46 0.47 0.36 0.43 0.30 0.24 Vila Velha (ES) 0.17 0.14 0.13 0.11 0.18 0.21 0.36 0.09 0.20 0.12 0.24 0.09 0.18 Florianópolis (SC) 0.29 0.35 0.41 0.39 0.31 0.30 0.72 0.43 0.33 0.24 0.25 0.23 0.39 Macapá (AP) 0.07 0.06 0.05 0.07 0.19 0.25 0.19 0.13 0.13 0.12 0.00 0.05 0.11 São José do Rio Preto (SP) 0.34 0.46 0.36 0.38 0.42 0.38 0.35 0.25 0.30 0.28 0.22 0.25 0.25 Santos (SP) 1 1 1 1 1 1 1 1 0.80 0.66 1 0.86 1 Mogi das Cruzes (SP) 0.26 0.19 0.17 0.18 0.17 0.21 0.34 0.14 0.27 0.21 0.25 0.20 0.22 Diadema (SP) 0.34 0.40 0.51 0.49 0.45 0.44 0.49 0.26 0.33 0.26 0.22 0.26 0.26 Betim (MG) 0.58 0.65 0.39 0.81 0.69 0.75 0.86 0.35 0.60 0.53 0.41 0.44 0.36 Campina Grande (PB) 0.07 0.08 0.03 0.12 0.14 0.19 0.20 0.08 0.18 0.13 0.07 0.13 0.06 Jundiaí (SP) 0.63 0.68 0.65 0.74 0.71 0.64 0.92 0.34 0.66 0.47 0.63 0.50 0.50 Olinda (PE) 0.08 0.10 0.18 0.17 0.15 0.16 0.17 0.09 0.23 0.10 0.09 0.10 0.18 Carapicuíba (SP) 0.03 0 0.07 0.10 0.16 0.11 0.03 0.05 0.02 0.06 0.14 0.20 0.13 Montes Claros (MG) 0.10 0.15 0.13 0.21 0.27 0.22 0.21 0.12 0.15 0.14 0.07 0.14 0.06 Legenda: Anos: 02 = 2002; 03 = 2003; 04 = 2004; 05 = 2005; 06 = 2006; 07 = 2007; 08 = 2008; 09 = 2009; 10 = 2010; 11 = 2011; 12 = 2012; 13 = 2013; 14 = 2014.

Fonte: Silva (2016) – adaptado.

Os escores de desempenhos (componentes principais) apresentam resultados negativos e positivos. Desse modo, foi utilizado a interpolação para os resultados ficarem na faixa de 1 (mais eficiente, maior escore) a 0 (menos eficiente, menor escore). Os municípios da Tabela 1 estão posicionados por ordem do número de habitantes.

O município de Santos (SP) destaca com o melhor desempenho (mais eficiente) na 1ª posição do ranking das funções sociais (IDFS), mostrados na Tabela 1 em dez anos: 2002 a 2009, 2012 e 2014 e São Bernardo do Campo (SP) em 3 anos: 2010, 2011 e 2013. Isto significa que no conjunto das variáveis que compõem as funções sociais de governo avaliadas, os recursos médios aplicados superaram os demais municípios da amostra (SILVA, 2016).

Os piores desempenhos (menos eficientes) são indicados para os municípios de Feira de Santana (BA) em 2002; Carapicuíba (SP) em 2003; Aparecida de Goiânia (GO) em 2004; 2009; 2010 e 2011; São Gonçalo (RJ) em 2005, 2006, 2007, 2008, 2012 e 2013 e Belém (PA)

em 2014. Isto significa baixa e falta de execução de despesas evidenciadas por funções sociais de governo (SILVA, 2016).

O porte do município não foi fator preponderante para evidenciar os resultados da aplicação dos recursos da execução orçamentária dos gastos sociais (funções sociais) e a falta de aplicação de recursos em algumas funções resultou em um pior desempenho. Como exemplos: Aparecida de Goiânia (GO) não executou as funções previdência social e direitos da cidadania nos anos de 2009, 2010 e 2011; cultura; direitos da cidadania e habitação em 2004; habitação em 2009 e gestão ambiental em 2011. São Gonçalo (RJ) não executou as funções direitos da cidadania e habitação em 2005; 2007, 2008, 2012 e 2013 e habitação em 2006. Belém (PA) não executou em 2014 a função direitos da cidadania (SILVA, 2016).

Observa-se na Tabela 1, a relevância de utilizar métrica quantitativa, com base na Teoria da Medição (ARIAS, 2010; COHEN; FRANCO, 2012; STEVENSON, 1981; BASTOS; KELLER, 2004; MARTINS, 2005) para elaborar um único índice de desempenho: a série de dados dos IDFS dos anos de 2002 a 2014, divulgados por Silva (2016) na Tabela 1, apresenta uma variação nos resultados, quando analisado ano a ano. Assim, pode ser definido qual o município teve o maior desempenho de forma global com a utilização de testes estatísticos, entre outras finalidades.

3.2 Mensuração quantitativa e modelo teórico e empírico

A técnica de análise e interpretação dos dados escolhida para avaliar o desempenho dos gestores públicos municipais por um único índice foi a Análise de Componentes Principais (ACP). O modelo teórico para a utilização da técnica segue as orientações de Kaiser (1960), Mingoti e Silva (1997), Kubrusly (2001), Timm (2002), Jolliffe (2002), Osborne e Costello (2004), Mingoti (2007), Ayres (2012), Vyas e Kumaranayake (2006), Johnson e Wichern (2007), Manly (2008), Field (2009), Lattin, Carroll e Green (2011) e Ribas e Vieira (2011).

Mingoti (2007) esclarece que a Análise de Componentes Principais (ACP) reduz o número de variáveis a serem avaliadas e permite através dos escores dos componentes principais, conduzir para uma ordenação dos elementos amostrais e assim calcular o desempenho das entidades.

Segundo Vyas e Kumaranayake (2006), em termos matemáticos, a partir de um conjunto inicial de n variáveis correlacionadas, a Análise de Componentes Principais (ACP) cria índices ou componentes não correlacionados, sendo que cada componente é uma combinação linear ponderada das variáveis iniciais.

Para Kubrusly (2001), na construção de índices com combinações lineares de variáveis é desejável que estes tenham a maior variância possível e neste sentido a Análise de Componentes Principais (ACP) cria combinações lineares com a propriedade da máxima variância. De acordo com Ribas e Vieira (2011), cada componente é uma função linear. Os componentes principais são usados para descobrir e interpretar as dependências que existem entre as variáveis (TIMM, 2002).

O modelo empírico para calcular o índice de desempenho com base na literatura citada consta no Quadro 1.

Quadro 1 - Modelo empírico das equações lineares para calcular o índice de desempenho com a Análise de Componentes Principais (ACP)

Yn = A1Z1 + A2Z2 + . . . + AnZn

Yn = equações lineares (escores de desempenhos dos componentes principais); An = autovetores (coeficientes das variáveis – pesos);

Zn = variáveis padronizadas (X –

x

Y1 = 0.2873Z1 + 0.2866Z2 + 0.2850Z3 + 0.2835Z4 + 0.2735Z5 + 0.2761Z6 + 0.2727Z7 + 0.2695Z8 + 0.2779Z9 + 0.2673Z10 + 0.2746Z11 + 0.2794Z12 + 0.2713Z13

Variáveis padronizadas: Z1 = IDFS (2002); Z2 = IDFS (2003); Z3 = IDFS (2004); Z4 = IDFS (2005); Z5 = IDFS (2006); Z6 = IDFS (2007); Z7 = IDFS (2008); Z8 = IDFS (2009); Z9 = IDFS (2010); Z10 = IDFS (2011); Z11 = IDFS (2012); Z12 = IDFS (2013); Z13 = IDFS (2014).

Autovalor do componente 1 = 10.7628 (82.79%)

Interpolação dos escores de desempenhos na faixa de 1 a 0. Fonte: elaborado pelos autores.

Segundo Manly (2002) e Ayres (2012), os autovalores representam o poder explicativo do componente em relação à variância das variáveis originais (observadas) e os autovetores são os coeficientes das variáveis X padronizadas usados para calcular escores dos componentes principais. Para Kaiser (1960), deve ser utilizado autovalores com valores acima de 1. De acordo com Mingoti e Silva (1997), as variáveis não dependem de qualquer suposição de normalidade e para Jolliffe (2002), podem ser contínuas e distribuídas normalmente ou não.

Foram extraídos treze componentes principais com os seus respectivos autovalores (10.7628 + 0.8632 + 0.3275 + 0.2595 + 0.1983 + 0.1920 + 0.0909 + 0.0876 + 0.0689 + 0.0538 + 0.0392 + 0.0331 + 0.0232 = 13, que corresponde a variância total – 13 variáveis observadas). Os autovetores do componente 1 (coeficientes) constam no Quadro 1.

O autovalor do componente 1 possui uma variância de 82.79% (10.7628/13*100) – Quadro 1. Desse modo, é necessário utilizar apenas os escores desse componente para calcular o desempenho dos municípios da amostra – variância superior a 80% (MANLY, 2008) - (Tabela 3).

Para melhorar as cargas fatoriais de cada variável e assim maximizar a soma das variâncias de cargas exigidas pela matriz, foi utilizada, nesta investigação, a rotação dos eixos denominada de VARIMAX (simplificação das colunas da matriz fatorial – rotação ortogonal), conforme recomendação feita por Field (2009).

As variáveis padronizadas (escore padrão ou z-escore), segundo Larson e Farber (2010), representam o número de desvios-padrão que um valor dado está a partir da média. Um z-escore pode ser negativo, positivo ou zero. Se for negativo, o valor está abaixo da média. Se positivo, o valor correspondente está acima da média e se for zero, o valor correspondente é igual a média. Segundo Martins (2002), o z-escore (escore padronizado), representa uma forma de demonstrar a melhor performance (desempenho) relativa. O z-escore são utilizados nas equações lineares.

A Tabela 2 apresenta o cálculo do escore de desempenho do componente 1 do município de Santos (SP), 1º colocado no ranking de desempenho da execução orçamentária por funções sociais de governo no índice único (2002 a 2014), conforme consta na Tabela 3.

Tabela 2 - Cálculo do escore de desempenho do município de Santos (SP)

Y1 = 0.2873 (2.50291) + 0.2866 (2.3158) + 0.2850 (2.79618) + 0.2835 (2.49394) + 0.2735 (3.20472) + 0.2761 (3.03385) + 0.2727 (2.01149) + 0.2695 (4.64568) + 0.2779 (2.29010) + 0.2673 (2.07424) + 0.2746 (3.25028) + 0.2794 (2.78627) + 0.2713 (3.66203) = 10.2564

Y1 = escore de desempenho do componente 1.

Resultado final = 10.2564 (maior escore = 1 na interpolação). Fonte: dados da pesquisa.

É necessário que haja correlação entre as variáveis para utilizar a ACP (MINGOTI, 2007; FIELD, 2009; LATTIN; CARROLL; GREEN, 2011) e que a matriz de correlação não pode ser identidade (FIELD, 2009). Não há consenso sobre o tamanho da amostra (OSBORNE; COSTELLO, 2004), mas quanto mais variáveis, melhor os resultados (JOHNSON; WICHERN, 2007).

Nesta pesquisa, os p-valores para as correlações foram todos significativos (< 0.0001) e o Teste de Esfericidade de Bartlett apontou que as variáveis não são mutuamente independentes (matriz não é identidade - o qui-quadrado calculado de 1067.195 é maior que o valor crítico – tabela de 101.8795). Observa-se assim, que os pressupostos para utilizar a ACP foram cumpridos. Os cálculos foram realizados com o software BioEstat 5.0® (AYRES et al., 2007).

4 RESULTADOS E DISCUSSÕES

A Tabela 3 apresenta o ranking de desempenho da execução orçamentária por funções sociais de governo dos 50 municípios da amostra, elaborado com base nos IDFS dos anos de 2002 a 2014.

Tabela 3 - Índice de Desempenho de Funções Sociais (IDFS) único (2002 a 2014) - ranking

P Municípios IDFS P Municípios IDFS

1º Santos (SP) 1 26º Goiânia (GO) 0.2912

2º São Bernardo do Campo (SP) 0.7552 27º Uberlândia (MG) 0.2760 3º Belo Horizonte (MG) 0.6667 28º Teresina (PI) 0.2743 4º Jundiaí (SP) 0.6393 29º Fortaleza (CE) 0.2726 5º São Paulo (SP) 0.6291 30º Cuiabá (MT) 0.2720 6º Porto Alegre RS) 0.6240 31º Aracaju (SE) 0.4292 7º Rio de Janeiro (RJ) 0.6147 32º João Pessoa (PB) 0.2635 8º Betim (MG) 0.5886 33º São Luís (MA) 0.2521 9º Curitiba (PR) 0.5480 34º Porto Velho (RO) 0.2467 10º Caxias do Sul (RS) 0.5327 35º Contagem (MG) 0.2451 11º Santo André (SP) 0.5269 36º Natal (RN) 0.2303 12º Campinas (SP) 0.5133 37º Mogi das Cruzes (SP) 0.2165 13º Londrina (PR) 0.4969 38º Manaus (AM) 0.2112 14º Niterói (RJ) 0.4838 39º Vila Velha (ES) 0.1667 15º Joinville (SC) 0.4221 40º Belém (PA) 0.1601 16º Campo Grande (MS) 0.4213 41º Montes Claros (MG) 0.1495 17º Ribeirão Preto (SP) 0.4160 42º Olinda (PE) 0.1360 18º Recife (PE) 0.4112 43º Maceió (AL) 0.1214 19º Juiz de Fora (MG) 0.3865 44º Salvador (BA) 0.1108 20º Diadema (SP) 0.3693 45º Campina Grande (PB) 0.1101 21º Florianópolis (SC) 0.3654 46º Macapá (AP) 0.1072 22º Serra (ES) 0.3649 47º Carapicuíba (SP) 0.0809 23º Osasco (SP) 0.3337 48º Feira de Santana (BA) 0.0807 24º São José do Rio Preto (SP) 0.3326 49º Aparecida de Goiânia (GO) 0.0273 25º Guarulhos (SP) 0.3176 50º São Gonçalo (RJ) 0 Legenda: P = posição no ranking; IDFS = Índice de Desempenho de Funções Sociais único (2002-2014) Fonte: dados da pesquisa.

Observa-se na Tabela 3, que o posicionamento do município de Santos (SP) com o melhor desempenho (mais eficiente) está relacionado com a 1ª posição do ranking de desempenho da execução orçamentárias das funções sociais (IDFS), mostrados na Tabela 1 em dez anos: 2002 a 2009, 2012 e 2014. No conjunto das variáveis que compõem as funções sociais de governo, os recursos médios aplicados superaram os demais municípios da amostra. Segundo Silva (2016), a diferença na posição de desempenho do município de Santos (SP) e Belém (PA), pode ser observada da seguinte forma: os gastos de Santos (SP) foram 0.9350; 2.5887; 1.0260; 2.1789; 4.0249; 2.1348; 2.2570; 3.1469 e 0.5993 desvios-padrão acima da média nas funções sociais (per capita): assistência social; previdência social; saúde; educação; cultura; direitos da cidadania; urbanismo; habitação e gestão ambiental, respectivamente e em Belém (PA), os gastos ficaram abaixo da média em 0.3072; 1.4002; 0.1003; 1.3084; 0.5144; 0.5373; 1.0513; 0.5221 e 0.5318 desvios-padrão.

As preferências alocativas e os resultados das aplicações dos recursos públicos sociais apresentados nas pesquisas de Rezende (1997), Bovo (2001) e Lavinas (2007) foram avaliados, com dados mais recentes. Entretanto, apresentam pontos em comum: os municípios são conservadores nas preferências alocativas (sem grandes alterações nos exercícios de 2002 a 2014) e houve aumento de gastos na área social (tendência geral). A sintetização dos IDFS não prejudica a avaliação ano a ano realizado por Silva (2016).

No ranking geral dos escores de desempenhos calculados pela Análise de Componentes Principais do IDFS, os resultados apontam que a maioria dos municípios (28) apresentou valores de escores negativos. Isto mostra uma tendência de que a execução das funções sociais executadas nos diversos anos que compõem o IDFS único foi abaixo da percentagem média geral dos 50 municípios.

Quanto ao desempenho relativo de municípios, Dal Vesco, Hein e Scarpin (2014) verificaram que municípios maiores nem sempre são os com melhores indicadores de desempenho. Na referida pesquisa, Londrina (PR) ficou na 7ª posição entre os municípios da Região Sul. Na investigação de Silva (2016) aparece nas 12ª, 2ª, 8ª, 2ª, 7ª e 10ª posição, respectivamente nos anos de 2002 a 2007 (escores positivos) e no IDFS único está na 13ª posição, situação essa melhor que Fortaleza (CE); Salvador (BA) etc. Desse modo, os achados dos referidos pesquisadores convalidam os desta investigação.

Os problemas de assimetria informacional existentes entre os administradores públicos e a sociedade podem ser esclarecidos com a Teoria da Agência (ARAÚJO; SANCHEZ, 2005; MARÔCCO, 2009). Neste sentido, a elaboração de índices de desempenhos, no caso, o IDFS único pode servir como instrumento para a sociedade avaliar a gestão pública e assim diminuir a assimetria informacional, que para Miranda et al. (2008), as informações produzidas pela contabilidade pública não são claras para a maioria dos cidadãos, independente do grau de escolaridade.

Os eleitores deveriam estar bem informados a respeito de como as receitas e despesas de seus governos estaduais e/ou municipais se comparam com os de outras regiões no que diz respeito a sua capacidade financeira em relação à oferta de serviços públicos (ROSENBLATT; SHIDLO, 1996). A oferta de serviços públicos pode ser observada em uma visão macro pela alocação de recursos nas diversas funções de governo.

Na pesquisa de Silva (2016), os piores desempenhos (menos eficientes) foram indicados para os municípios de Feira de Santana (BA) em 2002; Carapicuíba (SP) em 2003; Aparecida de Goiânia (GO) em 2004; 2009; 2010 e 2011; São Gonçalo (RJ) em 2005, 2006, 2007, 2008, 2012 e 2013 e Belém (PA) em 2014. Isto significa baixa e falta de execução de despesas evidenciadas por funções sociais de governo. Nesta investigação, Feira de Santana

(BA) ficou na 48ª posição; Aparecida de Goiânia (GO) na 49ª e na última posição (50ª), o município de São Gonçalo (RJ).

O posicionamento dos três últimos municípios desta investigação é explicado da seguinte forma: Feira de Santana (BA) não executou em 2002 as funções assistência social; cultura; direitos da cidadania; habitação e gestão ambiental. Carapicuíba (SP) não executou em 2003 as funções previdência social e direitos da cidadania. Aparecida de Goiânia (GO) não executou as funções previdência social e direitos da cidadania nos anos de 2009, 2010 e 2011; cultura; direitos da cidadania e habitação em 2004; habitação em 2009 e gestão ambiental em 2011. São Gonçalo (RJ) não executou as funções direitos da cidadania e habitação em 2005; 2007, 2008, 2012 e 2013 e habitação em 2006.

Embora foram utilizadas variáveis diferentes na elaboração de índices, mas com foco na execução orçamentária das despesas, depreende-se com base nesta pesquisa uma correlação positiva nos resultados do município de Santos (SP), que ocupou a 1ª posição no ranking do IDFS único e a 2ª posição do IDHM, IFDM e IRFS único na pesquisa de Silva et al. (2015) e de Campo Grande (MS), que ficou na 16ª no IDFS único e a 2ª posição no IRFS único da pesquisa de Silva et al. (2016a).

5 CONSIDERAÇÕES FINAIS

As funções de governo sintetizam os segmentos em que as organizações do Estado atuaram em programas, projetos, atividades e em operações realizadas para o desenvolvimento social e econômico da sociedade. As funções de governo (assistência social, saúde, educação, transporte, urbanismo, habitação, cultura etc.) representam operacionalizações de políticas públicas nas diversas áreas de intervenção.

As pesquisas de avaliação de desempenho do setor público são formas de exercer o controle social e diminuir a assimetria da informação. As informações produzidas pela contabilidade pública não são claras para a maioria dos cidadãos, independente do grau de escolaridade.

Neste sentido, esta investigação elaborou um único índice de desempenho de gestores públicos municipais na execução orçamentária de despesa em funções sociais de governo, sintetizando o IDFS (Índice de Desempenho de Funções Sociais) que foi utilizado para avaliar trezes exercícios financeiros.

A elaboração de índices de desempenho do setor público pode ser realizada com a utilização de métrica quantitativa, haja vista que pode cumprir as propriedades (cobertura nacional, atualização a custos razoáveis, historicidade etc.) exigidas dos indicadores para o seu emprego na pesquisa avaliativa acadêmica e/ou na formulação e avaliação de políticas públicas. No caso da Análise de Componentes Principais (ACP), a elaboração de índices de desempenho é realizada com os componentes principais: coeficientes das variáveis (autovetores) multiplicados pelos z-escores (padronização das variáveis), ponderados pelos autovalores (variância).

Convém ressaltar que os resultados apontados com a utilização de amostras intencionais são específicos, ou seja, não podem ser generalizados para toda a população. Desse modo, recomenda-se a realização de outras pesquisas com estratos diferentes para apurar seus resultados e fazer as inferências.

Finalizando o estudo e respondendo ao problema de pesquisa, os resultados evidenciaram com base no Índice de Desempenho de Funções Sociais único (2002 a 2014), que os municípios de Santos (SP), seguido de São Bernardo do Campo (SP) e Belo Horizonte (MG) obtiveram as primeiras posições no ranking (mais eficientes). Nas últimas posições

(piores desempenhos) ficaram os municípios de Feira de Santana (BA), 48ª posição, Aparecida de Goiânia (GO), 49ª e na última posição (50ª), o município de São Gonçalo (RJ).

REFERÊNCIAS

ARÁUJO, M.; SANCHEZ, O. A. A corrupção e os controles internos do Estado. Lua Nova, São Paulo, 65: p.137-173, 2005.

ARIAS, E. R. Estadística: Medición, Descripción e Inferencia. Perspectivas Psicológicas, Santo Domingo (Rep. Dom.), Volúmenes 6 y 7. Año X. 2010, 126-172, Edición Especial. AYRES, M. Elementos de bioestatística: a seiva do açaizeiro. 2. ed. Belém: Supercores, 2012.

_____. AYRES JÚNIOR, M.; AYRES, D. L.; SANTOS, A. A. S.; AYRES, L. L. BioEstat 5.0 – Aplicações estatísticas nas áreas das ciências biomédicas. Belém, PA: Sociedade Civil Mamirauá, 2007. PA.

BASTOS, C. L.; KELLER, V. Aprendendo a aprender: introdução à metodologia científica. 17. ed. Petrópolis: Vozes, 2004.

BOVO, J. M. Gastos sociais dos municípios e desequilíbrio financeiro. Revista de Administração Pública, v, 35, n. 1, p. 93-117, 2001.

BRASIL. Emenda Constituição nº 90, de 15 de setembro de 2015. Dá nova redação ao art. 6º da Constituição Federal, para introduzir o transporte como direito social. Diário Oficial [da] República Federativa do Brasil, Brasília-DF, 16 de setembro de 2015.

_____. Ministério do Planejamento, Orçamento e Gestão (MPOG). Portaria nº 42, de 14 de abril de 1999. Atualiza a discriminação da despesa por funções de que tratam o inciso I do § 1º do art. 2º e § 2º do art. 8º, ambos da Lei nº 4.320, de 17 de março de 1964, estabelece os conceitos de função, subfunção, programa, projeto, atividade, operações especiais, e dá outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília-DF, 15 de abril de 1999.

COHEN, E.; FRANCO, R. Avaliação de projetos sociais. 10. ed. Petrópolis: Vozes, 2012. DAL VESCO, D. G.; HEIN, N.; SCARPIN, J. E. Análise dos indicadores de desempenho em municípios na região Sul do Brasil com até 100 mil habitantes. Enf.: Ref. Cont. UEM – Paraná, v. 33, n. 2, p. 19-34, maio/agosto 2014.

FIELD, A. Descobrindo a estatística usando o SPSS. Tradução de Lorí Viali. 2. ed. Porto Alegre: Artmed, 2009.

FIGUEIREDO FILHO, D. B.; PARANHOS, R.; ROCHA, E. C.; SILVA JR, J. A.; MAIA, R. G. Análise de componentes principais para construção de indicadores sociais. Rev. Bras. Biom., São Paulo, v.31, n.1, p. 61-78, 2013.

FILGUEIRAS, F. Além da transparência: accountability e política da publicidade. Lua Nova, São Paulo, 84: p. 353-364, 2011.

JANNUZZI, P. M. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. RAP, Rio de Janeiro 36 (1): 51-72, Jan./Fev. 2002.

JENSEN, M. C.; MECKLING, W. H. Theory of the firm: managerial behavior, agency costs and ownership structure. Journal of Financial Economics, October 1976, V. 3, No. 4, pp. 305-360.

JOHNSON, R. A.; WICHERN, D. W. Applied Multivariate Statistical Analysis. 6. ed. New Jersey: Prentice Hall, 2007.

JOLLIFFE, I.T. Principal component analysis. 2nd. edition. New York: Springer-Verlag, 2002.

KAISER, H. F. The application of electronic computers to factor analysis. Educational and Psychological Measurement, v. 20, p. 141-151, 1960.

KUBRUSLY, L. S. Um procedimento para calcular índices a partir de uma base de dados multivariados. Pesquisa Operacional, Vol. 21, Nº. 1, p. 107-117, junho de 2001.

LARSON, R.; FARBER, B. Estatística aplicada. Tradução de Luciane Ferreira Paulete Vianna. 4. ed. São Paulo: Pearson Prentice Hall, 2010.

LATTIN, J.; CARROLL, J. D.; GREEN, P. E. Análise de dados multivariados. Tradução de Harue Avritscher. São Paulo: Cengage Learning, 2011.

LAVINAS, L. Gasto social no Brasil: programas de transferência de renda versus investimento social. Ciênc. Saúde Coletiva [online], vol.12, n.6, pp. 1463-1476, 2007. MANLY, B. J. F. Métodos estatísticos multivariados: uma introdução. Tradução de Sara Ianda Carmona. 3. ed. Porto Alegre: Bookman, 2008.

MARÔCCO, A. P. A avaliação de implementação de política de ciência, tecnologia e inovação à luz da teoria da agência. Jornal Eletrônico, Ano 1 – Edição I – Julho 2009, p. 1-37, Faculdades Integradas Vianna Júnior.

MARTINS, G. A. Estatística geral e aplicada. 2. ed. São Paulo: Atlas, 2002.

_____. Falando sobre teorias e modelos nas ciências contábeis. BBR – Brazilian Business Review, Vol. 2, nº 2, Vitória-ES, Brasil – Jul / Dez 2005, pp. 131-144.

_____. THEÓPHILO, C. R. Metodologia da investigação científica para ciências sociais aplicadas. 2. ed. São Paulo: Atlas, 2009.

MATIAS-PEREIRA, J. Manual de metodologia da pesquisa Científica. 3. ed. São Paulo: Atlas, 2012.

_____. Reforma do estado e controle da corrupção no Brasil. Caderno de Pesquisas em Administração, São Paulo, v. 12, n. 2, p.1-17, abril/junho, 2005.

MINGOTI, S. A. Análise de dados através de métodos de estatística multivariada: uma abordagem aplicada. 1ª reimpressão. Belo Horizonte: Editora UFMG, 2007.

_____. SILVA, A. F. Um exemplo de aplicação de técnicas de estatística multivariada na construção de índices de preços. Nova Economia, Belo Horizonte, v. 7, n. 2, p. 203-212, 1997.

MIRANDA, L. C.; SILVA, A. J. M.; RIBEIRO FILHO, J. F.; SILVA, L. M. Uma análise sobre a compreensibilidade das informações contábeis governamentais comunicadas pelo Balanço Orçamentário. BBR - Brazilian Business Review, Vol. 5, N.3 Vitória - ES, Set – Dez 2008, p. 209-228.

OSBORNE, J. W.; COSTELLO, A. B. Sample size and subject to item ratio in principal components analysis. Practical Assessment, Research & Evaluation, 9 (11), 2004.

REZENDE, F. C. Descentralização, gastos públicos e preferências alocativas dos governos locais no Brasil (1980-1994). Dados, v. 40, n. 3, Rio de Janeiro,1997.

RIBAS, J. R.; VIEIRA, P. R. C. Análise multivariada com o uso do SPSS. Rio de Janeiro: Ciência Moderna, 2011.

ROSENBLATT, D.; SHIDLO, G. Quem tem mais recursos para governar? Uma comparação das receitas per capita dos estados e dos municípios brasileiros. Revista de Economia Aplicada, vol. 16, nº 1 (61), p. 101-106, janeiro-março/1996.

SECCHI, L. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. Ed. São Paulo: Cengage Learning, 2013.

SICHE, R.; AGOSTINHO, F.; ORTEGA, E.; ROMEIRO, A. Índices versus indicadores: precisões conceituais na discussão da sustentabilidade de países. Ambiente & Sociedade, Campinas v. X, n. 2, p. 137-148, jul.-dez. 2007.

SILVA, M. C. Avaliação de desempenho de governos municipais brasileiros na execução orçamentária da despesa por funções de governo. 168 f. Tese (Doutorado em Ciências Contábeis). Programa Multi-institucional e Inter-regional de Pós-Graduação em Ciências Contábeis da Universidade de Brasília (UnB), Universidade Federal da Paraíba (UFPB) e Universidade Federal do Rio Grande do Norte (UFRN). Natal, RN, 2016.

SILVA, M. C.; SILVA, J. D. G.; BORGES, E. F.; SOUZA, F. J. V. Ranking de desempenho de municípios: elaboração de um único índice a partir do IDHM, IFDM e IRFS. Veredas FAVIP, ano 11, volume 8, número 1, 2015.

SILVA, M. C.; FIRMINO, J. E.; GOMES, A. M.; SILVA, J. D. G. Responsabilidade Fiscal, Social e de Gestão das Capitais das Unidades da Federação Brasileira: avaliação em um único índice (2005 – 2010). Espacios. Vol. 37 (Nº 32), Año 2016a. Pág. 16.

SILVA, M. C.; SOUZA, F. J. V.; SILVA, J. D. G; BORGES, E. F. Índice de desenvolvimento da educação básica dos Estados e do DF. Revista Capital Científico – Eletrônica (RCCe), vol. 14, n. 1, janeiro/março 2016b, p. 91-104.

STEVENSON, W. J. Estatística aplicada à administração. São Paulo: Harper & Row do Brasil, 1981.

SUZART, J. A. S. As Instituições Superiores de Auditoria: um estudo do nível de

transparência fiscal dos países. Contabilidade, Gestão e Governança – Brasília, v. 15, n. 3, p. 107–118, set./dez. 2012.

TIMM, N. H. Applied multivariate analysis. New York: Springer-Verlag, 2002.

VYAS, S.; KUMARANAYAKE, L. Constructing socio-economic status indices: how to use principal components analysis. Health Policy and Planning, 9 October 2006, 21 (6): 459-468.