40º Encontro Anual da Associação Nacional de Ciências Sociais em Pesquisa e
Pós-Graduação - ANPOCS
Seminário Temático: 08 Controle Participação e Efetividade Democrática
Atuação da CGU e a Qualidade da Democracia no Brasil:
uma análise da fiscalização nos municípios
1
Por
Monique Menezes
2Caxambú, 25 de Outubro de 2016.
1 Agradeço a minha orientanda Annyelly Sousa, graduanda em Ciência Política da UFPI, pela colaboração na coleta de dados desta pesquisa.
1. Introdução
A partir da redemocratização na década de 1980, as instituições brasileiras de controle têm apresentado um amplo fortalecimento institucional, em especial, no combate à corrupção. Houve um redesenho das instituições com o objetivo de garantir um maior controle e transparência das políticas públicas e das ações dos políticos e dos burocratas. Além disso, novos órgãos foram criados, entre os quais destaca-se a Controladoria Geral da União - CGU3, responsável pelo controle interno do Governo Federal no Brasil.
A intensificação do combate à corrupção permite que práticas ilegais tornem-se públicas, gerando uma sucessão de escândalos vinculando políticos eleitos e burocratas às práticas ilegais. Isto tem ocorrido com bastante frequência no Brasil nos últimos anos, resultando na prisão de grandes empresários e funcionários públicos. Esses escândalos não devem ser relacionados a um aumento da corrupção no país, mas sim no seu desvelamento para a opinião pública.
Entre as instituições de controle existentes no Brasil, a CGU é a mais recente, tendo sido criada em 2003. Sua missão institucional consiste no controle interno da Administração Pública Federal do país. Como apontado por (Loureiro, et al. 2012), a atuação da CGU vai além do simples controle interno, incluindo também o combate à corrupção e o monitoramento das políticas públicas implementadas pelos municípios com recursos do Governo Federal.
Neste contexto, o objetivo deste artigo consiste em realizar uma análise da atuação da CGU no Brasil e sua relação com a qualidade da democracia, especialmente, para a dimensão da accountability horizontal. Em função disso as questões de fundo deste artigo são: Em que medida a instituição de controle interno pode contribuir para a qualidade da democracia brasileira? De forma mais específica: Como a fiscalização dos programas federais pode impactar na qualidade da democracia brasileira?
Para responder esses questionamentos, o artigo analisará as fiscalizações realizadas pela CGU sobre os municípios no ano de 2015. A CGU criou, em 2015, uma Matriz de Vulnerabilidade das Cidades brasileiras, com o objetivo de identificar potenciais fragilidades na aplicação dos recursos públicos federais. Deste modo, será realizada uma abordagem mista, com análises qualitativas e quantitativas, acerca da atuação da CGU.
A hipótese do artigo é que essa fiscalização, se bem sucedida, apresentará um aumento na qualidade da democracia, uma vez que seu objetivo é fiscalizar aqueles que, presumivelmente, são mais vulneráveis à corrupção. Considero, ainda, que o estudo da accountability horizontal, especificamente, do combate à corrupção por agentes do próprio Estado é uma importante variável para melhora da qualidade da democracia, na medida em que o monitoramento constante da aplicação dos recursos inibe práticas antirrepublicanas e aumenta a responsividade dos políticos e burocratas para com os cidadãos.
O artigo está dividido em seis seções, incluindo esta introdução e uma conclusão. Na próxima seção discuto de forma breve o conceito de corrupção nas democracias representativas. Em seguida apresento o conceito de democracia utilizado neste artigo, bem como as dimensões da qualidade da democracia. Na quarta seção aprofundo a discussão sobre a dimensão de accountability. Por fim, a quinta seção realizo uma análise da atuação da CGU no combate à corrupção no Brasil.
2. Corrupção
O conceito acerca da corrupção varia de acordo com o contexto e o tempo. Nas democracias contemporâneas temos uma diferenciação na percepção sobre a moralidade, quando comparada com o mundo antigo ou medieval ( (Filgueiras, et al. 2010). Como argumentado por (Filgueiras, et al. 2010) nas democracias contemporâneas há uma separação entre interesses privado e público, no qual a legitimidade está assentada sobre o interesse público. O conceito atribuído ao interesse pública varia de acordo com as normas e valores de cada sociedade.
A corrupção, neste caso, ocorre quando há interesses privados disfarçados de interesses públicos de forma ilegal. Em outras palavras, uma sobreposição do privado sobre o público. Como discutido por Rose-Ackerman (1999), a corrupção na arena política ocorrerá na relação dos interesses públicos e privados. Deste modo, o desenho institucional das organizações podem limitar ou facilitar a prática de corrupção, uma vez que o grau de discricionariedade do gestor pode incentivar o uso de recursos públicos para fins de ordem privada. Em função disso, a atuação de instituições de controle dentro do Estado são de fundamental importância para a gestão dos bens públicos.
3. Democracia e Qualidade da Democracia
procedimental e processual (Tilly 2007, 7). Neste trabalho concentro minha análise na explicação processual, que identifica um conjunto de processos contínuos necessários para que um dado país seja classificado como democrático.
Em a Poliarquia Robert Dahl (1997: 25) argumenta que a principal característica de um regime democrático consiste na “contínua responsividade do governo às preferências de seus cidadãos”. Posteriormente, Dahl (2001) apresenta cinco critérios para que uma comunidade seja considerada uma democracia, são eles: participação efetiva de todos os membros da sociedade; igualdade de voto; entendimento esclarecido sobre as políticas; controle dos programas e planejamento; e a inclusão de todos os adultos. (DAHL, 2001:49).
A obra de Dahl contribui de forma singular para entendimento sobre os critérios básicos das democracias representativas contemporâneas. No entanto, seu exercício teórico apresenta um modelo estático: sim ou não. Como argumentado por Tilly (2007), se o regime político opera os critérios listados por Dahl (2001) temos uma poliarquia democrática. Mas se um dos critérios não funciona plenamente, o regime deixa de ser uma democracia. Neste sentido, trabalhar com uma abordagem gradativa do regime democrático torna-se mais interessante, uma vez que a análise empírica dos regimes mostram que a consolidação da democracia ocorre em graus distintos entre os países (DIAMOND e MORLINO, 2005).
Dimensões da Qualidade da Democracia
A consolidação do processo de democratização iniciado na década de 1970 do século passado modificou a atenção dos pesquisadores, que antes estavam preocupados em explicar o processo de transição democrática. Atualmente, a literatura tem se concentrado em explicar a variação existente entre as instituições democráticas de distintos países.
Como argumentado por Moisés (2008, p. 66), o processo de democratização garante, especialmente, a igualdade perante a lei e os direito de participação e representação no regime democrático. Contudo, outros princípios relacionados à boa governança do regime – transparência, responsabilização e a universalização – são etapas complementares que se consolidam junto com o novo regime político. Em função disso, observa-se que o avanço de cada uma dessas etapas progride de forma gradual e distinta. Daí que se coloca a questão da qualidade da democracia: para além do direito ao voto e da representação, como se dá o funcionamento das demais dimensões da democracia?
que atuem de forma legítima, de acordo com a lei (p. xi). A partir desta definição, Diamond e Morlino (2005) identificam oito dimensões, segundo a qual a qualidade da democracia pode variar. As cinco primeiras, são caracterizadas como procedimentais, a saber: o primado da lei, participação política, a competição política e a accountability horizontal e vertical. O ponto central dessas dimensões consiste no fato de que em uma democracia, as instâncias participativas devem ir além da disputa eleitoral, com a participação de uma sociedade civil ativa e mobilizada que compartilhe das decisões públicas junto com os políticos eleitos e a burocracia.
Outras duas dimensões que são apresentadas pelos autores referem-se ao conteúdo da democracia, são elas: primeiro, o respeito pelas liberdades civis e os direitos políticos e, segundo, a progressiva igualdade política. Por fim, a dimensão da responsividade dos governantes, no qual se verifica em que medida as políticas públicas atendem às demandas e às preferências dos cidadãos.
Uma análise preliminar das dimensões nos permite verificar que elas se sobrepõem em diversas instâncias. A accountability vertical depende da liberdade de informações, bem como do funcionamento das instituições de accountability horizontal, por exemplo. O primado da lei, por outro lado, está ligado fortemente ao funcionamento de todas dimensões. Deste modo, um estudo completo e profundo das oito dimensões nos permitiria chegar à conclusões mais precisas sobre a qualidade da democracia. No entanto, devido à limitação de tempo e recursos, este artigo enfatiza a análise da qualidade da democracia à luz da accountability horizontal, especificamente, através da análise da CGU no combate à corrupção através da fiscalização das políticas públicas aplicadas pelos municípios no Brasil. Deste modo, a próxima seção apresenta uma análise mais profunda do conceito de accountability.
4. Accountability
O termo accountability tem sido amplamente debatido pela literatura de ciência política, apresentando grande centralidade na discussão sobre democracia representativa. No entanto, sua definição nem sempre é fácil, tendo em vista a amplitude do seu conceito, que nos permite aplicá-lo em diferentes contextos de análise.
questions regarding decisions and/or actions. (...) Enforcement, by contrast, suggest that the public or the institution responsible for the accountability can sanction the offending party or remedy the contravening behavior”.
A definição dos autores nos sugere que a accountability ocorre não apenas por resultado, mas também pelo controle que um mandante possui sobre o seu mandatário. Neste sentido, um mandatário é accountable ao mandante somente quando há um controle efetivo por parte deste sobre aquele.
A literatura aponta três tipos de accountability:
Ø Horizontal – relação de supervisão e controle ocorre entre agências do Estado; Ø Vertical – relação de supervisão e controle ocorre entre a sociedade e o Estado
Ø Societal - refere-se a uma efetiva participação dos cidadãos e de organizações da sociedade civil nas relações de accountability. (PELIZZO E STAPENSHURST 2014). As instituições de controle interno, objeto de estudo deste artigo, são classificadas como agências de accountability horizontal. Em função disto, discutiremos esse tipo de accountability em maior profundidade.
Accountability Horizontal e Qualidade da Democracia
As instituições de combate à corrupção podem ser classificadas como uma ferramenta da accountability horizontal. De acordo com O’Donnell (1998: 20), “a accountability horizontal é definida pela existência de agências com o poder e o direito legal para realizar ações que vão desde a supervisão de rotina à sanções legais contra ações de delito cometidas por pessoas ou instituições”. A fiscalização e o monitoramento da burocracia e dos políticos por outras agências de Estado consiste em um elemento fundamental para a qualidade da democracia representativa. Como descrito pela literatura (Kiewiet and McCubbins 1991), a delegação de poder é inevitável neste regime. Além da delegação dos eleitores para os políticos durante o período eleitoral, temos uma cadeia de delegação dentro do Estado. Em regimes presidencialistas, como ocorre na maioria dos países da América Latina, o Presidente delega poderes aos seus ministros e à burocracia, ao mesmo tempo, o Congresso incumbe, internamente, funções às suas comissões especializadas e, externamente, à burocracia.
supervisionar as políticas públicas dos governos subnacionais, quando estes utilizarem recursos federais para a execução dos programas governamentais.
A Constituição de 1988 descentralizou a execução das políticas públicas. No entanto, os recursos e o desenho dessas políticas são regulados pelo Governo Federal, tornando os municípios amplamente dependentes da transferência de recursos federais. É justamente esses recursos que são fiscalizados pela CGU, não apenas o uso legal do dinheiro, mas também a qualidade das políticas públicas aplicadas no nível local.
A figura a seguir apresenta as relações de accountability horizontal no Brasil, envolvendo a CGU. Como pode ser observado a Presidência da República delega o controle interno dos Ministérios, dos Estados e dos Municípios à CGU. A instituição possui missão de fiscalizar e monitorar as atividades dos servidores federais e as políticas públicas aplicadas pelos Ministérios, Estados e Municípios com os recursos transferidos pelo Governo Federal.
Figura 1 – Relações de Accountability Horizontal no Brasil – Controle Interno
Fonte: Elaborada pela autora
A CGU não possui capacidade de punição administrativa ou judicial, as irregularidades observadas pela instituição são encaminhadas ao TCU, Ministério Público Federal e a Polícia Federal conforme apresentado na figura a seguir:
Figura 2 – Redes de Relação da CGU
Fonte: Elaboração da Autora
Do ponto de vista da qualidade da democracia na América Latina, um dos principais desafios é a efetividade dos mecanismos de accountability do horizontal. A percepção é a de que os políticos não estão devidamente sujeitos às agências de controle (BARREDA, 2010). O
resultado deste déficit seria uma disseminação de práticas corruptas e arbitrárias, sem a devida punição dos agentes públicos na região. Entretanto, as análises mais gerais têm mostrado que a qualidade da democracia na região apresenta avanços (HAGOPPIAN, 2005). Neste contexto, o controle interno exercido por instituições como a CGU possui um papel crucial para a accountability horizontal e, consequentemente, para um aumento da qualidade da democracia no Brasil. De acordo com Dimond e Morlino (2005), para a sua efetividade, o desenho institucional do controle interno deve possuir iniciativa para monitorar e fiscalizar as ações dos políticos eleitos e de toda a burocracia. Além disso, se faz necessário que a instituição possua ramificações locais para avaliar as ações dos gestores públicos em todas as instâncias administrativas do país – estados e municípios, função da CGU no Brasil. As investigações devem ser realizadas de forma aleatória, mas com um percentual significativo de auditorias, sobre o total de instituições passíveis de fiscalização.
A credibilidade de uma possível punição também apresenta um papel importante para a accountability horizontal. O principal problema das instituições de controle consiste na inabilidade em aplicar as normas e as regras para todos, o que se relaciona também com a dimensão de primado da lei (Estado de Direito). A existência de um sistema de diferentes agências de accountability horizontal também contribui para o bom funcionamento desta dimensão no regime democrático. Como citado por Diamond e Morlino (2005) e O’Donnell (1998), uma rede de instituições de accountability horizontal interagindo umas com as outras aumenta a capacidade e a efetividade do controle.
Nessa interação, a participação do Judiciário é essencial. Para O’Donnell (1998), um Judiciário profissionalizado, com um orçamento condizente com as suas atribuições e dotado de autonomia em relação ao Executivo e ao Legislativo pode contribuir para a efetividade da accountability horizontal. Nas palavras do autor: a accountability horizontal efetiva não é o produto de agências isoladas, mas de redes de agências que têm em seu cume, por que é ali que o sistema constitucional se fecha mediante decisões últimas, tribunais (incluindo os demais elevados) comprometidos com essa accountability.” (1998, p. 43). Considerando esse pano de fundo teórico, a próxima seção apresenta uma análise da do controle interno no Brasil, a partir da atuação da CGU.
5. Controladoria Geral da União – Agência de Combate à Corrupção no Brasil
A Controladoria Geral da União – CGU é uma das instituições mais recentes da burocracia brasileira, sua criação ocorreu somente em 2003, apenas há 13 anos. Embora seja um órgão recente na estrutura do Estado brasileiro, os resultados de suas ações já são bastante significativos, justificando assim a importância do seu estudo. No entanto, em 13 de maio de 2016, o Presidente Michel Temer, extinguiu a CGU, transferindo suas funções para Ministério da Transparência, Fiscalização e Controle4. De acordo com o governo interino, o novo
ministério continuará exercendo as funções de controladoria.
Não é possível identificar ainda se a mudança prejudicará a atuação do órgão de controle interno. No desenho anterior a CGU estava vinculada diretamente à Presidência da República. No novo desenho, o controle interno passa a ser realizado por um Ministério no mesmo nível dos demais. De fato, o impacto imediato e negativo que se percebe refere-se à mudança do nome da instituição. Primeiro, é um nome adotado por diversos órgão de combate à corrupção em outros países, sendo uma característica deste tipo atuação. Segundo, a CGU é amplamente conhecida no Brasil, seja pelos servidores públicos federais, seja pelos municípios mais longínquos. Por fim, somente no futuro será possível analisar se esta mudança também acarretará alterações na atuação da instituição. Deste modo, este artigo analisa o trabalho da CGU até o ano de 2015.
(Loureiro, et al. 2012) argumentam que a CGU é uma instituição de grande inovação no Brasil. Os autores apresentam três motivos para considerarmos a Controladoria como uma instituição inovadora no processo de controle interinstitucional (horizontal). Primeiro, os autores argumentam que a instituição reorganizou todo o sistema de controle interno federal. Até então, o controle interno era realizado internamente por cada ministério, sem qualquer efetividade. A CGU passou a realizar o controle de todos os ministérios de forma sistemática. Apenas como ilustração, entre 2003 e 2015, 5.559 funcionários públicos federais foram punidos por ações iniciadas pela Controladoria, deste total 4.729 foram demitidos. Do total de punições 66% foram por motivos de corrupção5. Na prática isso representa muito pouco,
quando comparado o total de funcionários públicos federais no Brasil: 2 milhões6. Entretanto,
antes da CGU, dificilmente, um servidor público seria punido, especialmente, demitido, tendo em vista a estabilidade dos cargos públicos no país.
Deve-se destacar, ainda, que a instituição passou a fiscalizar as políticas públicas implementadas pelos municípios e estados. Antes da criação da CGU, o controle dos entes subnacionais era realizado pela Secretaria de Controle Interno – SFC7, pelo controle externo
4 Optei por continuar utilizando o nome CGU, uma vez que é assim que a instituição é conhecida
internacionalmente.
5 Fonte: www.cgu.br
6 Fonte: Boletim Estatístico de Pessoal e Informações Organizacionais, V. 21, Nº 237, 2016. Ministério do
Planejamento.
através do Tribunal de Contas da União – TCU e pelo controle externo dos estados. Embora o TCU seja um órgão bastante atuante no Brasil, suas auditorias nos entes subnacionais são mais limitadas, uma vez que a Corte de Contas enfatiza temas específicos, em detrimento de uma fiscalização sistemática sobre todas as cidades brasileiras. Isso ocorre, sobretudo, pelo fato do TCU concentrar suas auditorias sobre os Ministérios e Agências Federais. Já a SFC apresentava uma atuação discreta sem repercussão no combate à corrupção. Com a criação da CGU, o TCU passou a atuar conjuntamente no processo de monitoramento dos municípios. E, no caso dos Tribunais de Contas Estaduais, o combate à corrupção é bem mais discreto, quando comparados ao TCU e a CGU, muito em função do controle de oligarquias locais dessas instituições.
O segundo motivo apresentado por (Loureiro, et al. 2012), refere-se ao fato da CGU reforçar a qualidade da gestão. De acordo com os autores, seu trabalho influenciou o controle interno por parte dos estados e dos municípios, uma vez que estes passaram a ser monitorados com frequência e se viram obrigados a fortalecer a área de controle interno local. O terceiro motivo destacado pelo autores foi o trabalho de fortalecimento do controle social, induzido pela CGU. A instituição passou a contribuir para a formação técnica de conselheiros municipais de áreas como educação e saúde, além de atuar fortemente na implementação da Lei de Transparência.
Ao encontrar irregularidades em suas fiscalizações a CGU repassa as informações para o Tribunal de Contas da União – TCU, instituição que auxilia o Congresso Nacional no controle externo e possui o poder de fiscalização e sanções, no âmbito administrativo. Além disso, a CGU também possui um estreito relacionamento com o Ministério Público Federal e a Polícia Federal, atuando com ambas as instituições no combate à corrupção nos municípios brasileiros. A figura a seguir apresenta as principais instituições de interação com a CGU.
Figura 3 – Instituições de Interação com a CGU
O gráfico a seguir mostra o número anual de Operações Especiais realizadas pela Polícia Federal, Ministério Público e a CGU. Em geral, as Operações Especiais possuem como principal escopo desarticular quadrilhas especializadas em desviar recursos públicos das mais diversas áreas: saúde, educação, assistência social, etc. Um número considerável dessas operações inicia-se a partir de irregularidades encontradas pela CGU no Programa de Fiscalização dos Municípios. O auxílio dos técnicos da CGU nas operações de combate à corrupção aumenta de forma considerável o sucesso das ações da Polícia Federal, uma vez que são especialistas em auditorias e fiscalizações em órgãos públicos. Os auditores possuem ampla experiência e facilidade para distinguir entre erro processual e corrupção da máquina pública.
Gráfico 1 – Operações Especiais da CGU em Conjunto com a Polícia Federal (2003-2016)
Fonte: Elaboração da Autora
O estudo da atuação da CGU nos permite verificar que além do combate à corrupção, a instituição também avalia a qualidade das políticas públicas. Essa é uma preocupação dos governo democráticos, uma vez que neste regime os governantes devem ser responsivos, ou seja, prover serviços públicos que satisfaçam aos cidadão.
A qualidade das políticas públicas implementadas pelos municípios brasileiros é analisada pela CGU através do Programa de Fiscalização dos Municípios. Desde 2003 a CGU fiscaliza as cidades brasileiras por meio de Sorteios Públicos. Entre 2003 e 2015 foram sorteados, aleatoriamente, 2.203 municípios, de um total de 5.570, o que corresponde a 39% das cidades brasileiras.
O gráfico a seguir apresenta a evolução do Programa de Fiscalização dos Municípios brasileiros, iniciados no primeiro ano de mandato do ex-presidente Lula. As informações contidas no gráfico nos permite realizar algumas inferências. Primeiro, é possível verificar que o ex-presidente iniciou um forte e inovador programa de combate à corrupção nos municípios brasileiros, muito mais amplo, quando comparado ao trabalho realizado pela CGU no combate à corrupção dos servidores públicos federais. Enquanto 39% dos municípios brasileiros foram alvo de fiscalização, apenas 0,3% dos funcionários públicos federais foram
investigados, em um período de 13 anos de existência da CGU. Isto mostra que o objetivo maior do ex-presidente sempre foi fortalecer o combate à corrupção no nível local. Segundo, é nítida a queda do número total de investigações realizadas após a primeira eleição da Presidente Dilma Rousseff em 2010. Durante o governo Lula, a CGU chegou a realizar até 400 fiscalizações em um único ano, enquanto no governo da sua sucessora os últimos anos apresentaram apenas 60 fiscalizações anuais.
Gráfico 2 – Total de Municípios Fiscalizados (2003-2015)8
Fonte: Elaboração da Autora
Para realizar as auditorias no município, a CGU envia alguns auditores in loco às cidades alvos da fiscalização. A quantidade de auditores varia de 10 a 15, de acordo com o tamanho do município fiscalizado e a capacidade financeira da superintendência local. Esses auditores examinam as contas e os documentos, além de avaliarem a qualidade das políticas públicas, verificando obras em andamento, obras concluídas, local de prestação de serviços de saúde e educação, armazenamento de remédios, alimentação escolar, dentre outras.
Uma atividade importante dos auditores consiste em realizar entrevistas em profundidade com os cidadãos comuns da localidade e os membros dos conselhos municipais das diferentes áreas, tais como: saúde, educação, juventude, cultura, turismo, etc. O objetivo é ouvir e conhecer as reclamações ou denúncias de corrupção da população e dos membros dos Conselhos Municipal. Por fim, cada grupo de técnicos é acompanhado por um auditor supervisor (Ferraz and Finan 2008).
Além de fiscalizar, a CGU procura publicizar seu trabalho de forma ampla nos municípios, divulgando no nível local os resultados dos relatórios. Por exemplo, o relatório é publicado na internet e entregue ao Legislativo Municipal, fornecendo, em muitos casos, amplo material para a oposição. Este fato gera uma grande visibilidade à GCU como órgão de combate à corrupção (Ferraz and Finan 2008).
8 Esses dados não incluem os municípios selecionados no primeiro ciclo da Matriz de Vulnerabilidade, que será
Embora o trabalho de controle interno seja uma importante ferramenta para a oposição, há na verdade um grande incomodo entre os políticos brasileiros. Em 2005, apenas dois anos após o início dos sorteios públicos dos municípios, o Senado Federal solicitou ao Tribunal de Contas da União – TCU que realizasse uma auditoria sobre a CGU. O objetivo era verificar se a instituição não estaria extrapolando seu mandato constitucional. O pedido do Senado foi que o TCU avaliasse, especificamente, o controle sobre os municípios. A conclusão da Corte de Contas foi a de que a CGU estava desempenando adequadamente suas funções, dentro da Lei.
Como destacado por (Loureiro, et al. 2012), as principais mudanças da CGU no controle e monitoramento das políticas no âmbito municipal foram as seguintes:
Ø Alteração no foco da fiscalização sobre os municípios – passando a avaliar de forma sistemática a legalidade e a qualidade das políticas públicas.
Ø Publicidade da seleção e dos resultados das fiscalizações.
Ø Foco na corrupção, em detrimento de aperfeiçoamento das práticas nos ministérios. Essa estratégia alterou completamente a estrutura de combate à corrupção no Brasil, especialmente, no nível local.
Matriz de Vulnerabilidade
Em 2015, a CGU inovou mais uma vez ao elaborar uma Matriz de Vulnerabilidade para auxiliar na seleção dos municípios a serem fiscalizados. A matriz possui o objetivo de eleger aquelas cidades que são mais vulneráveis à corrupção. Para facilitar nosso entendimento, transformamos a Matriz em uma escala de 0 a 10, neste caso 0 significa que o Município não possui qualquer vulnerabilidade, enquanto 10 que o município é totalmente vulnerável à corrupção. Neste caso, é importante primeiramente avaliar se a Matriz realmente consegue captar a vulnerabilidade dos municípios à corrupção.
Os 42 municípios fiscalizados com base na Matriz de Vulnerabilidade foram selecionados a partir de um banco de dados, elaborado pela CGU, com 345 cidades9. Algumas informações
da Matriz são extraídas de fontes oficiais do Governo Federal como o Instituto Brasileiro de Geografia e Estatística – IBGE, enquanto outras são coletadas in loco.
A tabela a seguir apresenta as dimensões que compõem a Matriz de Vulnerabilidade.
9 Por uma questão de tempo e recurso, a vulnerabilidade dos municípios está sendo medida de forma gradativa. Em
Tabela 1 – Dimensões e Variáveis da Matriz de Vulnerabilidade da CGU
Dimensão Variáveis Características
Controle
Quantidade de dias desde a última ação de
controle Municípios que foram fiscalizados em 2015 possuem baixa vulnerabilidade, enquanto aqueles que foram fiscalizados há mais tempo apresentam alta vulnerabilidade.
Denúncias recebidas pela CGU Municípios com mais de três denúncias são considerados de alta vulnerabilidade.
Tomadas de Contas Especiais analisadas pela CGU e enviadas ao TCU
Os municípios que tiveram TCE analisadas e encaminhadas ao TCU nos anos de 2013 e 2014 apresentam alta vulnerabilidade.
Alternância de Gestão Municípios em que não houve alternância na gestão municipal apresentam alta vulnerabilidade
Transparência/ Accountability
Portal da Transparência, conforme a Lei 131/2009
Municípios que não possuem portal da transparência são considerados de alta vulnerabilidade, enquanto aqueles que possuem o portal com informações em tempo real, apresentam baixa vulnerabilidade.
Contas Anuais As cidades que não prestaram contas em 2014, por meio
da Declaração de Contas Anuais apresentam alta vulnerabilidade
Econômico Social
Índice de Desenvolvimento Humano
Municipal - IDHM Os municípios com o IDHM abaixo da média nacional foram considerados com alta vulnerabilidade. % da população beneficiária do bolsa
família Cidades com mais de 6,1% beneficiárias com o bolsa família, foram classificadas como sendo de alta vulnerabilidade.
Evolução do Índice de Desenvolvimento da
Educação Básica - IDEB Municípios que apresentaram variação negativa tanto nos anos iniciais, quanto nos anos finais do ensino fundamental foram classificados como sendo de alta vulnerabilidade
Produção de Atenção Básica à Saúde Foi utilizado um indicador que engloba diversos serviços – consultas, atendimento DST/AIDS, pré-natal, ultrassonografias, entre outros. Neste caso, quanto menor o indicador, maior a vulnerabilidade do município.
Materialidade
Programa de Aceleração do Crescimento Quanto maior o valor do Programa na Cidade, maior a vulnerabilidade. Municípios que receberam mais de R$ 50 milhões, foram considerados de alta vulnerabilidade. Transferências de Recursos Quanto maior a transferência de recursos, maior a vulnerabilidade. Municípios que receberam mais de R$ 80 milhões, foram considerados de alta vulnerabilidade.
Fonte: Elaboração da Autora, a partir da página da CGU www.cgu.gov.br
A primeira questão que se coloca é se as dimensões da Matriz de fato são variáveis importantes para se avaliar a vulnerabilidade dos municípios brasileiros à corrupção. Considerando as dimensões apresentadas, a que pode apresentar algum tipo de questionamento é a última: Materialidade. Isto por que esta dimensão é composta pelos indicadores de Programa de Aceleração do Crescimento – PAC e pelas transferências governamentais. É difícil supormos que por receber mais recursos um município é, automaticamente, mais vulnerável à corrupção. Esta variável cria um viés desfavorável as maiores cidades. No entanto, considerando a missão da CGU - fiscalizar possíveis desvios de recursos públicos – o montante transferido torna-se uma variável importante.
Tabela 2 - Matriz de Vulnerabilidade por Municípios Fiscalizados (Média) Fiscalizado em
2015 Média Desvio Padrão Mediana N
Sim 4,88 0,80 4,72 45
Não 3,57 0,95 3,61 300
Total 3,74 1,03 3,61 345
*** Significância: 0,000 Fonte: Elaboração da Autora
Ao considerarmos todos o 345 municípios, a média geral do grau de vulnerabilidade é de 3,74 e a mediana de 3,61. Dentre os municípios selecionados para fiscalização a partir da Matriz de Vulnerabilidade, a média é de 4,88 e a mediana é de 4,72. A maior parte desse grupo de município encontra-se com uma vulnerabilidade acima de 4,5, valor superior à média e à mediana geral, conforme pode ser observado no gráfico a seguir.
Gráfico 3 – Grau de Vulnerabilidade dos Municípios (média 0-10)
Fonte: Elaborada pela autora
Tabela 3 - Dimensões da Matriz de Vulnerabilidade por Tamanho da População
População Controle Transparência
Econômico-Social: IDHM Materialidade Matriz de Vulnerabilidade
Até 10.000 Média 3,48 4,39 2,60 0,61 3,71 N 57 57 57 57 57 Desvio Padrão 1,53 2,88 1,18 0,81 1,02 Entre 10.001 e 50.000 Média 3,06 3,93 2,46 1,98 3,72 N 122 122 122 122 122 Desvio Padrão 1,61 2,96 1,16 1,85 1,08 Entre 50.001 e 100.000 Média 3,42 2,52 1,71 3,71 3,57 N 49 49 49 49 49 Desvio Padrão 1,78 2,77 0,94 2,05 0,96 Acima de 100.000 Média 2,56 3,08 1,50 7,09 3,86 N 117 117 117 117 117 Desvio Padrão 1,71 2,75 0,85 2,67 1,02 Total Média 3,01 3,52 2,05 3,73 3,74 N 345 345 345 345 345 Desvio Padrão 1,69 2,91 1,14 3,29 1,03
*** Todos os indicadores que compõem a Matriz apresentam diferença estatisticamente significativa a 0,000. Fonte: Elaborada pela autora
A tabela abaixo apresenta a média da Matriz de Vulnerabilidade por Região do país. Como pode ser observado o Norte e o Nordeste são as regiões com maiores médias de vulnerabilidade, 401 e 3,98, respectivamente. Resultado esperado, uma vez que o Norte e o Nordeste são regiões em que as práticas clientelistas são muito fortes, há pouca transparência maiores problemas econômico e social.
Tabela 4 - Indicadores da Matriz de Vulnerabilidade por Região*
Região Matriz de
Vulnerabilidade Controle** Transparência Econômico Social Materialidade
Desvio
Padrão 0,91 1,58 2,45 1,93 3,11
Centro Oeste Média 3,51 2,93 3,73 4,08 3,27
N 50 50 50 50 50 Desvio Padrão 1,01 1,43 2,68 1,77 3,30 Total Média 3,74 3,01 3,52 4,59 3,73 N 345 345 345 345 345 Desvio Padrão 1,03 1,69 2,91 1,98 3,29
* Significância estatística para as variáveis de Matriz de Vulnerabilidade e para as dimensões: Transparência, Econômico Social e Materialidade: 0,000
**Resultados sem significância estatística. Fonte: Elaborada pela autora
O gráfico a seguir mostra a dispersão entre a Matriz de Vulnerabilidade e o Índice de Gini. A correlação entre os indicadores corrobora a apresentação gráfica: uma correlação fraca de 0,11 e uma significância de 0,05. O resultado evidencia que quanto maior o índice de Gini, maior o grau de vulnerabilidade. Embora seja um correlação fraca, observamos que desigualdade está associada à corrupção.
Gráfico 4 – Matriz de Vulnerabilidade por Índice de Gini
Fonte: Elaboração da autora
Por fim, no que se refere aos partidos e ao gênero do prefeito(a), não encontramos nenhuma diferença estatisticamente significativa, com relação a vulnerabilidade do município. Quanto ao gênero esse resultado é esperado, uma vez que não razoável considerarmos que homens e mulheres tenham diferenças no que se refere à corrupção. Por outro lado, seria admissível encontrarmos diferenças estatisticamente significativas no que se refere aos partidos.
ideológicas dos partidos apresentariam diferentes resultados na condução das políticas públicas dos municípios brasileiros. Os resultados podem ser interpretados a partir de duas suposições. Primeiro, nosso sistema partidário é tão fragmentado que as diferenças entre os partidos tornam-se irrisórias. Neste caso, não há diferença ideológica entre os partidos. Segundo, a corrupção no Brasil é, extremamente, arraigada de tal forma que não há diferença de corrente ideológica. Entretanto, para uma conclusão mais precisa sobre o papel dos partidos são necessárias análises mais profundas acerca do tema.
Tabela 5 - Matriz de Vulnerabilidade por Partido do Prefeito
Partidos Média N Desvio Padrão
PP 3,86 19 1,18 PDT 3,74 23 1,02 PT 3,67 45 0,94 PMDB 3,58 62 1,17 PSDB 3,69 46 0,93 PSD 3,87 25 1,21 Outros 3,82 125 0,98 Total 3,74 345 1,03
*** Resultados sem significância estatística Fonte: Elaboração da Autora.
A análise inicial mostra que a Matriz de Vulnerabilidade pode ser utilizada como importante ferramenta no processo de fiscalização dos municípios. No entanto, a inclusão de novos municípios na segunda rodada, aumentará nosso entendimento sobre sua utilidade para a accountability horizontal exercido pela CGU.
Análise Qualitativa das Auditorias
Nesta subseção apresento a análise qualitativa dos relatórios dos municípios fiscalizados a partir da Matriz de Vulnerabilidade elaborada pela CGU. Neste caso, utilizei duas técnicas de pesquisa qualitativa: análise de conteúdo e de discurso. A análise de discurso procura analisar o significado do texto, o que podemos extrair de algo que está implícito no argumento. Por outro lado, a técnica de análise de conteúdo, permite quantificar dados qualitativos.
Entre os 42 municípios analisados foi possível observar que apenas 1 não possuía qualquer irregularidade na área de educação, seja problemas de má gestão, seja indícios de corrupção. Os principais programas fiscalizados em 2015 foram o PNAE, FUNDEB, Proinfância e o PNAT, conforme apresentado na tabela abaixo.
Tabela 6 – Programas Fiscalizados em 2015 a partir da Matriz de Vulnerabilidade (%)
Programas N % PNAE Sim 31 73,8% Não 11 26,2% Total 42 100,0% FUNDEB Sim 12 28,6% Não 30 71,4% Total 42 100,0% PNATE Sim 2 4,8% Não 40 95,2% Total 42 100,0% Proinfância Sim 13 31,0% Não 29 69,0% Total 42 100,0%
Fonte: Elaboração da autora
O PNAE foi o grande foco das fiscalizações, figurando em 31 (73,8%) dos 42 relatórios analisados. Neste programa, os auditores procuraram analisar o processo de compra da merenda escolar, a elaboração do cardápio dos estudantes, a contratação de um número adequado de nutricionistas para o atendimento de toda a rede municipal. Os parâmetros de qualidade não foram estabelecidos pelos técnicos da CGU, mas analisados de acordo com os instrumentos normativos do Ministério da Educação – MEC.
Embora a alimentação balanceada seja uma preocupação do governo federal, a CGU verificou problemas em praticamente todos os municípios analisados. As irregularidades variam desde a compra dos alimentos com preços superfaturados, ao armazenamento dos alimentos em situações insalubres, a falta de nutricionistas, o desrespeito ao número mínimo de calorias estabelecidos em lei e a existência de alimentos vencidos nas escolas municipais.
nutricionistas, refeitório e armazenamento dos alimentos. Este grupo foi identificado como “estrutura alimentar”. O segundo grupo da figura abaixo refere-se, especificamente, aos processos de licitação e pagamento irregular de serviços. Há irregularidades com o pagamento de serviços inexistentes, bem como licitações em que há restrição à competitividade e preços praticados acima do mercado.
Figure 1 – Cluster por Similaridade de Palavras
Fonte: Elaboração da autora.
A figura abaixo apresenta um modelo que resume as relações encontradas na “estrutura alimentar” das escolas. Foi possível observar, a partir da análise dos relatórios, que a falta de atuação dos Conselhos da área de educação afeta a estrutura alimentar das escolas, especificamente, na estrutura do refeitório, no armazenamento dos alimentos e na atuação/contratação dos nutricionistas.
Figure 2 – Modelo da Estrutura Alimentar
Fonte: Elaboração da Autora.
Nos municípios onde os Conselhos de Alimentação Escolar – CAE funcionam apenas formalmente para o recebimento dos recursos há problemas relacionados ao número de nutricionistas, há escolas com refeitórios sem estruturas adequadas, armazenamento de alimentos em condições insalubres, alimentos vencidos, e adulteração do cardápio formulado
Atuação dos Conselhos
pelos profissionais de nutrição. Ao realizar visitas in loco nas escolas os auditores confrontam o cardápio previsto e o alimento servido aos alunos e o que se observou em vários municípios é que se oferece uma alimentação inferior. Por exemplo, se está previsto para segunda-feira arroz, legumes, salsicha e frango, este último alimento não é preparado para os alunos. Esse tipo de problema ocorre de forma sistemática.
Além da falta de estrutura e atuação do CAE, foi comum observar uma baixa capacitação dos Conselheiros nos relatórios da CGU. Este fato revela que muitos Conselhos não atuam por falta de conhecimento dos seus deveres de fiscalização. O problema foi evidenciado em vários municípios, abaixo temos um trecho do relatório da cidade de Duque de Caxias no Rio de Janeiro.
“Perguntamos, aos Conselheiros presentes, acerca da sua participação em eventos de capacitação promovidos pela Prefeitura, ou por ela disponibilizados. Eles foram unânimes em afirmar que não receberam qualquer tipo de capacitação, no que tange à área de atuação do CAE”. (Relatório da CGU de 2015, Duque de Caxias, pág. 38)
A análise da tabela a seguir corrobora com o argumento da importância dos Conselhos. Como pode ser observado em 24 (57,1%) dos casos analisados, a atuação do Conselho de Educação é ineficiente. Em 25 (59%) há problemas na estrutura escolar, com prédios e refeitórios sem condições para o recebimento dos alunos.
Tabela 7 – Principais Problemas na “Estrutura Alimentar”
N %
Aquisição de Alimentos da Agricultura Familiar
Não 30 71,4%
Sim 12 28,6%
Atuação Ineficiente dos Conselhos Não 18 42,9%
Sim 24 57,1%
Estrutura escolar inadequada (prédio, refeitórios, etc)
Não 17 40,5%
Sim 25 59,5%
Número de Profissionais de Nutrição
Inferior ao Previsto em Lei Não 18 42,9%
Sim 24 57,1%
Cardápio das Escolas Fora do Padrão Não 24 57,1%
Fonte: Elaboração da autora
Figure 3 – Modelo Gastos dos Recursos Público
Fonte: Elaboração da Autora.
A falta de competitividade ocorre em situações em que os técnicos observam a inclusão de exigências não previstas em lei, que muitas vezes beneficia empresas locais. Em geral, a falta de competitividade é acompanhada por práticas de direcionamento do processo de licitação. É comum os municípios realizarem licitações presenciais, enquanto a norma federal á a elaboração de pregão eletrônico, permitindo que mais empresas participem do processo de compra municipal.
A prática de superfaturamento refere-se ao pagamento de produtos com preços muito acima do mercado, onerando os cofres públicos. E, por fim, há pagamentos irregulares de serviços inexistentes ou por produtos que nunca foram entregues às prefeituras. A citação abaixo refere-se à fiscalização realizada no município de Duque de Caxias no Estado do Rio de Janeiro. Ao conferir o controle de estoque manual do município, os técnicos verificaram que a empresa licitada (processo de licitação sem competitividade) entregou somente 66% da quantidade de fraldas que foi paga pela Secretaria de Educação.
“(...) considerando que o preço de uma unidade de fralda descartável tamanho G foi de R$ 0,5583 (R$ 241.200,00/432.000 un.), e que em vez de serem entregues 432.000 unidades foram entregues 288.000 unidades (14.400 pacotes* 20 un.), verificamos que houve pagamento a maior por itens não recebidos no valor de R$ 80.400,00 ((432.000-288.000) *0,5583)”. (Relatório do Município de Duque de Caxias, Matriz de Vulnerabilidade CGU, 2015)
A tabela a seguir apresenta o resumo dos principais problemas apontados pelos técnicos da CGU, no que se refere aos “gastos dos recursos públicos”. Podemos destacar que em 35% dos municípios fiscalizados houve superfaturamento, 42% realizaram processo licitatório restringindo à competitividade do certame e em 42,9% houve claro prejuízo aos cofres municipais.
Licitações
Falta de
Tabela 8 – Principais Problemas - Gastos dos Recursos Públicos
N %
Licitação com Superfaturamento Não 27 64,3%
Sim 15 35,7%
Restrição à Competitividade (falta de publicidade, restrições no edital, etc)
Não 24 57,1%
Sim 18 42,9%
Modelo de Licitação Inadequada Não 32 78,0%
Sim 9 22,0%
Direcionamento do Processo Licitatório Não 35 83,3%
Sim 7 16,7%
Fornecimento de Serviços em Desacordo
com o Contratado Não 35 85,4%
Sim 6 14,6%
Bens Contratados e Não Fornecidos Não 40 95,2%
Sim 2 4,8%
Falta de Documentação de Prestação de
Contas Não 22 52,4%
Sim 20 47,6%
Prejuízo Financeiro para o Município Não 24 57,1%
Sim 18 42,9%
Pagamento de Serviços/obras não
realizadas Não 22 52,4%
Sim 20 47,6%
Pagamentos Irregulares de Servidores Públicos
Não 31 73,8%
Sim 11 26,2%
Fonte: Elaborado pela autora
Esta sessão mostrou uma descrição dos principais problemas encontrados pelos técnicos da CGU durante a fiscalização dos municípios selecionados a partir da Matriz de Vulnerabilidade. Este mapeamento descritivo nos permite compreender os tipos de práticas ilícitas realizadas pelos gestores municipais. No entanto, é possível inferir pelos relatórios da CGU que nem todos os problemas são atos de corrupção. Em alguns casos fica claro que o problema é de má gestão, conforme classificação apresentada abaixo.
Tabela 9 – Classificação dos Resultados das Fiscalizações
n %
Indicativo de Má Gestão 27 64,3 Indicativo de Corrupção 1 2,4 Indicativo de Má Gestão e Corrupção 14 33,3
Total 40 100
Fonte: Elaboração da autora.
implementação das políticas públicas no âmbito local e contribui para uma democracia com maior qualidade.
6. Considerações Finais
Os resultados da análise das auditorias de fiscalização corroboram com o argumento inicial deste artigo da importância da CGU para a qualidade da democracia. Embora a instituição não imponha sanções diretamente aos entes fiscalizados, foi possível observar durante a pesquisa que o seu trabalho é amplamente utilizado por outras instituições de controle com poder de enforcemnt.
A Matriz de Vulnerabilidade mostrou-se um importante instrumento para consolidação da fiscalização do governo federal sobre as políticas públicas nos municípios. Como foi observado nas análises, as cidades selecionadas apresentam grandes problemas na prestação de contas dos recursos recebidos pelo Governo Federal. Embora alguns indicadores possam ser aperfeiçoados.
Retornando a questão inicial deste artigo: Em que medida a instituição de controle interno contribui para a qualidade da democracia? podemos concluir que o controle interno contribui de forma significativa para um aumento da qualidade da democracia no Brasil. Os resultados empíricos mostram a CGU analisa de forma detalhada a implementação das políticas públicas. E recomenda aperfeiçoamentos nesta implementação, não apenas ao município, mas também ao Ministério que realiza a transferência de recurso, tornando a gestão mais transparente.
Como foi discutido, algumas auditorias transformam-se, posteriormente, em operações da Polícia Federal. Uma continuidade deste trabalho consiste em analisar esta parceria entre a CGU e a Polícia Federal, verificando em que medida essas ações chegam ao Judiciário e reduzem a corrupção no Brasil.
7. Bibliografia
Arretche, Marta. Federalismo e Democracia no Brasil. Rio de Janeiro, Rio de Janeiro: FGV e Fiocruz, 2012. BARREDA, Mikel. “Accountability y Calidad de la Dmocracia en América Latina: un análisis comparado.” Associación de Estudios Latinoamericanos. Canadá: Associación de Estudios Latinoamericanos, 2010.
Brasil. Boletim Estatístico de Pessoal e Informações Organizacionais . Mensal, Ministério do Planejamento, Orçamento e Gestão, Brasília: Secretaria de Gestão Pública, 2016, 414.
Dahl, Robert. Poliarquia: Participação e Oposição. São Paulo, São Paulo: Universidade São Paulo , 1997. —. Sobre a Democracia. Brasília, DF: Universidade de Brasília - UNB, 2001.
Ferraz, Claudio, e Frederico Finan. “Exposing Corrupt Politicians: The Effects of Brazil's Publicy Released Audits on Electoral Outcomes.” The Quarterly Journal of Economic, May 2008.
Filgueiras, Fernando, Ana Maria Montandon, Bárbara Magalhães Aguiar Oliveira, e Ivna Mascarenha Abreu. “Corrupção, Cultura política e Reformas no Brasil.” Revista de Ciências Humanas 10 (Julho/Dezembro 2010): 318-334.
Gomes, Marcelo. “O Controle Externo de Agências Reguladoras no Brasil em Perspectiva Comparada: lições, eventos recentes e desafios futuros.” VIII Congresso internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Panamá, 2003.
Hagopian, Frances. “Chile and Brasil.” In: Assessing the Quality of Democracy, por Larry Diamond e Leonardo Morlino. Baltimore, Maryland: The John Hopkins University Press, 2005.
INTOSAI. “Auditing standards .” International Organization of Supreme Audit Institutions, 1992. Kiewiet, Roderick, e Mathew McCubbins. The Logic of Delegation: Congressional Parties and the Apropriations Process. Chigado: The University of Chicago, 1991.
Leal, Luis Fernando Velásquez. “Interaction between Supreme Audit Institutions and Citzens: Developments, lessons learnt and challenges regarding citzen participation in public sector auditing in Latin American.” In: Supreme Audit Institutions: accountability for development, por INTOSAI. Nomos and GIZ, 2013.
Liphart, Arend. Modelos de Democracia: Desempenho e Padrões de Governo em 36 Países. Rio de Janeiro, Rio de Janeiro: Civilização Brasileira, 2003.
Loureiro, Maria Rita, Fernando Luiz Abrúcio, Cecília Olivieri, e Marco Antônio de Carvalho Teixeira. “Do Controle Interno ao Controle Social: a múltipla atuação da CGU na democracia brasileira.” Cadernos Gestão Pública e Cidadania 17, n. 60 (Jan/Jul 2012): 54-67.
Lupia, Arthur. “Delegation and its Perils.” In: Delegation and Accountability in Parliamentary Democracies, por Kaare Strom, Müller Wolfgang C e Torbjörn Bergman. New York, New York: Oxford University Press, 2003.
Menezes, Monique. “Accountability horizontal no Brasil e no México.” III Congreso Internacional de Ciencia Política da Associación Mexicana de Ciencias Políticas. Guadalajara, 2015.
—. Autonomia e Controle das Agências Reguladoras: o papel do Tribunal de Contas da União no arranjo regulatório brasileiro. Curitiba e Teresina: Edufpi e Íthala, 2015.
Moisés, José Álvaro. “Cultura Política, Instituições e Democracia.” Revista Brasileira de Ciências Sociais 23 (Fevereiro 2088): 11-43.
O'Donnell, Guilhermo. “Accountability Horizontale Novas Poliarquias.” Lua Nova 1, n. 44 (1998): 27-44. Pase, Hemerson Luiz, Matheus Müller, e Jeniffer Azambuja de Morais. “O clientelismo nos pequenos municípios brasileiros.” Pensamento Plural 10 (Janeiro 2012): 181-199.
Pelizzo, Riccardo, e Frederick Stapenhurst. Government Accountability and Legislative Oversight. New York, New York: Routledge, 2014.
Peters, Guy. “Accountability in Public Administration.” In: The Oxford Handbook of Public Accountability, por Mark Bovens, Robert Goodin e Thomas Schillemans. Oxford: Oxford University Press, 2014. Posner, Paul, e asif Shahan. “Audit Institution.” In: The Oxford Handbook of Public Accountability, edição: Mark Bovens, Robert Goodin e Thomas Schillemans. New York, New York: Oxford University Press, 2014.
Power, Michael. The Audit Society: rituals of verification. Oxford: Oxford University Press, 1999.
Ribeiro, Gisele Naira Matos, e João Batista Lopes Silva. “A Alimentação no Processo de Aprendizagem.” Revista Eventos Pedagógicos, dezembro de 2013: 77-85.
Rose-Acherman, Susan. Corruption and Goverment. Cambridge: Cambridge University Press, 1999. Rose-Ackerman, Susan. Corruption and Goverment. Cambridge: Cambridge University Press, 1999. Shumpeter, Joseph A. Capitalismos, Socialismo e Democracia. Rio de Janeiro: Fundo de Cultura, 1961. Summa, Hilkka. “Definições e Estruturas.” In: Desempenho ou Legalidade? Auditoria operacional e de gestão pública em cinco países, por Cristopher Pollitt, Xavier Girre, Jeremy Lonsdale, Robert Mul, Hilkka Summa e Marit Waerness, tradução: Pedro Buck, 362. Belo Horizonte, Minas Gerais: Fórum, 2008.
Tilly, Charles. Democracy. New York: Cambridge University Press, 2007.
