University of Brasilia
Economics and Politics Research Group–EPRG
A CNPq-Brazil Research Group
http://www.econpolrg.com/
Research Center on Economics and Finance–CIEF Research Center on Market Regulation–CERME
Research Laboratory on Political Behavior, Institutions and Public Policy–LAPCIPP Master’s Program in Public Economics–MESP
Graduate Program in Economics–Pós-ECO
Aplicação da Lei de Benford na Detecção de Jogo
de Planilha: O Caso do Estádio Nacional de
Brasília
Carlos Alberto Cascão Júnior (TCDF)
Adriana Cuoco Portugal (TCDF)
Mauricio Soares Bugarin (UnB)
Flávia Ceccato Cunha (TCU)
Economics and Politics Working Paper 92/2018
December 4th, 2018
Economics and Politics Research Group
Working Paper Series
1
APLICAÇÃO DA LEI DE BENFORD NA DETECÇÃO DE JOGO DE
PLANILHA: O CASO DO ESTÁDIO NACIONAL DE BRASÍLIA
Carlos Alberto Cascão Júnior / TCDF / cascaojr@tc.df.gov.br Adriana Cuoco Portugal / TCDF / adriana@tc.df.gov.br Mauricio Soares Bugarin / UnB / bugarin.mauricio@gmail.com Flávia Ceccato Cunha / TCU / flaviaceccato@hotmail.com
RESUMO
Este trabalho apresenta a aplicação do algoritmo da Lei de Benford, previsto na Cartilha de Benford publicada pelo IBRAOP, para caracterizar a ocorrência de “jogo de planilha” na execução do contrato de construção do Estádio Nacional de Brasília. Para tanto, compara-se a metodologia baseada na Curva ABC, tradicionalmente utilizada nos Tribunais de Contas, com a nova metodologia proposta. A análise baseada na Lei de Benford mostra que tanto o orçamento de referência como o contrato inicial apresentam conformidade com a Lei, o que sugere ausência de manipulação de dados nessas etapas do processo licitatório. Por outro lado, os testes indicam elevada não-conformidade à Lei de Benford quando é considerada a planilha final, após a inclusão de 28 aditivos. A não-conformidade reforça suspeita quanto ao “jogo de planilha”, o que foi robustecido pelo fato de a nova metodologia indicar, em sua maioria, os mesmos serviços apontados pela análise tradicional, mantendo a vantagem declarada na Cartilha do Ibraop de não ser necessário agrupar serviços de mesma natureza, como na análise baseada em Curva ABC, otimizando a atividade de auditoria.
Palavras-chave: jogo de planilha, Lei de Benford, auditoria. 1. INTRODUÇÃO
O “jogo de planilha” é prática observada na execução de um contrato de obra pública em que ocorrem alterações contratuais que podem resultar em prejuízos maiores à Administração Pública. Trata-se de fenômeno amplamente conhecido e combatido pelos órgãos de controle nacionais e subnacionais. Segundo o voto condutor da Decisão 1.090/2001-Plenário, do Tribunal de Contas da União – TCU (2001), de relatoria do Ministro Benjamin Zymler:
“12. Pode ocorrer na contratação de obras públicas, em regime de empreitada por preço unitário, que haja determinados itens com preços superfaturados, embora o preço global da obra seja compatível com o de mercado. Esses itens superfaturados, no decorrer da execução da obra, podem ter os seus quantitativos aumentados mediante aditivos contratuais - é o chamado jogo de planilha. Assim, o custo global da obra fica em desacordo com o de mercado, arcando a União com o prejuízo”.
De forma mais ampla, o superfaturamento por desequilíbrio econômico-financeiro ou “jogo de planilha” ocorre quando há o rompimento do equilíbrio econômico-financeiro inicial do contrato em desfavor da Administração por alteração de quantitativos, pelo aumento de serviços contratuais com sobrepreço por aditivos, pela diminuição ou supressão de serviços contratuais com subpreço, pela alteração de custos de serviços contratuais, pela inclusão de serviços novos com sobrepreço, ou ainda
As afirmações, possíveis erros e omissões existentes neste texto são de inteira responsabilidade de seus autores, e não refletem necessariamente as posições das instituições em que trabalham. Trabalho apresentado no XVIII Simpósio
2
por diversas combinações dessas situações. Embora a lei de licitações permita a alteração dos quantitativos originalmente contratados ou mesmo a adição de novos serviços em casos específicos, essa possibilidade não pode ser utilizada para a alteração da equação econômico-financeira inicial do contrato, o que é justamente a característica do “jogo de planilha”.
Nesse sentido, o TCU também vem se posicionando, conforme decisões a seguir:
- Voto condutor do Acórdão TCU 467/2015-Plenário, Rel. Min. Walton Alencar Rodrigues:
“Reputo relevantes as condições em que se formaram os referidos contratos, porquanto originadas de ambiente certame licitatório competitivo e pautadas, entre outros princípios, na legalidade, na isonomia entre licitantes, na seleção da proposta mais vantajosa para a Administração e na vinculação ao instrumento convocatório. Tais premissas vinculam o ajuste administrativo, para conformar eventuais mutações contratuais às exigências previstas na lei ao tempo do torneio licitatório.
Não fosse assim, as diretrizes da licitação pública seriam facilmente deturpadas pelo espúrio mecanismo de celebração de termos aditivos que resultem em desbalanceamento da equação-econômico financeira em desfavor do Estado, quer pelo acréscimo de serviços novos cujos preços não sejam vantajosos ao Erário, quer pela alteração de quantitativos previstos na planilha orçamentária inicial da avença a ponto de desfigurar a vantagem do contrato original. Ao estimar os valores de referência dos serviços novos acrescidos por termos aditivos na data base dos contratos, a Administração preserva as condições que nortearam a licitação e resultaram na formulação do equilíbrio contratual.”
- Voto condutor do Acórdão TCU 1.153/2015-1ª Câmara, Rel. Min. Walton Alencar Rodrigues:
8. ... trata-se de 'jogo de planilhas', questão há tempos discutida neste Tribunal, que considera essa prática afronta grave à manutenção do equilíbrio financeiro do contrato, previsto no art. 65, § 1º, da Lei 8.666/1993.
9. Via de regra, esse artifício ocorre com a celebração de aditivos contratuais, fundamentados na necessidade técnica de corrigir falhas no projeto inicial, em que se operam modificações das seguintes naturezas: aumento da quantidade de itens com preços superestimados; supressão de quantitativos de insumos que estavam depreciados; e criação de novos serviços sem que sejam aplicados os descontos da proposta da licitante contratada.”
- Voto condutor do Acórdão TCU 349/2014-Plenário, Rel. Min. Benjamin Zymler:
“19. Quanto à primeira alegação, julgo incabível a compensação de eventual subpreço na planilha contratual original com sobrepreços verificados em termos aditivos, uma vez que a adoção de tal prática implica admitir a redução da vantajosidade inicial da avença e, portanto, a alteração do equilíbrio-econômico-financeiro em desfavor da Administração.
20. Dito de outra forma, a metodologia sugerida pela defesa significa aceitar a existência de uma espécie de crédito do contratado decorrente de um desconto ofertado por ocasião da licitação, o qual poderia ser usado posteriormente para a inclusão de serviços no contrato com preços nitidamente acima dos parâmetros de mercado. Por subverter a lógica do princípio da preservação do equilíbrio financeiro, da boa fé contratual e da competitividade, considerando que os preços dos serviços novos não foram submetidos ao crivo da licitação, tal argumento merece ser rechaçado. 21. Ademais, verifico que o procedimento sugerido pela defesa implica admitir a inserção de novos serviços com sobrepreço por meio de aditivos a um contrato cujos serviços, sabidamente, continham subpreço. Por representar a clássica situação de jogo de planilha, rejeito os argumentos trazidos pela sociedade empresária”.
De forma similar, o TCDF também já se manifestou nas Decisões nº 738/2015 e 2.344/2014, respectivamente:
“alterações contratuais não podem suprimir a vantagem econômica inicialmente obtida pela Administração (‘jogo de planilha’)”.
“determinar à Companhia Urbanizadora da Nova Capital do Brasil – NOVACAP que atente, em relação a possíveis aditivos ao contrato decorrente de licitação em tela, para a manutenção do desconto inicial da proposta, ou seja, que seja mantida a proporcionalidade da diferença entre o valor global estimado pela Administração e o valor global contratado, nos limites do art. 65. §1º, da Lei nº 8.666/1993”.
3
pela análise de sobrepreço, cuja seleção da amostra de auditoria se baseia na Curva ABC (Critério de Pareto) sem que existam até o momento, pelo conhecimento dos autores deste trabalho, estudos acadêmicos focados em auxiliar o auditor na detecção dessa manipulação que ocorre ao longo da execução de uma obra pública.
O objetivo deste trabalho é justamente oferecer uma metodologia para possível identificação do “jogo de planilha” baseada na regularidade estatística conhecida como “Lei de Benford” (BENFORD, 19381).
O algoritmo para essa análise é o proposto por Bugarin e Cunha (2015), e detalhado posteriormente em Cunha, Bugarin e Portugal (2016), em uma cartilha intitulada “Seleção de Amostra de Auditoria de Obras Púbicas pela Lei de Benford” publicada pelo Instituto Brasileiro de Auditoria de Obras Públicas – IBRAOP (2016). Explica-se a lógica dessa Lei da seguinte forma na cartilha:
“O ser humano acredita que os números se distribuem de forma uniforme na natureza. Por isso, ao manipular os valores de um banco de dados, uma pessoa leiga em geral não se preocupará com as frequências em que aparece o 1 ou 2 ou demais dígitos como primeiro, segundo ou último dígito de um número.
Contudo, existe uma metodologia capaz de indicar a possibilidade de manipulação dos dados e, ao mesmo tempo, considerar a relevância financeira dos itens. A metodologia se baseia em uma regularidade empírica segundo a qual os números não se distribuem de forma uniforme na natureza. Essa regularidade é conhecida como Lei de Benford.
Essa Lei estabelece que as frequências dos primeiros dígitos dos valores em um banco de dados são decrescentes do 1 ao 9; o dígito 1 aparece em, aproximadamente, 30% dos itens, enquanto o 9 não atinge 5% desses valores. Essas frequências se aplicam a uma variedade de fontes de dados, incluindo contas de energia, endereços, preços de ações, valores populacionais, taxas de mortalidade, entre outras.”
Mais especificamente, pela Lei de Benford, espera-se, então, que a frequência do primeiro dígito em fontes de dados não homogêneos ou não manipulados decresça do dígito 1 ao 9, conforme o gráfico da Error! Reference source not found. a seguir.
Fonte: Cunha, Bugarin e Portugal (2016)
Figura 1 - Frequência de incidência dos primeiros dígitos em dados não homogêneos
Na detecção de fraudes em obras públicas, esta Lei já foi testada diversas vezes. Flávia Cunha e Maurício Bugarin aplicaram essa Lei em planilhas orçamentárias como a da reforma do Maracanã (CUNHA e BUGARIN, 2015a, 2015b) e a construção da Arena Amazonas (CUNHA e BUGARIN (2015c), obras realizadas para a Copa do Mundo de 2014, assim como para a obra de reforma do Aeroporto Internacional de Minas Gerais (BUGARIN e CUNHA, 2017), concluindo pela robustez
1 Newcomb (1881) já havia identificado fenômeno similar ao observar que as primeiras páginas das tábuas de logaritmos se apresentavam mais desgastadas do que as últimas, o que indicava que o valor usualmente acessado era o número 1, e que a frequência diminuía até o número 9.
4
do método baseado na Lei de Benford para detecção de possível manipulação de dados referente a sobrepreço e superfaturamento. Café e Bugarin (2017) concluíram na mesma direção quanto à obra de implantação de um corredor de transporte no DF conhecido como VLP (BRT – Sul). Também a Polícia Federal fez aplicações dessa Lei na detecção de fraudes em licitações no Brasil, conforme trabalho apresentado por Filho (2016).
Com o objetivo de testar a aplicabilidade da Lei de Benford na detecção de jogo de planilha, toma-se como unidade de análitoma-se a obra do Estádio Nacional de Brasília – ENB, que foi acompanhada pelo Tribunal de Contas do DF – TCDF tanto na licitação quanto na execução do seu contrato de construção, no período entre 2009 e 20152.
A auditoria empreendida pelo TCDF objetivou, entre outros pontos, verificar a regularidade dos quantitativos de serviços e adequação dos preços contratados aos de mercado. Naquela fiscalização, foi apontada a ocorrência de preços acima dos praticados no mercado e de quantitativos superiores aos executados ao serem analisados os serviços previstos nas planilhas orçamentárias após 28 aditivos contratuais.
A magnitude das alterações tornou imperioso verificar se o equilíbrio econômico-financeiro inicial do ajuste foi mantido, principalmente porque os valores contratuais quase dobraram, saindo de R$ 696.648.486,09 para R$ 1.184.874.854,00, a preços históricos de junho de 2010. Várias revisões foram realizadas nos projetos, englobando mudanças de conceitos, de soluções construtivas ou de compatibilização, o que culminou em variações de quantitativos e acréscimos de diversos serviços, e gerou suspeitas quanto à manutenção do equilíbrio econômico-financeiro inicial do contrato.
A análise empreendida no TCDF considerou a análise dos principais serviços resultantes da Curva ABC, baseada no princípio de Pareto, selecionando itens que correspondessem a aproximadamente 80% do valor total contratado. Tendo em conta a enorme quantidade de serviços de uma edificação como o Estádio Nacional de Brasília, foi bastante penoso confirmar a existência de “jogo de planilha”. Neste trabalho, o que se espera é demonstrar que a Lei de Benford se aplica adequadamente à detecção da irregularidade caracterizada como “jogo de planilha”, o que pode representar grande economia de esforços na avaliação de longas planilhas orçamentárias de obras como a edificação de estádios.
Para tanto, serão utilizados os testes constantes do algoritmo proposto na Cartilha do Ibraop (Bugarin, Cunha e Portugal, 2016), desenvolvidos a partir de Nigrini (2012). Esse autor, por meio de seus testes, detectou fraudes em companhias de Nova York e implementou sua metodologia em sistemas de detecção de fraudes tributárias em vários países.
Destarte, o objetivo primordial do trabalho em tela é aplicar essa metodologia à investigação de possíveis manipulações de dados que ensejem “jogo de planilha”, com vistas a confirmar indícios de irregularidades já identificadas pelo TCDF quanto à obra de construção do Estádio Nacional de Brasília. Além desta introdução, o presente estudo está dividido em mais duas seções. A seção 2 apresenta a metodologia, trazendo a análise tradicional empreendida pelo TCDF e a análise a partir da Lei de Benford, além da comparação entre os métodos. Finalmente, a seção 3 apresenta as conclusões e proposições de extensões futuras da aplicação da Lei de Benford na análise de “jogo de planilha”.
2. METODOLOGIA
Este estudo se propõe a uma comparação de métodos de detecção de “jogo de planilha”.
Inicialmente, com o objetivo de caracterizar o problema na obra de construção do Estádio Nacional de Brasília, apresenta-se a análise pelo método tradicionalmente empregado nos Tribunais
2 Processos TCDF nºs 21.886/2009, 30.101/2010, 16.469/2012 e 29.565/2013, destacando-se para o propósito deste trabalho o RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante desse último processo.
5
de Contas, partindo da planilha orçamentária de referência, do orçamento da empresa vencedora do certame e da planilha resultante das alterações contratuais. Na sequência, desenvolve-se a análise a partir da utilização da Lei de Benford, e comparam-se os resultados obtidos por ambos os métodos.
2.1. Caracterização tradicional do jogo de planilha
Para a aplicação do método tradicional, que se baseia na identificação de serviços materialmente relevantes por meio da construção da Curva ABC (princípio de Pareto), os itens contidos no orçamento após as alterações contratuais foram classificados em contratuais ou novos e a evolução de seus quantitativos foi analisada, compilando-se a verificação contida nos Processos TCDF nºs 30.101/2010, 16.469/2012 e 29.565/20133.
Foram observados aumentos significativos dos quantitativos dos serviços contratuais indicados na análise do TCDF como contendo sobrepreço ou acima dos valores de mercado. Os referidos serviços são destacados na Tabela 1 a seguir, sendo a evolução detalhada dos quantitativos dos quatro primeiros itens apresentada nos gráficos da Figura 2.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 1 - Serviços contratuais cujos quantitativos aumentaram
3 Os relatórios finais de auditoria constantes desses processos estão disponíveis para consulta no https://www.tc.df.gov.br/4-consultas/consultas/.
Descrição dos serviços Unidade Preço Unitário Contrato Preço Unitário TCDF Sobrepreço Unitário (%) Aumento (%)
ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM, CORTE E DOBRA NA OBRA
KG 6,46 3,95 63,5% 63,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40 MPA
M3 583,56 495,04 17,9% 34,7%
FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE CHAPA DE COMPENSADO PLASTIFICADO DE 18MM COM 3 REAPROVEITAMENTOS
M2 90,24 45,56 98,1% 11,8%
VALE TRANSPORTE HXMÊS 312,00 199,63 56,3% 215,9%
TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE ESPALHAMENTO DO MATERIAL
M3 19,95 7,91 152,2% 17,9%
FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL, LANÇAMENTO DIRETO
M3 358,87 340,16 5,5% 8,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA M3 466,31 449,77 3,7% 20,3%
FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=60
MPA M3 627,39 512,89 22,3% 24,7%
DEMOLIÇÃO DE CONCRETO ARMADO M3 265,84 68,06 290,6% 168,7%
6
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFOFigura 2 - Variação dos quantitativos de alguns serviços contratuais com sobrepreço
Quantitativos de serviços significativos para obras dessa natureza, como os indicados nos gráficos anteriormente apresentados, aumentaram mais de 50% pela intervenção dos aditivos, como é o caso do aço, do vale transporte, do transporte de material escavado, da demolição de concreto armado e do cabo isolado em EPR, sendo que esse último item teve seus quantitativos aumentados oitenta vezes.
Além disso, as modificações contratuais também promoveram a inclusão de serviços com sobrepreço. A Tabela 2 a seguir apresenta os serviços inseridos por meio de aditivos para os quais foram apontados sobrepreços nas análises do TCDF:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 2 - Serviços novos com sobrepreço
Foram inseridos serviços com sobrepreço entre 10% e 108%, cujos valores totais são significativos o suficiente para que os mesmos estejam na porção A da Curva ABC. Não obstante a inserção de serviços novos com sobrepreço, três dos quatro itens indicados ainda tiveram seus quantitativos aumentados entre 11% e 48%.
Também foram alterados os custos de serviços por aditivos. A Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 3 apresenta os serviços mais significativos que tiveram seus valores alterados durante a execução contratual:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 3 -Serviços contratuais com custos majorados
Há um sobrepreço relevante nos serviços de mobilização, de mais de dezenove vezes o valor considerado razoável, e de desmobilização, de quase dezoito vezes, conforme análises mais específicas do Processo nº 30.101/2010. Mesmo para o valor inicialmente contratado, havia sobrepreço de quase dez vezes o valor apurado.
Se não bastasse a inclusão e o aumento de quantitativos de serviços com sobrepreço, bem como
Descrição dos serviços Unidade Preço Unitário
Contrato Preço Unitário TCDF Sobrepreço Unitário (%) Aumento (%)
CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5 M 132,30 90,32 46,5% 48,7%
CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS,
PARA O ANEL DE COMPRESSÃO, INCLUSO MONTAGEM E DESMONTAGEM M3 443,83 401,49 10,5% 0,0%
FABRICAÇÃO DE PRÉ-MOLDADOS M3 2.810,21 1.350,05 108,2% 36,8%
PISO CONCRETO POLIDO FOSCO ESPESSURA 7CM ARMADO, CONCRETO 25MPA,
SOBRE ESTRUTURA DE CONCRETO - CAPEAMENTO M2 67,13 51,93 29,3% 11,9%
Descrição dos serviços Unidade Preço Unitário
Contrato Preço Unitário Novo Preço Unitário TCDF Sobrepreço Unitário (%) MOBILIZAÇÃO UN 5.721.220,00 10.171.101,63 524.145,38 1.840,5%
7
o próprio aumento do preço de itens relevantes, ainda foi suprimido dos aditivos contratuais o desconto proporcional oferecido pela vencedora da licitação em relação ao valor do orçamento de referência.
Considerando a jurisprudência do TCU, mais especificamente o Acórdão TCU 349/2014, já se poderia indicar a existência de “jogo de planilha”, dado que não seria cabível a compensação de eventual subpreço na planilha contratual original com sobrepreços verificados em aditivos. De acordo com esse acórdão, como já destacado, não se pode permitir a redução da vantagem inicial da avença e, portanto, a alteração do equilíbrio econômico-financeiro em desfavor da Administração4.
Caracterizado o “jogo de planilha”, adotando-se para tal o método tradicional, parte-se, na sequência, para apresentar a indicação dessa irregularidade por meio da aplicação da Lei de Benford.
2.2. Indicação do jogo de planilha a partir da Lei de Benford
A metodologia utilizada será a definida na Cartilha do Ibraop, elaborada por Cunha, Bugarin e Portugal (2016), que objetiva identificar eventual manipulação de dados nas planilhas orçamentárias antes e depois da realização de aditivos no contrato para a construção do Estádio Nacional de Brasília, manipulações essas que possam indicar a possibilidade de “jogo de planilha”, já apontado no método tradicional.
A análise foi realizada nos preços totais dos serviços, resultante do produto de seus quantitativos pelos preços unitários, visto que as alterações contratuais modificaram tanto os preços quanto as quantidades dos itens. Conforme a referida Cartilha do Ibraop, foram aplicados três testes para comprovação da aderência dos dados analisados à Lei de Benford: teste do primeiro dígito, teste dos dois primeiros dígitos e teste da soma, que serão brevemente descritos.
O teste do primeiro dígito atesta se a frequência do primeiro dígito adere à Lei de Benford, indicando quais dígitos não se comportam como o esperado.
Esse teste foi realizado com os dados do orçamento referencial utilizado na licitação, bem como com a planilha contratual original, apresentados nas Figuras 3(a) e 3(b). Em ambos os casos, observa-se que a frequência do primeiro dígito observa-seguiu a Lei de Benford, o que indica conformidade aproximada segundo a classificação de Nigrini (Özer e Babacan, 2013) para o teste estatístico da média dos desvios absolutos. A Figura 3(c) apresenta a distribuição de frequência do primeiro dígito do orçamento do Estádio Nacional de Brasília após as modificações realizadas pelos aditivos. Observa-se que os dígitos 1 e 2 apresentam frequências menores que as estabelecidas pela Lei de Benford, ao passo que os de 3 a 6 apresentam suas frequências maiores que as esperadas.
(a): Orçamento de referência (b): Planilha contratual original
4 O TCDF, por meio das Decisões nº 2.974/2017, 4.943/2017 e 4.463/2017, determinou a apuração de prejuízos da ordem de R$ 67 milhões, R$ 291 milhões e R$ 106 milhões, respectivamente, nos Processos nº 30.101/2010, 16.469/2012 e nº 29.565/2013, decorrentes de superfaturamento na obra de construção do Estádio Nacional de Brasília.
8
(c): Planilha após aditivos Fonte: TCDF-Relatório de Auditoria n°. 01/2017-NFO
Figura 3 - Frequências dos primeiros dígitos:
(a): no orçamento de referência; (b) na planilha contratual original; (c) na planilha após os aditivos
Tendo em vista a aplicação do teste do primeiro dígito, conclui-se pela provável ocorrência de manipulação dos dados após os aditivos (Figura 3(c)), amparada pela aderência à Lei de Benford na avaliação dos dados do orçamento de referência (Figura 3(a)) e da planilha contratual vencedora original (Figura 3(b)).
(a): Orçamento de referência (b): Planilha contratual original Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 4 - Frequências dos dois primeiros dígitos: (a) no orçamento de referência e (b) na planilha contratual original.
O teste dos dois primeiros dígitos tem o mesmo propósito do primeiro teste, com a diferença de que são testadas as frequências das categorias dos dois primeiros dígitos.
A aplicação do teste também foi realizada para os dados do orçamento licitado e da planilha contratual original, Figuras 4(a) e 4(b), o que mostra que os valores originais possuem comportamento bem aproximado ao esperado.
A Figura 5 a seguir apresenta os dados desse teste após os aditivos. De forma semelhante ao teste do primeiro dígito, pode-se observar a ocorrência de categorias de dois dígitos a partir do 32 que apresentam frequência bem superior ao esperado para dados que não sofreram manipulação enquanto os demais apresentam frequências menores que o esperado, mais uma vez indicando a ocorrência de “jogo de planilha”.
9
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 5 - Frequências dos dois primeiros dígitos após os aditivos
No teste da soma, quando são testados os valores totais dos serviços de uma planilha não manipulada, verifica-se que o somatório dos itens dentro de cada categoria de dois primeiros dígitos possui, aproximadamente, a mesma proporção em relação ao valor total do orçamento. Como existem 90 categorias de dois primeiros dígitos, do 10 ao 99, cada categoria teria que representar 1/90 do valor total, o que resultaria em 0,011. Todavia, dados reais raramente se conformam a tal padrão, conforme destacado na Cartilha do Ibraop. No entanto, o resultado desse teste comparado com o dos dois primeiros dígitos confronta o volume de dados contidos em cada grupo com a soma de seus valores, o que corresponde a verificar a materialidade e a relevância de cada grupo.
A Figura 6 apresenta o resultado gráfico desse teste, em que as categorias de dígitos acima da referência de Benford merecem maior atenção por possuírem maior materialidade que os demais. Foi adotado o critério de um valor acima de 100% de aumento com relação ao esperado, ou seja, um percentual de 0,022 do custo total.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO Figura 6 - Teste da soma após os aditivos
Também são aplicados testes estatísticos aos resultados dos testes anteriores, previstos na Cartilha do Ibraop, à exceção do teste da soma, para se comprovar a conformidade da distribuição à Lei de Benford. Os testes aplicados são: Teste Z, Qui-quadrado e Média dos Desvios Absolutos (MDA), que serão brevemente explanados.
Os três testes mencionados são baseados nos padrões dos dígitos dos valores em um banco de dados em que as proporções reais e esperadas são comparadas entre si.
O teste Z mostra se a proporção real de um dígito específico desvia de forma significativa da proporção esperada. Para esse teste, foi utilizado um nível de significância de 5%, indicado por Nigrini (Özer e Babacan, 2013). As categorias de dois primeiros dígitos indicadas por este teste, por estarem fora da proporção esperada, são utilizadas para selecionar os serviços que merecem maior
10
atenção. A Figura 7, a seguir, apresenta o resultado desse teste:
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Figura 7 - Teste Z dos dois primeiros dígitos após os aditivos
O Teste Qui-quadrado compara um conjunto de dados reais com um conjunto de resultados esperados, em que a hipótese nula é a de que os dígitos de uma distribuição se conformam com a Lei de Benford. O resultado calculado, para o teste dos dois primeiros dígitos, é comparado a um valor crítico que, para os 89 graus de liberdade e 5% de significância, corresponde a 112,02.
O resultado obtido para o orçamento referencial é de 106,04 e para a planilha contratual original é de 84,30, ambos menores que a referência estabelecida, ao passo que o mesmo teste aplicado ao orçamento após os aditivos apresenta resultado de 652,03, muito superior ao limiar estabelecido, o que comprova que os dados após modificação por aditivos se distanciam da Lei de Benford.
O teste MDA ignora o número de valores testados em sua fórmula, o que o difere dos anteriores e o torna o preferido por Nigrini (Özer e Babacan, 2013) para extensos bancos de dados. Para este teste, o orçamento referencial apresentou conformidade marginal aceitável e a planilha contratual original apresentou conformidade aceitável, enquanto o orçamento após os aditivos foi classificado como não conforme, o que reforça a conclusão já exposta.
A Tabela 4 a seguir apresenta os resultados dos diferentes testes quanto à conformidade à Lei de Benford das três planilhas estudadas: o orçamento de referência, o contrato original e o contrato após os aditivos. Vale observar o resultado curioso de que a planilha original que venceu a concorrência encontra-se em conformidade ainda maior com a Lei de Benford do que o próprio orçamento de referência, o que sugere que a planilha original foi elaborada sem manipulações, tendo a empresa vencedora deixado as manipulações para serem realizadas após a vitória no processo licitatório. A alarmante discrepância no valor calculado para o Teste Qui-quadrado, que pulou de 84,30 (bem abaixo do limiar de referência de 112,02) para 652,03 (bem acima desse limiar), sugere que a ação manipulativa ocorreu após o consórcio vencedor garantir para si a obra, caracterizando, pois, o jogo de planilha. Planilha Primeiros dígitos-Teste Z (no. de não conformidade) Dois primeiros dígitos-Teste Z (no. de não conformidade) Dois primeiros dígitos-Teste Qui-quadrado (Referência: 112,02) Dois primeiros dígitos-Teste MDA Dois primeiros dígitos-Teste Z e da soma (no. de categorias) Orçamento referência 0 9 106,04 (Conforme) Conformidade marginal aceitável 15 Contrato original 0 1 84,30 (Conforme) Conformidade aceitável 10 Após aditivos 4 12 652,03 (Altamente não conforme) Não- conformidade 23
11
Tabela 4 -Evidência de jogo de planilha: análise da conformidade com a Lei de Benford para as planilhas do orçamento de referência, do contrato original e após os aditivos
Após a realização de todos os testes, foram selecionadas as categorias de dois primeiros dígitos cujo teste Z resulta em valores maiores que o limiar de 1,96, com frequência de distribuição maior que a esperada segundo a Lei de Benford, os quais são cotejados com os resultados do teste da soma superiores ao limiar de 0,022, correspondente a duas vezes a proporção de Benford para tal teste.
Como resultado da aplicação da metodologia proposta5, foram selecionadas as seguintes
categorias de dois primeiros dígitos: 10, 11, 12, 14, 15, 16, 19, 22, 23, 24, 30, 31, 36, 39, 41, 45, 48, 58, 60, 61, 81, 86 e 97, que incluem 30 serviços entre os apontados como contendo preços acima dos de mercado ou quantitativos maiores que os reais pelo TCDF, indicados na Tabela 5.
Ressalta-se, que a categoria de dois primeiros dígitos 39 foi apontada pela metodologia aplicada como a mais crítica por ter sido identificada tanto no teste dos dois primeiros dígitos quanto no teste da soma. Nessa categoria foram identificados cinco serviços apontados pelo TCDF que totalizaram pelo menos R$ 20,5 milhões de sobrepreço.
Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO
Tabela 5 - Serviços indicados pela metodologia baseada na Lei de Benford que foram apontados como contendo preços acima dos de mercado ou quantitativos maiores que os reais
3. CONCLUSÃO
5 As tabelas com os dados referentes a todos os testes estão disponíveis com os autores do trabalho. Categoria de
dois dígitos Descrição dos serviços
10 MOBILIZAÇÃO
11 ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM, CORTE E DOBRA NA OBRA 11 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA
12 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE TELEFONIA 14 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE CFTV 15 FABRICAÇÃO DE PRÉ-MOLDADOS
15 IMPERMEABILIZAÇÃO DE PAREDE SUJEITA A UMIDADE DE SOLO COM ADITIVO HIDRÓFUGO E TINTA ASFÁLTICA 15 EXECUÇÃO DE TESTES DE COMISSIONAMENTO DE TODOS OS QUATRO SISTEMAS DE ENERGIA ININTERRUPTA. 16 ADICIONAL DE MÃO DE OBRA PARA SERVIÇOS NOTURNO DIRETO
16 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL, LANÇAMENTO DIRETO 16 TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE ESPALHAMENTO DO MATERIAL 16 EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ÁGUAS PLUVIAIS DA
COBERTURA 16 LABORATÓRIO
19 MÓDULO DE ELASTICIDADE
23 PISO CONCRETO POLIDO FOSCO E= 10CM ARMADO, CONCRETO 25MPA NO TUNEL VIP 24 VALE TRANSPORTE
24 CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS, PARA O ANEL DE COMPRESSÃO, INCLUSO MONTAGEM E DESMONTAGEM
24 PISO CONCRETO POLIDO FOSCO ESPESSURA 10CM, CONCRETO 25MPA SOBRE TERRENO COMPACTADO - CIRCULAÇÃO NO 3ºSS E 1ºSS
30 FORNECIMENTO, MONTAGEM E DESMONTAGEM DE CONTRAVENTAMENTO METÁLICO
30 FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA CURVA APARENTE DE COMPENSADO PLASTIFICADO DE 18 MM COM 3 REAPROVEITAMENTOS
31 CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5 31 MONTAGEM DAS GRUAS
36 FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE CHAPA DE COMPENSADO PLASTIFICADO DE 18MM COM 3 REAPROVEITAMENTOS 39 CIMBRAMENTO PARA PONTE OU VIADUTO, EDIFICAÇÃO CIVIL E INDUSTRIAL, INCLUSO MONTAGEM E DESMONTAGEM 39 DEMOLIÇÃO DE CONCRETO ARMADO
39 CABO DE COBRE DE 185,0 MM², ISOLAMENTO 8,7/15 KV - ISOLAÇÃO EPR 90°C
39 EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ESGOTO 39 FORNECIMENTO E APLICAÇÃO DE AÇO CP- 177RB 15,7MM S/ CERA E S/ ENCAPAMENTO DE PEAD 45 EXECUÇÃO DE TIRANTES INCLUSIVE PERFURAÇÃO, MONTAGEM, INSTALAÇÃO, PROTENÇÃO E ENSAIOS 48 FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40 MPA
12
O algoritmo baseado na Lei de Benford proposto em Cunha, Bugarin e Portugal (2016) indicou categorias de dígitos com maior probabilidade de manipulação na planilha final da obra do Estádio Nacional de Brasília. Quando se confrontam os grupos com maior probabilidade de ocorrência de manipulação na obra do Estádio Nacional de Brasília com os serviços apontados como contendo superfaturamento pelo TCDF, mostra-se que, tanto a metodologia tradicional de utilização da Curva ABC para a seleção da amostra de serviços que representa mais de 80% do orçamento da obra, quanto a utilização da Lei de Benford indicam, em sua maioria, os mesmos serviços para análise aprofundada da auditoria no caso concreto. Dessa forma, esse trabalho demonstrou que o algoritmo baseado na Lei de Benford previsto na Cartilha do Ibraop pode ser também utilizado para apurar a ocorrência de “jogo de planilha”, como excelente ferramenta de otimização dos trabalhos de auditoria.
Naturalmente, é importante ressaltar que nem a metodologia tradicional nem a nova metodologia são peremptórias na indicação dos serviços com fraude. Esse apontamento decorre da análise detida de cada serviço, como realizado previamente pelo TCDF, o que viabiliza a conclusão sobre a existência de “jogo de planilha”.
Feita essa ressalva, percebe-se no presente estudo que um método reforçou o outro ao indicarem a manipulação da planilha da obra após a realização dos aditivos, quebrando a equação econômico-financeira e confirmando o “jogo de planilha” na obra de construção do Estádio Nacional de Brasília.
Existem vários argumentos para a utilização da metodologia baseada na Lei de Benford. Do ponto de vista prático, como já destacado pela cartilha, está a possibilidade de não serem agregados serviços de mesma natureza, não demandando um trabalho prévio na extensa planilha de obras dessa natureza. Do ponto de vista teórico, a possibilidade de aplicação prévia de uma metodologia baseada em uma regularidade estatística universal permite uma seleção objetiva de um número reduzido de itens a serem auditados com maior possibilidade estatística de manipulação. O confronto entre a metodologia tradicional e a metodologia baseada na Lei de Benford dá maior segurança à evidência encontrada de manipulação do tipo “jogo de planilha” ao longo da execução da obra pública, o que reforça a importância do acompanhamento de cada uma das alterações contratuais.
Como natural extensão da análise aqui desenvolvida, surge a proposta de se avaliar, por meio da metodologia estatística oferecida em Cunha, Bugarin e Portugal (2016), como evolui a evidência de “jogo de planilha” ao longo dos diferentes aditivos ao contrato original, classificando, por meio do teste do Qui-quadrado, por exemplo, a evolução de tal indicativo.
Bibliografia
Acórdãos TCU 1.090/2001-Plenário, 467/2015-Plenário, 1.153/2015-1ª Câmara e 349/2014-Plenário, disponível em
https://contas.tcu.gov.br/pesquisaJurisprudencia/#/. Acesso em 23 set. 2018.
BENFORD, F. The law of anomalous numbers. Proceedings of the American Philosophical Society 78 (4), 1938, p. 551-572.
BUGARIN, M. S. e CUNHA, F. C. A didactic note on the use of Benford’s Law in public works auditing, with an
application to the construction of Brazilian Amazon Arena 2014 World Cup soccer stadium. Economia (Yokohama) 66
(1): 23-55, 2015.
_____ Lei de Benford aplicada à auditoria da reforma do Aeroporto Internacional de Minas Gerais. Revista do Serviço Público, v. 68, n. 4, p. 915-940, out/dez 2017.
CAFÉ, R. M. e BUGARIN, M. Uma proposta metodológica para a auditoria de obras públicas no Distrito Federal. Texto para Discussão no. 30/agosto de 2017. Disponível em: http://www.codeplan.df.gov.br/wp-content/uploads/2018/02 /TD_30_Uma_Proposta_Metodol%C3%B3gica_para_Auditoria_em_Obras_P%C3%BAblicas_no_DF.pdf.
CUNHA, F. C. e BUGARIN, M. S. Lei de Benford para a Auditoria de Obras Públicas: Análise de Sobrepreço na
Construção da Arena da Amazônia. Boletim de Licitações e Contratos (BLC/NDJ), 28(8): 841-857, 2015.
CUNHA, F. C. e BUGARIN, M. S. Benford’s Law for audit of public works: an analysis of overprincing in Maracanã
13
CUNHA, F. C., BUGARIN, M. S. e PORTUGAL, A. C. Seleção de amostra de auditoria de obras públicas pela lei de Benford: versão estendida. São Paulo: IBRAOP, 2016. Disponível em:
http://www.ibraop.org.br/Publicacoes/CartilhaBenford/Cartilha/assets/basic-html/page-1.html#. Acesso em 23 set. 2018. FILHO, R. N. A. Fraude em licitações e a Lei de Benford: aplicação em perícias de engenharia civil da PF. In: Seminário de Perícias de Engenharia da Polícia Federal, 8, 2016, Maceió. Anais… Maceió, 2016.
Decisões TCDF nº 738/2015, 2.344/2014, 2.974/2017, 4.943/2017 e 4.463/2017. Disponível em: https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.
NEWCOMB, S. Note on the frequency of the different digits in natural numbers. The American Journal of Mathematics, Vol. 4, 39-40. 1881.
NIGRINI, M. Benford's Law: Applications for Forensic Accounting, Auditing, and Fraud Detection. Wiley.com, 2012. TCDF-RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante do Processo nº 29.565/2013, que pode ser consultado em https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.
ÖZER, G.; BABACAN, B. Benford’s Law and Digital Analysis: Application on Turkish Banking Sector. Business and Economics Research Journal, v. 4(1), p. 1-29, 2013.
The Economics and Politics (CNPq) Research Group started publishing its members’ working papers on June 12, 2013. Please check the list below and click at
http://econpolrg.com/working-papers/ to access all publications. Number Date Publication
92/2018 12-04-2018 Aplicação da Lei de Benford na Detecção de Jogo de Planilha: O Caso do Estádio Nacional de Brasília, Carlos Alberto Cascão Júnior, Adriana Cuoco Portugal, Mauricio Soares Bugarin and Flávia Ceccato Cunha
91/2018 11-21-2018 Where’d You Get that Idea? Determinants of Creativity and Impact in Popular Music, Bernardo Mueller 90/2018 11-12-2018 A Previdência Complementar é, de fato, Complementar?, Marcos Nihari and Vander Lucas 89/2018 11-05-2018 Sobre Falácias de Moro, Nelson Gonçalves Gomes
88/2018 10-29-2018 Eficiência financeira das concessões de aeroportos no Brasil no período de 2015 a 2016, João Paulo de Castro Carisio Ribeiro, Marcelo Driemeyer Wilbert and Samuel de Resende Salgado
87/2018 10-19-2018
Leilões para conversão de dívida em investimento: Uma proposta da teoria de leilões para implantação dos Termos de Ajuste de Conduta (TAC) da ANATEL, Hélio Maurício Miranda da Fonseca and Maurício Soares Bugarin
86/2018 10-08-2018 Redistribution in Contemporary Japan: A Political Economy Analysis of Ide, Furuichi and Miyazaki (2016)’s “All for All” Fiscal Reform Proposal, Maurício Bugarin 85/2018 08-08-2018 Gestão Fiscal e Despesa de Pessoal: Análise dos Gastos Públicos Estaduais entre 2008 e 2016, Marcos Lima Bandeira, Paulo Augusto P. de Britto and André Luiz
Marques Serrano
84/2018 07-11-2018 Atuação do poder legislativo estadual: análise dos incentivos dos deputados estaduais na atividade legislativa, Débora Costa Ferreira, Fernando B. Meneguin and Maurício Soares Bugarin
83/2018 07-04-2018 Eficiência, atratividade e dissuasão de acordos de leniência e combate à corrupção: o caso da Operação Lava-Jato, Rafael M. Gomes, Roberto H. de Aragão Neto, Maurício S. Bugarin and André L. Gama
82/2018 06-28-2018 Ciclos Políticos e Eleitorais na Execução do Programa Bolsa Família em Nível Municipal, Tiago Sousa Pereira, Moisés A. Resende Filho and Vander Mendes Lucas 81/2018 06-20-2018 Análise do IBS como Proposta de Reforma Tributária. Um Estudo Aplicado de Equilíbrio Geral Computável, Nathanael Pereira Costa and Vander Mendes Lucas 80/2017 09-27-2017 Impacto do Programa Ensino Médio Inovador em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra 79/2017 09-14-2017 Uma Avaliação da Política de Privatização de Aeroportos Brasileira: Uma Abordagem por Controle Sintético, Caio Cordeiro de Resende 78/2017 08-30-2017 Tecnologia e Desempenho Escolar: Uma Avaliação de Impacto do Programa Um Computador por Aluno, Caio Cordeiro de Resende and Ana Carolina Zoghbi 77/2017 08-23-2017 Desregulamentação da franquia de bagagem despachada no Brasil: Uma Análise de Impacto Regulatório, Débora Alves Pereira Bastos, Rodrigo César Bessoni e Silva
and Vander Mendes Lucas
76/2017 08-16-2017 Análise de Eficiência das IFES no Uso de Recursos Financeiros 2010-2015, Antonio Marcos Correia Melonio and Vander Mendes Lucas 75/2017 08-09-2017 Royalties do petróleo, reeleição e ciclos políticos: um estudo econométrico para as eleições, Eduardo Dornelas Munhoz e Moisés de Andrade Resende Filho 74/2017 08-02-2017 Responsabilidade fiscal, a atuação do Poder Judiciário e o comportamento estratégico dos governantes, Débora Costa Ferreira, Fernando B. Meneguin and
Maurício Soares Bugarin
73/2017 07-26-2017 Sustentabilidade da Dívida dos Estados Brasileiros: 2005-2015, Hiromi Cristina Santos Doi and Vander Mendes Lucas 72/2017 07-19-2017 Hotelling’s product differentiation: an infinite-dimensional linear programming approach, Rodrigo Peñaloza 71/2017 06-16-2017 Escola japonesa ou escola brasileira? A inserção dos estudantes brasileiros na escola no Japão, Maurício Soares Bugarin
Number Date Publication
70/2017 04-17-2017 How the East was Lost: Coevolution of Institutions and Culture in the 16th Century Portuguese Empire, Bernardo Mueller 69/2017 04-10-2017 A reforma política sob o ponto de vista da análise econômica do direito, Pedro Fernando Nery and Fernando B. Meneguin 68/2016 07-14-2016 O dilema entre a eficiência de curto e de longo prazo no ordenamento jurídico e o impacto no crescimento econômico, Fernando B. Meneguin and Tomás T. S. Bugarin 67/2016 05-04-2016 A estrutura de capital de empresas brasileiras de capital aberto: uma análise de seus determinantes, João Pedro Bertani Catrib, Paulo Augusto P. de Britto and
André Luiz Marques Serrano
66/2016 04-20-2016 Tests for history dependence in mixed-Poisson growth: Brazil, 1822-2000, and USA, 1869-1996, with an estimate of the world mixing distribution at start-up, Steve De Castro and Flávio Gonçalves
65/2016 04-13-2016 Piketty’s Prediction meets technical progress in Harrod-Domar’s Dynamics and Solow Swan’s Surrogate, Steve De Castro 64/2016 04-06-2016 Análise do impacto da alteração normativa na aposentadoria por invalidez no Brasil, Helvio Antonio Pereira Marinho, Moises de Andrade Resende Filho and Vander
Mendes Lucas
63/2016 03-30-2016 Black movement: Estimating the effects of affirmative action in college admissions on education and labor market outcomes, Andrew Francis-Tan and Maria Tannuri-Pianto 62/2016 01-13-2016 Electronic voting and Social Spending: The impact of enfranchisement on municipal public spending in Brazil, Rodrigo Schneider, Diloá Athias and Maurício Bugarin 61/2015 12-02-2015 Alunos de inclusão prejudicam seus colegas? Uma avaliação com dados em painel de alunos da rede municipal de São Paulo, Bruna Guidetti, Ana Carolina Zoghbi and
Rafael Terra
60/2015 12-02-2015 Impacto de programa Mais Educação em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra 59/2015 10-21-2015 Eficiência de custos operacionais das companhias de distribuição de energia elétrica (CDEEs) no Brasil: Uma aplicação (DEA & TOBIT) em dois estágios, Daniel de Pina
Fernandes and Moisés de Andrade Resende Filho
58/2015 10-14-2015 Determinantes do risco de crédito rural no Brasil: uma crítica às renegociações da dívida rural, Lucas Braga de Melo and Moisés de Andrade Resende Filho 57/2015 10-07-2015 Distribuição da riqueza no Brasil: Limitações a uma estimativa precisa a partir dos dados tabulados do IRPF disponíveis, Marcelo Medeiros 56/2015 10-01-2015 A composição da desigualdade no Brasil. Conciliando o Censo 2010 e os dados do Imposto de Renda, Marcelo Medeiros, Juliana de Castro Galvão and Luísa Nazareno 55/2015 09-24-2015 A estabilidade da desigualdade no Brasil entre 2006 e 2012: resultados adicionais, Marcelo Medeiros and Pedro H. G. F. Souza 54/2015 09-24-2015 Reciclagem de plataformas de petróleo: ônus ou bônus?, Roberto N. P. di Cillo 53/2015 09-09-2015 A Progressividade do Imposto de Renda Pessoa Física no Brasil, Fábio Castro and Mauricio S. Bugarin 52/2015 07-03-2015 Measuring Parliaments: Construction of Indicators of Legislative Oversight, Bento Rodrigo Pereira Monteiro and Denílson Banderia Coêlho 51/2015 06-29-2015 A didactic note on the use of Benford’s Law in public works auditing, with an application to the construction of Brazilian Amazon Arena 2014 World Cup soccer
stadium, Mauricio S. Bugarin and Flavia Ceccato Rodrigues da Cunha
50/2015 04-29-2015 Accountability and yardstick competition in the public provision of education, Rafael Terra and Enlinson Mattos 49/2015 04-15-2015 Understanding Robert Lucas (1967-1981), Alexandre F. S. Andrada
48/2015 04-08-2015 Common Labor Market, Attachment and Spillovers in a Large Federation, Emilson Caputo Delfino Silva and Vander Mendes Lucas 47/2015 03-27-2015 Tópicos da Reforma Política sob a Perspectiva da Análise Econômica do Direito, Pedro Fernando Nery and Fernando B. Meneguin 46/2014 12-17-2014 The Effects of Wage and Unemployment on Crime Incentives - An Empirical Analysis of Total, Property and Violent Crimes, Paulo Augusto P. de Britto and Tatiana Alessio
Number Date Publication
45/2014 12-10-2014 Políticas Públicas de Saúde Influenciam o Eleitor?, Hellen Chrytine Zanetti Matarazzo 44/2014 12-04-2014 Regulação Ótima e a Atuação do Judiciário: Uma Aplicação de Teoria dos Jogos, Maurício S. Bugarin and Fernando B. Meneguin 43/2014 11-12-2014 De Facto Property Rights Recognition, Labor Supply and Investment of the Poor in Brazil, Rafael Santos Dantas and Maria Tannuri-Pianto 42/2014 11-05-2014 On the Institutional Incentives Faced by Brazilian Civil Servants, Mauricio S. Bugarin and Fernando B. Meneguin 41/2014 10-13-2014 Uma Introdução à Teoria Econômica da Corrupção: Definição, Taxonomia e Ensaios Selecionados, Paulo Augusto P. de Britto 40/2014 10-06-2014 Um modelo de jogo cooperativo sobre efeitos da corrupção no gasto público, Rogério Pereira and Tatiane Almeida de Menezes 39/2014 10-02-2014 Uma análise dos efeitos da fusão ALL-Brasil Ferrovias no preço do frete ferroviário de soja no Brasil, Bruno Ribeiro Alvarenga and Paulo Augusto P. de Britto 38/2014 08-27-2014 Comportamentos estratégicos entre municípios no Brasil, Vitor Lima Carneiro & Vander Mendes Lucas 37/2014 08-20-2014 Modelos Microeconômicos de Análise da Litigância, Fábio Avila de Castro
36/2014 06-23-2014 Uma Investigação sobre a Focalização do Programa Bolsa Família e seus Determinantes Imediatos. André P. Souza, Plínio P. de Oliveira, Janete Duarte, Sérgio R. Gadelha & José de Anchieta Neves
35/2014 06-22-2014 Terminais de Contêineres no Brasil: Eficiência Intertemporal. Leopoldo Kirchner and Vander Lucas 34/2014 06-06-2014 Lei 12.846/13: atrai ou afugenta investimentos? Roberto Neves Pedrosa di Cillo 33/2013 11-27-2013 Vale a pena ser um bom gestor? Comportamento Eleitoral e Reeleição no Brasil, Pedro Cavalcante 32/2013 11-13-2013 A pressa é inimiga da participação (e do controle)? Uma análise comparativa da implementação de programas estratégicos do governo federal, Roberto Rocha C. Pires
and Alexandre de Avila Gomide
31/2013 10-30-2013 Crises de segurança do alimento e a demanda por carnes no Brasil, Moisés de Andrade Resende Filho, Karina Junqueira de Souza and Luís Cristóvão Ferreira Lima 30/2013 10-16-2013 Ética & Incentivos: O que diz a Teoria Econômica sobre recompensar quem denuncia a corrupção? Maurício Bugarin 29/2013 10-02-2013 Intra-Village Expansion of Welfare Programs, M. Christian Lehmann
28/2013 09-25-2013 Interações verticais e horizontais entre governos e seus efeitos sobre as decisões de descentralização educacional no Brasil,Ana Carolina Zoghbi, Enlinson Mattos and Rafael Terra
27/2013 09-18-2013 Partidos, facções e a ocupação dos cargos de confiança no executivo federal (1999-2011), Felix Lopez, Mauricio Bugarin and Karina Bugarin 26/2013 09-11-2013 Metodologias de Análise da Concorrência no Setor Portuário, Pedro H. Albuquerque, Paulo P. de Britto, Paulo C. Coutinho, Adelaida Fonseca, Vander M. Lucas, Paulo R.
Lustosa, Alexandre Y. Carvalho and André R. de Oliveira
25/2013 09-04-2013 Balancing the Power to Appoint officers, Salvador Barberà and Danilo Coelho 24/2013 08-28-2013 Modelos de Estrutura do Setor Portuário para Análise da Concorrência,Coutinho, Paulo P. de Britto, Vander M. Lucas, Paulo R. Lustosa, Pedro H. Paulo C.
Albuquerque, Alexandre Y. Carvalho, Adelaida Fonseca and André Rossi de Oliveira 23/2013 08-21-2013 Hyperopic Strict Topologies, Jaime Orillo and Rudy José Rosas Bazán
22/2013 08-14-2013 Há Incompatibilidade entre Eficiência e Legalidade?Felipe de Oliveira Santos Fernando B. Meneguin and Pedro 21/2013 08-07-2013 A Note on Equivalent Comparisons of Information Channels, Luís Fernando Brands Barbosa and Gil Riella 20/2013 07-31-2013 Vertical Integration on Health Care Markets: Evidence from Brazil, Tainá Leandro and José Guilherme de Lara Resende 19/2013 07-24-2013 A Simple Method of Elicitation of Preferences under Risk, Patrícia Langasch Tecles and José Guilherme de Lara Resende 18/2013 07-17-2013 Algunas Nociones sobre el Sistema de Control Público en Argentina con Mención al Caso de los Hospitales Públicos de la Provincia de Mendoza, Luis Federico Giménez
Number Date Publication
17/2013 07-10-2013 Mensuração do Risco de Crédito em Carteiras de Financiamentos Comerciais e suas Implicações para o Spread Bancário, Paulo de Britto and Rogério Cerri 16/2013 07-03-2013 Previdências dos Trabalhadores dos Setores Público e Privado e Desigualdade no Brasil, Pedro H. G. F. de Souza and Marcelo Medeiros 15/2013 06-26-2013 Incentivos à Corrupção e à Inação no Serviço Público: Uma análise de desenho de mecanismos, Maurício Bugarin and Fernando Meneguin 14/2013 06-26-2013 The Decline in inequality in Brazil, 2003–2009: The Role of the State, Pedro H. G. F. de Souza and Marcelo Medeiros 13/2013 06-26-2013 Productivity Growth and Product Choice in Fisheries: the Case of the Alaskan pollock Fishery Revisited, Marcelo de O. Torres and Ronald G. Felthoven 12/2013 06-19-2003 The State and income inequality in Brazil, Marcelo Medeiros and Pedro H. G. F. de Souza 11/2013 06-19-2013 Uma alternativa para o cálculo do fator X no setor de distribuição de energia elétrica no Brasil, Paulo Cesar Coutinho and Ângelo Henrique Lopes da Silva 10/2013 06-12-2013 Mecanismos de difusão de Políticas Sociais no Brasil: uma análise do Programa Saúde da Família, Denilson Bandeira Coêlho, Pedro Cavalcante and Mathieu Turgeon 09/2013 06-12-2103 A Brief Analysis of Aggregate Measures as an Alternative to the Median at Central Bank of Brazil’s Survey of Professional Forecasts, Fabia A. Carvalho 08/2013 06-12-2013 On the Optimality of Exclusion in Multidimensional Screening, Paulo Barelli, Suren Basov, Mauricio Bugarin and Ian King 07/2013 06-12-2013 Desenvolvimentos institucionais recentes no setor de telecomunicações no Brasil, Rodrigo A. F. de Sousa, Nathalia A. de Souza and Luis C. Kubota 06/2013 06-12-2013 Preference for Flexibility and Dynamic Consistency, Gil Riella
05/2013 06-12-2013 Partisan Voluntary Transfers in a Fiscal Federation: New evidence from Brazil, Mauricio Bugarin and Ricardo Ubrig 04/2013 06-12-2013 How Judges Think in the Brazilian Supreme Court: Estimating Ideal Points and Identifying Dimensions, Pedro F. A. Nery Ferreira and Bernardo Mueller
03/2013 06-12-2013 Democracy, Accountability, and Poverty Alleviation in Mexico: Self-Restraining Reform and the Depoliticization of Social Spending, Yuriko Takahashi 02/2013 06-12-2013 Yardstick Competition in Education Spending: a Spatial Analysis based on Different Educational and Electoral Accountability Regimes, Rafael Terra 01/2013 06-12-2013 On the Representation of Incomplete Preferences under Uncertainty with Indecisiveness in Tastes, Gil Riella
