Análise comparativa dos resultados

Foi elaborado um estudo de correlação entre as métricas avaliadas neste trabalho. O resultado das correlações pode ser visto na Tabela 36. O fator de correlação utilizado foi o da expressão (29), vide tópico 4.4, abaixo evidenciado. Tal fator é importante, pois determina o comportamento de uma variável em relação à outra, ou seja, dependência linear.

…‘””ሺǡ ሻ ൌ…‘˜ሺǡ ሻ ɐଡ଼_ɐଢ଼ Ǥ

A gama de valores possíveis varia no intervalo entre [1,-1] onde 1 indica total relacionamento entre as duas e 0 nenhuma, já valores negativos indicam um comportamento inversamente proporcional ao valor positivo. Por exemplo, se X e Y possuem -1 de correlação então Y decresce a medida que X aumenta e vice-versa. Considera-se um valor absoluto maior que 0.9 como havendo alta correlação e abaixo de 0.3 como sendo baixa correlação.

Dentre os testes aplicados no presente trabalho o ȁ[-Teste foi considerado o teste mais preciso na determinação da conformidade de um conjunto de dados com as propriedades de uma distribuição NB-Lei, visto que considera a ocorrência dos desvios incondicionais e condicionais em todos os dígitos de todas as posições e não tem a proporcionalidade do seu resultado afetada em razão do tamanho da amostra (vide comentários nas seções 4.5.1, 6.2.3 e APÊNDICE B - Exemplos dos conjuntos de dados fictícios D1, D2 e D3.). Isto posto, foram avaliados os demais testes em razão do grau de correlacionamento positivo com o ȁ[, conforme resultados obtidos por UG que integram o Apêndice E-32.

Tabela 36 ± Correlacionamento obtido entre os testes globais aplicados jV8*¶V.

Testes Correlacionados Correlacion Ran ȁ[-Teste / DA/2 Médio ± 1 a 0,942 1º

ȁ[-Teste / DA/2 ± 1P 0,725 2º ȁ[-Teste / FDR 0,650 3º ȁ[-7HVWHȤ2_{-Teste ± 1P} 0.596 4º ȁ[-7HVWHȤ2-Teste Médio ± 1 0,136 5º ȁ[-Teste / DF -0,197 6º

Fonte: Elaboração própria, 2012.

Vê-se na Tabela 36 que o teste DA/2, aplicado apenas a análise dos desvios na primeira posição, ocupou o segundo lugar no ranking de correlacionamento com o ȁ[-Teste, obtendo um coeficiente de 0,725 (vide resultados do DA/2 nos Apêndice E-33 a Apêndice E- 41). Dentre os fatores que contribuíram de forma negativa para o desempenho do coeficiente de correlação obtido pelo teste no caso aqui aplicado, destaca-se a sua limitação ao considerar apenas os desvios dos dígitos da primeira posição. Neste sentido, observa-se ainda na Tabela 36 que o mesmo teste passou a indicar um alto coeficiente de correlação (0,942) quando considerados os valores médios por ele obtidos na análise da 1ª a 8ª posição, corroborando o entendimento de que a análise de conformidade de um conjunto de dados com a NB-Lei não pode ser obtida observando-se desvios nos dígitos apenas da primeira posição (vide comentários e exemplos no APÊNDICE B - Exemplos dos conjuntos de dados fictícios D1, D2 e D3.).

Em terceiro lugar no ranking de correlacionamento com o ȁ[-Teste ficou o teste FDR, tendo obtido um coeficiente de 0,650. Era esperado um desempenho do FDR abaixo do obtido pelo DA/2, visto que o FDR não tem o propósito de identificar o conjunto de dados com o maior desvio de conformidade com a NB-Lei, mas àquele que apresenta a melhor chance de detecção dos eventuais elementos não conformes introduzidos, vide resultados obtidos com o FDR por UG no Apêndice E-53 e exemplos comparativos da aplicação do FDR e do DA/2 no APÊNDICE D ± Exemplos comparativos da aplicação do FDR e DA/2.

Em quarto lugar no ranking de correlação, com um coeficiente de 0,596, ficou o resultado REWLGRFRPDDSOLFDomRGRȤ2-Teste à primeira posição (vide resultados obtidos com o teste por UG no apêndice E-11). Indicam-se três fatores que contribuíram negativamente ao GHVHPSHQKRGRȤ2-Teste, a saber:

A proporcionalidade no resultado do teste é afetada em razão do tamanho da amostra, vide esclarecimentos adicionais no tópico 4.3.2;

O teste considerou apenas os desvios observados nos dígitos da primeira posição;

O teste considerou apenas os desvios causados pela probabilidade incondicional observada na proporção dos dígitos analisados, desconsiderando o efeito das probabilidades condicionadas dos dígitos entre as posições, vide comentários presentes na seção 2.4.2.4.

Investigou-se QHVWHWUDEDOKRFRQVLGHUDQGRDOLPLWDomRGDDSOLFDomRGRȤ2-Teste apenas a primeira posição, se a média por UG dos resultados obtidos com a aplicação deste teste as oito primeiras posições também indicaria um melhor coeficiente de correlação com o ȁ[. Ao contrário do observado com o teste DA/2 R Ȥ2-Teste obteve um coeficiente de correlação inferior (0,136) quando comparado ao seu resultado com a análise apenas da primeira posição (0,596) (vide Tabela 36 e UHVXOWDGRVSRU8*REWLGRVFRPRȤ2-Teste constantes dos Apêndice E-11 e Apêndice E-19). Na busca por uma justificativa para a ocorrência desse comportamento antagônico, constatou-se que o grau de correlacionamento observado entre as TXDQWLGDGHV GH HPSHQKRV GDV 8*¶V WDPDQKR GR FRQMXQWR GH GDGRV DQDOLVDGRV ± vide Apêndice E-1) e os resultados do Ȥ2-Teste, individualmente aplicado as oito primeiras posições, aumentava progressivamente, conforme demonstrado na Tabela 37.

Tabela 37 ± &RUUHODFLRQDPHQWRGRȤ2

-Teste (1ª a 8ª posição) com o número de empenhos analisados por UG. Testes Correlacionados Correlacionamento

N-Empenhos Ȥ2_{-Teste ± 1P} 0,255 N-Empenhos Ȥ2_{-Teste ± 2P} 0,464 N-Empenhos Ȥ2-Teste ± 3P 0.662 N-Empenhos Ȥ2-Teste ± 4P 0,801 N-Empenhos Ȥ2-Teste ± 5P 0,918 N-Empenhos Ȥ2-Teste ± 6P 0,952 N-Empenhos Ȥ2-Teste ± 7P 0,984 N-Empenhos Ȥ2_{-Teste ± 8P} 0,998 Fonte: Elaboração própria, 2012.

Resta evidente das informações constantes na Tabela 37 que o grau de correlacionamento aumenta tendendo a 1 à medida em que se avança da primeira a oitava SRVLomR RX VHMD R Ȥ2-Teste tende a perder a sua capacidade representativa dos desvios associados às posições e passa a representar o tamanho da amostra analisada. A causa desse comportamento decorre da combinação de dois fatores:

O primeiro deles, já conhecido, diz respeito à característica intrínseca do teste na qual a proporcionalidade do seu resultado é afetada em razão do tamanho da amostra. Em outras palavras, o teste produz resultados maiores para uma mesma proporcionalidade de desvios quando cresce o número de elementos analisados;

O segundo diz respeito à tendência observada no comportamento dos desvios para a análise das posições individualmente observadas. Constatou-se na análise comparativa dos resultados do DA/2 aplicado da 1ª a 8ª posição que os desvios absolutos aumentaram progressivamente tornando-VHPDLVXQLIRUPHVHQWUHDV8*¶V, vide resultados com o DA/2 nos Apêndice E-33 a Apêndice E-41 e esclarecimentos adicionais na seção 6.2.2 para a ocorrência deste padrão observado nos desvios.

Uma vez que os resultados tendem a uma uniformidade à medida que se avança na análise das posições e que o teste é afetado em razão do tamanho da amostra, tem-se consequentemente, por resultado prático que o teste passa a refletir a proporcionalidade do tamanho da amostra à medida que avança na análise das posições.

Retornando à análise comparativa entre as métricas, observou-se em último lugar, tendo obtido o pior resultado no correlacionamento com o ȁ[-Teste, o DF com um coeficiente de -0,197, indicando um fraco correlacionamento negativo. Dado que o DF e o ȁ[ foram os únicos testes a considerarem a ocorrência de desvios em todos os dígitos de todas as posições, era esperado justamente o oposto, ou seja, o melhor correlacionamento observado. O fraco desempenho obtido com o DF explica-se pelo fato de que a propriedade da média é condição necessária, porém não suficiente na determinação da conformidade de um conjunto de dados com a NB-Lei. Em outras palavras, um conjunto de dados NB-Lei terá necessariamente a média aproximada de 9/ln(10) ؄ 3,9087, mas nem todo conjunto de dados com esta média será NB-Lei, vide comentários adicionais nas seções 4.2.2 e 4.3.5, bem como resultados obtidos com a aplicação do DF por UG no Apêndice E-31.

Conclui-se a análise deste tópico enfatizando que os resultados obtidos com a aplicação dos testes Ȥ2-Teste, DA/2, ȁ[-Teste e FDR na prática demonstraram-se excessivamente rigorosos, visto que houve a aceitação das hipóteses nulas apenas em cinco casos testados, para um total de 240 testes realizados.

Sugere-se como causas possíveis para esta ocorrência, excesso de rejeição dos testes, a serem aprofundadas em trabalhos futuros, as seguintes:

A ocorrência de uma dependência na formação dos dados, com impacto na aleatoriedade de seus valores, causada por um viés de ordem legal, tal como fatores comportamentais, sazonais e normativos. Cita-se como exemplo desses fatores a realização de

despesas com valores delimitados em instrumento normativo, tal como o pagamento de diárias, ajuda de custo e concessão de bolsas de pesquisa;

Existência de desvios no comportamento dos números em razão de ocorrência de erros e fraudes resultantes da inclusão de valores fictícios à despesa pública, arredondamentos para cima no montante dos gastos, entenda-se superfaturamento negociado mediante pagamento de propinas, ou a realização fracionada de empenhos com o propósito de fuga ao processo licitatório. Todas estas irregularidades possuem o potencial de causar impacto na distribuição dos números aqui investigados;

A amostra utilizada para a formação dos valores críticos dos testes, elaborada de forma fictícia a retratar as propriedades de uma distribuição NB-Lei (comportamento invariante e as probabilidades esperadas para o comportamento dos dígitos nas posições), retratou apenas parcialmente o comportamento observado na despesa empenhada pelaV8*¶s analisadas.

Ressalta-se ainda que tais fatores possam estar impactando de forma simultânea os resultados destes testes. Não obstante a existência destas incertezas, resgata-se o entendimento de que o propósito da análise aqui proposta é contribuir com a formação de trilhas de auditoria mediante a identificação de desvios nos padrões da despesa pública. Faz-se oportuno mais uma vez enfatizar que, embora seja consensual entre os autores pesquisados a utilidade deste método de análise à auditoria, a constatação de desvios de conformidade em relação à Lei não são necessariamente indicativos de erros e fraudes, bem como a sua conformidade não exime a possibilidade de ocorrência destas irregularidades.

Para dirimir tais dúvidas é que se faz necessária a atuação do auditor, mediante a aplicação dos testes e procedimentos de revisão analítica. Isto posto, a despeito de contribuições advindas da implantação de rotinas automatizadas de detecção de desvios padrões, o ciclo de identificação de uma irregularidade, bem como o seu descarte, não estará concluído sem o convencimento do analista.