José Vianney Mendonça de Alencastro Junior
CONFORMIDADE À LEI DE NEWCOMB-BENFORD DE
GRANDEZAS ASTRONÔMICAS SEGUNDO A MEDIDA DE
KOLMOGOROV-SMIRNOV
Dissertação de Mestrado
Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br www.cin.ufpe.br/~posgraduacao
RECIFE 2016
José Vianney Mendonça de Alencastro Junior
CONFORMIDADE À LEI DE NEWCOMB-BENFORD DE
GRANDEZAS ASTRONÔMICAS SEGUNDO A MEDIDA DE
KOLMOGOROV-SMIRNOV
Trabalho apresentado ao Programa de Pós-graduação em Ciência da Computação do Centro de Informática da Univer-sidade Federal de Pernambuco como requisito parcial para obtenção do grau de Mestre em Ciência da Computação.
Orientador: Silvio de Barros Melo
RECIFE 2016
Catalogação na fonte
Bibliotecária Monick Raquel Silvestre da S. Portes, CRB4-1217
A368c Alencastro Júnior, José Vianney Mendonça de
Conformidade à lei de Newcomb-Benford de grandezas astronômicas segundo a medida de Kolnogorov-Smirnov / José Vianney Mendonça de Alencastro Júnior. – 2016.
85 f.: il., fig., tab.
Orientador: Silvio de Barros Melo.
Dissertação (Mestrado) – Universidade Federal de Pernambuco. CIn, Ciência da Computação, Recife, 2016.
Inclui referências.
1. Ciência da computação. 2. Medidas de conformidade. I. Melo, Silvio de Barros (orientador). II. Título.
004 CDD (23. ed.) UFPE- MEI 2016-138
José Vianney Mendonça de Alencastro Junior
Conformidade à Lei de Newcomb-Benford de Grandezas Astronômicas Segundo a Medida de Kolmogorov-Smirnov
Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Ciência da Computação da Universidade Federal de Pernambuco, como requisito parcial para a obtenção do título de Mestre em Ciência da Computação
Aprovado em: 09/09/2016.
BANCA EXAMINADORA
__________________________________________ Prof. Dr. Silvio de Barros Melo
Centro de Informática / UFPE (Orientador)
__________________________________________ Prof. Dr. Wilton Bernardino da Silva
Departamento de Ciências Contábeis e Atuariais / UFPE
__________________________________________ Prof. Dr. Emerson Alexandre de Oliveira Lima
Eu dedico esse meu humilde trabalho aos meus pais, à minha família e a todos os que contribuíram direta ou indiretamente para me fazer o ser humano que hoje eu sou.
Agradecimentos
Agradeço antes de tudo a minha vida, por ter colocado todos os obstáculos necessários ao meu crescimento como ser humano. Agradeço a meus pais por sempre estarem ao meu lado nos momentos mais difíceis e por me passar valores, os quais irei carregar durante toda minha existência. Agradeço à minha família por sempre acreditar em mim, aos meus amigos pelo apoio e carinho. Agradeço a todos meus mestres e professores, pela sabedoria compartilhada. Agradeço ao meu orientador professor Sílvio de Barros Melo por ter me acolhido. Agradeço a Douglas Augusto de Barros pela grande ajuda na área de ciências astronômicas e na busca por dados. Agradeço aos amigos da Sociedade Astronômica do Recife pelo apoio e ao Fábio Magalhães de Novaes Santos por sua ajuda com artigos na área de astronomia. E por fim agradeço a todos que contribuíram de forma direta ou indireta por mais essa conquista e por me ajudarem a ser a pessoa que sou hoje e a que serei amanhã. A todos vocês eu deixo o meu muito obrigado!
O que sabemos é uma gota, o que ignoramos é um oceano. —ISAAC NEWTON
Resumo
A lei de Newcomb-Benford, também conhecida como a lei do dígito mais significativo, foi descrita pela primeira vez por Simon Newcomb, sendo apenas embasada estatisticamente após 57 anos pelo físico Frank Benford. Essa lei rege grandezas naturalmente aleatórias e tem sido utilizada por várias áreas como forma de selecionar e validar diversos tipos de dados. Em nosso trabalho tivemos como primeiro objetivo propor o uso de um método substituto ao qui-quadrado, sendo este atualmente o método comumente utilizado pela literatura para verificação da conformidade da Lei de Newcomb-Benford. Fizemos isso pois em uma massa de dados com uma grande quantidade de amostras o método qui-quadrado tende a sofrer de um problema estatístico conhecido por excesso de poder, gerando assim resultados do tipo falso negativo na estatística. Dessa forma propomos a substituição do método qui-quadrado pelo método de Kolmogorov-Smirnov baseado na Função de Distribuição Empírica para análise da conformidade global, pois esse método é mais robusto não sofrendo do excesso de poder e também é mais fiel à definição formal da Lei de Benford, já que o mesmo trabalha considerando as mantissas ao invés de apenas considerar dígitos isolados. Também propomos investigar um intervalo de confiança para o Kolmogorov-Smirnov baseando-nos em um qui-quadrado que não sofre de excesso de poder por se utilizar o Bootstraping. Em dois artigos publicados recentemente, dados de exoplanetas foram analisados e algumas grandezas foram declaradas como conformes à Lei de Benford. Com base nisso eles sugerem que o conhecimento dessa conformidade possa ser usado para uma análise na lista de objetos candidatos, o que poderá ajudar no futuro na identificação de novos exoplanetas nesta lista. Sendo assim, um outro objetivo de nosso trabalho foi explorar diversos bancos e catálogos de dados astronômicos em busca de grandezas, cuja a conformidade à lei do dígito significativo ainda não seja conhecida a fim de propor aplicações práticas para a área das ciências astronômicas.
Palavras-chave: Lei de Newcomb Benford. Kolmogorov-Smirnov. Função de Distribuição Empírica. Medidas de conformidade. dados astronômicos. exoplanetas. crateras de impacto. crateras. aglomerados abertos. galáxias. aglomerados globulares.
Abstract
The Newcomb-Benford law, also known as the most significant digit law, was described for the first time by astronomer and mathematician Simon Newcomb. This law was just statis-tically grounded after 57 years after the Newcomb’s discovery. This law governing naturally random greatness and, has been used by many knowledge areas to validate several kind of data. In this work, the first goal is propose a substitute of qui-square method. The qui-square method is the currently method used in the literature to verify the Newcomb-Benford Law’s conformity. It’s necessary because in a greatness with a big quantity of samples, the qui-square method can has false negatives results. This problem is named Excess of Power. Because that, we proposed to use the Kolmogorov-Smirnov method based in Empirical Distribution Function (EDF) to global conformity analysis. Because this method is more robust and not suffering of the Excess of Power problem. The Kolmogorov-Smirnov method also more faithful to the formal definition of Benford’s Law since the method working considering the mantissas instead of single digits. We also propose to invetigate a confidence interval for the Kolmogorov-Smirnov method based on a qui-square with Bootstrapping strategy which doesn’t suffer of Excess of Power problem. Recently, two papers were published. I this papaers exoplanets data were analysed and some greatness were declared conform to a Newcomb-Benford distribution. Because that, the authors suggest that knowledge of this conformity can be used for help in future to indentify new exoplanets in the candidates list. Therefore, another goal of this work is explorer a several astronomicals catalogs and database looking for greatness which conformity of Benford’s law is not known yet. And after that , the authors suggested practical aplications for astronomical sciences area.
Keywords: Newcomb-Benford Law. Kolmogorov-Smirnov. Empirical Distribution Function. conformity measures. astronomical data. exoplanet. impact crater. open cluster. galaxy. globular cluster.
Lista de Figuras
Lista de Tabelas
2.1 Exemplos de frequências de cada dígito de grandezas obtidas dos mais diversos tipos de dados no trabalho de Benford (BENFORD, 1938) . . . 23 3.1 Valores críticos do qui-quadrado . . . 37 3.2 P-Valores dos testes Kolmogorov-Smirnov (K-S) e qui-quadrado (χ2) (q-q) de
Pearson de grandezas conformes . . . 41 3.3 P-Valores dos testes K-S e Bootstrap de grandezas conformes . . . 42 3.4 P-Valores dos testes K-S e q-q de Pearson de grandezas não conformes . . . . 44 3.5 P-Valores dos testes K-S e Bootstrap de grandezas não conformes . . . 45 4.1 Grandezas conformes - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continua). . . 49 4.1 Grandezas conformes - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 50 4.1 Grandezas conformes - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 51 4.1 Grandezas conformes - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 52 4.2 Grandezas conformes - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continua) . . . 52 4.2 Grandezas conformes - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continuação) . . . 53 4.2 Grandezas conformes - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continuação) . . . 54 4.2 Grandezas conformes - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continuação) . . . 55 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continua). . . 56 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continuação). . . 57 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continuação). . . 58 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continuação). . . 59 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas Astronô-micas (Continuação). . . 61 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continuação). . . 62 4.3 Grandezas não conformes - Testes K-S e q-q de Pearson de grandezas
Astronô-micas (Continuação). . . 63 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continua) . . . 63 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 64 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 65 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 66 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 67 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 68 4.4 Grandezas não conformes - Testes K-S e Qui-quadrado com Bootstrap de
gran-dezas Astronômicas (Continuação) . . . 69 4.5 Conjunto de Fronteira - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continua). . . 69 4.5 Conjunto de Fronteira - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 70 4.5 Conjunto de Fronteira - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 71 4.5 Conjunto de Fronteira - Testes K-S e q-q de Pearson de grandezas Astronômicas
(Continuação). . . 72 4.6 Conjunto de Fronteira - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continua) . . . 72 4.6 Conjunto de Fronteira - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Astronômicas (Continuação) . . . 73 4.6 Conjunto de Fronteira - Testes K-S e Qui-quadrado com Bootstrap de grandezas
Lista de Acrônimos
M.A.D Mean Absolute Deviaton . . . 34
DCT Transformada Discreta de Cosseno . . . 27
DWT Transformada Discreta de Wavelet . . . 28
ORF fases abertas a leitura . . . 29
q-q qui-quadrado (χ2) . . . 36
K-S Kolmogorov-Smirnov . . . 36
FDA Função de Distribuição Acumulada . . . 36
Sumário
1 Introdução 15 1.1 Estrutura do Documento . . . 16 2 Referencial Teórico 18 2.1 Lei de Newcomb-Benford . . . 18 2.1.1 Conceitos Gerais . . . 182.1.2 Invariância de Escala e Invariância de Base . . . 21
2.2 Estado da Arte . . . 22
2.2.1 Aplicações da Lei de Newcomb-Benford . . . 25
2.2.1.1 Aplicações da Lei de Newcomb-Benford nas ciências Astronô-micas . . . 31
2.3 Critérios de Conformidade da NB-Lei . . . 32
3 Conformidade à Lei de Newcomb-Benford pelo método de Kolmogorov-Smirnov 36 3.1 Introdução . . . 36
3.2 Método Adotado . . . 36
3.2.1 Qui-quadrado de Pearson (χ2) . . . 37
3.2.2 Kolmogorov-Smirnov (K-S) . . . 37
3.2.3 Qui-quadrado com Bootstrapping . . . 38
3.3 Análise da Conformidade . . . 39
3.3.1 Grandezas cuja a conformidade é conhecida . . . 39
3.3.2 Grandezas cuja a não conformidade é conhecida . . . 43
3.3.3 Conclusão . . . 46
4 Análise da Lei de Newcomb-Benford em dados Astronômicos 47 4.1 Introdução . . . 47
4.2 Metodologia adotada . . . 48
4.3 Resultados Obtidos . . . 48
4.3.1 Grandezas Conformes . . . 49
4.3.2 Grandezas não Conformes . . . 56
4.3.3 Conjunto de Fronteira . . . 69
4.3.4 Análise dos Resultados . . . 74
4.3.5 Conclusão . . . 76
5 Conclusão 78 5.1 Trabalhos Futuros . . . 79
15 15 15
1
Introdução
No final do século 19 um fenômeno curioso foi relatado pela primeira vez pelo astrônomo e matemático Charles Newcomb (NEWCOMB, 1881) e décadas depois foi melhor embasado com evidências empíricas pelo físico Frank Benford (BENFORD, 1938), deste então diversas aplicações têm sido descobertas e muitas vezes causando um certo espanto, este fenômeno é conhecido hoje como a Lei de Newcomb-Benford, ou a lei do dígito significativo. Pouco tempo depois se deu o início de um dos séculos mais prósperos para a humanidade, o século 20. Esse período produtivo, teve início no final do século 19, e avançando pelo século seguinte até os dias de hoje promovendo um crescimento científico jamais conhecido até então.
Nessa fase, dentre várias coisas, descobrimos o elétron, criamos a lâmpada, descobrimos o elemento radio, inventamos o automóvel, descobrimos a existência das galáxias e que o uni-verso está em expansão, aprendemos a voar, criamos os primeiros computadores e sistemas de comunicação globais, desenvolvemos foguetes, fomos ao espaço, pisamos na lua, evoluímos nos mais diversos campos da ciência, estendemos o nosso universo de pesquisas e conhecimentos a outros mundos, a outros planetas e a cada descoberta feita, descobrimos que sabemos muito pouco sobre tudo em nossa volta. A cada dia a quantidade de dados e informações geradas em nossos centros de pesquisa é maior e mais complexa. Por causa disso, nos deparamos com a necessidade de desenvolvermos novas ferramentas para lidar com esses dados que vêm crescendo em volume, velocidade e complexidade.
Seguindo essa tendência, nas duas primeiras décadas do século 21, além da agência espacial dos Estados Unidos, a NASA, diversos centros de pesquisas astronômicos no mundo tem investido fortemente na pesquisa espacial. A Lei de Newcomb-Benford nesses poucos mais de 100 anos de sua descoberta tem sido utilizada com ferramenta que ajuda a lidar com diversos tipos de dados e em diversas áreas porém, embora tenha sido descoberta por um astrônomo, sua utilização no campo das pesquisas astronômicas ainda é pouco expressiva.
1.1. ESTRUTURA DO DOCUMENTO 16 em resultados do tipo falso negativo na estatística dos testes de conformidade quando se utiliza uma massa de dados com um grande número de amostras. Dentre os testes susceptíveis a esse problema está o qui-quadrado de Pearson que é o mais utilizado na literatura da lei dos dígitos significativos.
Tendo consciência disso, temos como primeiro objetivo propor uma análise substituta ao teste qui-quadrado de Pearson, tendo em vista que grandezas astronômicas com certa frequência possuem uma massa de dados com uma quantidade de amostras suficientemente grande ao ponto de poder provocar o excesso de poder. Propomos como alternativa à utilização do teste de Kolmogorov-Smirnov, o qual baseado na Função de Distribuição Empírica dos dados, para análise da conformidade global, pois esse método é mais robusto não sofrendo do excesso de poder e também é mais fiel à definição formal da Lei de Benford, pois o mesmo trabalha considerando as mantissas dos números ao invés de apenas considerar dígitos isolados. Também propomos juntamente com este teste definir um limiar para um intervalo de confiança para o Kolmogorov-Smirnov.
Recentemente alguns trabalhos foram publicados envolvendo grandezas astronômicas e a lei de Newcomb-Benford. Dentre eles, destacamos dois artigos que afirmam ter encontrado grandezas conformes em dados de exoplanetas obtidos através do telescópio espacial Kepler. Com base nessas descobertas os respectivos autores sugerem que o conhecimento dessa confor-midade possa ser usado para uma análise na lista de objetos candidatos, o que poderá ajudar no futuro na identificação de novos exoplanetas nesta lista.
Sendo assim, o segundo objetivo de nosso trabalho, foi explorar diversos bancos e ca-tálogos de dados astronômicos em busca de grandezas, cuja a conformidade à lei do dígito significativo ainda não seja conhecida. A partir desses resultados propor aplicações práticas para o uso do conhecimento da conformidade dessas grandezas na área de ciências astronômicas.
1.1
Estrutura do Documento
O primeiro capítulo desse trabalho possui informações gerais sobre a área, escopo do trabalho e expõe os objetivos que desejamos alcançar.
No segundo capítulo fazemos um estudo da fundamentação teórica da lei de Newcomb-Benford. Também fizemos uma vasta revisão de sua literatura, verificando o seu estado da arte até o tempo atual e englobando também os trabalhos envolvendo grandezas astronômicas. E por ultimo, falamos um pouco sobre os critérios de conformidade da lei de Benford.
1.1. ESTRUTURA DO DOCUMENTO 17 O terceiro capítulo é feito um estudo da aplicação do método de Kolmogorov-Smirnov baseado na Função de Distribuição Empírica (FDE) para determinação da conformidade global da Lei de Newcomb-Benford, assim como também foi feita uma análise de limiar para um intervalo de confiança para lei dos dígitos significativos.
No quarto capítulo expomos o resultado da busca de grandezas astronômicas conformes à lei de Newcomb-Benford, coletadas em bases e catálogos astronômicos assim como também sugerimos soluções de aplicações para as novas grandezas conformes descobertas. Também comparamos alguns de nossos resultados com algumas grandezas astronômicas que tem a con-formidade já conhecida na literatura para a lei dos dígitos significativos.
O quinto capítulo contempla de forma breve as nossas conclusões sobre os estudos feitos nesse trabalho. Expondo uma visão geral dos resultados obtidos com base nos objetivos definidos.
18 18 18
2
Referencial Teórico
Nesta seção iremos falar sobre os conceitos e propriedades da Lei de Newcomb-Benford. Também abordaremos as propriedades de invariância de base e escala e critérios de conformidade. Em seguida iremos expor o seu estado da arte de início mostrando toda pesquisa feita de forma mais geral e em seguida mostrando no estado da arte as aplicações da lei de Newcomb-Benford para as mais diversas áreas, incluindo nas imagens digitais e nas ciências astronômicas.
2.1
Lei de Newcomb-Benford
2.1.1
Conceitos Gerais
A lei do dígito mais significativo descreve o fenômeno da distribuição dos dígitos mais significativos de uma grandeza naturalmente aleatória. Essa lei não segue uma distribuição uniforme como era de se esperar intuitivamente e sim uma distribuição logarítmica específica.
No final do século dezenove o astrônomo e matemático Simon Newcomb percebeu que o desgaste em folhas de tabelas de logaritmo não ocorria de forma uniforme, tendo as primeiras fo-lhas um desgaste maior e que esse desgaste ia diminuindo da primeira até a última folha seguindo uma distribuição logarítmica. Esse foi o primeiro relato da Lei do primeiro dígito.(NEWCOMB, 1881)
Newcomb define a lei do primeiro dígito como:
"A lei de probabilidade de ocorrência dos números é tal que todas as mantissas dos seus logaritmos são equiprováveis. (NEWCOMB, 1881)
Embora Newcomb não tenha embasado estatisticamente seu trabalho, cinquenta e sete anos após, o físico Frank Benford redescobriu o fenômeno e publicou em um trabalho indepen-dente. Trabalho este que foi embasado com evidências empíricas baseadas em frequências de dígitos significativos encontrados em vinte e uma tabelas contendo um total de mais vinte mil
2.1. LEI DE NEWCOMB-BENFORD 19 observações (BENFORD, 1938). Dentre as grandezas analisadas estavam dados de área de bacia de rios, valores de tabelas de raízes quadradas, números retirados de edições de jornais, massas atômicas e constantes físicas.
De início a descoberta da lei do primeiro dígito foi atribuída a apenas Benford, isso ocorreu devido à grande repercussão que teve o seu trabalho e a não valorização do trabalho de Newcomb na época. Para este trabalho iremos considerar como mesmo fenômeno os termos Lei de Newcomb-Benford, Lei dos dígitos significativos, NB-Lei e Lei de Benford.
Tomando um numero x na base b, onde x ∈ R e b ∈ {2, 3, ...} . Podemos escrever x na forma x = mb· bn, para n pertencente a N, onde m
b∈ 1b, 1 é a mantissa de x. E que D (b) k · (x)
representam o k-ésimo dígito significativo de x ∈ R∗. Ou seja, tomando como exemplo, para x= π(3.14) num sistema de base decimal (b=10), considerando o terceiro digito significativo (k=3) temos, D3(10)· (π) = 4.
A versão mais geral da lei do primeiro dígito foi definida por (HILL, 1995a):
prob mb6 t b = logb(t), t ∈ [1, b) 2.1 Note que t representa a probabilidade acumulada do dígito d quando t=d.
Com base nessa definição, deduz-se que a probabilidade de d ser o dígito mais significa-tivo de um número real de base decimal é dada por:
prob(d) = log10 1 +1 d d= 1, 2, ..., 9 2.2 A equação a seguir mostra a probabilidade de um dígito d aparecer na posição n (Dn):
prob(Dn= d) =
(10(n−1))−1
∑
i=10n−2log10(1 + (10i + d)−1) 2.3
E a probabilidade da sequência de dígitos (d1, d2, ..., dk)serem os dígitos mais
significati-vos é representada por:
prob(D1= d1, ..., Dk= dk) = log10 1 + k
∑
i=1 di· 10k−i !−1 2.4Tomando como exemplo a probabilidade do algarismo "1"seguido do "6"("16") serem dígitos mais significativos de um número real é log10 1 +161∼= 0.026. A figura 2.1 exibe as probabilidades dos dígitos 1,2, ...,9 serem os dígitos mais significativos de um número de uma sequência aleatória.
2.1. LEI DE NEWCOMB-BENFORD 20
Figura 2.1: Probabilidades dos dígitos (1, ...,9) aparecerem como dígito mais significativo de um número segundo a NB-Lei
Segundo Hill as conformidades para lei de Benford para o primeiro ( Equação 2.2 ) e segundo dígito (Equação 2.3) se mantém mesmo que aconteça mudança de base ou de escalas das distribuições. Essas duas equações são casos especiais da equação general da Lei do dígito mais significativo (HILL, 1995b).
Equação Geral do dígito mais significativo, para b ∈ Z e b > 1,
P k \ i=1 n D(b)i = di o ! = logb 1 + k
∑
i=1 bk−idi !−1 2.5Para todo k ∈ N; todo d1∈ {0, 1, ..., b − 1} , e todo dj∈ {0, 1, ..., b − 1}, j = 2, ..., k.
Percebemos então que os dígitos significativos ao contrário do que se pensava são de-pendentes entre si e que essa dependência reduz à medida que a distância entre esses dígitos aumenta. Seguindo a equação genérica (Equação 2.4), nota-se que à medida que essa distância se aproxima do infinito, k → ∞, a distribuição do k-ésimo dígito se aproxima de uma distribuição
2.1. LEI DE NEWCOMB-BENFORD 21 uniforme onde cada dígito 0,1, ...,9 ocorre com uma frequência uniforme de 101. (HILL, 1995a)
Porém, nem todas as sequências atendem à Lei de Newcomb-Benford. Nigrini observou uma melhor aderência à lei em listas com as seguintes características (NIGRINI, 1997):
Os dados devem ser obtidos de medidas de um mesmo fenômeno. Não devendo se
misturar dados diferentes. Por exemplo, valores de diâmetros de crateras de impactos e massas atômicas de elementos químicos.
Não deve haver uma limitação de valores do tipo máximo e mínimo na distribuição.
Tendo como exceção a esta regra os números negativos. Por exemplo, altura de pessoas, idade.
Os dados não podem ser atribuídos por serem humanos. Por exemplo, número de
telefone, códigos pessoais.
Devem haver mais dados dentre as ordens de grandeza de menor tamanho do que
dentre as de maior tamanho. Isto torna a distribuição positivamente assimétrica, ou seja, com cauda direita mais alongada.
É importante salientar que o fato de satisfazer essas características não significa que uma grandeza é conforme a NB-Lei. Essas características podem ser usadas não como restrições para NB-Lei, mas sim como ferramenta para avaliar se uma dada grandeza tem maior possibilidade de seguir a lei de Newcomb-Benford. Uma vez que as grandezas são proporcionais e para um mesmo fenômeno, espera-se se obter o mesmo resultado de conformidade tanto para listas de uma mesma grandeza testadas separadamente, quanto para uma única lista formada pela união de todos os dados daquele fenômeno, ou seja, será observado na lista final a mesma ocorrência observada nas listas individuais. Também vários dados obtidos de medidas de fenômenos naturais possuem limitações numéricas, como por exemplo, não encontraremos áreas com valor negativo.
2.1.2
Invariância de Escala e Invariância de Base
Dizemos que a NB-Lei é invariante de escala, pois ao multiplicarmos todos elementos por uma constante escalar diferente de zero as proporções de cada elemento não são alteradas permanecendo conformes à lei. Também afirmamos que a ela é invariante de base, pois caso mudemos a base de uma dada massa de dados ele deverá permanecer conforme a lei de Benford. As definições dessas duas características podem ser encontradas em (HILL, 1995b).
Terry Tao demonstra isso de forma mais simples que quando uma determinada grandeza que segue a NB-Lei dobrar de tamanho continuará conforme a lei. Já que ela inicialmente terá como dígito mais significativo o número 1 e quando ela for multiplicada pelo escalar 2, dobrará de tamanho, podendo adquirir o valor do dígito mais significativo 2 ou 3 (TAO, 2009). Então
2.2. ESTADO DA ARTE 22 teremos a proporção de números começando com os dígitos 2 e 3 iguais à proporção de número que começam com dígito 1. Sendo assim, ele demonstra que:
log10 1 +11 = log10 1 +12 + log10 1 +13 log10 21 = log10 32 + log10 43 = log10 42
30,1% = 17,6% + 12,5%
Hill também afirma que se uma dada grandeza for invariante de escala isso implica que ela será também invariante de base, porém o contrário não é verdadeiro, nem toda grandeza invariante de base é invariante de escala.(HILL, 1995b)
2.2
Estado da Arte
A NB-Lei determina a frequência com que os dígitos mais significativos ocorrem quando extraídos de uma lista numérica de origem natural e aleatória. Como dito anteriormente, este fenômeno foi primeiro relatado pelo astrônomo e matemático Simon Newcomb no final do século XIX (NEWCOMB, 1881) ao observar o desgaste das folhas de livros de tabelas de logaritmos.
Em seu estudo, Newcomb afirma que os números que iniciavam com dígitos de valores mais baixos eram mais frequentemente consultados que os com valores mais altos. E a frequência de cada folha diminuía gradativamente à medida que se aumentava o valor do dígito inicial. Ele conclui seu trabalho afirmando que: a probabilidade na qual os números ocorrem é tal que as mantissas de seus logaritmos são equiprováveis.
Poincaré contribuiu para formalizar este estudo com um pequeno ensaio contido em sua obra Calcul des Probabilités (POINCARÉ, 1912). Ele argumenta que, ao se observarem números consecutivos em uma lista suficiente grande de logaritmos, nota-se que em dada posição significativa, considerando os dígitos 0,1,2,...,9 , a ocorrência de números pares ou ímpares são eventos equiprováveis.
Poincaré, avaliando uma função que retorna 1 caso o dígito observado seja par e -1 caso seja ímpar, demonstra que a média de tal função tende a zero. Ao final de seu trabalho, o autor tem a necessidade de formular uma tabela numérica sobre as probabilidades das ocorrências dos dígitos. Em seguida Franel apresenta algumas correções ao trabalho de Poincaré e confirma que a probabilidade de qualquer dígito de fato tende a 101 quando a posição do dígito observada tende ao infinito (FRANEL, 1917).
2.2. ESTADO DA ARTE 23 Weyl discute sobre a distribuição dos números em módulo retomando a linha de pensa-mento que levou à formulação da lei do primeiro dígito (WEYL, 1916).
Após 57 anos da publicação de Newcomb, o físico Frank Benford, relatou o mesmo fenô-meno eu seu trabalho independente (BENFORD, 1938). Desenvolveu suas pesquisas avaliando apenas o primeiro dígito significativo. Teve seu trabalho embasado com evidências empíricas baseadas em frequências dos primeiros dígitos encontrados em vinte e uma tabelas contendo um total de mais vinte mil observações provenientes de fontes naturais.
Dentre as grandezas analisadas estavam dados de área de bacias hidrográficas, valores de tabelas de raízes quadradas, números retirados de edições de jornais, massas atômicas e constantes físicas.
Tabela 2.1: Exemplos de frequências de cada dígito de grandezas obtidas dos mais diversos tipos de dados no trabalho de Benford (BENFORD, 1938)
. GRANDEZA 1 2 3 4 5 6 7 8 9 Amostras NB-Lei 30,1 17,6 12,4 9,6 7,9 6,6 5,7 5,1 4,5 -Áreas de Bacias de Rios 31,0 16,4 10,7 11,3 7,2 8,6 5,5 4,2 5,1 335 Massa Molar 26,7 25,2 15,4 10,8 6,7 5,1 4,1 2,8 3,2 1800 Números em edi-ções de jornais 30,0 18,0 12,0 10,0 8,0 6,0 6,0 5,0 5,0 100 Constantes físicas 41,3 14,4 4,8 8,6 10,6 5,8 1,0 2,9 10,6 104 Massa atômica 47,2 18,7 5,5 4,4 6,6 4,4 3,3 4,4 5,5 91
No entanto, embora houve um certo desvio das frequências obtidas com relação às esperadas nos dados estudados por Benford, as proporções dos dígitos mais significativos tiveram uma aproximação significante dos valores esperados. Weisstein verificou que 30% dos valores contidos em uma base de dados com 54 milhões de grandezas físicas começavam com o dígito "1"(WEISSTEIN, 2016). Em seu trabalho Benford não apenas apresentou casos conformes, ele também mostra casos de não conformidade à NB-Lei.
Após a publicação de Benford outros autores pesquisaram o tema. Levy (LÉVY, 1939) e Robbins (ROBBINS, 1953) desenvolveram teoria com base no trabalho de Weyl. Já outros como Goudsmit (GOUDSMIT; FURRY, 1944) e Hsü (HSÜ, 1948) tiveram seus trabalhos baseados nos fundamentos deixados por Benford. No entanto, foi Pinkham (PINKHAM, 1961) que obteve o avanço significativo na estruturação de uma lei que rege as probabilidades dos dígitos e foi estabelecida uma grande relação entre a Lei de Newcomb-Benford e a invariância de escala.
2.2. ESTADO DA ARTE 24 Knuth demonstra que a função de probabilidade contínua de Pinkham não existe. No entanto, embora as correções, os resultados obtidos por Pinkham foram mantidos. A relação entre a probabilidade de ocorrência dos dígitos com a invariância de escala é totalmente válida, sendo esta uma descoberta atribuída por Pinkham a R. Hamming.
Hamming (HAMMING, 1970) em seu trabalho estuda a distribuição das mantissas de pontos flutuantes e mostra como operações aritméticas de computador podem transformar essas distribuições. No mesmo trabalho ele faz um profundo exame dessas distribuições e afirma que a NB-Lei não é apenas um fenômeno curioso, pelo contrário, pode ser usada para desenvolver diversas aplicações nas áreas de hardware, software e para computação em geral. Ele salienta a otimização de custo computacional na multiplicação de números de ponto flutuantes, estimação de erro de representação de números na base 2 e 16, assim como reduzir o erro propagado nessas operações. Por exemplo, se x1possui um erro ε1e x2um ε2, ao multiplicarmos esses dois
números os erros serão propagados no produto. Este erro pode ser estimado através da NB-Lei.
Em seu trabalho, Pinkham cita apenas cinco artigos e dois livros sobre a distribuição dos dígitos e dentre eles está o trabalho original de Benford, no entanto não menciona a publicação de Newcomb. Alguns anos mais tarde, Raimi (RAIMI, 1976) faz uma vasta revisão na literatura sobre o tema, onde ele, além de incluir o trabalho de Newcomb, estuda outros 27 trabalhos sobre a NB-Lei. A pesquisa de Raimi indica que houve um grande crescimento e uma explosão de publicações a partir do ano de 1961. Entre elas, uma menção no livro An Introduction to Probability Theory and Its Applicationsfeita por seu autor William Feller (FELLER, 1971).
Raimi comenta em seu trabalho sobre a falta de visibilidade da publicação de Newcomb, ele relata que o fenômeno já era conhecido e seria trabalhoso renomear o que já era chamado de Lei de Benford (RAIMI, 1976).
Mesmo após o grande crescimento no número de publicações ocorridas a partir de 1961, e muitos pesquisadores se interessarem por pesquisar o fenômeno da Lei do Primeiro Dígito, somente na década de 1990 que a NB-Lei foi realmente formalizada a partir dos trabalhos de Hill ((HILL, 1988),(HILL, 1995c),(HILL, 1995b),(HILL, 1995a)), onde boa parte de todo conhecimento sobre o tema gerado durante todo século XX foi solidificado em suas publicações.
Berger e Eshun (BERGER; ESHUN, 2014) em seu trabalho demonstram a caracterização da Lei de Benford em tempo discreto e Sistemas Lineares.
Berger e Hill sintetizam um vasto conteúdo sobre a Lei de Newcomb-Benford (BERGER; HILL et al., 2011). Nesse trabalho foram adicionadas definições, provas, características e outros conteúdos referentes ao tema. Em seguida os mesmos autores fizeram também um novo levantamento do estado da arte da área o qual pode ser consultado em (BERGER; HILL et al.,
2.2. ESTADO DA ARTE 25 2016).
2.2.1
Aplicações da Lei de Newcomb-Benford
Uma das primeiras aplicações da NB-Lei que se tem registro, foi feita por Boring no início do século XX. Nela, o autor estuda seguindo um ponto de vista psicofísico como as pessoas atribuem probabilidades a eventos que elas desconhecem (BORING, 1920). Na época a teoria que foi melhor aceita era que se uma pessoa não tem qualquer motivo para viés, ela admite que todos os eventos são equiprováveis.
Uma série de aplicações foram propostas por Hamming. Aplicações de hardware e software que se beneficiariam do uso na NB-Lei (HAMMING, 1970). Tomando o mesmo caminho, outros autores mostraram que diversos algoritmos bem difundidos poderiam ter os seus erros de cálculo de operações de ponto flutuante minimizados se a lei de Newcomb-Benford fosse aplicada. Berger e Hill estudaram os erros em operações de ponto flutuante do método de Newton (BERGER; HILL, 2007). Eles em seguida, juntos com Kaynar e Ridder, mostram a partir dos seus estudos sobre o comportamento das cadeias de Markov, que de fato elas seguem a NB-Lei. No mesmo trabalho eles também demonstram como minimizar erros de operação de ponto flutuante como underflow, overflow e round-off usando a NB-Lei (BERGER; HILL et al., 2011).
A utilização da lei de Newcomb-Benford em sistemas dinâmicos também foi verificada, tendo uma vasta aplicabilidade em modelos de sistemas físicos e sociais, onde diversos autores procuraram encontrar relações entre esses modelos construídos e a NB-Lei. Foram avaliados alguns modelos de autômato celular e de dinâmica dos fluidos por Tolle, Budsien e Laviole (TOLLE; BUDZIEN; LAVIOLETTE, 2000). Eles testaram os modelos sob condições que para eles eram ótimas e chegaram à conclusão que os modelos de autômatos celulares produzem dígitos uniformemente distribuídos. No entanto, eles tiveram a surpresa em descobrir o alto grau de conformidade tanto nos modelos de gases quanto nos modelos de líquidos. Após isso outros autores adotaram linhas similares de pesquisas avaliando a conformidade da lei dos dígitos em sistemas discretos unidimensionais ((SNYDER; CURRY; DOUGHERTY, 2001), (BERGER; BUNIMOVICH; HILL, 2005)) e em sistemas de comportamento exponencial (BERGER, 2005).
A lei Newcomb-Benford foi usada pela primeira vez na análise de dados por Varian como estratégia de validação de dados no contexto socioeconômico. Ele avaliou os resultados obtidos a partir de uma simulação de um sistema de crescimento urbano para a região da Baía de São Francisco na Califórnia (MORGAN, 1972).
2.2. ESTADO DA ARTE 26 contábeis e auditoria financeira. Teve como precursor Carslaw ao estudar o comportamento de dados financeiros de empresas da Nova Zelândia (CARSLAW, 1988). Em seu trabalho, Carslaw afirma que há indícios de que gerentes e administradores dessas empresas estão arredondando os valores de balancetes para obter melhores resultados no desempenho das empresas. De acordo com ele, os seres humanos por natureza tendem a apenas memorizar o primeiro dígito de um número e, portanto, o número que for imediatamente abaixo de n10k, n, k ∈ N, daria a impressão de ter um valor bem inferior a n10k. Estratégia muito utilizada no comércio onde lojas costumam informar nas prateleiras valores um pouco menores que valores de venda para dar a impressão que o produto é muito mais barato e induzindo o cliente à compra, um exemplo disso são produtos vendidos com preços como R$:1,99, R$:3,99 e assim por diante, que embora sejam um pouco mais baratos que R$:2,00 e R$:4,00 respectivamente dão a impressão que custam bem menos que apenas a diferença de 1 centavo de real.
Para verificar se realmente estava acontecendo aquilo que desconfiava nas empresas neozelandesas, Carslaw verificou a quantidade de ocorrências do dígito 0 que apareciam como segundo dígito mais significativo nos valores que constavam nas demonstrações contábeis das empresas que estavam sendo avaliadas. Ele usou a NB-Lei como frequência esperada dos seus testes. Em seus resultados o autor não apenas detectou que havia um excesso de dígitos zeros na segunda posição, mas também que havia uma carência de números começando com o dígito 9. Carslaw considerou isso como evidência, e usou essa informação para dar suporte à hipótese que tenha ocorrido a manipulação de dados nessa empresa.
Thomas aplicou a técnica de Carslaw em firmas estadunidenses (THOMAS, 1989). Ele utilizou a lei dos dígitos para encontrar excesso e falta de dígitos. E da mesma forma que Carslaw, o autor através da NB-Lei encontrou diversas evidências para dar suporte à hipótese de que existia manipulação de dados tanto para no ganho, arredondando os valores para cima, quanto na perda, arredondando os valores para baixo.
Nigrini, dentre os autores atuais, é um dos defensores mais assíduos do uso da NB-Lei como procedimento analítico. Ele utilizou conceitos do trabalho de Carslaw e juntou com outros do trabalho de Thomas e desenvolveu em sua tese técnicas para detectar desvio em declarações de imposto de renda (NIGRINI, 1992). E em trabalho posterior ele demonstra que dados coletados de declarações de imposto de renda são conformes à lei de Newcomb-Benford (NIGRINI, 1996).
Algum tempo mais tarde Nigrini novamente aplica a NB-Lei para detectar desvio de dados, mas desta vez em companhias petrolíferas (NIGRINI; MITTERMAIER, 1997). Ele demonstrou como a NB-Lei pode ser usada como ferramenta de revisão analítica de auxílio no planejamento de auditorias.
2.2. ESTADO DA ARTE 27 Busta e Weinberg utilizaram uma abordagem diferente e estudaram um sistema de apoio a decisão baseado na NB-Lei e redes neurais (BUSTA; WEINBERG, 1998). Como eles não tiveram acesso a dados reais, acabaram usando base de dados simulados, misturando dados selecionados de uma sequência Newcomb-Benford pura com amostras de uma distribuição ruidosa utilizando uma proporção predeterminada.
Jolion foi o primeiro a estudar a conformidade à lei de Newcomb-Benford em imagens digitais. (JOLION, 2001). O autor neste trabalho demonstra que, embora as intensidades de cores dos pixels das imagens não sigam a NB-Lei, as magnitudes dos gradientes e a decomposição piramidal baseada na transformação de Laplace, obedecem à NB-Lei. Jolion sugere como aplicação um método baseado na entropia que usa como probabilidade esperada as frequências da lei de Newcomb-Benford para classificar as imagens em duas categorias, Naturais( conformes a NB-Lei) e as imagens de ruído e texturas repetitivas (não conformes a NB-Lei).
Já Acebo e Sbert (ACEBO; SBERT, 2005) propuseram um método usando a lei de Newcomb-Benford para determinar se imagens sintéticas foram renderizadas por métodos fisica-mente realistas. No entanto, essa aplicação é colocada em questão pelo fato de diversas imagens não seguirem a lei de Newcomb-Benford no domínio de pixel.
Sanches e Marques (SANCHES; MARQUES, 2006) fizeram um trabalho analisando imagens de exames médicos. Eles mostraram que o primeiro dígito da magnitude dos gradientes de imagens de ressonância magnéticas, tomografias computadorizadas e ultrassons seguem a NB-Lei. Com base nisso, eles propuseram um algoritmo de reconstrução baseado na lei de Newcomb-Benford, que não requer ajuste de parâmetros regulatórios.
Fu, Shi e Su (FU; SHI; SU, 2007) ) pesquisaram a aplicação da lei de Newcomb-Benford em compressão de imagem e para análise forense de imagens digitais e usando Transformada Discreta de Cosseno (DCT). Os autores mostram que a distribuição dos dígitos mais significati-vos dos coeficientes do bloco-DCT segue a NB-Lei. E que os coeficientes quantizadores JPEG seguem também uma distribuição logarítmica similar à da lei dos dígitos em imagens JPEG comprimidas uma vez. Então eles propuseram um modelo paramétrico empírico para formular o fenômeno observado. Eles também demonstram que essa distribuição é muito sensível à compressão JPEG dupla. Com base nisso, eles propuseram como aplicação a utilização da lei de Newcomb-Benford na análise forense de imagens.
Uma generalização da lei de Newcomb-Benford para o dígito mais significativo foi apresentada por Pérez-González, Heileman e Abdallah (PÉREZ-GONZÁLEZ; HEILEMAN; ABDALLAH, 2007) em um trabalho independente, porém relacionado. O objetivo dessa ge-neralização é de manter os dois primeiros termos da expansão de Fourier da função densidade
2.2. ESTADO DA ARTE 28 de probabilidade dos dados no domínio logarítmico modulado. Eles também demonstraram que imagens no domínio da Transformada Discreta de Cosseno (DCT) também seguem esta generalização. Os autores utilizaram a NB-Lei também na área de esteganografia e esteganálise, para tentar identificar se uma imagem possui uma mensagem escondida, ou seja, esteganografada.
A análise feita por Qadir, Zhao e Ho (QADIR; ZHAO; HO, 2010) estudava a aplicação da NB-Lei no padrão de compressão de imagens JPEG 2000. Eles demonstram de forma expe-rimental que imagens no domínio da Transformada Discreta de Wavelet (DWT) seguem a lei de Newcomb-Benford. Eles propuseram a aplicação da lei dos dígitos mais significativos como forma de estimar um fator de qualidade da compressão de imagens utilizado no padrão JPEG 2000. Em seguida foi proposto por Qadir et al. (QADIR et al., 2011) como aplicação da NB-Lei à imagens no domínio DWT uma forma de identificar imagens naturais que contenham brilho exagerado (glare). Poucos anos depois Senfeng Tong e colaboradores (TONG et al., 2013), propuseram um novo método para identificação de edição e fraude de imagens digitais baseado nas propriedades estatísticas da NB-Lei. Aplicando a transformada discreta wavelet DWT para testar a imagem, de onde eles extraíram do domínio da transformada discreta de cosseno DCT dos três canais coloridos RGB de cada componente wavelet e calcularam a probabilidade a partir da distribuição do dígito mais significativo.
A lei dos dígitos mais significativos foi usada por Heijer e Eiben (HEIJER; EIBEN, 2010) como forma de medida da qualidade estética para a evolução sem supervisão de arte sintética revolucionária gerada por computação genética. De acordo com os autores a NB-Lei é uma das três medidas de qualidade e a arte evoluída de acordo com a sua avaliação possui características distintas das demais medidas.
Indo por uma linha similar à de Busta e Weinberg, Bhattacharya, Xu e Kumar (BHATTA-CHARYA; XU; KUMAR, 2011) também propõem um sistema de suporte à decisão baseado em redes neurais. Mais uma vez o procedimento de revisão analítica foi utilizado para classificar os dados de acordo com sua conformidade com a lei de Newcomb-Benford. Também foi aplicada uma técnica de otimização baseada em um algoritmo genético com a finalidade de escolher qual rede neural melhor irá classificar um conjunto de dados com relação à conformidade à NB-Lei. No entanto, diferente de Busta e Weinberg os autores desse trabalho utilizaram conjunto com uma quantidade maior de elementos, e testaram novas entradas nas redes neurais, mantendo apenas as entradas que obtiveram sucesso.
Altamirano e Robledo (ALTAMIRANO; ROBLEDO, 2011) mostram que tanto a lei de Newcomb-Benford quanto a lei Zipf (ZIPF, 1949) estão relacionadas com uma estrutura generalizada da termodinâmica. Segundo os autores essa estrutura é obtida a partir de um tipo estatístico de mecânica deformada e surge quando a configuração do espaço de fase é acessível
2.2. ESTADO DA ARTE 29 parcialmente e de uma forma restrita. Segundo essa restrição, a fração acessível desse espaço tem propriedades fractais.
Hui et al. (HUI; JIA-JIE; YU-MIN, 2011) utilizaram a lei de Newcomb-Benford para analisar estruturas atômicas no campo da física nuclear.
De e Sen (DE; SEN, 2011), estudaram a aplicação da lei de Newcomb-Benford na física quântica. Em seu trabalho, os autores afirmam que tanto podem detectar transições de fase quântica quanto detectar terremotos utilizando métodos semelhantes. Eles afirmam que os seus resultados têm implicação direta na execução de experimentos na área e na pesquisa de computadores quânticos.
Li e colegas (LI et al., 2012), propuseram um método para identificar regiões em imagens JPEG modificadas por softwares de manipulação de imagens, beneficiando-se dos recursos estatísticos da lei do primeiro dígito. Eles afirmam que regiões das imagens JPEG editadas por esses softwares tem um histórico de compressão diferente e através de NB-Lei eles conseguem diferenciar essas regiões das que não sofreram qualquer manipulação.
James Friar et al. (FRIAR; GOLDMAN; PÉREZ-MERCADER, 2012) por sua vez aplicaram a NB-Lei no campo da genética molecular. Eles descobriram diferenças entre cé-lulas eucariontes e procariontes com relação à quantidade de fases abertas a leituras (ORFs), sequências de DNA que possuem os requisitos básicos para codificar uma proteína. De acordo com eles, nos organismos procariontes o número de ORFs cresce linearmente de acordo com o tamanho total do genoma e enquanto nos eucariontes crescem logaritmicamente. Com base nisso e nos seus testes, os autores concluíram que o número de ORFs em células eucariontes segue a frequência da lei dos dígitos mais significativos.
Geyer e Martí (GEYER; MARTÍ, 2012) utilizam a NB-Lei como forma de validar dados vulcanológicos. Os autores de início verificaram que os dados vulcanológicos são conformes à lei de Newcomb-Benford. E por fim chegaram a conclusão que erros de arredondamento, erro nos dados, ou alguma anomalia podem ser detectadas nos dados através da comparação das frequências esperadas pela NB-Lei. Gianluca Sottili e Danilo M. Palladino (SOTTILI et al., 2012) também usaram a NB-Lei na análise de mais de 17 mil eventos sísmicos durante 6 anos na Itália, incluindo o monte Etna. Eles propuseram um novo método para avaliar séries sísmicas recorrentes.
Panagiotis Andriotis et al. (ANDRIOTIS; OIKONOMOU; TRYFONAS, 2013) desen-volveram um novo método na área de esteganografia. Foi proposta uma nova abordagem para esteganálise baseada em um ataque estatístico de imagens JPEG para tentar identificar a presença
2.2. ESTADO DA ARTE 30 de mensagens escondidas. Esse novo ataque proposto pelos autores foi baseado na forma geral da lei de Newcomb-Benford. Os autores afirmam que o método proposto em sua abordagem indica de forma eficiente e veloz se há suspeita da existência de uma mensagem escondida na imagem, baseando-se na distribuição dos dígitos mais significativos contabilizados nos coeficientes da transformada discreta de cosseno DCT presentes no JPEG.
Orita e colaboradores (ORITA et al., 2013), propuseram uma aplicação para lei de Newcomb-Benford no setor de pesquisa de novos medicamentos. Os autores sugerem que a lei dos dígitos significativos seja usada para criar um modelo de confiabilidade desses dados, no final eles sugerem a criação de um protocolo de qualidade baseado na NB-Lei.
Poucos anos depois Díaz, e Gallart (DÍAZ; GALLART; RUIZ, 2014), desenvolveram um novo método para avaliação e detecção de terremotos e discriminação de sinais sísmicos. Segundo os autores esse método foi o primeiro baseado na NB-Lei e através dele conseguiram bons resultados com boa sensibilidade na detecção de sinais sísmicos de curta ou longa distância e uma boa separação desses sinais do ruído de fundo.
Antkowiak e Drexler (ANTKOWIAK; DREXLER, 2014) testaram a conformidade à lei de Newcomb-Benford dos dados registrados por exames de eletroencefalografia de pacientes antes e após a aplicação do anestésico usado em anestesia geral sevoflurano. Os autores afirmam que em todos registros tiveram resultados positivos para as frequências da NB-Lei, porém pode se diferenciar as distribuições que tiveram diferentes níveis de anestesia. Outro fato observado pelos autores, que na presença de ruído de alta frequência os dados não seguem a frequência da NB-Lei.
Iorliam et al. (IORLIAM et al., 2014) desenvolveram um estudo que verifica se as imagens utilizadas na identificação biométrica seguem a lei de Newcomb-Benford e se a NB-Lei poderá ser usada para identificar fraudes e manipulações dessas imagens. De acordo com os autores as imagens biométricas seguem a lei do dígito mais significativo e os métodos aplicados para detecção de manipulação nessas imagens funcionaram de forma efetiva.
Golbeck (GOLBECK, 2015) verificou que a lei de Newcomb-Benford aplica-se a carac-terísticas encontradas em redes sociais on-line. A autora utilizou dados das 5 redes sociais mais importantes no momento de sua pesquisa mostrando as distribuições dos primeiros dígitos mais significativos para amigos, e seguidores, as quais de acordo com autora seguem a NB-Lei. Ela também identificou a presença da conformidade à lei dos primeiros dígitos no número de mensa-gem que os usuários postam. Com base nisso tudo, foi proposto pela autora o desenvolvimento de uma ferramenta de detecção de fraudes on-line e de validação de dados.
2.2. ESTADO DA ARTE 31 2.2.1.1 Aplicações da Lei de Newcomb-Benford nas ciências Astronômicas
Nas ciências astronômicas também são encontradas aplicações da Lei de Newcomb-Benford. Shao e Ma observaram a conformidade de algumas propriedades de pulsares com a NB-Lei (SHAO; MA, 2010). Dentre essas grandezas conformes encontradas em pulsares estão o período baricêntrico e velocidade de rotação assim como também as suas derivadas com relação ao tempo.
Thomas W. Hair (HAIR, 2014) testou dados de massa de exoplanetas contidos na base de dados Exoplanet Orbit Database, os quais foram obtidos através do telescópio espacial Kepler e verificou que são conformes à lei de Newcom-Benford tanto para exoplanetas confirmados quanto para objetos candidatos. Com base nisto ele sugere que o conhecimento dessa conformidade seja usado no futuro como mais um indicativo de que esses objetos candidatos sejam de fato exoplanetas.
Shukla et al. (Shukla; Pandey; Pathak, 2016) em seu trabalho analisaram a base de dados do telescópio espacial Kepler sobre exoplanetas em busca de grandezas conformes à NB-Lei. Os autores afirmam que a massa planetária, volume, densidade, maior semieixo orbital, período or-bital e velocidade radial apresentaram um alto grau de conformidade à lei de Newcomb-Benford. Enquanto as grandezas movimento próprio total, idade estelar e distância estelar apresentaram um grau moderado de conformidade. Já longitude, raio e temperatura efetiva não seguem a NB-Lei. Assim como Hair (HAIR, 2014), os autores sugerem que esse conhecimento possa ser usado para se fazer análise na lista de candidatos a exoplanetas.
Theodoros Alexopoulos e Stefanos Leontsinis (ALEXOPOULOS; LEONTSINIS, 2014) em seu trabalho analisaram dados acumulados medidos com precisão a partir da década de 1970 acerca de distâncias de galáxias e estrelas. Avaliaram essas medidas com relação à conformidade com a NB-Lei para o primeiro, segundo e terceiro dígito mais significativos. Foram obtidos resultados significativos para a distância de galáxias avaliando o primeiro dígito e para a distância de estrelas obteve resultados ótimos para os três primeiros dígitos. Foram no total analisadas 702 galáxias e 115.256 estrelas. Embora tenham obtido resultados positivos, os autores avaliam a necessidade de refazer os experimentos utilizando catálogos maiores com diferentes distâncias galácticas tanto para estrelas quanto para galáxias, a fim de reforçar a conformidade dessas grandezas com a lei dos dígitos mais significativos.
Partindo da descoberta de Alexopoulos e Leontsinis (ALEXOPOULOS; LEONTSINIS, 2014) que as distâncias das galáxias e das estrelas seguem as frequências da NB-Lei e usando a lei Hubble (HUBBLE, 1929) e as propriedades matemáticas da lei de Newcomb-Benford, Hill e Ronald Fox (HILL; FOX, 2016) definiram uma nova lei chamada por eles de lei da
2.3. CRITÉRIOS DE CONFORMIDADE DA NB-LEI 32 distância das galáxias ou, galaxy-distance law, em inglês. Segundo eles, esta lei prediz uma distribuição logarítmica do dígito mais significante das distâncias das galáxias, dando assim um embasamento teórico para suas descobertas de forma empírica. A lei da distância das galáxias é considerada pelos autores como robusta à variância de base e escala, assim como também a uma possível variabilidade contida na constante de Hubble, e também é robusta a erros computacionais ou observacionais multiplicativos e aditivos. Assim, com a lei da distância das galáxias, as observações feitas por Alexopoulos e Leontsinis podem ser consideradas como uma evidência empírica e independente para validar a lei de Hubble. O que poderia ser expandido, segundo os autores, para uma lei da distância das estrelas e também poderia ser considerada como uma nova evidência empírica que as galáxias estão se expandindo internamente em uma taxa exponencial.
2.3
Critérios de Conformidade da NB-Lei
O primeiro critério de conformidade foi estabelecido por Benford em seu trabalho original (BENFORD, 1938), onde foi feito o primeiro teste de conformidade à lei. O teste consiste no cálculo da diferença entre as frequências esperadas e as frequências observadas de cada teste (MORGAN, 1972). O desvio obtido, ε é dado por:
ε = n
∑
i=m |Poi− Pei| 2 2.6onde Poe Pesão respectivamente as probabilidades observadas e esperadas. A divisão por dois é
feita para se evitar um problema ocasionado pela de redundância de se considerar os desvios duas vezes na equação. Pois esse tipo de teste que trabalha com probabilidade acaba levando em conta informações duas vezes ou mais. Este fato ocorre por que a soma das probabilidades obri-gatoriamente tem que ser 1. Quando avaliamos o desvio de cada dígito individualmente obtemos informações significantes, porém quanto avaliamos para o somatório consideramos o desvio duas vezes, sendo um para o excesso e o outro para a falta, pois quando um ou mais dígitos apresentar um desvio para cima, um ou mais dígitos terão um desvio para baixo para compensar e vice-versa.
Embora inicialmente Benford tenha utilizado essa metodologia, as medidas de confor-midades mais difundidas na literatura são baseadas em testes χ2de Pearson, no teste Z e no teste Komolgorov-Smirnov (K-S). Primeiramente Diaconis usou o teste χ2 em seu trabalho com objetivo de desenvolvimento de conteúdo teórico sobre a NB-Lei, não visando nenhuma aplicação (DIACONIS, 1977). Já o teste Z foi aplicado pela primeira vez para avaliar a lei de Newcomb-Benford por Carslaw (CARSLAW, 1988), no entanto esse teste só analisa o desvio de um dígito por vez, o que não acontece no teste K-S, que por sua vez analisa todos os dígitos. Embora a maioria dos autores verifica a conformidade apenas para o primeiro dígito, são poucos
2.3. CRITÉRIOS DE CONFORMIDADE DA NB-LEI 33 que em seus trabalhos analisam mais que os dois primeiros dígitos.
O teste Z aplicado à NB-Lei pode ser calculado através da equação:
Z= |Po− Pe| − 1 2n q Po(1−Po) n 2.7
onde Po e Pe são respectivamente as probabilidades observadas e esperadas para um
dígito específico, n é o tamanho da amostra, e 2n1 que é um fator de continuidade que só é usado quando 2n1 < |Po− Pe|. Uma descrição mais detalhada do teste Z aplicado a NB-Lei pode ser
encontrada em (THOMAS, 1989).
Por sua vez o teste estatístico χ2de Pearson é dado por:
χ2= n
∑
i=m (Ooi− Oei)2 Oei 2.8 onde Ooe Oesão respectivamente a quantidade de elementos observada e esperada parao respectivo dígito.
A equação do teste de Kolmogorov-Smirnov Local ou discreto (PETTITT; STEPHENS, 1977) é dada por: S= max n
∑
i=m |Poi− Pei| ! 2.9 onde Poe Pesão respectivamente as probabilidades observadas e esperadas.Nigrini (NIGRINI, 1999) relatou um problema chamado por ele de excesso de poder. Ele afirma que que à medida que a quantidade de observações a serem avaliadas aumentam os testes estatísticos se tornam cada vez mais rigorosos. Segundo ele quando o conjunto excede 1.000 observações, diferenças antes imperceptíveis em um gráfico causam grandes mudanças nos resultados dos testes fazendo com que o teste rejeite a hipótese de determinada grandeza ser conforme a lei de Newcomb-Benford mesmo ela sendo. E a partir de 10.000 observações pequenas variações já começam a ter diferenças significativas nos resultados desses testes. Kra-kar e Zgela (KRAKAR; ŽGELA, 2009) relatam o mesmo fenômeno ao falar sobre o teste χ2. Em seu trabalho ele relata que em conjuntos de dados com mais de 10.000 amostras (Nº Observações) o valor da estatística é na maioria dos casos sempre superior ao valor crítico, induzindo ao auditor a pensar que o conjunto não é conforme à lei dos dígitos mais significativos. Luque e Lacasa (LUQUE; LACASA, 2009), também afirmam que há o fenômeno de excesso de poder nos testes Z e χ2. Esse problema ocorre também no teste de Kolmogorov-Smirnov local.
2.3. CRITÉRIOS DE CONFORMIDADE DA NB-LEI 34 Como forma de atenuar o problema de excesso de poder, uma distância de conformidade para a NB-Lei foi sugerida por (NIGRINI; MITTERMAIER, 1997). Essa distância foi chamada de Mean Absolute Deviaton (M.A.D) e era calculado dividindo o somatório das diferenças abso-lutas pelo número de dígitos.
Para um dígito d, sejam Poe Peas probabilidades esperadas e observadas respectivamente,
o MAD pode ser obtido a partir da equação
∑Nd=1|Po− Pe| N , 2.10 onde d representa o dígito, sendo N=9 para primeira posição e N=10 para as demais. Assim os autores concluem que o MAD não é influenciado pelo tamanho da amostra e que consequentemente não irá influenciar no resultado do teste não gerando resultados do tipos negativos de testes de conformidade para Lei de Newcomb-Benford.
Busta e Weinberg (BUSTA; WEINBERG, 1998) seguindo uma linha diferente utilizaram redes neurais para classificar dados segundo a conformidade à NB-Lei. Em seu trabalho eles consideraram análise de elementos da estatística descritiva como frequência de ocorrência dos dí-gitos das duas primeiras posições, média, mediana, desvio padrão, curtose e obliquidade além de valores de estatísticas como Z e χ2. Seguindo a mesma linha de Busta e Weinberg, Bhattacharya e equipe (BHATTACHARYA; XU; KUMAR, 2011) além replicar os testes feitos por Busta também verificaram a aplicação do novo método nos testes χ2e Kolmogorov-Smirnov (K-S) discreto, distância de Kullbak-Lieber, entropia de Shannon, distância euclidiana, coeficiente de relação de Pearson e o alpha de Judge-Schechter.
Steele e Chaseling (STEELE; CHASELING, 2006), demonstraram que, dentre os testes avaliados, para distribuições de tendência, os que obtiveram melhores resultados foram K-S discreto, Anderson-Darling (A2) discreto e o Cramér-von Mises (W2) discreto. O teste Z não foi avaliado e o teste χ2foi o que obteve piores resultados quando comparado aos demais.
Wong (WONG, 2010), em sua dissertação de mestrado, analisou a capacidade de diversos testes estatísticos verificando a detecção de desvios em sequências de Newcomb-Benford. Foram simuladas várias naturezas de desvios em proporções crescentes sendo o poder do teste medido caso a caso. Steele e Chaseling tiveram seus resultados comprovados, onde A2e W2obtiveram os melhores resultados e novamente o teste χ2obteve os piores resultados se comparado aos demais, e o K-S não foi avaliado e só foram testados os dois primeiros dígitos. É importante salientar que todos os testes citados trabalharam com valores de probabilidade, onde cada célula representava frequências de dígitos e não distribuições. Esses testes presumem que as amostras são independentes.
36 36 36
3
Conformidade à Lei de Newcomb-Benford
pelo método de Kolmogorov-Smirnov
3.1
Introdução
Neste capítulo iremos propor a utilização do método estatístico de Kolmogorov-Smirnov baseado na Função de Distribuição Empírica (FDE) para determinação da conformidade global da NB-Lei. Iremos comparar os seus resultados aos do teste qui-quadrado (χ2) (q-q) e a da estratégia de Bootstrapping associada ao mesmo q-q a fim de verificar a sua robustez ao problema de excesso de poder comum em massas de dados com grande número de amostras e na área de análise de conformidade a NB-Lei.
3.2
Método Adotado
O excesso de poder é um problema comum quando se verifica que uma dada grandeza é conforme à lei de Newcomb-Benford. Neste trabalhado temos como um dos objetivos testar o grau de robustez com relação ao excesso de poder de alguns métodos estatísticos e verificar qual método se adéqua melhor na verificação da conformidade à lei dos dígitos significativos.
Para testes de conformidade à NB-Lei o método mais adotado na literatura é o método q-q de Pearson, porém como já foi dito, ele é sensível ao problema de excesso de poder podendo ocasionar em falsos negativos em um teste com grande número de amostras. Com base nisso resolvemos estudar alternativas ao método q-q de forma a tentar minimizar este problema.
Em nosso trabalho para determinação da conformidade global à NB-Lei utilizamos o método Kolmogorov-Smirnov (K-S), porém não é o mesmo K-S citado até agora pela literatura para verificação de conformidade. O método usado por nós é baseado na FDE, versão discreta da Função de Distribuição Acumulada (FDA), conforme descrito por (HENRIQUES, 2012), que além de ser mais robusto ao excesso de poder é também mais fiel à definição formal da Lei de
3.2. MÉTODO ADOTADO 37 Benford, já que o mesmo trabalha considerando as mantissas ao invés de dígitos isolados.
Também propomos investigar um intervalo de confiança para o K-S baseando-nos em um q-q que não sofre do excesso de poder por se utilizar o Bootstrapping, pois lida com quantidade de amostras toleráveis, extraídas aleatoriamente do montante original da distribuição.
3.2.1
Qui-quadrado de Pearson (χ
2)
Aplicamos o método q-q da mesmo forma que é comumente aplicado em outros testes de conformidade à NB-Lei já citados na literatura. Esse teste foi utilizado para verificação da lei de Newcomb-Bendord desde que Diaconis o utilizou pela primeira vez (DIACONIS, 1977). Em nosso trabalho o utilizamos apenas para verificação da conformidade para o primeiro dígito.
Conforme a literatura utilizamos n-1 graus de liberdade onde n=9 para teste de conformi-dade do primeiro dígito significativo o que nos dá 8 graus de liberconformi-dade.
Segundo a tabela 3.1 de valores críticos segundo a literatura do teste q-q, para um nível de significância de 0,05, ou seja 5% e 8 graus de liberdade, se o valor crítico do teste q-q for maior que 15,51 podemos rejeitar a conformidade com 95% de confiabilidade.
Tabela 3.1: Valores críticos do qui-quadrado
. Graus de Liberdade χ2(Valores) 1 0 0 0.1 0.2 0.5 1.07 1.64 2.71 3.84 6.64 10.83 2 0.1 0.2 0.5 0.7 1.4 2.41 3.22 4.6 5.99 9.21 13.82 3 0.35 0.6 1 1.4 2.4 3.66 4.64 6.25 7.82 11.3 16.27 4 0.71 1.1 1.7 2.2 3.4 4.88 5.99 7.78 9.49 13.3 18.47 5 1.14 1.6 2.3 3 4.4 6.06 7.29 9.24 11.1 15.1 20.52 6 1.63 2.2 3.1 3.8 5.4 7.23 8.56 10.6 12.6 16.8 22.46 7 2.17 2.8 3.8 4.7 6.4 8.38 9.8 12 14.1 18.5 24.32 8 2.73 3.5 4.6 5.5 7.3 9.52 11 13.4 15.51 20.09 26.12 9 3.32 4.2 5.4 6.4 8.3 10.7 12.2 14.7 16.9 21.7 27.88 10 3.94 4.9 6.2 7.3 9.3 11.8 13.4 16 18.3 23.2 29.59 p-value(nível de significância) 0.95 0.9 0.8 0.7 0.5 0.3 0.2 0.1 0.05 0.01 0.001
3.2.2
Kolmogorov-Smirnov (K-S)
FDE3.2. MÉTODO ADOTADO 38 Nós adotamos o método K-S utilizado por (HENRIQUES, 2012) assim como também utilizamos o código fonte da implementação disponibilizado pelo autor em seu trabalho. Se-gundo o autor esse método adotado é baseado na FDE das mantissas. Sendo esta calculada como primeiro passo. Para computar a FDE, é montado de início um histograma na escala log mod 1 (log10(d)), ou seja contendo números entre zero e 1, observando as repetições desta
transformação. Em seguida este histograma é acumulado e normalizado. O autor afirma que por causa do comportamento atípico da NB-Lei no discreto e a natureza caótica dos dados reais, na FDE foi incluída entre pontos iniciais e finais uma quantidade de pontos equidistribuídos proporcional à representatividade daquele valor na distribuição. Ou seja, se a FDE possui n pontos de valor A e o próximo ponto distinto possui valor B, então o valor das ordenadas em A é repetido n vezes igualmente espaçados entre A e B. Desta forma segundo o altor é possível comparar fazer uma comparação com a FDE de uma sequência de Newcomb-Benford contendo a mesma quantidade de pontos e sequencias com apenas valores distintos, como as da NB-Lei, não sofrem qualquer alteração. Só após as FDE serem montadas é aplicado o método estatístico K-S.
3.2.3
Qui-quadrado com Bootstrapping
Bootstrapping ou Bootstrap é um método estatístico de reamostragem utilizado para aproximar distribuições. O método q-q com Bootstrap se beneficia dessa reamostragem não sofrendo do problema de excesso de poder como o q-q comum. Neste contexto, o bootstrapping consiste em selecionar aleatoriamente m amostras das n amostras originais, onde m<n, e m é um número de amostras para o qual o excesso de poder do q-q é desprezível , ao contrário de n. Esse procedimento é executado k vezes, e o valor do q-q final da grandeza será a mé-dia dos k valores de q-q dos conjuntos de m amostras. Onde k6 Cn,m e Cn,m =
n! m!(n−m)!
, pois Cn,mrepresenta a quantidade máxima de combinações possíveis para o conjunto de amostras.
O problema chamado por Nigrini (NIGRINI, 1999) de excesso de poder pode ser dedu-zido facilmente ao se observar a equação 2.8 que descreve o qui-quadrado. Pois a o numerador da equação é quadrático enquanto o denominador é de ordem linear fazendo que com o aumento do número de amostra o valor da estatística tenda a ser maior.
Para determinação da conformidade à NB-Lei, tomamos como referência a tabela 3.1 de valores críticos e da mesma forma que o método q-q comum, para um nível de significância de 0,05, ou seja 5% e 8 graus de liberdade, se o valor crítico for maior que 15,51 podemos rejeitar a conformidade com 95% de confiabilidade.
3.3. ANÁLISE DA CONFORMIDADE 39 vez de forma a fazer uma estimativa das propriedades de um estimador. Sendo uma técnica recomendada em contextos onde outras abordagens não são indicadas, como por exemplo em um número de amostras reduzidos ou muito grande.
Em nosso trabalho utilizamos esse método como parâmetro de comparação com o mé-todo K-S e para estabelecer um intervalo de confiança para esta métrica global, já que ambos não sofrem de excesso de poder. Usamos como tamanho de parcela máxima o valor de 500 amostras, pois foi um valor máximo para quantidade de amostras em nossos testes que não há tanto efeito do excesso de poder no teste q-q.
Nós também utilizamos a implementação do q-q disponibilizada por (HENRIQUES, 2012) e acrescentamos o Bootstrap para fazer a reamostragem.
3.3
Análise da Conformidade
Nosso objetivo nessa seção é tentar determinar um intervalo de confiança, ou seja, uma margem de tolerância para conformidade do método K-S em relação à distribuição ideal da Lei de Newcomb-Benford, para a partir daí poder dizer se uma grandeza testada ainda pode ser conforme ou não, como no caso do método q-q que para 8 graus de liberdade e nível de significância (p-valor) de 5% terá esse limiar de 15,51 para a estatística do qui-quadrado.
A determinação desse valor para o K-S será importante tendo em vista que valores de grandezas astronômicos geralmente tem um número de amostras (Nº Observações) grande o suficiente para provocar o problema de excesso de poder no qui-quadrado e o K-S como foi dito se aproxima mais da definição formal da NB-Lei.
Iremos submeter os testes q-q, q-q com Bootstrap e o Komolgorov-Smirnov a dois con-juntos de dados: o primeiro com grandezas cuja conformidade à NB-Lei é descrita pela literatura e o segundo cuja a não conformidade também é conhecida. Dessa forma consideramos várias distribuições de diversos graus de conformidade, medidas pelo q-q, e calculamos os valores correspondentes do K-S.
3.3.1
Grandezas cuja a conformidade é conhecida
A seguir exibiremos os resultados dos testes feitos em grandezas que são conhecidamente conformes pela literatura. Na tabela 3.2 temos os resultados dos teste q-q de Pearson e K-S e na tabela 3.3 os resultados do teste K-S e Bootstrap a fim de comparação.
