8.8 Aplica¸c˜ ao: Qualions
8.8.2 Incerteza derivada de Probabilidade: Vari´ aveis Categ´ oricas
A partir de vari´aveis aleat´orias categ´oricas n˜ao ordinais, como o nome de um pa´ıs ou o estado civil, n˜ao ´e poss´ıvel se obter estat´ısticas como m´edias ou desvios- padr˜oes. Entretanto, a incerteza associada a essa vari´avel pode ser calculada, pois s´o depende da fun¸c˜ao de distribui¸c˜ao de probabilidades.
Um exemplo de problemas de otimiza¸c˜ao envolvendo o princ´ıpio da m´axima entropia ´e aquele em que se obt´em a distribui¸c˜ao de Boltzmann. Ela ´e a solu¸c˜ao1 para (JAYNES, 1962, 1957; SUSSKIND, 2013) e (SCHMALIAN, 2012, p. 18-23):
• maximizar h = −Pn
i=1piln pi tal que ∀i : pi > 0.
• sujeito `as restri¸c˜oes: 1. 1 =Pn
i=1pi;
2. µ =Pn
i=1eipi, onde µ, e1, ..., ei, ...en ∈ R s˜ao dados do problema.
Assim, a distribui¸c˜ao de Boltzmann modela um experimento em que p maximiza a incerteza e satisfaz a m´edia µ (observando que cada ei ´e valor assumido pelo i-
´esimo resultado). Como o dom´ınio de h n˜ao admite valores negativos nem nulos para qualquer pi, a restri¸c˜ao 1 obriga a 0 < pi < 1.
Uma t´ecnica utilizada para resolver esse tipo de problema s˜ao os multiplicadores de Lagrange. Nesse problema em particular, da distribui¸c˜ao de Boltzmann, se existir uma solu¸c˜ao, essa ser´a ´unica. Uma parte importante dessa t´ecnica ´e obter ∇h.
∇h = n X i=1 ln 1 pi − 1 ˆ epi (8.8.9)
Para qualquer distribui¸c˜ao p, haver´a um valor para ∇h, mas nem todos os pontos do dom´ınio de ∇h s˜ao de fato uma distribui¸c˜ao de probabilidades. Al´em disso, o vetor ∇h tem a dire¸c˜ao e sentido do maior aumento de h.
Se p for uma distribui¸c˜ao de probabilidade discreta, fazendo θ = p e considerando H = h ent˜ao: ~ qp = w · ∇h (8.8.10) ~ qp = w · n X i=1 ∂h ∂pi ˆ epi (8.8.11) Como h = −Pn i=1piln pi. Ent˜ao ∂h ∂pi = − ln pi− 1, ~ qp = w · n X i=1 ln 1 pi − 1 ˆ epi (8.8.12)
Percebe-se que se ~qp = ~0 ent˜ao ∀i, pi = 1/e. Assim, para fins pr´aticos ~qp 6= 0.
8.9
Discuss˜oes e Conclus˜oes
A descri¸c˜ao em campo escalar convida explorar propriedades geom´etricas da en- tropia, enquanto incerteza, da perspectiva local do gradiente da incerteza em fun¸c˜ao dos parˆametros. O que sugere m´etricas e medidas que incentivam a compara¸c˜ao entre distribui¸c˜oes vari´aveis aleat´orias, que compartilham os mesmos parˆametros. Os qualions nada mais s˜ao que o gradiente da entropia enquanto unidade concei-
tual e interpretativa da qualidade. ˆAngulos e distˆancias entre qualions, podem ser trivialmente calculados.
´
E poss´ıvel sugerir estudos para compara¸c˜ao com a “m´etrica” bem conhecida e sucedida em teoria da informa¸c˜ao: a distˆancia Kullback-Leibler – ou entropia relativa. O conceito de qualion captura o comportamento local de fun¸c˜oes dos parˆametros que mensuram a qualidade, al´em de permitir opera¸c˜oes de compara¸c˜ao atrav´es das opera¸c˜oes cl´assicas de vetores: em especial o produto interno, o m´odulo e a distˆancia entre vetores.
Defini¸c˜ao 8.9.1 (Distˆancia Kullback-Leibler (ou Entropia Relativa)). Sejam p e q duas distribui¸c˜oes de probabilidade. DKL(pkq) denota a distˆancia Kullback-Leibler
de q para p tal que:
DKL(pkq) = X i pi log pi qi (8.9.1)
Sejam ~X e Y duas distribui¸~ c˜oes de probabilidade. DKL(~Xk~Y) denota a distˆancia
Kullback-Leibler de ~Y para X tal que:~
DKL(~XkY) =~ Z
D
ρX(~r) logρX(~r)
ρY(~r)dr. (8.9.2) A entropia relativa n˜ao aparece no texto original de (SHANNON, 1948), mas tem papel de destaque na teoria da informa¸c˜ao, pois – apesar de ser uma “pseudo- distˆancia”2– mensura a quantidade de informa¸c˜ao que uma vari´avel aleat´oria cont´em
da outra (COVER e THOMAS, 1991, p. 18). Ela n˜ao foi explorada neste trabalho, pois ela n˜ao ´e presente na literatura b´asica de f´ısica que aborda a entropia na ter- modinˆamica. (WELLER-FAHY et al., 2015) fornecem uma lista de distˆancias para a distribui¸c˜ao de probabilidades (como tamb´em outras distˆancias de interesse em aprendizado de m´aquina).
As medidas de varia¸c˜ao de qualidade aqui propostas, s˜ao inspiradas nas ex- periˆencias profissionais de (MONTGOMERY, 2012). Elas preconizam que medidas de qualidade est˜ao associadas a variabilidade dos valores observados. A ideia ent˜ao foi usar a entropia, pois permite utilizar uma ´unica unidade (que n˜ao depende das unidades do desvio-padr˜ao) e, como consequˆencia, possibilita a compara¸c˜ao entre sis- temas distintos, mas que possam ser modelados por fun¸c˜oes de uma mesma fam´ılia de distribui¸c˜ao de probabilidade. Al´em disso, o conceito de qualion permite que distˆancias e ˆangulos possam ser calculados sem o inconveniente da propriedade de pseudo-distˆancia.
2A pseudo-distˆancia: a distˆancia Kullback-Leibler n˜ao ´e uma medida verdadeira de distˆancia
Cap´ıtulo 9
Conclus˜ao
Seldom do more than a few of nature’s secrets give way at one time. It will be all too easy for our somewhat artificial prosperity to collapse overnight when it is realized that the use of a few exciting words like information, entropy, redundancy, do not solve all our problems.
Claude Elwood Shannon, The Bandwagon
9.1
Discuss˜ao
Como pˆode ser observado ao longo desta tese, inicialmente formulou-se um sis- tema de interpreta¸c˜ao entre os conceitos abstratos de probabilidade e raridade de um evento, inspirado no paradigma de equil´ıbrio qu´ımico. A medida de entropia formulada por Shannon, pode (e deve ser) interpretada como uma concentra¸c˜ao de incerteza m´edia por s´ımbolo (ou resultado). Tal concentra¸c˜ao pode ser utilizada para abordar problemas de decis˜ao: escolhendo-se os pesos (ou contribui¸c˜oes) des- sas concentra¸c˜oes para a decis˜ao. Para fins pr´aticos, os pesos podem ser escolhidos utilizando-se um perceptron para um problema simples de classifica¸c˜ao: o que vin- cula sua escolha `a efetividade de uma decis˜ao. Apesar de o conceito de entropia dife- rencial ser diferente do de incerteza (ambos formulados por Shannon), tais conceitos podem ser conciliados utilizando a hip´otese isoc´orica. A diferen¸ca entre medidas de entropia, conjuntamente com a hip´otese isoc´orica, permite a pondera¸c˜ao de en- tropias diferenciais mantendo-se a mesma interpreta¸c˜ao. Tal interpreta¸c˜ao permite abordar a quest˜ao como diferen¸ca de fun¸c˜oes escalares – o que levou `a investiga¸c˜ao de um campo vetorial conservativo. Este, por sua vez, permite explorar a geometria local da incerteza em fun¸c˜ao dos parˆametros de interesse. O enfoque da aborda- gem em campos conservativos n˜ao s˜ao as fun¸c˜oes de distribui¸c˜ao (ou densidade) de probabilidades, mas sim a geometria das superf´ıcies da fun¸c˜ao de entropia: tanto para processos cont´ınuos quanto para discretos. Assim, o estudo mais se aproxima
das formas de abordagem utilizadas no campo da f´ısica do que no da teoria da in- forma¸c˜ao, como consequˆencia: a presen¸ca de vetores e ˆangulos – que n˜ao s˜ao vistos corriqueiramente em estat´ıstica ou em teoria da informa¸c˜ao (talvez pelo predom´ınio da bem sucedida distˆancia Kullback-Leibler ) e similares. A raz˜ao disso foi a ten- tativa de buscar uma interpreta¸c˜ao para a entropia diferencial para operar sempre como uma quantidade.
O conceito de qualion, que ´e simplesmente o gradiente da entropia multiplicado por um escalar, permite comparar membros de uma fam´ılia de fun¸c˜oes de probabi- lidade usando resultados cl´assicos da ´algebra linear e vetorial.
Um fato importante sobre o conceito de qualion ´e que ele ´e definido diretamente do conceito de entropia (incerteza) – ao contr´ario da distˆancia Kullback-Leibler.