6.5 M´ etodos para calcular a entropia
6.5.2 Geradores
Diremos que uma seq¨uˆencia de parti¸c˜oes finitas {ξn}n ´e uma seq¨uˆencia geradora se
ξ0 ≤ ξ1 ≤ . . . e a correspondente seq¨uˆencia (crescente) de sub-σ-´algebras finitas {An}n
definida por An = A(ξn) gera B. Em outras palavras, como A =S ∞
i=0An ´e uma ´algebra,
essa ´ultima afirma¸c˜ao significa que B(A)= B.◦
Uma parti¸c˜ao finita ξ ´e dita ser geradora se a seq¨uˆencia ξn =Wn−1
i=0 T
−iξ ´e geradora.
Teorema 6.20 (de Kolmogorov-Sinai). Se {ξn}n ´e seq¨uˆencia geradora ent˜ao
h(T ) = lim
n→∞h(T, ξn) .
Demonstra¸c˜ao. Sejam An = A(ξn) e A =
S∞
i=0An. Pela hip´otese, B(A) ◦
= B. Pelo Lema 6.19, dado > 0 existe parti¸c˜ao η formada apenas por elementos de A tal que h(T, η) > h(T ) − .
Como η tem um n´umero finito de elementos, existe n0 tal que se n ≥ n0 ent˜ao
An cont´em todos os elementos de η, em particular cada elemento de η ´e uma uni˜ao
de elementos de ξn. Isso ´e o mesmo que dizer que η ≤ ξn para n ≥ n0. Portanto
h(T, ξn) ≥ h(T, η) > h(T ) − .
O Teorema implica, em particular, que se ξ ´e parti¸c˜ao geradora ent˜ao h(T ) = h(T, ξ), pois h(T, ξ) = h(T,Wn−1
i=0 T
−iξ), para todo n. Tendo isso em conta, tamb´em quando
ξn=Wni=−nT−iξ forma uma seq¨uˆencia geradora obtemos a mesma conclus˜ao.
Em espa¸cos m´etricos compactos, munidos da σ-´algebra de Borel, basta que o diˆametro das parti¸c˜oes v´a a zero, mesmo que a seq¨uˆencia de parti¸c˜oes n˜ao seja crescente.
Teorema 6.21. Seja X espa¸co m´etrico compacto e seja {ξn}n seq¨uˆencia de parti¸c˜oes
finitas de boreleanos de X, com diˆametro indo a zero quando n vai a infinito. Ent˜ao h(T ) = lim
n→∞h(T, ξn)
para toda probabilidade invariante de Borel.
Demonstra¸c˜ao. Seja > 0 e seja ξ = {A1, . . . , Ar} tal que h(T, ξ) > h(T ) − 2 (supondo
h(T ) < ∞, mas no caso h(T ) = ∞ ´e an´alogo).
Analogamente `a prova do Corol´ario 6.19 bastar´a encontrar n0 tal que para n ≥ n0 se
possa formar uma parti¸c˜ao η onde cada elemento seja uni˜ao de elementos de ξn e al´em
disso d(η, ξ) seja menor do que 2.
Para tanto, usaremos o Lema 6.17: basta que η tenha o mesmo n´umero de elementos do que ξ e que a soma das medidas das diferen¸cas sim´etricas entre elementos correspon- dentes seja suficientemente pequena.
Medidas de probabilidade em espa¸cos m´etricos compactos s˜ao regulares (vide Teo- rema 1.22), portanto existem compactos Ki ⊂ Ai tais que
µ(X \ r [ i=1 Ki) = r X i=1 µ(Ai\ Ki) < δ ,
onde δ > 0 ser´a escolhido adiante. Seja
δ0 = inf
i6=jd(Ki, Kj) > 0
e n0 tal que n ≥ n0 implica diam ξn < δ0.
Construiremos a parti¸c˜ao η com uni˜oes de elementos de ξn, n ≥ n0. Chamaremos de
Ci, i = 1, . . . , r − 1, a uni˜ao dos elementos de ξn que intersectam Ki, e Cr a uni˜ao dos
elementos restantes. Por causa da condi¸c˜ao no diˆametro de ξn n˜ao h´a ambig¨uidade na
defini¸c˜ao e os conjuntos Ci resultam dois a dois disjuntos.
Agora examinamos a diferen¸ca sim´etrica Ai4Ci. Em primeiro lugar, Ci cont´em Ki,
portanto Ai \ Ci est´a fora da uni˜ao dos Kj’s. Por outro lado, Ci \ Ai est´a fora de Ki
mas tamb´em est´a fora de qualquer Kj, pois os elementos de ξn que comp˜oem Ci s´o
intersectam Ki. Al´em disso, os Ai’s (resp. Ci’s) s˜ao dois a dois disjuntos, portanto as
diferen¸cas sim´etricas Ai4Ci’s s˜ao duas a duas disjuntas. Isso implica que r X i=1 µ(Ci4Ai) ≤ µ(X \ r [ j=1 Kj) < δ .
Ent˜ao escolhemos δ de acordo com o Lema 6.17, de forma que d(ξ, η) < 2.
6.5.3
Exemplos
Uma forma natural de se construir exemplos ´e tomando o produto de duas transforma¸c˜oes. Teorema 6.22. Sejam (Xi, Bi, µi, Ti), i = 1, 2, sistemas que preservam probabilidade.
Ent˜ao
h(T1 × T2) = h(T1) + h(T2) .
Demonstra¸c˜ao. A primeira tarefa ´e ver como se comporta a entropia de uma parti¸c˜ao produto, relativamente `a medida produto. Seja ξ = {A1, . . . , Ar}, respectivamente η =
ξ × η a parti¸c˜ao produto, formada por todos os elementos da forma Aj × Bl. Ent˜ao H(ξ × η) = X j X l φ ((µ1× µ2)(Aj× Bl)) = X j X l −µ1(Aj)µ2(Bl) log[µ1(Aj)µ2(Bl)] = Hµ1(ξ) + Hµ2(η) .
O conjunto dos retˆangulos A × B, A ∈ B1, B ∈ B2, forma uma semi-´algebra, que gera
a σ-´algebra produto. Pela observa¸c˜ao que se segue ao Corol´ario 6.19, podemos tomar o supremo sobre as parti¸c˜oes formadas por retˆangulos. Melhor ainda, cada parti¸c˜ao formada apenas por retˆangulos pode ser refinada por uma parti¸c˜ao produto, assim s´o precisamos considerar parti¸c˜oes produto.
Por outro lado, ´e f´acil mostrar que
n−1 _ i=0 (T1× T2)−i(ξ × η) = n−1 _ i=0 T1−iξ ! × n−1 _ i=0 T2−iη ! .
Juntando tudo conclui-se facilmente o enunciado.
O seguinte Teorema ´e um crit´erio ´util para determinar que um sistema tem entropia nula. Teorema 6.23. Sejam ξn = Wn i=1T −iξ, n ≥ 1, A n = A(ξn) e A = S∞ n=1An. Se
ξ ⊂ B(A) (em particular, por exemplo, se B(A)= B) ent˜◦ ao h(T, ξ) = 0.
Demonstra¸c˜ao. Pelo Lema 6.18, existe parti¸c˜ao η formada apenas por elementos de A tal que H(ξ|η) < . Logo existe n0tal que para todo n ≥ n0a parti¸c˜ao η ´e formada por uni˜oes
de elementos de ξn. Ent˜ao ξn´e mais fina do que η, implicando que H(ξ|ξn) ≤ H(ξ|η) < .
Isso mostra que H(ξ|ξn) vai a zero quando n vai a infinito. Mas o Teorema 6.10 diz
exatamente que esse limite ´e h(T, ξ). Passemos ent˜ao aos exemplos.
Identidade E evidente que se T = Id ent˜´ ao h(T ) = 0. Isso pode ser provado direta- mente a partir da defini¸c˜ao. Ou sen˜ao, observamos que T2 = T e da´ı h(T ) = h(T2) =
Rota¸c˜oes do c´ırculo A entropia de uma rota¸c˜ao do c´ırculo T tamb´em ´e nula. Se a rota¸c˜ao for racional ent˜ao existe k > 0 tal que Tk = Id, e da´ı h(T ) = 1kh(Tk) = 0.
Se for irracional, levamos em conta, pela observa¸c˜ao que se segue ao Corol´ario 6.19, que a entropia pode ser calculada pelo supremo de h(T, ξ) para ξ formada por intervalos. Usando a propriedade de densidade das ´orbitas n˜ao ´e dif´ıcil mostrar que ξn=
Wn
i=1T −iξ
´
e seq¨uˆencia geradora. Ent˜ao, pelo Teorema 6.23, h(T, ξ) = 0 para toda parti¸c˜ao formada por intervalos, isto ´e, h(T ) = 0.
Rota¸c˜oes no toro Basta ver que uma rota¸c˜ao (ou transla¸c˜ao) do toro ´e o produto de rota¸c˜oes do c´ırculo logo, pelo Teorema 6.22, sua entropia ´e nula.
Shifts de Bernoulli O shift bi ou unilateral dado por p = (p1, . . . , pd) tem entropia
dada por −Pd
i=1pilog pi.
Poder´ıamos usar o Teorema 6.20 de Kolmogorov-Sinai, mas usaremos diretamente o Teorema 6.21. Seja ξ = {A1, . . . , Ad}, onde Ai = {x0 = i}. Seja ξn=Wn−1i=0 T−iξ no caso
unilateral e ξn = Wn
i=−nT
−iξ no caso bilateral. Em ambos os casos, h(T, ξ) = h(T, ξn),
por causa das propriedades de entropia. Por outro lado, em ambos os casos o diˆametro de ξn vai a zero quando n vai a infinito, logo h(T ) = lim
n→∞h(T, ξn) = h(T, ξ).
Mas h(T, ξ) pode ser facilmente calculada. Um elemento de ξn ´e da forma
{x0 = i0, x1 = i1, . . . , xn−1 = in−1} . Logo H(ξn) = −Xpi0. . . pin−1log(pi0. . . pin−1) = −Xpi0. . . pin−1[log pi0 + . . . + log pin−1] = −n d X i=1 pilog pi
Shifts de Markov Pela mesma raz˜ao, basta calcular h(T, ξ) para ξ = {A1, . . . , Ad},
com Ai = {x0 = i}. Temos
H n−1 _ i=0 T−iξ ! = −Xpi0pi0i1. . . pin−2pin−1log(pi0pi0i1. . . pin−2pin−1)
= −Xpi0pi0i1. . . pin−2pin−1[log pi0 + log pi0i1 + . . . + log pin−2pin−1]
= − d X i=1 pilog pi− (n − 1) d X i,j=1 pipijlog pij ,
onde a ´ultima igualdade ´e obtida atrav´es das rela¸c˜oes Pd
j=1pij = 1 e
Pd
i=1pipij = pj.
Dividindo por n e tomando o limite obtemos
h(T ) = −
d
X
i,j=1
pipijlog pij .
Descontinuidade da fun¸c˜ao entropia A fun¸c˜ao entropia µ 7→ hµ(T ) n˜ao ´e necessa-
riamente cont´ınua, mesmo que T seja cont´ınua. Tome por exemplo o shift σ : Σ2 → Σ2.
Para cada k ≥ 1 h´a 2k pontos peri´odicos de per´ıodo k (s˜ao os pontos formados pela repeti¸c˜ao de alguma seq¨uˆencia x0x1. . . xk−1). Defina µk como a m´edia equˆanime das me-
didas de Dirac nesses pontos peri´odicos. Neste caso, hµk(T ) = 0. Por outro lado, seja µ
a medida (12,12), que tem entropia hµ(T ) = log 2. Mostraremos que µk → µ na topologia
fraca-*. Para isso bastaria mostrar que R f dµk →R f dµ para qualquer fun¸c˜ao cont´ınua
f . No entanto, ´e suficiente mostrar o mesmo para um conjunto denso nas transforma¸c˜oes cont´ınuas, e aqui escolheremos o conjunto das fun¸c˜oes que dependem somente de um n´umero finito de coordenadas (isto ´e, existe N tal que f ´e constante em cada cilindro de tamanho N ). Ora, mas se f for uma fun¸c˜ao que depende apenas das N primeiras coordenadas e k > N ent˜aoR f dµk =R f dµ, demonstrando o que quer´ıamos.
Entropia infinita Seja I = (0, 1] com a σ-´algebra de Borel e a medida de Lebesgue. Seja X = IZ com a medida produto e seja T o shift.
Construiremos parti¸c˜oes ξn de X tais que h(T, ξn) = log n, implicando que h(T ) = ∞.
Seja An,i= {x; i − 1 n < x0 ≤ i n; n > 0, 1 ≤ i ≤ n} ,
e ξn = {An,1, . . . , An,n}. Assim como no shift de Bernoulli,
h(T, ξn) = − n
X
i=1
µ(An,i) log µ(An,i) ,
mas como µ(An,i) = n1 ent˜ao h(T, ξn) = log n.
Isomorfismos E f´´ acil ver que a entropia ´e um invariante por isomorfismos, mas existem exemplos de transforma¸c˜oes n˜ao isom´orficas com entropias iguais.
A entropia vista como invariante mostra que certos shifts de Bernoulli n˜ao podem ser equivalentes, pois tˆem entropias diferentes. Apesar de isso ser simples `a luz de toda a teoria que temos visto, por muito tempo ficou aberta a quest˜ao de haver ou n˜ao dois shifts de Bernoulli que n˜ao fossem isom´orficos.
Mesmo assim, o que vimos n˜ao mostra que dois shifts de Bernoulli com entropias iguais s˜ao equivalentes. Por exemplo, (14,14,14,14) e (21,18,18,18,18) tˆem entropia igual a 2 log 2, mas s˜ao isom´orficos? Ornstein provou que sim: a entropia ´e um invariante completo em shifts de Bernoulli.