Teoria Ergódica (22 a aula)

Teoria Erg´

odica (22

aula)

Pedro Duarte

Informa¸c˜

ao = Incerteza

Seja (X ,A, P) um espa¸co de probabilidade,

A Aleatoriedade dum evento E ∈A ´e igual `a incerteza

removida, ou informa¸c˜ao ganha pelo conhecimento da sua

realiza¸c˜ao, define-se por

I(E ) = log 1

Teoria da Informa¸c˜

ao. Claude Shannon (1948)

Considere um emissor transmitindo uma sequˆencia de s´ımbolos

num alfabeto finito {1, 2, . . . , m} modelado por um processo estacion´ario, i.e., descrito por uma medida µ que seja σ-invariante no espa¸co de sequˆencias B(m).

A informa¸c˜ao m´edia transmitida por s´ımbolo corresponde ao

conceito erg´odico de entropia do shift (σ : B(m) ←-, µ).

Para o shift de Bernoulli B(p1, . . . , pm) esta informa¸c˜ao m´edia ´e

H = − m X

i =1

A Fun¸c˜

_{ao h : [0, 1] → R}

A Fun¸c˜

ao h : ∆

_{→ R}

Propriedades de h : ∆

_{→ R}

(1) A fun¸c˜ao h : ∆m−1→ R assume o seu valor m´aximo

h(p1, . . . , pm) = log m quando p1 = p2= . . . = pm = _m1.

(2) h : ∆m−1→ R ´e uma fun¸c˜ao estritamente cˆoncava.

∀ t₁, . . . , tm> 0 tais que t1+ . . . + tm = 1, ∀ x1, . . . , xm∈ ∆m−1 h (t1x1+ . . . + tmxm) ≥ t1h(x1) + . . . + tmh(xm) ,

Parti¸c˜

oes duma σ-´

algebra

Seja (X ,A, µ) um espa¸co de probabilidade.

Chama-seA-parti¸c˜ao a um subconjunto n˜ao vazio P ⊂ A tal que

1. C 6= ∅, ∀ C ∈P,

2. X =S

C ∈PC ,

3. C = C0 ou C ∩ C0= ∅, ∀ C , C0 ∈P.

Designamos por Π(X ,A) o conjunto de todas as A-parti¸c˜oes,

Rela¸c˜

ao de Ordem nas Parti¸c˜

oes

SejamP, P0,P1,P2, . . . ,Pn. . . ∈ Π(X ,A).

Dizemos queP0 refina P, e escrevemos P ≤ P0, ⇔ ∀ C ∈P, C se

puder escrever como uma uni˜ao de conjuntos C0∈P, C0 ⊆ C .

P ∨ P0 _{= { C ∩ C}0 _{: C ∈P, C}0 _∈P0_{} ´e uma parti¸c˜ao,}

que se diz gerada porP e P0.

W∞

n=0Pn= { ∩∞n=0Cn : Cn∈Pn} ´e uma parti¸c˜ao, que se diz gerada pelas parti¸c˜oes Pn.

(Π(X ,A), ≤) ´e um conjunto parcialmente ordenado.

Entropia duma Parti¸c˜

ao Finita

Seja (X ,A, µ) um espa¸co de probabilidade.

Dadas parti¸c˜oesP, Q ∈ Π0(X ,A) define-se a entropia de P

Hµ(P) = − X A∈P

µ(A) log µ(A) .

Dado A ∈A, sejam PA= { A ∩ B : B ∈P } e

µA(B) = µ(B|A) = µ(A ∩ B)/µ(A).

A entropia condicional deP dada Q ´e definida por

Hµ(P|Q) = X A∈Q µ(A) HµA(PA) , = − X A∈Q,B∈P

µ(A ∩ B) logµ(A ∩ B)

A Entropia Condicional de

P dada Q ∨ R

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, Q, R ∈ Π0(X ,A) parti¸c˜oes finitas. Hµ(P|Q ∨ R) =X A∈R µ(A) HµA(PA|QA) Prova. Hµ(P|Q ∨ R) = X A∈R,B∈Q,C∈P

−µ(A ∩ B ∩ C ) logµ(A ∩ B ∩ C )

µ(A ∩ B)

= X

A∈R,B∈Q,C∈P

−µ(A) µ_A(B ∩ C ) logµA(B ∩ C )

µA(B)

=X

A∈R

A Entropia ´

e N˜

ao Negativa

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, Q ∈ Π0(X ,A) parti¸c˜oes finitas. (a) Hµ(P) ≥ 0, (b) Hµ(P|Q) ≥ 0 Prova. h(x ) = −x log x ≥ 0, ∀ x ∈ [0, 1] ⇒ ⇒ Hµ(P) = P_A∈Ph(µ(A)) | {z } ≥0 ≥ 0

⇒ Hµ(P|Q) = P_A∈Qµ(A) HµA(PA)

| {z }

≥0

Entropia da Parti¸c˜

ao Trivial ´

e Nula

Sejam (X ,A, µ) um espa¸co de probabilidade,

P ∈ Π0(X ,A) parti¸c˜ao finita. (a) Hµ({X }) = 0, (b) Hµ(P|P) = 0. Prova. Hµ({X }) = −µ(X ) log µ(X ) = −1 log 1 = 0 A ∈P ⇒ PA = {A} ⇒ HµA(PA) = 0 ⇒ Hµ(P|P) = P_A∈Pµ(A) HµA(PA) | {z } =0 = 0 tu

Aditividade da Entropia

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0 _{∈ Π0(X ,A) parti¸c˜oes finitas.} Hµ(P0∨P) = Hµ(P) + Hµ(P0|P) Prova.

Hµ(P0_{∨P) = P}

A∈P0_,B∈P−µ(A ∩ B) log µ(A ∩ B)

=P

A∈P0_,B∈P−µ(A ∩ B)

h

log µ(B) + logµ(A∩B)_µ(B) i

Aditividade da Entropia Condicional

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0_{,Q ∈ Π0(X ,A) parti¸c˜oes finitas.}

Hµ(P0∨P|Q) = Hµ(P|Q) + Hµ(P0|P ∨ Q),

Prova. (P0∨P)A =P0_A∨PA, ∀ A ∈A.

Hµ(P0∨P|Q) = P_A∈Qµ(A) HµA(P 0 A∨PA) =P A∈Qµ(A) (HµA(PA) + HµA(P 0 A|PA)) = Hµ(P|Q) + Hµ(P0|P ∨ Q) tu

A Entropia ´

e Mon´

otona Crescente

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0_{,Q ∈ Π0(X ,A) parti¸c˜oes finitas.} (a) P ≤ P0 ⇒ Hµ(P) ≤ Hµ(P0), (b) P ≤ P0 ⇒ H_µ(P|Q) ≤ Hµ(P0|Q). Prova. P ≤ P0 ⇒ P0∨P = P0. Hµ(P0) = Hµ(P0∨P) = Hµ(P) + Hµ(P0|P) | {z } ≥0 ≥ Hµ(P) Hµ(P0_{|Q) = Hµ(P}0_{∨P|Q) = Hµ(P|Q) + Hµ(P}0_{|P ∨ Q)} | {z } ≥0 ≥ Hµ(P|Q) t u

Rela¸c˜

ao entre a Entropia e a Entropia Condicional

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, Q ∈ Π0(X ,A) parti¸c˜oes finitas. Hµ(P) ≥ Hµ(P|Q). Prova. SejaP = {P1, . . . , Pm} Hµ(P|Q) = PA∈Qµ(A) HµA(PA) =P A∈Qµ(A)h  µ(A∩P1) µ(A) , . . . , µ(A∩Pm) µ(A)  ≤ hP A∈Qµ(A) _µ(A∩P 1) µ(A) , . . . , µ(A∩Pm) µ(A)   = h (µ(P1), . . . , µ(Pm)) = Hµ(P) t u

A Entropia ´

e Mon´

otona Decrescente na Segunda Parti¸c˜

ao

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, Q, Q0_{∈ Π0(X ,A) parti¸c˜oes finitas.} Q0 _{≤Q ⇒ Hµ(P|Q}0_{) ≥ H} µ(P|Q). Prova. Hµ(P|Q) = Hµ(P|Q ∨ Q0) =P A∈Q0µ(A) Hµ_A(PA|QA) ≤P A∈Q0µ(A) H_µA(PA) = H_µ(P|Q0) tu

Subaditividade da Entropia

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0_{,Q ∈ Π0(X ,A) parti¸c˜oes finitas.} (a) Hµ(P ∨ P0) ≤ Hµ(P) + Hµ(P0), (b) Hµ(P ∨ P0|Q) ≤ Hµ(P|Q) + Hµ(P0|Q). Prova. Hµ(P0_{∨P) = Hµ(P) + Hµ(P}0_{|P) ≤ Hµ(P) + Hµ(P}0₎ Hµ(P0∨P|Q) = Hµ(P|Q) + Hµ(P0|P ∨ Q) ≤ H_µ(P|Q) + Hµ(P0|Q) tu

Rela¸c˜

oes M´

odulo 0

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0 _{∈ Π0(X ,A) parti¸c˜oes finitas.}

Dizemos queP = P0 (mod 0) ⇔ ∃ φ :P → P0 bijectiva tal que

∀ P ∈P, φ(P) = P (mod 0).

Dizemos queP ≤ P0 (mod 0) ⇔ ∃ eP ∈ Π0(X ,A) tal que

P = eP (mod 0) e eP ≤ P0_.

P = P0 _{(mod 0) e Q = Q}0 _{(mod 0)}

Entropia Condicional Nula

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, Q ∈ Π0(X ,A) parti¸c˜oes finitas.

Hµ(P|Q) = 0 ⇔ P ≤ Q (mod 0)

Prova. Se P ≤ Q (mod 0) ent˜ao

0 ≤ Hµ(P|Q) ≤ Hµ(P|P) = 0 ⇒ Hµ(P|Q) = 0 Reciprocamente, seP = {P1, . . . , Pm},

0 = Hµ(P|Q) = PA∈Qµ(A) HµA(PA) .

Assim, para todo A ∈Q,

HµA(PA) = 0 ⇒ PA= {A} ⇒ ∃ B ∈P, A ⊆ B (mod 0)

Entropia e Independˆ

encia

Sejam (X ,A, µ) um espa¸co de probabilidade,

P, P0 _{∈ Π0(X ,A) parti¸c˜oes finitas.}

Dizemos queP e Q s˜ao µ-independentes ⇔

µ(P ∩ Q) = µ(P) µ(Q), ∀ P ∈P, Q ∈ Q.

Hµ(P|Q) = Hµ(P) ⇔ P e Q s˜ao µ-independentes.

Prova. Se P e Q s˜ao independentes

Hµ(P|Q) = PA∈Q,B∈P−µ(A ∩ B) log

µ(A∩B) µ(A) =P B∈P−µ(B) log µ(B) = Hµ(P). Reciprocamente, seP = {P1, . . . , Pm} e Hµ(P|Q) = Hµ(P) P A∈Qµ(A) h _µ(A∩P 1) µ(A) , . . . , µ(A∩Pm) µ(A)  = h(µ(P1), . . . , µ(Pm)) ⇒ ∃ a_i, ∀ A ∈Q, µ(A∩Pi) µ(A) = ai ⇒ ai = µ(Pi) tu

Distˆ

ancia entre Parti¸c˜

oes

Sejam (X ,A, µ) um espa¸co de probabilidade,

Seja Π0(X ,A, µ) o quociente de Π0(X ,A) pela rela¸c˜ao de

equivalˆenciaP = Q (mod 0). Neste espa¸co,

d (P, P0) = Hµ(P|P0) + Hµ(P0|P) ´e uma m´etrica.

Prova. ∀P, Q, R ∈ Π0(X ,A, µ),

Hµ(P|R) ≤ Hµ(P ∨ Q|R) = Hµ(Q|R) + Hµ(P|Q ∨ R)

≤ Hµ(Q|R) + Hµ(P|Q)