L.J. Amoreira UBI. Dezembro 2010

(1)

Definiç ão de informaç ão

L.J. Amoreira

UBI

(2)

Entropia (ou incerteza [ou ignor ˆancia])

I A incerteza associada a uma vari ´avel aleat ´oria X que pode tomar os valores x1, x2,. . . , xncom probabilidades p1, p2,. . . , pn

é (definiç ão)

H(X ) = −X

i

pilog pi.

I Quais as entropias associadas às seguintes distribuiç ões de probabilidade?

1. 1/2, 1/2 2. 1/3, 1/3, 1/3 3. 1/2, 1/4, 1/4

4. 1/12, 1/12, 1/3, 1/4, 1/4

I Pod´ıamos ter ordenado estas distribuic¸ ˜oes por ordem crescente de entropia antes de fazermos as contas?

(3)

Entropia — Significados intuitivos (I)

I A incerteza de um resultado particular de uma experi ência aleat ória é tanto maior quanto mais improv ável ele for I Um resultado mais improv ável (logo mais incerto) causa-nos

maior surpresa. Se ele é certo, a surpresa a ele associada é nula; se é imposs´ıvel, a surpresa a ele associada é infinita. I Podemos definir incerteza (ou surpresa) associada a um valor

particular Xi de uma vari ´avel aleat ´oria como

h(Xi) = −log pi,

se pi for a probabilidade desse valor particular.

I Mas ent ão a entropia associada a uma vari ável aleat ória X , H(X ) = −X i pilog pi = X i pih(Xi),

é o valor expect ável da incerteza associada aos v ários valores poss´ıveis dessa vari ável aleat ória.

(4)

Entropia — Significados intuitivos (II)

I A entropia associada ao lanc¸amento de um dado ´e log 6 ' 2, 5850 bit

I Em m édia, quantas perguntas com resposta sim/n ão devemos fazer para sermos informados do resultado do lançamento de um dado? Estrat égia 1: hNi =X k pkNk ' 3, 3333 Estrat égia 2: hNi =X k pkNk ' 2, 6667

I H á estrat égias melhores? H á limites a essa melhoria? Sim:N ≥ H I A entropia associada a uma vari ável aleat ória é o n úmero m´ınimo

expect ável de perguntas sim/n ão necess árias para determinarmos o seu valor.

(5)

Entropia — Significados intuitivos (III)

I Seja X a vari ´avel aleat ´oria

X =

a b c

0, 495 0, 495 0, 01

I Repetindo muitas vezes a experi ência que produz X esperamos encontrar sequ ências de resultadost´ıpicas, como (aababbbaab) ou (bbcaaabbba), mas n ão (acccbccbcc)

I O n úmero de sequ ências t´ıpicas dos resultados da repetiç ão n vezes de uma experi ência aleat ória é 2Hn_{, onde H é a entropia}

(6)

Entropia conjunta

I SejamX eY duas vari ´aveis aleat ´orias

X =x1 x2 . . . xN p1 p2 . . . pN Y =y1 y2 . . . yM p1 p2 . . . pM

I Seja pij=P(X = xi∩Y = yj)a distribuic¸ ˜ao de probabilidade

conjunta das duas vari ´aveis

I A entropia conjunta das duas vari ´aveis ´e

H(X , Y ) = − N X i=1 M X j=1 pijlog pij

(7)

Entropia conjunta — Exemplos

I X é o resultado do lançamento de uma moeda; Y é o resultado do lançamento de um dado.

pij =1/2 × 1/6 = 1/12

H(X , Y ) = log 12 ' 3, 585 bits = H(X ) + H(Y )

I Lançam-se duas moedas. Seja X o n úmero de caras (0 ou 1) que “saem” na primeira das moedas e Y o n úmero total de caras obtido nas duas moedas X = 0 1 1/2 1/2 Y = 0 1 2 1/4 1/2 1/4 Probabilidades conjuntas: Y = 0 Y = 1 Y = 2 X = 0 1/4 1/4 0 X = 1 0 1/4 1/4 H(X , Y ) = −4 ×1 4log 1 4 =2 bits H(X ) = 1 bit H(Y ) = 1, 5 bits

(8)

Entropia condicional

I Entropia associada ao lanc¸amento de um dado:

p(k ) = 1

6 ⇒ Hi =log 6 I Sabendo que o resultado ´e par,

p(k ) = p(k |k ´e par) =1 2 3 4 5 6

0 1/3 0 1/3 0 1/3

⇒ H_f =log 3

I Calcul ámos esta última entropia atrav és da f órmula

H(d |d ´e par) = −

6

X

k =1

p(k |k ´e par) log p(k |k ´e par)

´

E a entropia de uma vari ável aleat ória, condicionada a um determinado valor de outra vari ável aleat ória.

(9)

Exemplo: o jogo do total

I Tr ês amigos pensam num n úmero entre 1 e 3 (inclusive). O objectivo é tentar adivinhar a soma dos tr ês n úmeros I Para cada jogador, a incerteza é a da associada à soma dos

n úmeros escolhidos pelos seus dois advers ários. I As v árias possibilidades e as suas probabilidades s ão

a + b p(a + b) = 2 3 4 5 6 1/9 2/9 3/9 2/9 1/9

A incerteza da situaç ão é H(a + b) = 2, 1972 bits

I Suponhamos que um dos jogadores faz batota e descobre que um dos seus parceiros escolheu o “3”. As probabilidades alteram-se ent ˜ao para

a + b p(a + b|b = 3) =2 3 4 5 6 0 0 1/3 1/3 1/3

A incerteza da situaç ão é agora

H(a + b|b = 3) = log 3 ' 1, 5850 bits,

a entropia da soma condicionada ao valor de uma das parcelas ser 3.

(10)

Entropia condicional

I Lançamos um dado (d). Se “sai” 1,2,3,4 (A), lançamos uma moeda; se no dado “sai” 5,6 (B), lançamos duas moedas. Qual a incerteza relativa ao n úmero (m) de caras que obtemos no lançamento da ou das moedas?

I Probabilidades condicionadas: m→ 0 1 2 d = A 1/2 1/2 0 d = B 1/4 1/2 1/4 Probabilidades conjuntas: m→ 0 1 2 d = A 1/3 1/3 0 d = B 1/12 1/6 1/12 I Probabilidade marginal: m = 0 1 2 5/12 1/2 1/12

I Ent ˜ao H(m) = 1, 3250 bits

I Mas H(m|d = A) = 1 bit e H(m|d = B) = 1, 5 bit

I Chama-seincerteza condicional associada a m dado d ao valor expect ´avel da incerteza relativamente a m dado o valor de d :

H(m|d ) = p(d = A)H(m|d = A) + p(d = B)H(m|D = B) =1, 1667 bits

(11)

Entropia condicional e informaç ão m útua

I Em geral, dadas duas vari ´aveis aleat ´orias X e Y , se for p(xi)a

distribuiç ão de probabilidades associada à vari ável X , chama-se entropia condicional de Y dado X ao valor espect ável da entropia condicional de Y para os diferentes valores de X :

H(Y |X ) =X

i

p(xi)H(Y |X = xi)

I Se nada sabemos sobre X , a entropia associada a Y ´e, simplesmente, H(Y ).

I Se observarmos X , haver á uma maior ou menor reduç ão de incerteza, conforme o valor observado. O valor expect ável da incerteza associada a Y depois da observaç ão de X é a incerteza condicional H(Y |X )

I O valor expect ável daquantidade de informaç ãoque recebemos ao observar X é ent ão

I(Y |X ) = H(Y ) − H(Y |X )

(12)

Informac¸ ˜ao — Exemplos

I No problema do dado e das moedas, tinhamos H(m) = 1, 3250 bits H(m|d ) = 1, 1667 bits.

Logo,

I(m|d ) = 0, 1583 bits I No exemplo do jogo do total,

H(a + b) = 2, 1872 bits H(a + b|b) = 1, 5850 bits. ⇒ I(a + b|b) = 0, 6122 bits

(13)

Informac¸ ˜ao — Exemplos

I Uma pessoa escolhe uma carta de um baralho normal de 52. Quanta informaç ão nos transmite se nos disser qual é o naipe?

I A incerteza associada com a escolha da carta ´e H(C) = log 52 = 5, 7004 bits

I Ao dizer-nos o naipe, a incerteza passa a H(C|N) = log 13 = 3, 7004 bits

I A informaç ão recebida é ent ão I(C|N) = H(C) − H(C|N) = 2 bits

I Tentamos adivinhar um n úmerox, secretamente escolhido por outra, pessoa por tentativas. Sugerimos um valor e essa pessoa diz-nos se o n úmerox é menor, igual ou maior do que o que n ós sugerimos.

Se1 ≤ x ≤ 50e se n ós sugerimos o 15, qual informaç ão que recebemos se ela nos disser que o n úmero secreto é menor?

I a incerteza inicial ´e H(x ) = log 50 ' 5, 6439 bits I a incerteza final ´e H(x |x < 15) = log 14 ' 3, 8074 bits

I I(x |x < 15) = H(x ) − H(x |x < 15) = 1, 8365 bits

I De igual modo se deduz

I(x |x = 15) = H(x ) − H(x |x = 15) = H(x ) ' 5, 6439 bits I(x |x > 15) = H(x ) − H(x |x > 15) ' 0, 5146 bits

(14)

(15)

Para os alunos de n úmero par 1. A probabilidade de chuva, ama-nh ã às 15:00, é 0,69. Qual o valor da incerteza associada à ocorr ência (ou n ão) de chuva a essa hora?

A 0,27 bits B 0,62 bits C 0,89 bits

2. Num grupo com 15 mulheres e 10 homens é escolhido uma pessoa ao calhas. Qual a quantidade de informaç ão recebida se nos dizem que é uma mulher?

A 1,00 bit B 0,75 bits C 1,32 bits

Para os alunos de n úmero ´ımpar 1. A probabilidade de chuva, ama-nh ã às 9:00, é 0,88. Qual o valor da incerteza associada à ocorr ência (ou n ão) de chuva a essa hora?

A 0,53 bits B 0,37 bits C 0,16 bits

2. Num grupo com 15 mulheres e 10 homens é escolhido uma pessoa ao calhas. Qual a quantidade de informaç ão recebida se nos dizem que é um homem?

A 1,00 bit B 0,75 bits C 1,32 bits