NI04 - Entropia e Medidas de Informação I

BC-0504

Natureza da Informação

Santo André, Dezembro de 2013 Prof. Irineu

Quantas perguntas preciso fazer para saber qual número você pensou dentre este conjunto de números:

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 • Um dos alunos pensa um número.

• O professor faz as perguntas enquanto que outro aluno escreve um 1 no quadro branco se a resposta for sim e zero se a resposta for não

Supúnhamos que o aluno pensou cinco.

• O número é maior do que 8? Não 0

• O número é maior que 4? Sim 01 • O número é maior que 6? Não 010 • O número é maior que 5? Não 0100

Então é o 5

Se as questões estão corretamente formuladas é possível

identificar o número somente com log₂(16)=4 questões ou 4 bits.

E se for para identificar um 1 entre quinze zeros:

Supúnhamos que o 1 está na quinta posição, o

professor poderá perguntar:

• O número 1 esta numa posição maior do que 8? Não 0 • O número 1 esta numa posição maior que 4? Sim 01 • O número 1 esta numa posição maior que 6? Não 010 • O número 1 esta numa posição maior que 5? Não 0100

Então o 1 está na quinta posição

Foram feitas 4 questões bem formuladas, 4 bits de informação

Quantas perguntas preciso fazer para identifica um algarismo dentro deste outro conjunto de números:

Codificação binária (em 0 e 1)

• Permite identificar qualquer

magnitude em termos de sim ou não

Exemplo: Para identificar número entre 1 e n precisaríamos realizar log₂(n) questões (bem formuladas).

• Exemplo para identificar um átomo no meio do universo que têm 1080 átomos

Codificação binária permite

responder qualquer pergunta

• Exemplo: Qual é a capital da Islândia?

• Reikiavic. Poderia ser escrito em ASCII que é código binário que utilizam os computadores na hora de digitar as letras.

Outros benefícios da codificação binária

• Favorece a transmissão e armazenagem da informação em forma de níveis de voltagem. • Existem códigos corretores de erro que evitam

perdas da informação (exemplo: código de

controle dos cartões VISA ou número de ISBN) • Permite conversão A-D e D-A.

• A codificação binária permite facilmente as operações aritméticas e as operações

O jogo do truco: um exemplo de

codificação de informação

• Algumas sinais do truco: • Piscar um olho = Zap (Paus)

• Subir as sobrancelhas = Sete Copas (Copas)

• Fazer um montinho na bochecha usando a língua = Espadilha (Espadas)

• Mostrar a ponta da língua = Pica Fumo (Ouros) • Levantar um ombro = Três

• Levantar dois ombros = Um par de três

• Encher as bochechas de ar = "To cheio de manilha" • Tocar no peito = "deixa aqui que eu faço"

• Passar a mão no pescoço como se estivesse cortando-o= "Peça Truco”

Um código mais enxuto

• Pro "Pica-fumo" as cartas do baralho bem abertas, como um leque de três carta.

• Pra "Espadilha" as cartas do baralho bem abertas, como um leque de duas cartas só, vc coloca uma carta sobre uma outra, assim abre um leque somente como se fosse duas cartas só. • Pro "Sete Copas" vc fecha o baralho como num maço de uma

carta só

S=log

₂

(w)

• Se W é o numero de diferentes mensagens que precisamos transmitir o código mais enxuto é aquele que tem log₂(w) bits.

• No caso do “truco”, se quisermos transmitir os quatro naipes, com dois bits seria suficiente

usando, tal vez, os dois olhos.

• Para transmitir o número (de 1 para 7)

poderíamos usar três cartas, algumas deitadas (viradas para abaixo) representando os zeros, e algumas em pé representando os uns, formando um código binário.

Redundância

• Não é preciso escrever todas as letras para entender um texto.

• -s –v-nç-s d- c--nc-- e d- t-cn-l-g-- -st–- m-lt-pl-c-ndo -s n-ss-s c-p-c-d-d-s d- c-l-t-r,

tr-t-r, g-r-r - -t-l-z-r -nf-rm-ç-es. No linguagem existe muita redundância

• Informação é aquelo que sobra num

• Existem diversos métodos de compressão de informação.

• O que resta depois de compremir um texto é um núcleo que não pode ser mais

comprimido.

Claude Elwood Shannon (1916-2001)

• Trabalhava nos Laboratórios Bell • Estudou quanta

informação pode

passar por uma linha de telefone.

• Inventou o término bi(gi)t ou bit

Verdadeira contribuição de

Shannon

• Quanta informação cabe num mensagem.

• Como arranjar melhor a informação para que a mensagem seja mais enxuta.

• Vimos alguns exemplos como os programa de compressão de arquivos.

• Outro exemplo são as sinais em jogos de cartas como o “truco”.

O Bit

• Mede o grau de incerteza ou imprevisibilidade.

• O bit é a quantidade de informação necessária para tomar uma decisão perante duas opções igualmente prováveis

• Cálculo da incerteza segundo fórmula de Boltzmann: S=k log(W) com k=1 e a base do logaritmo =2 W são

possíveis configurações que toma um determinado arranjo.

• Cálculo segundo fórmula de Shannon.

i

i

p

p

A informação é medida em bits

21

)

(

log

₂

W

S



A informação é medida em bits

22

)

(

log

₂

W

S



Bom dia Bom dia bits S  log₂(1)  0

A informação é medida em bits

23 Bom dia Bom dia

bit

S



log

₂

(

2

)



1

bits S  log₂(1)  0

)

(

log

₂

W

S



A informação é medida em bits

24 Bom dia Bom dia

bits

S



log

₂

(

6

)



2

,

58

bits

S



log

₂

(

2

)



1

bits S  log₂(1)  0

)

(

log

₂

W

S



• Para o cálculo anterior

aplicamos S=log₂W uma

versão simplificada da fórmula de Boltzman S=klogW onde k=1 e a base do logaritmo é 2.

• Mas podemos utilizar também a fórmula de Shannon utilizando probabilidades

que leva ao mesmo resultado

i

i

p

p

Para isto precisamos lembrar de

algumas propriedades dos logaritmos:

)

(

log

322

,

3

2

log

)

(

log

)

(

log

₁₀ 10 10 2

W

W

W





)

log(

1

log

x

x

















28 Bom dia Bom dia bits S  1log₂(1)  0 i i

p

p

S







log

₂

29

bit

p

p

p

p

p

p

p

p

S

coroa coroa cara cara i i i i i

1

5

,

0

5

,

0

2

log

5

,

0

2

log

5

,

0

))

2

/

1

(

log

5

,

0

)

2

/

1

(

log

5

,

0

5

,

0

log

5

,

0

5

,

0

log

5

,

0

log

log

log

log

2 2 2 2 2 2 2 2 2 1 2 2



















































Dois eventos (cara e coroa), cada um deles com

30

 

   

   

 

 

   

   

 

 

 

 

bits p p p p p p p p p p p p p p p p S _i i i i i 58 , 2 6 log 32 , 3 6 log log log 6 log log log log log log log log log log log log log log 10 2 6 1 2 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 2 6 5 2 5 4 2 4 3 2 3 2 2 2 1 2 1 6 1 2 2                              





 Seis eventos 1,2,3,4,5,6 cada um deles com

Então... Se a fórmula de

Boltzmann é a de Shannon são

equivalentes.. para que usamos

• Vejamos...

• Primeiro...lembrem-se que: Um emissor que fornece sempre o

mesmo mensagem, fornece zero bits de informação.

• Enquanto que o

conteúdo informativo de uma mensagem pouco previsível é grande Bom dia Bom dia

0

)

1

(

log

₂





S

• Numa seqüência de 10 números, se todos são um, não há informação. Ex: 1111111111

• Mas se numa sequência de 10 números, o número 1 aparece uma vez só, por exemplo:

0000010000

• o número 1 possui log₂(10) de informação ou

segundo a fórmula de Shannon (ou a fórmula de Boltzmann)

–log₂(p)=-log₂ (0,1)=log₂ (10)=3,3219 bits • Enquanto que o número 0 possui segundo a

fórmula de Shannon

• Então, quanta informação temos neste mensagem?

0000010000

Poderia se pensar que como temos 10 dígitos teríamos 10 bits de informação, mas na

verdade cada 0 vale 0,152bits porque tem pouca incerteza (imprevisibilidade ou

surpresa) enquanto que o único 1 tem um monte de informação 3,321 bits. A entropia ou informação total do mensagem seria:

Stotal=9x(informação do zero)+1x(informação do 1)=

Fórmula de Shanonn calcula a informação

ou entropia S média por dígito

• Dividindo a informação total pelo número de dígitos, 10, temos a informação ou entropia média de cada dígito:

Smédia=4.689bits/10dígitos= 0.4689 bits/digito

que é a fórmula de Shannon

) ( log ) ( log 10 1 log 10 1 10 9 log 10 9 10 1 9 2 2 zeros um um zeros um zeros média p p p p I I S                                                 

• Esta fórmula representa uma média das informações de cada um dos eventos possíveis.

• Um outro exemplo: 1000 lançamento de uma moeda. Informação em cada cara I_cara= -log₂(0,5)=log(2)=1 Informação em cada coroa I_coroa= -log₂(0,5)=log(2)=1

i i

p

p

S







log

₂ ) ( log ) ( log ) 5 , 0 ( log 5 , 0 ) 5 , 0 ( log 5 , 0 ) 2 ( log 5 , 0 ) 2 ( log 5 , 0 1000 500 500 2 2 2 2 2 2 coroa coroa cara cara coroa cara média p p p p I I I             

• Exemplo: Informação contida na jogada de uma moeda alterada para cair 60% das vezes em cara e 40% do tempo em coroa.

• Observar que a soma das duas probabilidades é 1. 0,6+0,4=1

38

bits S  0,6log₂(0,6)  (0,4)log₂(0,4)  0,97

Exemplo de cálculo de entropia de Shannon para distintas probabilidades de cair cara

• Dois tipos de resposta cara e coroa, onde P(cara)+P( coroa)=1.

39 )) ( 1 ( log ) ( 1 ( )) ( ( log ) ( )) ( ( log ) ( )) ( ( log ) ( 2 2 2 2 cara P cara P cara P cara P coroa P coroa P cara P cara P S         1. Codificação frequêncial

40

S 1 bit

1

0,5 P(cara)

• Quando ambas possibilidades têm a mesma probabilidade de

acontecer P(cara)=P(coroa)=0,5 a entropia ou imprevisibilidade é máxima, e igual a 1 bit.

Exercícios

1. Uma fonte de informação emite um dentre quatro

símbolos possíveis durante cada intervalo de sinalização. Os símbolos ocorrem com as probabilidades p₀ = 0,4; p₁ = 0,3; p₂ = 0,2 e p₃ = 0,1. Encontre a quantidade de

informação obtida ao se observar cada um dos símbolos.

R: 1,322; 1,737; 2,322; 3,322 [bits];

2. Uma fonte emite um dentre quatro símbolos s0, s1, s2 e

s3 possíveis, respectivamente, com probabilidades de 1/3, 1/6, 1/4 e 1/4. Os símbolos sucessivos emitidos pela

fonte são estatisticamente independentes. Calcule a entropia da fonte.

Exercícios

3. Calcule a velocidade de transferência, em bits/s,

necessária para enviar a informação emitida pela fonte do “Exercício 2” por uma conexão de internet, supondo que esta fonte emite 2 símbolos a cada segundo.

R: 3,918 bits/s.

4. Para a fonte do “Exercício 2”, calcule o menor intervalo entre símbolos, supondo que estes sejam emitidos a uma taxa constante, para que a informação da fonte possa ser escoada por uma conexão que transfere 1Mbits/s.