Prof. Aleksander S. Paterno

(1)

Prof. Aleksander S. Paterno

Disciplina de Princípios de Comunicações I – Teórica ELEMENTOS DE TEORIA DA INFORMAÇÃO

AULA em slide 13 – 20/11/2009 Quarta-feira 15:20 a 17:00

(2)

Resumo da aula 13

O que é teoria da informação?

Limites impostos em comunicações

Compressão: codificação de fonte

Controle de erro: codificação de canal

Aplicações em outras áreas

(3)

Introdu

ç

ão

à

Teoria

da

Informa

ç

ão

C. E. Shannon no artigo fundador da teoria da

informação:

“The fundamental problem of communication

is that of reproducing at one point either

exactly or approximately a message selected at

another point.”

“A mathematical theory of communication” - The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July,

(4)

O

que

a

Teoria

da

Informa

ç

ão

responde

?

Duas questões fundamentais em Comunicações:

1. Qual a taxa máxima possível de compressão de

dados?

RESPOSTA: ENTROPIA H DA FONTE

m(t) tem um limite de compressão H(gerador de m(t)).

2. Qual a máxima taxa Tx de transmissão em um

canal?

RESPOSTA: CAPACIDADE DE CANAL C

Aumento de Tx não aumenta a probabilidade de erro se

Tx<C. C depende da característica do ruído

(5)

Codifica

ç

ão

de

fonte

Codificador de fonte: tem o objetivo de

diminuir o número de bits com que a

informação é representada, por meio de

técnicas/algoritmos de COMPRESSÃO.

Exemplos

–

Câmera digital: encoder(codificador);

–

TV/computador: decoder(decodificador)

–

Camcorder, MP3 Player, câmeras digitais

são codificadores de fonte.

(6)

Codifica

ç

ão

de canal

Codificador de Canal: tem o objetivo de

calcular palavra de bits de forma que a

informação possa ser recebida sem erros em

canal ruidoso, ao utilizar um decodificador

para corrigi-los.

Exemplo:

–

Enviar mesmos bits repetidamente e

identificar o que mais ocorre

–

Por que a imagem da TV digital chega com

qualidade?

(7)

Sistema

de

comunica

ç

ão

digital:

abordagem

de

teoria

da

informa

ç

ão

Codif. de fonte Codific. de canal. Modulação Decodif. de fonte Decodif. de canal Demodulação Transmissor Canal Receptor Entrada da Fonte Sinal reconstruído Na saída CONVER-SOR CONVER-SOR CANAL + Ruído aditivo Distorção

(8)

Informa

ç

ão

:

ponto

de vista

intuitivo

O que é informação? Como quantificá-la?

Informalmente: “Grau de surpresa que ela pode

produzir em quem a recebe”.

Exemplo: está associada à probabilidade de ocorrência

do enunciado na informação

– Chove em Joinville: P = 1 → I = 0.

– Eu acertei todas dezenas na mega-sena: P ~ 0 → I = ∞ Qual a função que poderia representar I relacionada a P?

(9)

Informa

ç

ão

:

ponto

de vista

da

engenharia

O que é informação:

Na mensagem, quanto mais informação, maior o

tempo para transmiti-la.

Sejam mensagens m

₁

=0 e m

₂

=1 equiprováveis P=0.5

Agora, outras mensagens formadas com m

₁

e m

₂

Código estendido de ordem N=2 → 4 combinações P=0.25

Caiu P, aumentou o tamanho (tempo) da mensagem

(10)

Entropia

Entropia pode ser entendida como medida de

incerteza em uma variável aleatória.

Sob o ponto de vista de engenharia: é o menor

comprimento em bits com o qual se pode

codificar a mensagem

Em uma fonte de símbolos, está associada à

quantidade média de informação.

(11)

Exerc

í

cio

1:

Em textos em português as seqüências de letras

(símbolos) tem uma estrutura estatística. Com a

freqüência das letras isoladas em português,

calcule a entropia e a entropia supondo todas letras

equiprováveis.

Solução:

H(X)=3.97bits/letra

(12)

Eficiência

do

c

ó

digo

e

redundância

Eficiência é definida como

η

=H(X)/(Comprimento médio do código) – pode ser

dado em %

Redundância

γ

= 1-

η

Quando o comprimento médio é H(X), a redundância é

nula – pois H(X) é o menor comprimento médio

(13)

Exerc

í

cio

1:

Em textos em português as seqüências de letras

(símbolos) tem uma estrutura estatística. Com a

freqüência das letras isoladas em português,

calcule a a eficiência do código

(

η

=H(X)/Comprimento médio do código) e a

redundância 1-

η

para essa distribuição das letras.

Solução:

H(X)=3.97bits/letra

(14)

Codifica

ç

ão

de

fonte

:

Pelo teorema de codificação de fonte, H(X) é o

número médio de bits mínimo p/ representar X.

Código de Huffmann: comprimento variável, se

aproxima de H(X), unicamente decodificável.

Exemplo: Sejam as mensagens

m=(m

₁

,m

₂

,m

₃

,m

₄

,m

₅

,m

₆

) com vetor de

p=(0.3,0.25,0.15,0.12, 0.1, 0.08) de probabilidades.

Verifique a eficiência do código de Huffmann,

calculando seu comprimento médio em bits.

(15)

Solu

ç

ão

do

exerc

í

cio

1) Ordenam-se as probabilidades em ordem decrescente

p Mens 0.08 m6 0.1 m5 0.12 m4 0.15 m3 0.25 m2 0.3 m1 2) Cria-se novo p* combinando as s=2 últimas probabilidades, reordenando-as 3) Repete-se o processo até que haja 2 probabilidades 0.25 0.18 p** 0.27 0.3 p Mens 0.08 m6 0.1 m5 0.12 m4 0.15 m3 0.25 m2 0.3 m1 p* 0.12 0.15 0.18 0.25 0.3 p* 0.12 0.15 0.18 0.25 0.3 0.25 0.18 p** 0.27 0.3 0.27 p** 0.3 0.43 0.27 p** 0.3 0.43 p*** 0.43 1 0.57 0 4) Associam-se os bits 0 e 1 às mensagens combinadas, começando pela última 1 00 01 00 01 10 11 00 10 11 010 011 00 10 010 011 110 111

(16)

Exerc

í

cio

2 e 3

Calcule a eficiência e redundância do código de

Huffman para a codificação da fonte do exercício

Exerc

í

cio

4

4 –

–

ENADE 1998

• Um sistema remoto de aquisição de dados coleta informação na forma de palavras binárias de 3 bits, a uma taxa de 10kbps. Para reduzir a taxa de transmissão e utilizar meios de transmissão

mais econômicos, é feita uma codificação das palavras binárias de 3 bits utilizando um código de prefixo de tamanho variável. • Palavras-código: {1, 01, 001, 0001, 00001, 000001, 0000001,

0000000}. Ache o código apropriado e a taxa de transmissão.

1% 3% 12% 50% 25% 6% 2% 1% 111 110 101 100 011 010 001 000 m8 m7 m6 m5 m4 m3 m2 m1

(18)

Exerc

í

cio

5

5 –

–

ENADE 1998

• Um processador recebe um comando (A, B, C e D) a uma taxa de 10k comandos/s. Cada um está codificado com dois bits. Os comandos codificados são enviados em canal com banda 8,75 kHz. a) Determine a taxa de sinalização, em bits por segundo, na saída do processador. b) Explique, considerando a banda passante do cabo, o fato de haver, na prática, uma grande

incidência de erros na execução dos comandos. c) Observando a freqüência relativa com que os comandos A, B, C e D obtêm-se freqüências 50%, 25%, 12,5% e 12,5%. Com o objetivo de

reduzir a taxa de bits na transmissão dos dados, ache o código de Huffmann apropriado. d) Explique quando o sinal terá sido transmitido sem distorções ou erros.

11 10 01 00 D C B A