Teoria da Informação

(1)

Introdução

Prof. Márcio Lima

E-mail:marcio.lima@upe.poli.br

18.09.2008

Universidade de Pernambuco

(2)

2

Teoria da Informação – Prof. Márcio Lima

Introdução

“A principal função de um sistema de comunicação é reproduzir,

exatamente ou de forma aproximada, uma informação proveniente

de outro ponto diferente.”

Claude Shannon, 1948

(3)

3

Introdução

Antes da transmissão o sinal tem de ser gerado, e.g., TV áudio e vídeo, além dos dados para controle da transmissão e interatividade.

O codificador de fonte transforma o sinal analógico captado em um sinal digital, para permitir o armazenamento em equipamento de memória.

(4)

4

Introdução

• Fonte: é comumente modelada por um sinal estocástico ou por um gerador de dados aleatórios.

• Transmissor: converte a saída da fonte em formas de onda adequadas para transmissão no canal.

• Codificador de Fonte: converso analógico/digital e remover detalhes desnecessários da informação (redundância)

• Codificador de Canal: adiciona redundância controlada à saída para combater os efeitos do canal (ruído), e.g., Reed-Solomon (BCH) e Virtebe (convolucional)

• Modulador: translada a saída do codificador de canal para uma forma de onda e freqüência adequada para a transmissão pelo canal.

(5)

5

Introdução

• Canal: meio físico pelo qual a informação passa antes de alcançar o receptor, e.g., par de fios, fibra óptica, microondas (Serviço de Distribuição Multiponto Multicanal (MMDS)), etc.

• Receptor: processar a saída ruidosa do canal, com a finalidade de determinar a forma de onda transmitida.

• Demodulador: a partir da forma de onda recebida do canal, estima a forma de onda que foi enviada pelo transmissor e entrega uma versão digital correspondente.

• Decodificador de canal: tenta corrigir os possíveis erros e produz sua estimativa dos dígitos de saída do codificador de fonte.

• Decodificador de fonte: processa a saída do decodificador de canal, repondo a redundância que foi removida, reconstruindo a mensagem a ser entregue ao destinatário.

• Destinatário:

(6)

6

Codificador de Fonte

Qualquer informação que precise ser armazenada ou transmitida,

necessariamente, deve passar por um processa de quantização e eliminação de redundância.

O processo de codificação de fonte, ou digitalização de sinais, têm como objetivo reduzir a entropia do sinal pela fonte de dados, de forma controlada. A entropia representa a informação média fornecida pelos símbolos da fonte e é definida para um alfabeto de símbolos X, como

em que p(x) representa a probabilidade do símbolo x. A entropia,como medida de informação, é dada em shannon (Sh), mas é comum o uso do bit para designar o conteúdo de informação.

Teoria da Informação

 

_{ }

x p x p X H X 1 log₂





(7)

7

Codificador de Fonte

Suponha, por exemplo, que um emissor transmita a mensagem "bom dia", letra por letra. Ao emitir as primeiras letras, há uma expectativa da parte do receptor, que vê surgir as letras "b", "o", "m", um espaço, e depois "d" e o "i". O "a" final é quase inútil, pois sua probabilidade de ocorrência é tão grande, para dar sentido à seqüência anterior, que a

quantidade de informação transmitida por essa letra é muito menor que a transmitida

pelas primeiras.

(8)

8

TV Analógica e Digital – Prof. Márcio Lima

Codificador de Fonte

Seqüência da fonte de informação possui K diferentes símbolos, em que a

probabilidade de ocorrência do k-ésimo símbolo (a_k) é denominada p_k. A palavra

código (binária) associada ao símbolo a_k tem tamanho l_k

Comprimento médio da palavra código: número médio de bits por símbolo da fonte usado na codificação:

Valor mínimo possível de L: L_min

Eficiência de codificação do codificador de fonte

Codificação de Fonte



 





1 0 K k k k

l

p

L

_min





(9)

Teorema:

Dada uma fonte de informação discreta com entropia H(A), o tamanho médio da palavra código L para qualquer codificação de fonte sem distorção é limitado por

9

Codificador de Fonte

Também chamado de Teorema da codificação sem ruído - trata da condição de codificação sem erros.

Responde a questão fundamental da codificação de fonte

Remoção da redundância de informação do sinal a ser transmitido. Processo geralmente chamado de compactação de dados ou compressão sem perdas

Teoria da Informação

 

A

H

(10)

10

Amostrador do Sinal

No processo de amostragem, um sinal qualquer continuou no tempo é transformado em um sinal discreto no tempo

Codificação de Fonte

Amostrador Quantizador Codificador

a(t) x(t) y(t) b(t)

(11)

11

Amostrador do Sinal

Codificação de Fonte

Amostrador Quantizador Codificador

a(t) x(t) y(t) b(t)

Modelo genérico para um sistema de codificação de fonte. De acordo com o Teorema de Nyquist, a quantidade

de amostras por unidade de tempo de um sinal, chamada taxa ou freqüência de amostragem, deve

ser maior que o dobro da maior freqüência contida no sinal a ser amostrado, para que possa ser reproduzido integralmente sem erro de aliasing. A

metade da freqüência de amostragem é chamada

freqüência de Nyquist e corresponde ao limite

máximo de freqüência do sinal que pode ser reproduzido.



_A _M



M

A

f

(12)

12

Amostrador do Sinal

Teoria da Informação

O processo de amostragem e geração do sinal modulado por amplitude de pulso (PAM) é mostrado na figura.

Aplicações:

•Telefonia: f_A= 8k amostras/s

•Compact Disc: f_A= 22k amostras/s •MPEG-1: f_A = 32, 44.1, 48 k amostras/s

(13)

13

Amostrador do Sinal

(14)

14

Amostrador do Sinal

Codificação de Fonte

Nos processo de amostragem de vídeo as lentes da câmera projetam sobre a

superfície do sensor (Charge Coupled Device – CCD) uma imagem que é

segmentada em elementos de imagem (picture elemnets – pixels)

Amostragem do Sinal de Vídeo

O dispositivo analisa o sinal analógico

proveniente da laitura dos pixels e o discretiza,

gerando o sinal no formato digital

(15)

15

Amostrador do Sinal

Codificação de Fonte

Após a digitalização, a imagem é composta por um número determinado de pixels, por exemplo, no formato NTSC DV, esse número é de 720 pixels de largura por 480 pixels de altura, ou seja, 345.600 pixels.

Amostragem do Sinal de Vídeo

Na digitalização DV, a componente de luminânica é amostrada à taxa de 13,5 M amostra/s. As componetes U e V, que representam as diferenças de cor em relação a Y, são amostradas a ua taxa de menor, 3,37 amostras/s (4:1:1).

(16)

16

Códigos de Fonte

Codificação de Fonte

Um código de bloco é não-singular se todas suas palavras-código forem distintas.

(24)

24