Teoria da Informação:
Teorema da Codificação
de Fonte
Natureza da Informação
Teoria da Informação
Outubro de 2010O que é Teoria da Informação?
Este tema se baseia amplamente na matemática e deu contribuições
fundamentais não somente para as
comunicações, mas também para outras áreas do conhecimento,
No contexto das comunicações a teoria da informação lida com modelagem
matemática e análise de um sistema de comunicação;
O que a Teoria da Informação Ajuda Responder?
Qual a qualidade mínima abaixo da qual um sinal não pode ser comprimido?
Qual a taxa de transmissão definitiva para uma comunicação confiável através de um canal ruidoso?
Teoria da Informação
Claude Shannon(1916-2001) é conhecido como "o pai da teoria da informação“,
Sua teoria considerara a comunicação como um problema matemático
rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de
não se preocupa com a semântica dos dados, mas pode envolver aspectos
relacionados com a perda de informação na compressão e na transmissão de
mensagens com ruído no canal,
enfoca o problema de qual é a melhor
forma para codificar a informação que um emissor queira transmitir para um
receptor( Wikipedia) ;
Entropia e Capacidade do Canal
A resposta às questões anteriores está na entropia de uma fonte e na capacidade de um canal;
A entropia é definida em termos do
comportamento probabilístico de uma fonte de
informação,
A entropia determina o grau de caoticidade da distribuição de probabilidade pi e pode ser usada para determinar a capacidade do canal necessária para transmitir a informação,
A capacidade é definida como a habilidade
intrínseca de um canal para transportar
Modelagem da Fonte
A saída da fonte é modelada como uma
variável aleatória discreta S, que assume K símbolos de um alfabeto finito fixo.
S = {s0, s1, s2, ..., sk-1} com probabilidades
P(S = sk) = pk, k = 0, 1, 2, ..., K-1
Evidentemente, esse conjunto de
probabilidades deve satisfazer à condição:
1 0 1 K k k p − = =
∑
A somatória das probabilidades de todos os símbolos deve ser sempre igual a 1,
A quantidade de símbolos da fonte pode ser variável.
Ex: Pode ser tanto uma moeda, com apenas duas possibilidades de resultado, como pode ser um
dado, com 6 possibilidades,
A quantidade de possibilidades vai definir a quantidade de símbolos no alfabeto, sendo que cada símbolo traz
consigo uma probabilidade de ocorrência;
Questionamento...
Podemos encontrar uma medida da
quantidade de informação produzida por esta fonte?
A ideia de informação está estreitamente ligada com a da incerteza ou surpresa,
Se pk = 1 então não há nenhuma informação quando o símbolo sk for transmitido,
Se há uma probabilidade não nula pk
associada a sk, então este símbolo carrega alguma informação;
Quantidade de Informação
Depois da ocorrência do evento S = sk há um ganho na quantidade de informação (resolução da incerteza),
A quantidade de informação deste evento
I(sk) está relacionada ao inverso da
probabilidade de ocorrência;
2 2
1
( )k log log k [bit]
k I s p p = = −
Justificativa da definição
A escolha da função logarítmica é baseada em alguns fundamentos:
a) a Informação deveria ser em função de 1/P(Xi) posto que quanto mais provável um símbolo menos informação ele traz,
b) Deve satisfazer a condição que elemento com
probabilidade de ocorrência 1 deverá trazer informação 0
A escolha da função logarítmica satisfaz os 2 itens anteriores e alem disso tem fácil manuseio
matemático pois quase todas as distribuições probabilísticas são funções exponenciais.
A base 2 foi escolhida pois normalmente em codificação usaremos a base binária.
Propriedades da Quantidade de Informação
1. I(sk) = 0 para pk = 1: se houver certeza absoluta sobre um evento antes de ele acontecer, nenhuma informação será ganha,
2. I(sk) ≥ 0 para 0 ≤ pk ≤ 1: um evento pode fornecer ou não informação, mas nunca provoca perda de informação,
3. I(sk) > I(si) para pk < pi: quanto menos provável for o evento, mais informação teremos quando ele ocorrer;
Entropia
Cada símbolo do alfabeto S traz consigo uma quantidade de informação,
A média das quantidades de informação de um determinado alfabeto é chamada de
Entropia, H(S) :
A entropia depende apenas das
probabilidades dos símbolos existentes no alfabeto S da fonte.Representa uma média ponderada das informações de cada um dos eventos possíveis.
1 1
2 2
0 0
1
( ) [ ( )] log log [bit]
K K k k k k k k k H S E I s p p p p − − = = = = = −
∑
∑
Propriedades da Entropia
1. 0 ≤ H(S) ≤ log2K: limite superior da entropia,
2. H(S) = 0, se e somente se existe a
probabilidade pk igual a 1 para algum k e as probabilidades restantes dos conjuntos
forem iguais a zero,
3. H(S) = log2K, se e somente se a pk = 1/K para todo k (símbolos equiprováveis). Neste caso temos o caso de máxima incerteza, onde todos os símbolos possuem a mesma quantidade de informação;
Exemplo
Calcular a entropia para uma fonte binária para a qual o bit 0 ocorre com
probabilidade p0 e o bit 1 com probabilidade p1 = 1 – p0.
A entropia desta fonte é:
H(S) = – p0 log2 p0 – p1 log2 p1 =
16
bit
p
p
p
p
p
p
p
p
S
coroa coroa cara cara i i i i i1
5
,
0
5
,
0
2
log
5
,
0
2
log
5
,
0
))
2
/
1
(
log
5
,
0
)
2
/
1
(
log
5
,
0
5
,
0
log
5
,
0
5
,
0
log
5
,
0
log
log
log
log
2 2 2 2 2 2 2 2 2 1 2 2=
+
=
+
=
=
−
−
=
=
−
−
=
=
−
−
=
=
−
=
−
=
∑
∑
=Dois eventos (cara e coroa), cada um deles com
17 S
1 bit
1
0,5 P(cara)
Quando ambas possibilidades têm a mesma probabilidade de acontecer P(cara)=P(coroa)=0,5 a entropia ou imprevisibilidade é máxima, e igual a 1 bit.
1. Codificação frequêncial
Entropia de uma fonte com 2 símbolos com mesma probabilidade de ocorrência
18
( )
( ) ( )
( ) ( )
( )
( )
( ) ( )
( ) ( )
( )
( )
( )
( )
bits p p p p p p p p p p p p p p p p S i i i i i 58 , 2 6 log 32 , 3 6 log log log 6 log log log log log log log log log log log log log log 10 2 6 1 2 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 1 2 6 1 6 2 6 5 2 5 4 2 4 3 2 3 2 2 2 1 2 1 6 1 2 2 = = = = − = − = = − − − − − − = = − − − − − − − = = − = − =∑
∑
= Seis eventos 1,2,3,4,5,6 cada um deles comTeorema da Codificação de Fonte
Como representar eficientemente os códigos de uma fonte?
O dispositivo que executa a representação denomina-se codificador de fonte e este é
mais eficiente quando conhecemos a estatística da fonte,
Se alguns símbolos da fonte forem
conhecidamente mais prováveis que outros, podemos atribuir palavras-código breves a símbolos freqüentes e palavras-código longas a símbolos raros;
Requisitos
para o Codificador de FonteQue as palavras-código produzidas pelo codificador estejam na forma binária,
Que o código da fonte seja singularmente decodificável, de forma que a seqüência da fonte original possa ser reconstruída perfeitamente; Fonte Discreta Codificador de Fonte Seqüência Binária sk bk
Tamanho Médio da Palavra-Código
Admitamos que a fonte tenha um alfabeto de K símbolos diferentes e que o k-ésimo símbolo sk ocorra com probabilidade pk e que a palavra-código atribuída a ele tenha um tamanho ℓk (medido em bits).
Definimos o tamanho médio da palavra-código, do codificador de fonte, como:
representa o número médio de bits por simbolo-fonte utilizado no processo de codificação da fonte; L 1 0 K k k k L p − = =
∑
lEficiência de Codificação
Admitindo que Lmin seja o valor mínimo que pode assumir, a eficiência de codificação é
definida como:
1o Teorema de Shannon
Com barra maior ou igual a Lmin, temos
claramente n menor ou igual a 1. Quanto mais n se aproximar de 1, melhor será o codificador;
L min
L
L
η
=
LEficiência de Codificação
O teorema da codificação de fonte, ou Primeiro
Teorema de Shannon, amarra a entropia de uma
fonte ao seu mínimo comprimento médio, já que esta representa um limite fundamental ao número de bits por símbolo da fonte;
Mas como obter Lmin? O Teorema da
Codificação de Fonte, é formulado da seguinte maneira:
Dada uma fonte discreta sem memória, com entropia H(S), o tamanho médio da palavra-código
correspondente a qualquer esquema de codificação de fonte sem distorção é limitado como:
Eficiência de Codificação
( )
H S L
Compactação de Dados
Uma característica comum de sinais gerados por fontes físicas é que estas contem quantidade significativa de
redundâncias,
Assim, sem que haja perda de
informação, é interessante eliminar as
redundâncias usando o que chamamos de compactação ou compressão de dados,
Para tanto, usamos os chamados códigos de prefixo, códigos de Huffman e códigos de Lempel-Ziv;
Exemplo
Vamos imaginar um dado de 5 lados (D5), S = {A, B, C, D, E} com suas respectivas
probabilidades e representações, conforme a tabela a seguir.
Exemplo
Para transmitir os resultados deste dado seriam necessários 3 bits. Vamos analisar os casos utilizando as representações
Representação A
Para a representação A, temos um tamanho médio do código de:
e uma entropia de Logo, a eficiência é de 0,9. 1 1 1 1 1 4 4 3 2 1 2, 5 bits 8 8 4 4 4 L = × + × + × + × + × = 2 2 2 2 2 1 1 1 1 1
( ) log 8 log 8 log 4 log 4 log 4 2, 25 bits
8 8 4 4 4
Representação B
Para a representação A, temos um tamanho médio do código de:
e uma entropia de
Logo, a eficiência é de 0,81.
2 2 2 2 2
1 1 1 1 1
( ) log 8 log 8 log 4 log 4 log 4 2, 25 bits
8 8 4 4 4 H S = × + × + × + × + × = 1 1 1 1 1 2 2 3 3 3 2, 75 bits 8 8 4 4 4 L = × + × + × + × + × =
Representação C
Para a representação A, temos um tamanho médio do código de:
e uma entropia de
Logo, a eficiência é de 1,0.
2 2 2 2 2
1 1 1 1 1
( ) log 8 log 8 log 4 log 4 log 4 2, 25 bits
8 8 4 4 4 H S = × + × + × + × + × = 1 1 1 1 1 3 3 2 2 2 2, 25 bits 8 8 4 4 4 L = × + × + × + × + × =
Tópicos Importantes
Conceito de Informação,
Relação entre Entropia e Quantidade de Informação,
Exercícios
1. Uma fonte emite um de quatro símbolos possíveis durante cada intervalo de sinalização. Os símbolos ocorrem com as
probabilidades p0 = 0,4; p1 = 0,3; p2 = 0,2 e p3 = 0,1. Encontre a quantidade de informação obtida observando-se a emissão desses símbolos pela fonte.
R: 1,322; 1,737; 2,322; 3,322 [bits];
2. Uma fonte emite um de quatro símbolos s0, s1, s2 e s3 com
probabilidades 1/3, 1/6, 1/4 e 1/4, respectivamente. Os símbolos sucessivos emitidos pela fonte são estatisticamente
independentes. Calcule a entropia da fonte. R: 1,959 bits
3. Considere uma fonte discreta sem memória cujo alfabeto consiste de K símbolos equiprováveis. Que condições devem ser
satisfeitas por K e pelo tamanho da palavra-código para que a eficiência de codificação seja 100%?
Referências
Simon Haykin, “Sistemas de Comunicação Analógicos e Digitais”, 4.a Edição, Bookman, 2004.
