Sistemas discretos sem mem´
oria e codifica¸c˜
ao da
fonte
Luis Henrique Assump¸c˜ao Lolis
Conte´
udo
1 Sistemas discretos sem mem´oria
Redundˆancia
2 Codifica¸c˜ao da fonte
C´odigo Morse
Sum´
ario
1 Sistemas discretos sem mem´oria
Redundˆancia
2 Codifica¸c˜ao da fonte C´odigo Morse
Sistemas discretos sem mem´
oria
Um evento n˜ao depende dos eventos anteriores, sendo assim
estatisticamente independente. Defini¸c˜oes:
Fonte discreta de informa¸c˜ao Fonte que gera uma sequˆencia de s´ımbolos.
S´ımbolo Tamb´em chamado de letra.
Alfabeto da fonte Um conjunto de s´ımbolos que fazem parte do mesmo grupo.
Mensagem Grupo de s´ımbolos consecutivos.
O que em estat´ıstica n´os chamamos de experimento, em comunica¸c˜oes n´os chamaremos de alfabeto:
U = {u1, ..., un} com probabilidades P = {p1, ..., pn} Analogia com a linguagem escrita, existem as palavras ou mensagens, com tamanho l e denominadas por v. Um
alfabeto consistente de n s´ımbolos, permite nl mensagens
diferentes. O conjunto V = {v1, ..., vj, ..., vnl} cont´em todas
as mensagens poss´ıveis. As probabilidades de p1 a pn d˜ao a quantidade de informa¸c˜ao do alfabeto: H(U ) = n X i=1 pilog2 1 pi
Tendo a m´axima quantidade de informa¸c˜aoem:
maxuH(U ) = log2n tendo pi=
1
Redundˆ
ancia
´
E quando se trabalha as probabilidades de determinadas sequˆencias de maneira que n˜ao se obt´em a m´axima quantidade de informa¸c˜ao.
N˜ao ´e necessariamente ruim, pois a redundˆancia, explicada no conceito da teoria da informa¸c˜ao, diminui a quantidade de surpresa de uma sequˆencia e elimina a possibilidade de ocorrˆencia de outras sequencias.
A redundˆancia ser´a usada em c´odigos de corre¸c˜ao de erro, pois se certas sequˆencias forem recebidas e n˜ao s˜ao esperadas, isso vai indicar erro.
A redundˆancia´e quantificada como a distˆancia da quantidade m´axima de informa¸c˜ao:
red= 1 − H(U )
maxuH(U )
= 1 −H(U )
Exerc´ıcio
Considere o alfabeto bin´ario:
U = {0, 1}
A ocorrˆencia dos s´ımbolos sendo estatisticamente independente e de valor: P0 = 1 4 P1= 3 4
As mensagens s˜ao todas as combina¸c˜oes poss´ıveis de 3 bits: V = {000, 001, ..., 111}
Nota
A quantidade de informa¸c˜ao tamb´em pode ser medida por
unidade de tempo. Se o envio de uma mensagem leva t
segundos, a quantidade de informa¸c˜ao no tempo ´e dada em
bits/segundo: Ht(U ) = 1 tH(U ) t = n X k=1 tk· pk Ex:
Quanta informa¸c˜ao em bits/s tr´as um v´ıdeo em RGB
codificado em 256 n´ıveis para cada cor, com 800X600 pixels e 25 quadros por segundo?
t ´e o tempo m´edio de cada s´ımbolo ou o tempo m´edio de cada mensagem.
Considere que t0 = 0, 02 seg e que t1= 0, 01.
Calcular a quantidade de informa¸c˜ao por s´ımbolo em bits/seg H(U ) = n X i=1 p(ui)log2 1 p(ui) = 1 4log2(4) + 3 4log2 4 3 = 0, 811 bits/s´ımbolo t = n X k=1 tk· pk= t0· p(0) + t1· p(1) = 0, 02 · 0, 25 + 0, 01 · 0, 75 = 0, 0125 seg Ht(U ) = 1 tH(U ) = 1 0, 01250, 811 = 64, 88 bits/seg Calcular a quantidade de informa¸c˜ao em bits/s das palavras contendo 3 bits.
Sum´
ario
1 Sistemas discretos sem mem´oria Redundˆancia
2 Codifica¸c˜ao da fonte
C´odigo Morse
Codifica¸c˜
ao da fonte
Tornar a representa¸c˜ao mais compacta poss´ıvel sem perda de informa¸c˜ao.
Intui¸c˜ao
N˜ao se usa mais bits na mensagem que a pr´opria quantidade de informa¸c˜ao, ligada a probabilidade das mensagens ocorrerem. Mensagens com menor probabilidade podem ser codificadas com sequˆencias mais longas (pois contˆem maior quantidade de informa¸c˜ao).
C´
odigos de largura vari´
avel
Quantidade de informa¸c˜ao de sistemas com palavras c´odigo de largura vari´avel:
H(V) = K−1 X k=0 pklog2 1 pk
Estamos interessados em c´odigos que satisfa¸ca duas condi¸c˜oes:
1 A palavra c´odigo ´e na forma bin´aria 2 O c´odigo ´e unicamente decodific´avel
Qualquer sequencia de palavras c´odigo ´e ligada `a uma ´unica sequˆencia de s´ımbolos da fonte.
C´
odigo Morse
O interessante do c´odigo morse ´e ele ter sido implementado
em sistemas anal´ogicos, onde o conceito do tamanho da
palavra c´odigo se aplicava `a representa¸c˜ao de um caractere:
Fonte: wikip´edia : letter frequency http://en.wikipedia.org/Letter frequency
Fonte: morsecodecompany
Fonte discreta sem mem´oria sk, passada por um codificador
da fonte, criando a sequˆencia bin´aria bk de probabilidade pk,
k = 0, 1, .., K − 1, K ´e o n´umero de s´ımbolos diferentes. O tamanho de palavra de c´odigo ´e vari´avel e denominado lk
O tamanho m´edio de cada palavra c´odigo depende da probabilidade de cada s´ımbolo, pk:
L =
K−1
X
k=0
pklk
Se o c´odigo ´e ideal, o tamanho m´edio da palavra c´odigo ´e igual ao tamanho m´ınimo da palavra c´odigo Lmin. Ent˜ao a
eficiˆencia do c´odigo ´e dada por:
η = Lmin
Sum´
ario
1 Sistemas discretos sem mem´oria Redundˆancia
2 Codifica¸c˜ao da fonte C´odigo Morse
Teorema de codifica¸c˜
ao
L ≥ H(V), ent˜ao o tamanho m´ınimo da palavra c´odigo ´e: L = H(V)
Dado uma sequˆencia de s´ımbolos de Entropia (quantidade de
informa¸c˜ao) H(V), o tamanho m´edio das palavras deve ser tal que:
η = H(V)
Fazendo a diferen¸ca entre redundˆ
ancia e eficiˆ
encia
Redundˆancia
Compara a quantidade de informa¸c˜ao de um conjunto de palavras c´odigo (probabilidades das diferentes palavras c´odigo) e a m´axima quantidade de informa¸c˜ao poss´ıvel quando as palavras c´odigo s˜ao equiprov´aveis.
Eficiˆencia
Teorema de Shannon: compara a quantidade de informa¸c˜ao de um jogo de palavras-c´odigo (mensagens) e o tamanho m´edio m´ınimo poss´ıvel para as palavras c´odigo.
Para um sistema de m´axima eficiˆencia:
Encontre a rela¸c˜ao que liga o tamanho das palavras c´odigo `as suas probabilidades: K−1 X k=0 pklk= K−1 X k=0 pklog2 1 pk
Exerc´ıcio (1):
Encontre a rela¸c˜ao que liga o tamanho das palavras c´odigo `as suas probabilidades em um c´odigo ideal:
1 L = H(V) 2 L = K−1 X k=0 pklk 3 H(V) = L = K−1 X k=0 pklog2 1 pk 4 K−1 X k=0 pklk= K−1 X k=0 pklog2 1 pk
