A forma mais simples de codificar s´ımbolos de um alfabeto A com N elementos ´e associar bi-univocamente a cada s´ımbolo de A uma palavra bin´aria de comprimento fixo. Esse com- primento tem de ser, no m´ınimo, ¯γ = dlog2Ne bits. Quando N n˜ao ´e uma potˆencia de 2, desperdi¸cam-se palavras de c´odigo. Por exemplo, com um alfabeto de 5 s´ımbolos, seriam precisos c´odigos de dlog25e = 3 bits, capazes de representar 23 = 8 s´ımbolos distintos. No entanto, se agruparmos os s´ımbolos em ternos (k1, k2, k3), passamos a ter um alfabeto ex- tendido A3 com 53 = 125 ternos distintos. Os ternos podem ent˜ao ser representados com c´odigos de dlog2125e = 7 bits, o que d´a um comprimento m´edio por s´ımbolo de 7/3 ≈ 2.33 bits, bastante mais pr´oximo do valor limite log25 ≈ 2.32. Esta forma de extens˜ao do alfabeto por agrupamento de s´ımbolos em blocos ´e um processo usual de conseguir um pouco mais de eficiˆencia a partir de certas t´ecnicas de codifica¸c˜ao.
O agrupamento de s´ımbolos em blocos pode ser implementado com aritm´etica inteira. Se os s´ımbolos forem representados por n´umeros inteiros ki ∈ {0, 1, . . . , N − 1}, ent˜ao um bloco de m s´ımbolos pode representar-se por um inteiro S ∈ {0, 1, . . . , Nm − 1}, calculado pela express˜ao
S = k1Nm−1+ k2Nm−2+ · · · + km−1N + km.
Para a descodificar basta fazer sucessivas divis˜oes inteiras por N ou recorrer a uma tabela indexada por S. Por outras palavras: a sequˆencia k1k2. . . km n˜ao ´e mais do que a repre- senta¸c˜ao do n´umero S na base N ; e os processos de codifica¸c˜ao e descodifica¸c˜ao resumem-se a convers˜oes entre representa¸c˜oes num´ericas na base N e na base 2. ´E f´acil generalizar este processo para blocos de s´ımbolos pertencentes a alfabetos de diferentes dimens˜oes.
Mesmo esta t´ecnica simples n˜ao pode ser traduzida por uma fun¸c˜ao γ(k) j´a que a sequˆencia bin´aria debitada pelo codificador n˜ao depende simplesmente do s´ımbolo k mas tamb´em da sua posi¸c˜ao e dos outros s´ımbolos no bloco. Ali´as, nem se pode identificar claramente onde come¸ca e acaba cada s´ımbolo na sequˆencia bin´aria, pois alguns bits dependem conjuntamente de v´arios s´ımbolos. No entanto, parece perfeitamente adequado definir o comprimento que cada s´ımbolo ocupa no c´odigo, ¯γ(k) = m1 dlog2Nme, ainda que esse comprimento n˜ao seja um n´umero inteiro.
5.3
C´odigos de Comprimento Inteiro
Na sec¸c˜ao anterior descrevemos c´odigos de comprimento fixo independentemente do s´ımbolo codificado. A evolu¸c˜ao natural ´e associar c´odigos de comprimentos distintos aos v´arios s´ımbolos, mais curtos para os s´ımbolos mais frequentes e mais longos para os s´ımbolos mais raros, procurando melhorar o desempenho m´edio. Chamaremos c´odigo de comprimento in- teiro a qualquer c´odigo revers´ıvel que represente cada s´ımbolo k ∈ A por uma palavra de c´odigo γ(k) com comprimento natural ¯γ(k) ∈ N. Chamamos livro de c´odigos ao conjunto das palavras de c´odigo {γ(k), ∀k ∈ A}, e chamamos perfil de comprimentos `a sequˆencia dos comprimentos dessas palavras {¯γ(k), ∀k ∈ A}.
´
E sabido que, para permitir a reversibilidade do c´odigo, os comprimentos ¯γ(k) tˆem que satisfazer a desigualdade de Kraft-McMillan [107]:
X k∈A
N˜ao basta que os comprimentos das palavras de certo c´odigo satisfa¸cam esta condi¸c˜ao para que esse c´odigo seja revers´ıvel. No entanto, ´e garantido que existem c´odigos revers´ıveis for- mados por palavras com esses mesmos comprimentos; e sabe-se que ´e poss´ıvel constru´ı-los de forma a que nenhuma palavra de c´odigo seja um prefixo de outra [107]. C´odigos com esta propriedade dizem-se livres de prefixos1 e s˜ao convenientes porque permitem uma des- codifica¸c˜ao instantˆanea: assim que se recebe o ´ultimo bit de uma palavra de c´odigo, pode emitir-se o s´ımbolo correspondente. Um exemplo ajuda a clarificar a situa¸c˜ao. Considerem-se trˆes c´odigos alternativos para o alfabeto A = {a, b, c} definidos na tabela abaixo.
k ¯γ(k) C´odigo 1 C´odigo 2 C´odigo 3
a 1 0 0 0
b 2 01 01 10
c 2 10 11 11
Todos tˆem palavras de comprimentos iguais e satisfazem a condi¸c˜ao (5.1) com n´umero de Kraft igual a 2−1+ 2−2+ 2−2 = 1. No entanto, o C´odigo 1 n˜ao ´e livre de prefixos (0 ´e um prefixo de 01) e n˜ao ´e revers´ıvel, como se demonstra pela sequˆencia 010 que tanto pode ser gerada pela mensagem ac como por ba. O C´odigo 2 n˜ao ´e livre de prefixos, mas ´e revers´ıvel, ainda que a descodifica¸c˜ao seja ligeiramente mais complexa e um tanto caprichosa pois pode implicar mem´oria e atraso ilimitados.2 O C´odigo 3 ´e livre de prefixos, revers´ıvel, e permite uma descodifica¸c˜ao simples e instantˆanea. ´E claramente prefer´ıvel aos outros.
As palavras de um c´odigo livre de prefixos podem ser interpretadas como os caminhos que v˜ao da ra´ız de uma ´arvore bin´aria a cada uma das suas folhas. A existˆencia dessa ´arvore sugere um algoritmo de descodifica¸c˜ao trivial e demonstra, de forma construtiva, a reversibilidade do c´odigo e a instantaneidade da descodifica¸c˜ao.
Em resumo: dado um certo perfil de comprimentos {¯γ(k)} que satisfa¸ca a desigualdade (5.1), ´e sempre poss´ıvel escolher palavras de c´odigo com esses comprimentos de tal forma que o c´odigo resultante seja livre de prefixos e, logo, revers´ıvel. Uma vez que esta escolha s´o tem vantagens, n˜ao h´a qualquer interesse pr´atico em construir c´odigos de comprimento inteiro que n˜ao sejam livres de prefixos.
Estabelecidas as condi¸c˜oes de existˆencia, o problema da optimiza¸c˜ao de um c´odigo de com- primentos inteiros pode formular-se da seguinte forma: dado um alfabeto A de N s´ımbolos, com probabilidades de ocorrˆencia {pk, ∀k ∈ A}, pretende-se achar o perfil de comprimentos {¯γ(k), ∀k ∈ A} que minimiza o d´ebito m´edio esperado do c´odigo
R = −X k∈A
pkγ(k),¯
sujeito `as condi¸c˜oes (5.1) e ¯γ(k) ∈ N.
Shannon [138] e Fano desenvolveram, de forma independente, m´etodos essencialmente equivalentes para construir c´odigos livres de prefixos com bom desempenho. Os c´odigos obtidos por esse m´etodo tˆem um d´ebito que excede a entropia da fonte no m´aximo em 1 bit por s´ımbolo, R − H < 1. Esta redundˆancia revela-se pouco significativa quando a entropia ´e alta, ou seja, quando todos os s´ımbolos s˜ao pouco prov´aveis. Por´em, em certas aplica¸c˜oes,
1
Em Inglˆes, prefix-free codes ou simplesmente, prefix codes.
2
Basta ver o que sucede com uma sequˆencia 01111 . . . 100 . . ., que pode ser descodificada como acc . . . ca . . . ou como bcc . . . ca . . ., dependendo da paridade do n´umero de uns consecutivos, que s´o ´e conhecida quando surge o primeiro zero.
por exemplo quando o sinal ´e bastante previs´ıvel, a entropia da fonte pode ser bastante baixa, pelo que tal redundˆancia pode ser inaceit´avel.
Em todo o caso, o m´etodo de Shannon-Fano n˜ao garante a melhor solu¸c˜ao para o problema de optimiza¸c˜ao inteira posto atr´as. Essa distin¸c˜ao cabe ao m´etodo proposto poucos anos mais tarde por Huffman [67]. Em [47] foi demonstrado que a redundˆancia de um c´odigo de Huffman ´e limitada por
R − H ≤ p + log2(2log2e
e ) ≈ p + 0.086, (5.2)
onde p ´e a probabilidade do s´ımbolo mais frequente.