ee371-semana-10-quantizacao-uniforme

(1)

Codifica¸c˜

ao e Compress˜

ao de Dados

Ad˜

ao Souza Jr.

May 2, 2018

Abstract

Teoria da quantiza¸cão. Atividade de reconstru¸cão de sinal quantizado. As notas de aula sobre quantiza¸cão seguem a referência 5, cap´ıtulo 4, com especial aten¸cão ao exemplo 4.1

1 Quantidade de informa¸

c˜

ao em sinais cont´ınuos

Até agora trabalhamos com mensagens constitu´ıdas de conjuntos de dados dis-cretos cujos s´ımbolos podem ser representados por um alfabeto finito. Podemos, assim, dizer que a mensagem a se comprimir é uma sequência de N códigos C0, C1, C2, ...CN −1 e que cada código Cn∈ ζ = {σ0, σ1, σ2...σM −1}, onde ζ é o

alfabeto com M diferentes s´ımbolos.

A codifica¸cão da mensagem em um trem de bits é realizada por diferentes processos em que se transforma a sequencia de códigos Cnem uma sequencia de

bits bj. O tamanho médio de cada código ¯L é dado pelo número de bits utilizados

para representar a mensagem dividido pelo n´umero de s´ımbolos representado. Pode-se atribuir a cada s´ımbolo uma probabilidade de ocorrˆencia (pk) e uma

quantidade de informa¸c˜ao (Ik). Com isso ´e poss´ıvel determinar a entropia do

conjunto H(ζ) que determina o limite m´ınimo de bits necess´ario para representar os mesmos.

Em muitas situa¸cões reais, no entanto, nosso conjunto de dados é repre-sentando por algum tipo de grandeza cont´ınua que é amostrado e quantizado. Assumindo que se tenha um sinal cont´ınuo que foiamostrado s(nT ), como seria poss´ıvel determinar a codifica¸cão mais eficiente para esse sinal?

1.1 Entropia diferencial

Em primeiro lugar poderiamos tentar substituir as probabilidades discretas que usamos para o calculo de quantidade de informa¸cão pela fun¸cão densidade de probabilidade da váriável cont´ınua (fs) e buscar um análogo para a entropia.

Lembrando que H(ζ) = PM −1

0 pk· Ik = −P M −1

0 pk· log2(pk). Para um

intervalo de valores ∆sa partir de s a probabilidade ´e dada por fs(s)∆s.

Assim: H(ζ) = − M −1 X 0 fs(s)∆s·log2(fs(s)∆s) = − M −1 X 0 fs(s)∆s·log(fs(s))− M −1 X 0 fs(s)∆s·log2(∆). (1)

(2)

Ou seja: H(ζ) = −PM −1

0 fs(s)∆s · log2(fs(s)) − log2(∆). Onde M ´e o

n´umero de subdivis˜oes de s pelo intervalo ∆s.

Quando se aproxima o intervalo para zero a primeira parte da expressão pode ser transformada em uma integral e a segunda diverge. Se define a en-tropia diferencial h(s) de uma variável cont´ınua s utilizando a versão integral da primeira parte dessa expressão:

h(s) = − Z ∞

−∞

fs(s) · log2[fs(s)]dS (2)

Exemplo 1: Uma váriável x com distribui¸cão uniforme no intervalo x ∈ [−A, A], tera entropia diferencial h(x) = −RA

−A 1 2A· log2[

1 2A]dS

Exemplo 2: Uma vari´avel x com ditribui¸c˜ao gaussiana fx= √_2πσ1 2exp[−

(x−µx)2

2σ2 ]

pode ter sua entropia diferencial calculada como h(x) = 1₂log22πeσ2

Obs: É poss´ıvel provar que para qualquer distribui¸cão com variância dada por σ a entropia diferencial será sempre menor ou igual a dada para uma dis-tribui¸cão gaussiana.

1.2 Entropia diferencial e informa¸

c˜

ao

Note-se que a entropia diferencial não é igual a defini¸cão de entropia que temos para fontes discretas e não se pode atribuir a ela as mesmas propriedades. De fato não existe um equivalente ao teorema da codifica¸cão que possa ser aplciado diretamente a variável cont´ınua.

Pode-se, no entanto, usar a entropia diferencial de forma similar a entropia para se definir a informa¸cão mutua para variáveis cont´ınuas. Em variáveis discretas a informa¸cão mútua I(x—y) é a quantidade de informa¸cão de uma dada variável x quando se sabe da ocorrência de uma segunda variável y e é calculada usando-se as distribui¸cões de probabilidade condicionais (Px—y).

A entropia condicional H(X—Y) pode ser considerada a incerteza restante a respeito da vari´avel X quando se tem conhecimento da vari´avel Y. Desse modo ´

e sempre menor ou igual a entropia de X. Ou seja: H(X|Y ) ≤ H(X). Note-se que estamos usando X e Y ma´ıusculos para denotar os alfabetos de x e y respectivamente. Pode-se mostrar que I(x|y) = H(Y ) − H(Y |X) = I(y|x)

Em variáveis cont´ınuas pode-se ober uma rela¸cão similar usando a entropia condicional: I(X|Y ) = h(X) − h(X|Y ). Ou seja, mesmo não sendo poss´ıvel atribuir uma quantidade de informa¸cão única a uma variável cont´ınua é poss´ıvel determinar a quantidade de informa¸cão mútua entre variáveis cont´ınuas. De fato a informa¸cão mútua pode ser usada, assim como outros critérios como o erro quadrático, a fim de avaliar a qualidade de uma representa¸cão discreta de um sinal cont´ınuo. Isso é feito através de uma fun¸cão de taxa de distor¸cão (Rate Distortion Function) e pode ser visto em detalhes na bibliografia (Sayood, se¸cão 8.5, por exemplo).

2 Quantiza¸

c˜

ao

A fim de se poder melhor compreender o processo de quantiza¸cão e seu papel na codifica¸cão e compressão de dados devemos aborda-lo de forma incremental.

(3)

Inicialmente vamos estudar a quantiza¸cão escalar, tanto uniforme, quanto não uniforme para, em seguida, nos preocuparmos com a quantiza¸cão diferencial.

Algumas defini¸cões são importantes: o processo de quantiza¸cão irá transfor-mar uma uma variável cont´ınua já amostrada x[n] em uma nova série xq[n], onde

cada elemento de xq´e um valor discreto selecionado de um alfabeto finito X de M

poss´ıveis s´ımbolos. Assim, xq ∈ X = {...σ−1, σ0, σ1],σ2,.... Para isso ser poss´ıvel

´

e necessário que os valores de entrada cont´ınuos sejam limitados. Chamamos de faixa dinâmica a varia¸cão máxima do valor de x (ou seja DR = |Xmax− Xmin|).

A resolu¸cão de um quantizador é dada por r = log2(M ), onde M é o número de

s´ımbolos usados para representar o sinal quantizado.

O valor de entrada é comparado com um conjunto de limiares que deter-minam os limites de cada s´ımbolo. Para M s´ımbolos haverão M-1 limiares de compara¸cão. Os simbolos podem ser representandos pelos seus ´ınidces no alfa-beto, ou pelo valor que representam. O conjunto dos M valores representandos é chamado de codebook. Para uma resolu¸cão r, haverão 2r_{s´ımbolos no codebook}

e 2r_{− 1 limiares.}

2.1 Quantiza¸

c˜

ao uniforme

Uma das maneiras que se pode realizar a quantiza¸cão é definir que a mesma seja feita de forma uniforme. Ou seja, que os limiares de quantiza¸cão sejam uniformente espa¸cados. Nesse caso chamamos a menor diferen¸ca observada entre valores de sa´ıda quantizados de passo de quantiza¸cão, ou q. Onde:

q = DR 2r_{− 1} =

DR

M − 1 (3)

O gráfico que indica os valores de sa´ıda que serão atribu´ıdos a cada um dos s´ımbolos é chamado de rela¸cão entrada-sa´ıda e, de fato, existem duas diferentes formas de se converter um conjunto de valores cont´ınuos, pode-se optar por representar o zero como um dos s´ımbolos (meio-piso ou mid-thread). Isso é representado na figura 1.

Figure 1: Entrada-sa´ıda e quantiza¸c˜ao de senoide usando mid-thread

A express˜ao para calcular os valores de sa´ıda de um quantizador uniforme meio passo ´e dada por:

xq= q · b

x q +

1

(4)

Alternativamente, pode-se colocar um limiar de compara¸c˜ao em zero, gerado-se uma rela¸c˜ao entrada sa´ıda conhecida como meio passo (mid rise) que pode ser vista na figura 2.

Figure 2: Entrada-sa´ıda e quantiza¸c˜ao de senoide usando mid-thread

Nesse caso a equa¸c˜ao para a quatiza¸c˜ao fica sendo:

xq = q · (b

x qc +

1

2) (5)

2.2 Teoria do ruido aditivo de quantiza¸

c˜

ao

Quando o sinal é quantizado a entrada é comparada com diferentes limiares para definir o código de sa´ıda. Se observarmos a distribui¸cão de probabilidades de entrada e a de sa´ıda a rela¸cão entre elas pode ser vista na figura 3. No exemplo se esta considerando um quantizador mid-thread com M=7. Note-se que a distribui¸cão de probabilidade da sa´ıda é discreta e cada um dos seis impulsos tem uma amplitude que corresponde a área da distribui¸cão de entrada entre os dois limiares que definem o simbolo. Na figura, a área pintada de cinza corresponde a probabilidade do s´ımbolo zero.

−3 −2 −1 1 2 3

x q

fx

Figure 3: Distribui¸c˜ao de uma vari´avel cont´ınua gaussiana fx e quantizada fxq

A distribui¸cão de probabilidades da sa´ıda pode ser calculada como um trem de impulsos em que cada amplitude é calculada pela área respectiva:

f_x_q = i=M/2 X i=−M/2,i6=0 ( Z q·i+q/2 q·i−q/2 f_x(x)dx) · δ(x − i · q) (6)

(5)

Utilizando a rela¸cão entre a convolu¸cão com um pulso quadrado e a área delimitada pela base desse quadrado é poss´ıvel reescrever a equa¸cão 6 da seguinte forma. f_x_q= q · rect(x q) fx· i=M/2 X i=−M/2,i6=0 δ(x − i · q) (7)

Ou seja, a distribui¸cão discreta da sa´ıda corresponde a convoluirmos a dis-tribui¸cão da entrada com uma distribui¸cão uniforme de largura q e amostrarmos essa distribui¸cão resultante com nosso passo de quantiza¸cão.

A partir dessa expressão é poss´ıvel perceber que essa distribui¸cão é a mesma que se obteria caso se somasse a entrada com ruido uniforme de amplitude q/2 (ou seja, ruido uniforme n que teria a disribui¸cão de probabilidade dada por fn = 1/q · rect(x_q). Lembrando-se que quando se somam duas variáveis não

correlacionadas suas distribui¸c˜oes de probabilidade convoluem.

Isso pode ser interpretado pensando-se o seguinte: se a quantiza¸cão for boa o bastante o erro será aproximadamente uma fun¸cão dente de serra não correla-cionada com a entrada. Essa fun¸cão teria uma distribui¸cão de probabilidade exatamente retangular como esperado. Ou seja: o efeito da quantiza¸cão vai ser a adi¸cão de um ruido uniforme com distribui¸cão fn.

A questão é: qual o passo de quantiza¸cão suficiente para isso? A resposta vem dos teoremas de quantiza¸cão I e II que podem ser lidos em detalhes nos capitulo 4 de Quantization Noise por Widrow e Kollar que pode ser lido online. (http://oldweb.mit.bme.hu/books/quantization/)

2.3 Simula¸

c˜

ao

´

E esse principio que é ilustrado na simula¸cão dessa semana. Para um conjunto de dados se aproxima primeiro a densidade de probabilidade (PDF). A partir dai se calcula sua fun¸cão caracteristica CF (transformada da PDF). Em cima dessa transformada se aplica o teorema escolhendo um q o qual obedece a condi¸cão QT I.

Leia atentamente os coment´arios do c´odigo e fa¸ca as propostas de mudan¸ca observando os resultados. Depois disso, efetue a leitura do capitulo 4 da refer-encia (Widrow e Kollar) e realize a tarefa de hoje.