Fundamentos de Telecomunicações

(1)

Fundamentos de

Telecomunicações

LEEC_FT

4,5&6: Teoria da Informação –

Codificação de Fonte

Professor Victor Barroso

(2)

Lição 4

§

Informação e Entropia

§

Introdução

§

Incerteza, probabilidade e informação

§

Modelo de uma fonte discreta sem memória

§

Medida de informação

§

Definição e unidade de medida

§

Propriedades

§

Entropia

§

Definição e unidade de medida

§

Entropia da fonte binária

§

Função de entropia

§

Propriedades

(3)

Introdução

§

Acontecimento frequente

§

“Grande” probabilidade de ocorrência

§

Baixa incerteza quanto à sua ocorrência

§

Acontecimento raro

§

Baixa probabilidade de ocorrência

§

Elevada incerteza quanto à sua ocorrência

§

Ocorrência de um acontecimento raro

⇒

ganho

de informação elevado

§

Ocorrência de um acontecimento frequente

⇒

(4)

Incerteza, Probabilidade &

Informação

Incerteza

_↑

Probabilidade

_↓

Informação

_↑

⇓

(5)

§

Fonte discreta M-ária

§

Alfabeto

A de M símbolos

§

Distribuição de probabilidade dos símbolos

§

Fonte sem memória

§

Símbolos estatisticamente independentes

Fonte Discreta sem Memória

{

m

1

,

m

2

,

K

,

m

M

}

=

A

( )

,

1 ,

2 ,

,

:

1 Pr

1

=

∑

= M k k k k

p

k

M

p

m

K

(

m

k

m

j

)

( )

m

k

p

k

(

m

k

m

j

)

p

k

p

j

M

j

k

=

⇒

=

⋅

∀

,

1 ,

2 ,

K

,

:

Pr

,

(6)

Informação

§

Definição (para uma fonte M-ária sem memória)

§

Variável aleatória

§

Unidade de medida

§

1 bit: informação associada à ocorrência de um símbolo binário

com probabilidade 1/2

§

Propriedades

§

[

( )

k

M

p

m

I

k k

log

1 ,

2 ,

,

0 :

₂

=

K









=

+∞

→

A

0 ≥

I

( )

k

( )

j j k

p

I

m

I

m

p

_>

_⇒

_<

(

m

k

m

j

)

I

( )

m

k

I

( )

m

j

I

,

₌

₊

A

I

0

1 p

_A

1

5 .

0

(7)

Entropia de uma Fonte Discreta

sem Memória

§

Definição

§

Valor expectável (média) da variável aleatória I

§

Unidade de medida

§

bit/símbolo

( )

{ }

∑

= =

−

=









=

M k k k M k k k

_p

p

I

E

1 2 1 2

1 log

log

H

_A

(8)

Entropia de uma Fonte Binária

sem Memória

§

Fonte binária

§

Função de entropia

§

Propriedades

§

Mínima e igual a zero quando um dos símolos ocorre com

probabilidade 1

§

Máxima e igual a 1 quando os símbolos são equiprováveis

{

m

}

p

₌

p

₌

₋

p

=

₁

,

₂

:

₁

,

₂

1 A

( )

p

₌

₋

p

log

( ) (

p

₋

1 ₋

p

)

log

(

1 ₋

p

)

H

₂ ₂

0

0.5

1

1 ( )

p

H

p

(9)

Lição 5

§

Propriedades da entropia de uma fonte M-ária

sem memória

§

Extenção da Fonte Discreta sem Memória

§

Definição

§

Entropia da extensão de ordem K

§

Códigos de comprimento variável

§

Comprimento médio

§

Exemplos

(10)

Entropia – Propriedades

0 _≤

H (

_{A )}

_≤

log

₂

M

§

H (

A ) é mínima (H

_min

= 0) sse algum dos

símbolos de

_{A ocorrer com probabilidade 1}

(todos os restantes M – 1 terão probabilidade

de ocorrência 0)

§

H (

A ) é máxima (H

_max

= log

₂

M ) sse todos os

símbolos de

_{A forem equiprováveis, i.e.,}

(11)

Extensão da Fonte Discreta

sem Memória

§

Alfabeto da “extensão de 1ª ordem ” (fonte

original):

_{A = A}

1 §

Alfabeto e distribuição de probabilidade da

extensão de 2ª ordem (produto cartesiano de

_A

com

_{A): A}

2 ₌

A

_×

A

§

Exemplo





















=













=

→

11

10

01

00

1

0

4 3 2 1 2

m

A





















=





















=

∑

→

1

11

10

01

00 :

1

0 :

2 2 4 4 2 1 3 3 1 2 2 2 2 1 1 1 2 2 1 m m

q

p

q

m

p

q

m

p

q

m

p

q

m

p

A

(12)

Entropia da Extensão da Fonte

Discreta sem Memória

§

H (

A ): entropia de uma fonte discreta sem

memória com alfabeto

_A.

§

A

K

: extensão de ordem K do alfabeto

A. A

K

₌

A

_×

A

_×

_L

_×

A

§

Entropia da extensão de ordem K :

H (

_A

K

_{) = K H (}

A )

(13)

Extensão da Fonte, Entropia e

Comprimento do Código

5.30

5.22

5.25

5.29

5.33

5.40

5.25

5.33

5.50

6 L

_med

= L /K

53

52.09

37

10

47

46.89

37

9

42

41.68

37

8

37

36.47

37

7

32

31.26

37

6

27

26.05

37

5

21

20.84

37

4

16

15.63

37

3

11

10.42

37

2

6

5.21

37

1

1 L

log

₂

M

_K

H (

A

K

₎

#

A

K

_{= M}

K

(14)

Códigos de Comprimento

Variável – Comprimento Médio

§

Codificação

§

Símbolo fonte m

_k

com probabilidade p

_k

→

palavra de

código c

_k

com l

_k

bits

§

Comprimento médio do código – L

_med

=

∑

l

_k

p

_k

§

Descodificação unívoca

§

c

_k

→

m

_k

sem ambiguidade

§

Descodificação instantânea

M

(15)

Exemplos

unívoco unívoco instantâneo de prefixo não unívoco unívoco instantâneo

H (A )

L

_med

1.875

1.750

1.250

2.000

1.750 0111

111

11

0.125 m

₄

011

110

00

10

0.125 m

₃

01

10

1

01

0.250 m

₂

0

00

0.500 m

₁

código

IV

código

III

código

II

código

I

probabilidade

de

ocorrência

símbolo

fonte

(16)

Desigualdade de Kraft

Existe um código binário com palavras de comprimento l

_k

sse

ξ =

∑

2 –l

k

_≤

₁

§

Exemplo

§

Dado o código de prefixo {0, 10, 110, 111}, verifica-se a

desigualdade de Kraft,

ξ = 2

–1

_{+ 2}

–2

_{+ 2}

_×

₂

–3

_{= 1}

_≤

₁

§

A distribuição de comprimentos {1, 2, 3, 3} verifica a

desigualdade de Kraft. Então, existe um código unívoco

instantâneo.

M

k = 1

1

0

1

0

1

0

1

00

011

010

(17)

Lição 6

§

1º Teorema de Shannon

§

Códigos de Huffman

§

Algoritmo de Huffman

§

Codificação de Lempel – Ziv

§

Algoritmo de Lempel – Ziv

§

Codificação, codebook (“dicionário”)

§

Descodificação

(18)

1º Teorema de Shannon

Teorema da Codificação de Fonte

§

Seja H (

A ) a entropia de uma fonte discreta sem

memória e L

_med

o comprimento médio das palavras de

um eventual código para a fonte

_A.

§

Se, para qualquer

ε > 0, L

_med

= H (

A ) + ε , então existe um

código unívoco e instantâneo para a fonte

A. §

Pelo contrário, se L

_med

< H (

A ), então não existe qualquer

código unívoco e instantâneo para a fonte

_A.

§

Eficiência do código

(19)

Códigos de Huffman (1952)

Códigos de Redundância Mínima

0.15 m

₅

110

3

0.20

0.15 m

₄

111

3

0.25

0.20 m

₃

00

2

0.45

0.30

0.25

0.25 m

₂

01

2

1.00

0.55

0.45

0.30

0.25 m

₁

10

2 Distribuição de probabilidade

Símbolos

fonte

Palavras

de código

Comprimento

das palavras

de código

0

1

0

1

0

1

0

1

5 5 4 5 4 1 4 3 3 2 2 1

(20)

Codificação de Lempel – Ziv

(1978)

§

O conhecimento da distribuição de

probabilidade da fonte não é necessário

§

Faz uso da correlação entre símbolos

adjacentes

§

Constitui norma para compressão de ficheiros

§

Implementação

§

Percorrer a sequência de dados dividindo-a em

segmentos constituídos pelas subsequências mais

curtas ainda não detectadas

(21)

Algoritmo de Lempel – Ziv

Ilustração com a sequência

000101110010100101...

§

Os símbolos 0 e 1 estão inicialmente armazenados

§

Subsequências armazenadas: 0, 1

§

Dados para analisar:

000101110010100101...

§

Analisando da esquerda para a direita, a subsequência

mais curta ainda não detectada é

00 §

Subsequências armazenadas: 0, 1, 00

§

Dados para analisar:

0101110010100101...

§

Repetindo, a subsequência mais curta ainda não

detectada é

01

(22)

Algoritmo de Lempel – Ziv

Codificação

3. 000101110010100101...

4. 0101110010100101...

5. 01110010100101...

6. 10010100101...

7. 010100101...

8. 100101...

9. 101...

110

1

110

0

100

0

010

0

100

1

001

1

001

0 Blocos binários

codificados

6

2

6

1

4

1

2

1

4

2

1

2

1

1 Representações

numéricas

101

100

010

10

011

01

00

1

0 subsequências

9

8

7

6

5

4

3

2

1 Posições

numéricas

(23)

Algoritmo de Lempel – Ziv

Descodificação

Sequência original:

000101110010100101...

Sequência codificada:

001

0

001

1

100

1

010

0

100

0

110

0

110 1...

Descodificando:

1

0

1

4

1

2

0

4

0

6

0

6 1...

Indo ao code book:

inovação

apontador

101

100

010

10

011

01

00

1

0 subsequências

9

8

7

6

5

4

3

2

1 Posições

numéricas

00 01 011 10 010 100 101