TIC - NOTAS DE AULA TEORIA DA INFORMAÇÃO E CODIFICAÇÃO REVISADA 2020 (08-01-20)(ALUNOS)

UEA - UNIVERSIDADE DO ESTADO DO AMAZONAS . TEORIA DA INFORMAÇÃO E CODIFICAÇÃO. NOTAS DE AULA. Prof. Paulo C. S. Cavalcante 2016. (Revisada 2020). CURSO DE ENGENHARIA ELETRÔNICA EST - ESCOLA SUPERIOR DE TECNOLOGIA. 2 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. PREFÁCIO. O presente trabalho se destina a servir de guia e disponibilização de subsídios aos alunos de Engenharia Eletrônica da UEA – Escola Superior de Tecnologia no curso da disciplina de Teoria da Informação e Codificação.. Trata-se de uma reunião de textos resumidos transcritos e/ou adaptados das fontes de consulta, listadas no fim do documento, e também do próprio autor. Nas listagem das fontes consultadas se encontram, obviamente, seus autores. Entretanto faz-se necessário aqui registrar, pela grande quantidade de informações utilizadas de suas obras, os professores Silvio A. ABRANTES da FEUP (Faculdade de Engenharia da Universidade do Porto) e F. C. C. De CASTRO e M. C. F De CASTRO (Faculdade de Engenharia – Departamento de Engenharia Elétrica da PUCRS).. O texto está dividido em quatro capítulos, que abrangem o conteúdo programático da disciplina Teoria da Informação e Codificação: Capítulo I – Comunicação Digital; Capítulo II – Medida de Informação; Capítulo III - Códigos de Fonte para Compressão de Dados e Capítulo IV – Códigos Corretores de Erros.. 3 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. NOTAS DE AULA TEORIA DA INFORMAÇÃO E CODIFICAÇÃO. SUMÁRIO Pag.. . INTRODUÇÃO 7 . CAPÍTULO I COMUNICAÇÃO DIGITAL 8 1.1 SISTEMA DE COMUNICAÇÃO DIGITAL 8 1.2 CÓDIGOS PARA COMPRESSÃO DE DADOS 13. 1.3 CÓDIGOS PARA CORREÇÃO DE ERROS 14. 1.4 BREVE REVISÃO MATEMÁTICA 18. 1.4.1LOGARITMOS 18. 1.4.2 TEORIA DA PROBABILIDADE 19. 1.4.3 VARIÁVEIS ALEATÓRIAS 26. 1.4.4 MATRIZES 31. 1.5 DESIGUALDADE FUNDAMENTAL DA TEORIA DA INFORMAÇÃO. 34. EXERCÍCIOS PROPOSTOS CAPÍTULO I 35 REFERÊNCIAS BIBLIOGRÁFICAS 36 . CAPÍTULO II MEDIDA DE INFORMAÇÃO 37 2.1 MEDIDA DA INFORMAÇÃO 37. 2.1.1 MEDIDA DA INFORMAÇÃO DE HARTLEY 37. 2.1.2 MEDIDA DE INFORMAÇÃO DE SHANNON 38. 2.1.3 INCERTEZA 39. 2.1.4 AUTO-INFORMAÇÃO 39. 2.2 ENTROPIA 39. 2.2.1 PROPRIEDADES DA FUNÇÃO ENTROPIA 41. 4 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. 2.2.2 ENTROPIA CONDICIONAL 43. 2.2.3 ENTROPIA CONJUNTA 44. 2.2.4 RELAÇÃO ENTRE ENTROPIA CONJUNTA E ENTROPIA CONDICIONAL . 45. 2.2.5 EQUIVOCAÇÃO EM CANAIS DISCRETOS COM RUÍDO 48. 2.2.6 INFORMAÇÃO MÚTUA 49. 2.2.7 INFORMAÇÃO MÚTUA MÉDIA 49. 2.2.8 TEOREMA DA INFORMAÇÃO MÚTUA MÉDIA 52. 2.2.9 INFORMAÇÃO MÚTUA MÉDIA E CAPACIDADE DO CANAL 54. 2.2.10 RESUMO DEFINIÇÕES E RELAÇÕES ENTRE ENTROPIA E INFORMAÇÃO MÚTUA . 57. . 2.3 TAXA DE INFORMAÇÃO 58. 2.4 EXERCÍCIOS RESOLVIDOS 59. EXERCÍCIOS PROPOSTOS CAPÍTULO II 64 . CAPÍTULO III CÓDIGOS DE FONTE PARA COMPRESSÃO DE DADOS. 67. 3.1 TÉCNICAS DE COMPRESSÃO SEM PERDAS 67 3.2 CODIFICAÇÃO POR ESTATÍSTICA OU POR ENTROPIA 69 3.2.1 CÓDIGOS UNIVOCAMENTE DECODIFICÁVEIS 72 3.2.2 CÓDIGOS INSTANTÂNEOS OU CÓDIGOS PREFIXOS 72 3.2.3 PROCEDIMENTO GERAL PARA TESTAR SE UM CÓDIGO É UD 73 3.2.4 PROCEDIMENTO PARA CONSTRUÇÃO DE CÓDIGO INSTANTÂNEO. 75. 3.2.5 DECODIFICAÇÃO DE CÓDIGOS DE FONTE INSTANTÂNEOS. 76. 3.2.6 DESIGUALDADE DE KRAFT 77 3.2.7 DESIGUALDADE DE MCMILLAN 77 3.2.8 IMPLICAÇÃO TEÓRICA DAS DESIGUALDADES DE KRAFT E MCMILLAN. 77. 3.2.9 TEOREMA DA CODIFICAÇÃO DE FONTE (NOISELESS CODING THEOREM). 78. 3.2.10 EFICIÊNCIA DE UM CÓDIGO POR ENTROPIA 78 3.2.11 CODIFICAÇÃO BINÁRIA DE UMA FONTE DISCRETA SEM MEMÓRIA. 78. 3.2.12 EXTENSÃO DA FONTE 80 3.12.13 CODIFICAÇÃO DE UMA FONTE BINÁRIA COM EXTENSÕES 80 3.2.14 CÓDIGO DE SHANNON-FANO 81 3.2.15 CÓDIGO DE HUFFMAN BINÁRIO 83 3.2.16 CÓDIGOS ÓTIMOS – CÓDIGOS DE HUFFMAN 84. 5 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. 3.3 CODIFICAÇÃO ARITMÉTICA 90 3.3.1 CONSTRUÇÃO DA CODIFICAÇÃO ARITMÉTICA 91 3.3.2 DECODIFICAÇÃO ARITMÉTICA 95 3.4 CÓDIGOS BASEADOS EM DICIONÁRIOS 97 3.4.1 CODIFICAÇÃO LZ77 98 3.4.2 CODIFICAÇÃO LZ78 100 3.5 PROGRAMAS COMERCIAIS DE COMPRESSÃO DE DADOS. 102. EXERCÍCIOS PROPOSTOS CAPÍTULO III 103 REFERÊNCIAS BIBLIOGRÁFICAS 107 . CAPÍTULO IV CÓDIGOS CORRETORES DE ERROS 109 4.1 TÉCNICAS PARA CONTROLE DE ERROS 109 4.1.1 ARQ (AUTOMATIC REPEAT REQUEST) 110 4.1.2 FEC (FORWARD ERROR CORRECTION) 111 4.1.3 HIBRIDO ARQ/FEC 112 4.1.4 TÉCNICAS ARQ 112 4.1.5 COMPARAÇÃO ENTRE AS TÉCNICAS DE CONTROLE DE ERRO 114 4.1.6 APLICAÇÕES E TIPOS DE CODIFICAÇÃO 115 4.2 CÓDIGOS CORRETORES DE ERRO 115 4.2.1 CÓDIGOS DE BLOCO 118 4.2.2 CÓDIGOS DE BLOCO BINÁRIOS 120 4.2.2.1 CAPACIDADE DE DETECÇÃO E CORREÇÃO DE ERRO 122 4.2.2.1.1 CÓDIGOS PERFEITOS 124 4.2.2.2 CÓDIGOS Θ(N, K ) NO CONTEXTO DE ESPAÇOS VETORAIS 125 4.2.2.3 A MATRIZ GERADORA DE UM CÓDIGO Θ(N, K ) 126 4.2.2.4 A MATRIZ DE PARIDADE DE UM CÓDIGO Θ(N, K ) 132 4.2.2.5 DECODIFICAÇÃO PELA MÍNIMA DISTÂNCIA (DECODIFICACÃO MLD - MAXIMUM-LIKELIHOOD DECODING). 134. 4.2.2.6 CÓDIGOS ESTENDIDOS 143 4.2.2.6.1 CÓDIGOS AUMENTADOS 143 4.2.2.6.2 CÓDIGOS ENCURTADOS 144 4.2.2.7 PRINCIPAIS CÓDIGOS DE BLOCO BINÁRIOS 146 4.2.2.8 CÓDIGOS CÍCLICOS 147 4.2.2.8.1 CÓDIGOS CÍCLICOS SISTEMÁTICOS 149 4.2.2.8.2 POLINÔMIO GERADOR E MATRIZ GERADORA DE CÓDIGOS CÍCLICOS. 150. 4.2.2.8.3 CIRCUITO DE CODIFICAÇÃO DE CÓDIGOS CÍCLICOS 153 4.2.2.8.4 DECODIFICAÇÃO DE CÓDIGO CÍCLICO 156 4.2.2.8.5 CIRCUITO DE DECODIFICAÇÃO DE CÓDIGO CÍCLICO 159 4.2.2.8.6 CÓDIGOS REED-SOLOMON 160. 6 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. 4.2.2.8.7 CÓDIGOS DE BOSE-CHAUDHURI-HOCQUENGHEN (BCH) 161 4.2.2.8.8 CÓDIGOS VERIFICADORES DE REDUNDÂNCIA CÍCLICA (CRC) PARA DETECÇÃO DE ERROS. 162. 4.2.3 CÓDIGOS CONVOLUCIONAIS – DECODIFICADOR DE VITERBI 163 4.2.3.1 MÉTODOS DE REPRESENTAÇÃO E DE DECODIFICAÇÃO DE CODIFICADORES CONVOLUCIONAIS. 166. 4.2.3.1.1 REPRESENTAÇÕES NÃO GRÁFICAS DE CODIFICADORES CONVOLUCIONAIS. 167. 4.2.3.1.2 REPRESENTAÇÕES GRÁFICAS DE CODIFICADORES CONVOLUCIONAIS. 172. 4.2.3.1.3 DISTÂNCIA LIVRE DE UM CÓDIGO CONVOLUCIONAL 174 4.2.3.1.4 CÓDIGOS CATASTRÓFICOS 177 4.2.3.2 CODIFICADORES RECURSIVOS SISTEMÁTICOS (RSC) 179 4.2.3.3 DECODIFICADOR DE MÁXIMA VEROSSIMILHANÇA (ALGORITMO DE VITERBI). 180. 4.2.3.4 DECODIFICAÇÃO SEQUENCIAL 183 4.3 CÓDIGOS ENTRELAÇADOS PARA A CORREÇÃO DE ERROS EM RAJADA E ALEATÓRIOS . 185. 4.3.1 CÓDIGO-PRODUTO 187 4.4 CÓDIGOS CONCATENADOS 187 4.5 CÓDIGOS-TURBO 189 4.6 CÓDIGOS VERIFICADORES DE PARIDADE DE BAIXA DENSIDADE (LDPC). 191. EXERCÍCIOS PROPOSTOS CAPÍTULO IV 192 REFERÊNCIAS BIBLIOGRÁFICAS 197 . BIBLIOGRAFIA DISCIPLINA 198 OBRAS CONSULTADAS 198. 7 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. INTRODUÇÃO. => Uma teoria da comunicação é necessária para adquirirmos uma visão mais ampla, uma perspectiva mais vasta, que conduza aos princípios básicos do projeto e comparação de sistemas de comunicações.. Teoria da Informação e Codificação (TIC) => disciplina centrada à volta de uma abordagem matemática comum ao estudo do armazenamento e manipulação da informação. => fornece uma base teórica para atividades como: - observação, medida, compressão e armazenamento de dados; - telecomunicações; - estimação; - tomada de decisões; - reconhecimento de padrões. => Relativamente às telecomunicações , a Teoria da Informação e Codificação: - fornece-nos pistas para melhorar a eficiência da comunicação, com base no estudo das possibilidades e limitações inerentes às leis físicas.(a codificação de fonte e de canal é uma forma de melhorar a eficiência da comunicação); - estabelece limites para essa eficiência, em relação aos quais poderemos comparar diversos sistemas. => Teoria da Informação é uma teoria matemática que trata de três conceitos básicos: - A medida da informação. - A capacidade de um canal de comunicações transferir informação. - A codificação, como meio de utilizar os canais com toda a sua capacidade. Teorema Fundamental da Teoria da Informação (de Shannon): . Dada uma fonte de informação e um canal de comunicação, existe uma técnica de codificação tal que a informação pode ser transmitida através do canal a qualquer ritmo inferior à capacidade do canal e com uma frequência de erros arbitrariamente pequena apesar da presença do ruído. . => O aspecto surpreendente deste teorema é a transmissão sem erros através de um canal ruidoso, uma condição que é obtida através de codificação adequada. => A codificação é usada para adaptar a fonte e o canal para a máxima transferência confiável de informação.. => A Teoria da Informação tenta responder a perguntas do gênero: - O que é a informação? Como a medimos? - Quais são os limites fundamentais à transmissão de informação? - Quais são os limites fundamentais à extração de informação do meio ambiente? - Como é que se devem projetar dispositivos ou equipamentos que se aproximem desses limites? - Os dispositivos e equipamentos atuais aproximam-se, ou não, desses limites? . 8 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. CAPÍTULO I COMUNICAÇÃO DIGITAL. => A necessidade de codificação de sinais surge basicamente no contexto de comunicações digitais, especificamente no processo de codificação de fonte e também no processo de codificação de canal. - codificação de fonte -> objetiva eliminar ao máximo a informação redundante da fonte, de forma a minimizar a banda-passante necessária ao sistema digital. - codificação de canal -> objetiva introduzir informação redundante de forma controlada à informação a ser transmitida de forma que, no receptor, esta informação redundante possa ser utilizada para detectar e corrigir erros decorrentes de ruído e interferência que afetam o sinal quando este é transmitido através do canal de transmissão. => área de Codificação de Sinais não é restrita ao contexto de comunicações digitais, sendo extensivamente utilizada, entre outros, em cifragem ou codificação, compressão de imagens e recuperação de dados armazenados por exemplo-> o principal enfoque deste material é em comunicações digitais -> é instrutivo preliminarmente discutirmos de forma breve alguns conceitos e elementos básicos de comunicação digital.. 1.1 SISTEMA DE COMUNICAÇÃO DIGITAL. => A Figura 1.1 mostra o diagrama de blocos simplificado e os elementos básicos de um sistema de comunicações digital.. Figura 1.1: Diagrama de blocos de um sistema de comunicações digital.. Transdutor de Entrada => dispositivo que converte uma grandeza física qualquer em um sinal elétrico. Em um sistema digital, o sinal m(t) pode ser: - sinal contínuo-> sinal gerado por um microfone. - sinal discreto -> discreto não só no tempo (conjunto finito de símbolos) como também quanto aos valores que o representam (sinal é quantizado) -> sinal gerado pelo foto-diodo que lê a informação de um CD musical através de um feixe LASER. (obs: este sinal assume somente dois valores de tensão – portanto, dois símbolos – de acordo com os pits (pit: cova, fossa, buraco – em inglês) e bumps (bump: protuberância, galo – em. 9 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. inglês) marcados ao longo da trilha em espiral na superfície de policarbonato do disco em rotação). => Se o sinal m(t) é do tipo quantizado -> é aplicado diretamente ao Codificador de Fonte. => Se m(t) for do tipo contínuo -> será transformado em um sinal do tipo quantizado -> processo de amostragem e quantização. . Codificador de Fonte => processo de amostragem + quantização faz parte do Codificador de Fonte em sistemas que operam com sinais contínuos -> transforma o sinal contínuo m(t) em uma seqüência de dígitos numéricos em base numérica binária ( para representar os dígitos binários – ou bits – a nível de circuito, é comum associar o nível lógico): - “1” a um pulso elétrico retangular de largura τ tendo como amplitude a tensão VH - “0” a um pulso retangular de mesma largura tendo como amplitude a tensão VL . => Idealmente, busca-se representar o valor quantizado do sinal m(t) a cada instante discreto através de uma seqüência de bits que utilize o menor número de bits possível: - um menor número de bits enviados no mesmo intervalo de tempo implica em pulsos de largura τ maior -> reduz a largura de espectro do sinal m(t) quantizado -> reduz a banda- passante necessária para enviá-lo através do sistema + canal [Carlson]. - Por exemplo-> cada amostra do sinal m(t) possa ser representado por uma seqüência de 16 bits -> cada amostra de m(t) pode assumir um valor dentre os 216 = 65536 valores ou níveis de quantização possíveis. => Suponhamos que se deseja transmitir uma amostra de m(t) durante um intervalo de tempo de 100 μS -> o pulso que representa cada bit tem uma duração de τ = 100 μS / 16 = 6.25 μS -> largura espectral para o trem de pulsos de 1/τ = 160KHz , a qual proporcionalmente define a banda-passante necessária ao sistema [Carlson]. => Se cada amostra de m(t) puder ser representada por uma seqüência de 8 bits em vez de 16 bits, 1/τ = 80KHz -> a banda-passante necessária ao sistema será a metade do necessário para 16 bits. => O número de bits necessário para representar m(t) é dependente da aplicação, porque quanto menos bits usarmos para representar um sinal, maior será o ruído de quantização , que é uma distorção não-desejada mas intrínseca ao processo de quantização. => Representar o sinal m(t) quantizado através de uma seqüência de bits que utilize o menor número de bits possível é a tarefa principal do Codificador de Fonte. => Codificador de Fonte procura reduzir ao máximo a informação redundante no sinal m(t) quantizado de forma que o menor número de bits possível seja utilizado para sua representação sem perder informação significativa- > Codificador de Fonte efetua uma compressão de dados. => Seqüência de bits gerada na saída do Codificador de Fonte é denominada Seqüência de Informação e é aplicada à entrada do Codificador de Canal. . Codificador de canal => O propósito do Codificador de Canal é introduzir na Seqüência de Informação, de maneira controlada, uma determinada quantidade de informação redundante, de tal forma que, no receptor, esta informação redundante possa ser utilizada para detectar e corrigir erros decorrentes de ruído e interferência que afetam o sinal quando este é transmitido através do canal de transmissão. => a redundância controlada introduzida na Seqüência de Informação auxilia o receptor na decodificação da Seqüência de Informação desejada. => Por exemplo, uma forma trivial de codificação de uma seqüência de informação binária -> repetir m vezes cada dígito binário, sendo m um inteiro positivo. . 10 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Uma maneira mais sofisticada de codificação -> tomar um conjunto de k bits da Seqüência de Informação na entrada do Codificador de Canal (mensagem), e mapear cada mensagem de k bits em uma seqüência de n bits, n > k (palavra-código), tal que cada mensagem seja univocamente relacionada com a respectiva palavra-código. => O mapeamento deve ser unívoco de forma que, sendo conhecido no receptor, este tenha condições de inferir, a partir do mapeamento, se ocorreu ou não erro e eventualmente corrigi- lo. => A quantidade de redundância controlada introduzida pela codificação de canal é medida pelo quociente n/k . O recíproco deste quociente, i.e. k/n , é denominado de razão de codificação. => Codificador de Canal simples é aquele que executa a operação denominada cheque de paridade (parity check). - Suponhamos que tenhamos uma mensagem de k = 7 bits a ser codificada em uma palavra- código de n = 8 bits através do seguinte mapeamento: - Os 7 primeiros bits da mensagem -> mapeados sem nenhuma alteração nos 7 primeiros bits da palavra-código. - O oitavo bit da palavra-código é tal que se o número de dígitos “1” na mensagem é par o oitavo bit da palavra-código é “0” e se o número de dígitos “1” na mensagem é ímpar o oitavo bit da palavra-código é “1”. - Sejam, agora, por exemplo, as seguintes mensagens MA , MB e MC tal que MA = 1000001, MB = 1000010, MC = 1000011. As palavras-código resultantes na saída do Codificador de Canal são PA = 10000010, PB = 10000100 e PC = 10000111. - Suponhamos que na saída do demodulador do receptor tenhamos RA = 10000010 , RB = 00000100 R e RC = 00000000. - O Decodificador de Canal do receptor não detecta erro em RA porque o oitavo bit é “0” para um número par de bits “1” nos dígitos correspondentes à mensagem, o que é uma decisão correta pois RA = PA . - O Decodificador de Canal detecta erro em RB porque o oitavo bit é “0” para um número ímpar de bits “1” nos dígitos correspondentes à mensagem, o que é uma decisão correta pois RB ≠ PB no primeiro bit. - O Decodificador de Canal não detecta erro em RC porque o oitavo bit é “0” para um número par de bits “1” nos dígitos correspondentes à mensagem, o que é um decisão incorreta pois RC ≠ PC nos dígitos marcados em negrito. - A razão de codificação para este caso simples é k/ n = 7 / 8 .. Modulador Digital => A saída do Codificador de Canal é recebida pelo Modulador Digital cuja função é mapear a seqüência binária proveniente do Codificador de Canal em um conjunto de M valores distintos de parâmetros de um sinal elétrico v(t) . => Por exemplo, seja v(t) = V cos(2πft +φ ) e suponhamos que desejamos transmitir a seqüência binária proveniente do Codificador de Canal de um em um bit a uma razão uniforme de R bits/s . => O Modulador Digital pode, por exemplo, simplesmente mapear o dígito "0" no sinal v0 (t) = V cos (2πft +φ) e o dígito "1" no sinal v1 (t) = V cos (2πft +φ) , situação que define a modulação digital denominada BPSK (Binary Phase Shift Keying) para φ0 = 0o e φ1 = 180o . Neste caso M = 2 , e dizemos que a modulação é binária porque o mapeamento envolve dois valores de parâmetros de v(t) . => Uma outra forma de modulação seria tomar um bloco de N bits consecutivos da seqüência binária proveniente do Codificador de Canal e efetuar a transmissão de um em um bloco a uma razão constante de R [bits/s]. . 11 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. - Para tanto, o modulador mapeia M = 2N blocos (ou símbolos ) distintos no conjunto de sinais {vi (t)}, i = 0,1,...,M −1. Este tipo de modulação é denominada M-ária porque existem M > 2 sinais v(t) distintos. Por exemplo, seja N = 4 tal que M = 24 = 16 . Um possível mapeamento seria associar os 16 possíveis blocos de 4 bits aos elementos do conjunto de sinais {vi (t)} , i = 0,1,...,15 , vi (t) = V cos (2πft +φi) , conforme Tabela seguinte:. => Note que amplitude V e fase φ do sinal v(t) são variados, mas a freqüência f é mantida constante neste tipo de modulação. Os valores de Vi e φi mostrados caracterizam a modulação conhecida por 16−QAM (QAM - Quadrature Amplitude Modulation). => Note que o Modulador Digital recebe bits do Codificador de Canal a uma razão uniforme de R [bits/s] e os envia na mesma razão ao Canal de Transmissão através do Amplificador de Potência. => Cada bloco possui N bits, portanto o Modulador Digital processa. blocos. bloco /. bits bits R R N. s N s.                 , ou seja, cada bloco de N bits possui um intervalo de. duração de N / R segundos. Em outras palavras, para uma taxa fixa de transmissão de bits enviados ao canal de R [bits/s], N / R segundos é o intervalo de tempo durante o qual o Modulador Digital gera um dos M sinais v(t) e o transmite ao Canal de Transmissão através do Amplificador de Potência. => Note também que quanto maior o número M de sinais disponíveis, maior será o tamanho N do bloco representado por um dos M sinais, o que implica em maior velocidade de transmissão. => Por exemplo, seja um sistema digital com M = 256 tal que N = log2 M = 8. Toda vez que um dos 256 possíveis sinais v(t) é transmitido, significa que 8 bits foram enviados através do canal. Comparemos este sistema com o sistema para o qual M = 16 tal que N= log2 M = 4 , mas com o mesmo intervalo entre emissão de sinais v(t) do sistema com M = 256 . Para M = 16 , toda vez que um dos 16 possíveis sinais v(t) é transmitido significa que apenas 4 bits foram enviados através do canal. Portanto o sistema com M = 256 apresenta o dobro da velocidade de transmissão R [bit/ s] que o sistema para M = 16 , assumindo que ambos possuam a mesma taxa R/N [blocos /s] de transmissão de blocos (símbolos). Amplificador de Potência => O Amplificador de Potência eleva o nível de potência do sinal v(t) de forma que o. 12 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. sinal recebido no Receptor tenha um nível suficientemente alto para sobrepujar a degradação decorrente das interferências e ruído inerentes ao Canal de Transmissão.. Canal de Transmissão => O Canal de Transmissão é o meio físico que é utilizado para enviar a informação entre o Transmissor e Receptor, a partir do Amplificador de Potência no Transmissor. => Qualquer que seja o tipo de Canal de Transmissão, o sinal é corrompido de maneira aleatória através de uma variedade de possíveis mecanismos, como ruído térmico aditivo gerado por dispositivos eletrônicos, ruídos industriais, ruídos de ignição, ruídos atmosféricos, ruído da fauna sub- aquática, interferência de outros transmissores, interferência do próprio sinal devido à ecos e reverberação no canal, etc.... Amplificador de Sinal => No Receptor, o Amplificador de Sinal é um amplificador de baixo ruído que possui um filtro passa-banda centrado na freqüência f do sinal v(t) , o qual recebe o sinal distorcido e interferido pelos agentes de degradação inerentes ao Canal de Transmissão. => O objetivo principal do Amplificador de Sinal é eliminar sinais interferentes e reduzir o nível de ruído pelo efeito de corte no espectro do ruído efetuado pelo filtro passa-banda.. Demodulador Digital => O Demodulador Digital processa o sinal corrompido pelo canal e reduz o sinal v'(t) a uma seqüência numérica que representa as estimativas dos símbolos de dados (blocos) transmitidos, símbolos estes que, conforme já discutido, podem ser binários (2 símbolos) ou M-ários (M símbolos). Esta seqüência numérica é enviada ao Decodificador de Canal.. Decodificador de Canal => O Decodificador de Canal recebe a seqüência numérica é enviada pelo Demodulador Digital -> tenta reconstruir a Seqüência de Informação original baseado no conhecimento do código utilizado pelo Codificador de Canal e na redundância controlada contida na informação recebida. => Uma medida de quão bem feito está sendo realizado o trabalho conjunto do Demodulador Digital + Decodificador de Canal é a freqüência estatística em que erros ocorrem na Seqüência de Informação decodificada. => Precisamente falando, a probabilidade média de erros em bits da Seqüência de Informação na saída do Decodificador de Canal é uma medida da performance do trabalho conjunto do Demodulador e Decodificador de Canal. => Na prática esta probabilidade média de erro é obtida contando-se o número de bits errados Ne em um número suficientemente grande de bits totais Nt recebidos, bits estes provenientes da recepção de diversas Seqüências de Informação consecutivas. => Computa-se então a razão BER = Ne/ Nt , onde o parâmetro de performance BER (BER – bit error rate) é a taxa de erro de bits do Demodulador Digital + Decodificador de Canal e é uma aproximação da probabilidade média de erro. => Em geral, a probabilidade de erro é função das características do código utilizado, do tipo de sinal v(t) adotado, da potência do Amplificador de Potência no transmissor, das características do canal (nível de ruído, natureza da interferência, etc...) e do método de demodulação e decodificação.. Decodificador de Fonte => Finalmente, o Decodificador de Fonte tenta recuperar o sinal original m(t) baseado no método de codificação usado pelo Codificador de Fonte no transmissor. . 13 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Devido a erros no Decodificador de Canal e possível distorção introduzida pelo Codificador/Decodificador de Fonte, o sinal m'(t) é uma aproximação de m(t) . => A diferença entre m'(t) e m(t) (ou alguma função desta diferença: (m'(t) − m(t))2 , por exemplo) é uma medida da distorção introduzida pelo sistema de transmissão digital.. Transdutor de Saída => O Transdutor de Saída é um dispositivo que converte o sinal elétrico m'(t) em uma grandeza física qualquer. => Por exemplo, no caso de o sistema mostrado na Figura representar um transmissor/receptor de rádio, o Transdutor de Saída pode ser um alto-falante: O sinal elétrico m'(t) movimenta o diafragma do alto-falante o qual gera uma onda acústica cuja intensidade da pressão instantânea corresponde ao sinal m'(t) .. 1.2 CÓDIGOS PARA COMPRESSÃO DE DADOS. => Se o Canal de Transmissão fosse absolutamente isento de agentes de degradação como ruído e interferência, não haveria necessidade de codificação para correção de erros e, portanto, não haveria necessidade do Codificador de Canal. => Assim, a única necessidade de codificação no sistema digital seria no Codificador de Fonte, já que, nesta situação, nossa única tarefa é maximizar o número de mensagens que podem ser transmitidas pelo sistema em um dado intervalo de tempo. => Esta tarefa é realizada através do tipo de codificação denominado Codificação Sem Ruído [Ash], cujo efeito final é efetuar uma compressão no volume de informação a ser transmitido. Sob este enfoque, a Compressão de Dados efetuada no Codificador de Canal de um sistema de transmissão digital é um dos objetos de nosso estudo. => Vamos supor que o Quantizador do Codificador de Fonte apresente M níveis de quantização e codifique o sinal m(t) quantizado com seqüências de N= log2 M bits. => O código para compressão de dados considera cada uma das M possíveis seqüências de N bits como uma mensagem de N bits e associa a cada uma delas uma palavra-código cujo número de bits depende da probabilidade de ocorrência da mensagem. => Palavras-código com menos bits são atribuídas a mensagens com maior probabilidade de ocorrência, e palavras-código com mais bits são atribuídas a mensagens com menor probabilidade de ocorrência. Este critério é crucial para a eficiência da compressão. => Um código que segue este critério faz com que mensagens que ocorrem freqüentemente necessitem de menos bits para serem transmitidas e, portanto, o efeito global é o de permitir que mais informação possa ser transmitida no mesmo intervalo de tempo. => A probabilidade de ocorrência de cada mensagem depende da fonte do sinal m(t) : vídeo, voz, etc. => Quando um sistema digital é projetado, é feito um estudo estatístico da probabilidade de ocorrência de cada uma das M possíveis mensagens para que o código compressor possa ser especificado. => Por exemplo, suponhamos que m(t) seja um sinal de voz. Na prática, aplica-se na entrada do sistema digital um número suficiente de classes de voz para que seja caracterizado o sinal m(t) para a voz humana. => Simultaneamente, registra-se as mensagens resultantes na saída do Quantizador – em geral um número nm bastante grande de mensagens é necessário. Após o processo de registro, conta-se o número de cada tipo de mensagem ocorrida, dentre os M tipos possíveis, e divide- se a contagem de cada tipo por nm . => O conjunto de M valores obtidos, cuja soma forçosamente tende para 1.0, é uma boa aproximação das probabilidades de ocorrência de cada uma das M possíveis mensagens.. 14 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Códigos para compressão com base no princípio probabilidade ↑  bits ↓ são denominados de processos para Codificação por Entropia [Proakis], sendo entropia um conceito a ser estudado adiante neste texto. => O veterano Código Morse, utilizado para enviar informação por telegrafia desde a I Guerra Mundial, é um exemplo histórico desta classe de códigos. Cada letra do alfabeto A – Z é uma mensagem do Código Morse. => O conjunto de caracteres utilizado para compor as palavras-código do Código Morse é o conjunto {" . " , " − "}. A cada mensagem é atribuído uma seqüência de “pontos” e/ou “traços” representados em telegrafia por tons audíveis curtos e/ou longos. => O mapeamento mensagem → palavra − código do Código Morse é tal que letras mais prováveis na escrita inglesa são associadas a palavras-código curtas e letras menos prováveis são associadas a palavras-código longas. => A letra “E”, por exemplo, é a letra mais freqüente na escrita em inglês e é representada por um único " . " . => No contexto de Codificação por Entropia estudaremos o denominado Código de Huffman. A compressão por codificação de Huffman é ótima no sentido de que o número médio de bits requerido por palavra-código na saída do compressor para representar os M níveis de quantização codificados em mensagens de N = log2 M bits é reduzido ao mínimo possível sem que cause degradação. Apesar de extensivamente utilizado, o Código de Huffman é inadequado para aquelas situações práticas em que é impossível estimar previamente as probabilidades de ocorrência de cada uma das M mensagens. => No entanto, existe uma classe de códigos denominada de Algoritmos para Codificação Universal de Fonte [Proakis], classe esta que não necessita das características estatísticas da fonte do sinal m(t) para que a compressão seja efetuada. Dentro desta classe, estudaremos o Algoritmo Lempel-Ziv. => Os códigos até agora citados pertencem à classe de processos de compressão denominados sem perda (loseless), a qual compreende códigos que executam a compressão da informação com recuperação integral da informação original após o processo de descompressão no receptor. => Há ainda a grande classe de processos de compressão denominados com perda . Tais processos obtém o efeito de compressão desconsiderando, sob determinado critério, partes menos significativas da informação a ser transmitida. Portanto, após o processo de descompressão no receptor, a informação original é apenas aproximadamente recuperada. => No entanto, a compressão obtida através de métodos com perda é muito maior de que com métodos sem perda. Dentro desta última classe, dispõe-se como exemplos, a DCT (Discrete Cosine Transform), utilizada no padrão JPEG, e a KLT (Karhunen-Loève Transform), ótima no sentido do erro médio quadrático.. 1.3 CÓDIGOS PARA CORREÇÃO DE ERROS. => Quando informação digital é enviada através de um canal de transmissão, ruído e interferência inerentes a qualquer canal prático degradam o sinal de forma que os dados recebidos contém erros. => O usuário do sistema de transmissão digital geralmente estabelece uma taxa de erro máxima aceitável – uma mensagem errada em 1×106 mensagens recebidas, por exemplo (i.e., uma taxa de erro de 1×10−6 ) – acima da qual os dados recebidos não são considerados utilizáveis pelo usuário. . 15 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Esta taxa de erro máxima aceitável depende da informação que transita pelo canal. A título de comparação, a taxa máxima de erro permitida para transmissão de voz através de telefonia celular é muito maior do que a taxa exigida para transmissão de dados, por exemplo. => Até porque, na pior das hipóteses, mesmo sob uma alta taxa de erro e conseqüente distorção, o sistema auditivo humano é capaz de compreender o significado das frases pelo contexto da conversa, o que já não acontece quando dois computadores trocam dados. => O Codificador de Canal é o responsável em um sistema digital por manter a taxa de erro dentro de um limite máximo aceitável pelo usuário. A possibilidade do uso de codificação para controlar com eficiência a taxa de erro de um sistema de comunicação digital foi demonstrado por Shannon [Shannon] em 1948 através do denominado Teorema Fundamental de Shannon:. Teorema Fundamental de Shannon Se a taxa (=velocidade) de transmissão R [bits/s] da informação a ser enviada pelo canal é menor que uma quantidade C [bits/s] denominada de Capacidade do Canal, então a comunicação através do canal pode ser estabelecida com uma probabilidade de erro tão baixa quanto se deseje através do uso de um código adequado para correção de erro.. => Em essência, o Teorema Fundamental de Shannon estabelece que a potência do sinal transmitido, a potência de ruído no canal e a largura de banda do canal estabelecem um limite máximo na taxa de transmissão R, mas não estabelecem limite na precisão da transmissão (a qual é definida pelo inverso da taxa de erro). => No caso específico de o único agente degradante do canal ser ruído η(t) com distribuição de probabilidade Gaussiana (canal Gaussiano), a Lei de Shannon-Hartley, decorrente do Teorema Fundamental de Shannon, estabelece que a capacidade C deste tipo de canal é dada por.      . 2. P C = Blog 1+ [bits / s]. N (1.1) . Onde: - B é a largura de banda do canal em Hz - P é a potência do sinal transmitido - N é a potência do ruído Gaussiano adicionado ao sinal no canal. . => Em geral, como a densidade espectral de η(t), dada por 2. {η( )}t , é uma constante η0 / 2 dentro do intervalo de freqüência − B ≤ f ≤ B , o ruído pode ser considerado ruído branco [Taub] e a potência do ruído pode ser aproximada por N =η0 B , sendo {.} o operador Transformada de Fourier [Carlson]: - η(t) é o ruído com distribuição de probabilidade Gaussiana (canal Gaussiano). - η0 / 2 é constante, a densidade espectral de η(t), dada por 2. {η( )}t - N =η0 B é a potência do ruído aproximada => A Lei de Shannon-Hartley apresenta duas importantes implicações: 1- Ela dá um limite superior para a velocidade (taxa) de transmissão confiável através de um. canal Gaussiano. 2- Para uma Capacidade de Canal C especificada, ela define o compromisso entre a largura de. banda B do canal e a relação sinal-ruído SNR = P/N (SNR – Signal ToNoise Ratio) no mesmo.. => Apesar de (1.1) somente ser válida para canal AWGN (AWGN – Additive White Gaussian Noise), isto é, o ruído aditivo η(t) do canal é Gaussiano e descorrelacionado (i.e.,. 16 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. espectralmente branco - white), a Lei de Shannon-Hartley é de utilidade prática por duas razões: 1- Em geral a maioria dos canais físicos são pelo menos aproximadamente AWGN. 2- Demonstra-se que o resultado obtido para um canal AWGN provê um limite inferior para a performance de um sistema digital operando com um canal não AWGN. => É instrutivo verificar o que acontece com a Capacidade do Canal quando a largura de banda B do canal é aumentada ao infinito. De (1.1) com N =η0 B temos.      . 2. 0. P C = Blog 1+ [bits / s]. η B (1.2). que pode ser convenientemente re-escrita como.      . 0η B. P 2. 0 0. P P C = log 1+ [bits / s]. η η B (1.3). Quando B →∞ temos.        . 0η B. P B 2. B 0 0. P P C = lim log 1+ [bits / s]. η η B (1.4). mas . . 1 / x. x 0 lim(1+ x) = e (1.5). e fazendo 0/x P B , de (1.4) e (1.5) temos. B 2 0 0. P P C = log e = 1.44 [bits / s]. η η (1.6). => A Equação (1.6) é conhecida como Limite de Shannon. O Limite de Shannon. define a máxima taxa de transmissão para um canal cuja largura de banda seja suficientemente grande tal que não apresente qualquer atenuação ao espectro do sinal que transporta a informação a ser transmitida. => Figura: Máxima Capacidade do canal em função da largura de banda: mesmo que a largura de banda do canal cresça indefinidamente, a respectiva capacidade e, portanto, a taxa máxima de transmissão confiável de informação permanece limitada.. Figura 1.2: Capacidade do canal em função da largura de banda. => Existe um valor limite de Eb/N0 (limite de Shannon) abaixo do qual não pode haver comunicação sem erros, qualquer que seja o ritmo de transmissão..  b 0. E ln2 = 0,693 -1,59 dB. N . 17 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Figura: O limite de Shannon: A zona abaixo da curva R = C , constitui a região útil de utilização do canal gaussiano, onde o limiar Eb/N0 = -1,59 dB. . Figura 1.3 : O limite de Shannon. Onde: R - limite máximo na taxa de transmissão C – capacidade do canal em bits/seg B - largura de banda do canal em Hz S/N0 – relação sinal ruído Eb/N0 – relação energia do bit e a densidade espectral de potência do ruído. => O Teorema Fundamental de Shannon apenas demonstra que se R ≤ C existe um código corretor de erro tal que a informação pode ser transmitida através do canal com uma taxa de erro arbitrariamente baixa. => Mas infelizmente não especifica como construir tal código corretor. Talvez a maior utilidade prática do Teorema Fundamental de Shannon seja demonstrar que para R > C não é possível transmitir informação sem erro através do canal, mesmo que se utilize o mais poderoso código corretor de erro que se possa conceber. => É importante salientar que, não raro, o maior valor possível para a taxa de transmissão R é dado não por C, mas sim, pela complexidade computacional do código corretor necessário para que aquele valor de R possa ser alcançado. => Dentro do universo de códigos corretores de erro estudaremos basicamente duas grandes classes, quais sejam, códigos de bloco e códigos convolucionais. Além destes, este texto aborda a classe de códigos concatenados e o conceito de interleavers.. => O Teorema Fundamental de Shannon enuncia a capacidade do canal C, ou seja, limitante superior teórico taxa de informação dos dados que podem ser transmitidos, a uma taxa de erro arbitrariamente baixa, usando uma potência de sinal recebido média S através de um canal de comunicação analógico sujeito a ruído branco aditivo Gaussiano de potência N: . 2. S C=Blog 1 bits/s. N     . => Exemplos da aplicação do Teorema Fundamental de Shannon 1 – Se a SNR (S/N) = 20 dB e largura de banda disponível é de 4 kHz (utilizada para comunicações telefônicas) . Qual deverá ser a capacidade do canal?. 18 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. Resposta:. 10 1020 dB = 10 log log 2 100 S S S. N N N     .    22 4K log 1 100= log 4K 101 26.63 /1+ 2log Kb S. C B bits / s = i s N. t      . 2- Se a exigência é a de transmitir a 50 kbit/s e uma largura de banda de 10 kHz é usada. Qual deverá ser a SNR ? Resposta:. 2 2 250 / 10 l= log 1+ 1+og lo 1 =g + 5 S S S. C B b Kbi it s KHzts / s N N N.                  .  . 2 1+ = 5 1+ 32 3g 1lo S S S. N N N.                    . 10 10X dB = 10 log X dB 10 log 31 = 10 x 1,491 = 14,91 dB S. N   . 1.4 BREVE REVISÃO MATEMÁTICA. 1.4.1LOGARITMOS. =>Definição: Sendo a e b números reais positivos com 1a  chama-se logaritmo de b na base a o expoente x ao qual se deve elevar a base a de modo que a potência xa seja igual a b.. x alog b x a b   . => Propriedades:  log 1 0a   log 1a a   log 0 0 1 - , { 1 }a , qdo a / , qdo a         .  logaba b  log loga ab c b c    log ( )=log + loga a ab . c b c .  log log loga a a b. b c c   .  log logra ab r. b .  log . logr pa a p. b b r.  . => Mudança de base:.  log . log c = log . b a. b. c. a .  10 102 2 10 10. log log log = log 0,3010 x log . log 2 0,3010. c c c c c   .  2 2 2 2. log log ln = = ln 1, 4427 x log ; (e=2,7183). log e 1,4427. c c c c c  . 19 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante.  10 10 10 10. log log ln = = ln 0, 4343 x log . log e 0,4343. c c c c c  . 1.4.2 TEORIA DA PROBABILIDADE. Modelos Determinísticos X Modelos Estocásticos => Os modelos matemáticos tentam por meio de considerações descrever o acontecimento de fenômenos observados e a partir dessas considerações prover, usando as condições iniciais conhecidas, o resultado de tal fenômeno. . Modelos Determinísticos: => São aqueles em que, quando conhecidas as condições inicias e respeitando as considerações do modelo, é possível prever EXATAMENTE o comportamento e o resultado do experimento. Tome-se, por exemplo, a lei de Ohm, V = I.R. Se R e I forem conhecidos, então V estará precisamente determinado.. Modelos Probabilísticos ou Não Determinísticos: => São aqueles em que não é possível conhecer o resultado final do experimento mesmo quando se conhecem todas as condições inicias e são respeitadas as considerações do modelo. Este modelo é especificado através de uma distribuição de probabilidade. => modelo estocástico => é caracterizado como um modelo probabilístico que depende ou varia com o tempo.. Probabilidades => Definições:. Espaço Amostral (S): Conjunto de todas os resultados possíveis de um certo experimento aleatório. Anota-se por S, E ou  . - Ex: Lançamento de um Dado: S = {1, 2, 3, 4, 5, 6} => Ao descrever um experimento aleatório deve-se especificar não somente que operação ou procedimento deva ser realizado, mas também o que é que deverá ser observado (evento).. => Evento (A): Conjunto de alguns resultados possíveis de um dado experimento. Ex: Evento A1 - Lançamento de um Dado: resultado par A1 = {2, 4, 6} Evento A2 -Lançamento de um Dado: resultado ímpar A2 = {1, 3, 5} . => Frequência Relativa (fA) . A A A , 0 1. n n f. n n    . onde nA é o número de vezes que o evento A ocorreu e n é o número de vezes que se realizou o experimento.. => Probabilidade => Seja E um experimento e A um evento de um espaço amostra associado S. Suponhamos que E é repetido “n” vezes e seja fA a freqüência relativa do evento. Então a probabilidade de A é definida como sendo o limite de fA quando “n” tende ao infinito. Ou seja:. A A(A) lim lim. n n. n P f. n        . 20 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Deve-se notar que a freqüência relativa do evento A é uma aproximação da probabilidade de A. As duas se igualam apenas no limite. Em geral, para um valor de n, razoavelmente grande a fA é uma boa aproximação de P(A).. => Axiomas da Probabilidade: (i) 0 ≤ P(A) ≤ 1; (ii) P(S) = 1; (iii) P(AB) = P(A) + P(B) , se A e B forem eventos mutuamente excludentes: . (A B )  . (iv) Se A1, A2, ..., An, ..., forem, dois a dois, eventos mutuamente excludentes, então:. n n. i i i=1i=1. P A = P(A )      . U , se (A A ) i j i j    . Figura : A e B não são mutuamente excludentes. Corolários (consequências): São as conseqüências dos axiomas (propriedades): (i) ( ) = 0P  . (ii) Se A e A são eventos complementares então: (A ) + = 1 o u(A ) (A ) = 1 - (A )P P P P . Figura : A e A são complementares. (iii) Se A B  então P(A) P(B). Figura: A está contido em B. (iv) Se A e B são dois eventos quaisquer então:.      A - B = A - A BP P P  . Figura : A e B dois eventos não excludentes. (v) Se A e B são dois eventos quaisquer de S, então:.        A B = A + B - A BP P P P  . 21 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. Figura : A e B dois eventos não excludentes. (vi) Se A , B e C são três eventos quaisquer de S, então .                P A B C = P A + P B + P C - P A B - P A C - P B C + P A B C       . => Exemplos de Probabilidades Exemplo 1.1 Uma dado é lançado. Qual a probabilidade de sair um número menor do que 4? . (A) 3 (S) 6 S={1, 2, 3, 4, 5, 6} (A)= 50%. (S) 6. (A) 3 A={1, 2, 3}. n n P. n. n.    .  . Exemplo 1.2. Uma dado é lançado duas vezes. Qual é a probabilidade de que a soma dos resultados seja maior que 5?. (B) 26 13 S {(1,1);(1, 2);...(1,6);(2,1);...; (6,6)} (S) 36 (B)=. (S) 36 18. B={(1,5); (1,6);.(2, 4); (2,5); (2,6);(3,3),..(6,6)} (B) 26. n n P. n. n.     .  . Pode-se resolver o mesmo problema contabilizando os resultados menores ou iguais a 5, da forma: . (B) 10 S {(1,1);(1, 2);...(1,6);(2,1);...; (6,6)} (S) 36 (B)=. (S) 36. B={(1,2); (1,3);(1,4);(2,1); (2, 2);(2,3);(3,1);(3, 2)(4,1)} (B) 10. 10 36 10 26 13 (B) ( ) 1 (B). 36 36 36 18. n n P. n. n. P P B P.    .  .        . Não há diferença entre jogar o mesmo dado 2 vezes seguidas e jogar dois dados ao mesmo tempo. O espaço amostral é o mesmo.. = > Probabilidade Condicional Sejam A e B dois eventos de um espaço amostra S, associado a um experimento E, onde P(B) > 0. A probabilidade de A ocorrer condicionada a B ter ocorrido, será representada por P(A|B), e lida como: “probabilidade de A dado B” ou “probabilidade de A condicionada a B”, e calculada por:. (A B) (A|B)= , (B) 0. (B). P P P. P.   . P(A|B) é probabilidade de um evento A ocorrer dado que o evento B já ocorreu.. Figura : A e B dois eventos não excludentes. 22 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. Nota: B já ocorreu, assim o espaço amostral está agora reduzido à B.  A B é a única região onde A pode ocorrer se B já ocorreu.. => Propriedades da Probabilidade Condicional => A probabilidade condicional tem as mesmas propriedades da probabilidade não condicional. (i) 0 ≤ P(B|A) ≤ 1, (ii) P(S|A) = 1, (iii) P(B1B2|A) = P(B1|A) + P(B2|A) , se B1B2 =  (iv) Se B1, B2,...,Bn são eventos par-a-par disjuntos, então. 1 2 1. 1 2 1 2. (B A) (B B ... B |A)= (B A). (A). (B B ... B |A) (B |A)+ (B |A)+ ...+ (B |A) , se B B = para .. n. i n i. n i i. n n i j. P. P P | P. P P P P i j. .     .       .   . => Teorema da multiplicação Com o conceito de probabilidade condicionada é possível apresentar uma maneira de se calcular a probabilidade da interseção de dois eventos A e B em função destes eventos. Esta expressão é denominada de teorema da multiplicação:.          A B = B|A A = A|B. . BP P P P P => Regra geral da multiplicação Seja A1, A2,..., An uma sequência de eventos de um espaço amostral, então:. 1 2 1 2 1 n 1 2 n-1(A A , ... ,A )= (A ). (A |A ). ... . (A |A A , ... ,A )nP , P P P , . => Exemplos de probabilidade condicional: Exemplo 1.3. Comparação entre P(A|B) e P(A). Para tanto considere-se os quatro casos ilustrados nos diagramas abaixo. Tem-se: (a) P(A|B) = 0, porque A não poderá ocorrer se B tiver ocorrido. (b) P(A|B) = P(AB) / P(B) = [P(A) / P(B)]  P(A), já que P(A)  P(B), pois AB. (c) P(A|B) = P(AB) / P(B) = [P(B) / P(B)] = 1  P(A). (d) Neste caso nada se pode afirmar sobre o relacionamento entre P(A|B) e P(A).. (a) AB = (b) BA (c) A B (d) Caso geral. P(A|B) = 0 P(A|B)  P(A) P(A|B) =1. Exemplo 1.4. Numa caixa existem 100 peças, das quais 20 são defeituosas. Duas peças são retiradas ao acaso. Qual é a probabilidade de que ambas sejam defeituosas? . 20 A {A1a. peça é defeituosa} (A)=. 100 19. B {A 2a. peça é defeituosa} (B|A)= 99. (A B) =?. (A B) 19 20 19 (B|A)= (A B)= (B|A). (A) .. (A) 99 100 495. P. P. P. P P P P P. P.  .  .  .    . 23 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Eventos Independentes Sejam A e B dois eventos de um espaço amostra S. A e B são ditos independentes se a probabilidade de um deles ocorrer não afetar a probabilidade do outro ocorrer, isto é, se: P(A/B) = P(A) ou P(B/A) = P(B) ou ainda se. (A B) (A B) (A|B)= (A) (A B)= (A). (B). (B) (B). P P P P P P P. P P.       . Qualquer uma das 3 relações acima pode ser usada como definição de independência.. => Exemplos de independência de eventos: Exemplo 1.5. Considere um experimento de retirada por sorteio de uma única carta de um baralho, com 52 cartas, sendo 13 de cada naipe (conjunto de 13 cartas de Ás ao Rei). Seja C evento { carta retirada é de Copas} e seja R o evento { carta retirada é um Rei}. Solução: Para que R e S sejam independentes deve-se ter: P(CR) = P(C).P(R). O espaço amostra para este caso é:  = { 52 cartas } = 52 Para retirada de uma carta de Copas: C = { 13 cartas } = 13. Logo: P(C) = 13/52 = 1/4 Para retirada de um Rei: R = { 4 cartas } = 4. Logo: P(R) = 4/52 = 1/13 Como somente existe um Rei de Copas em todo baralho P(RC)=1/52 Caso no sorteio tenhamos tirado um Rei dado que a carta é de Copas, temos: P(R|C)=P(RC)/P(C)= (1/52)/(1/4)=1/13 Verificando se são independentes, temos P(RC)=P(R).P(C)=(1/13).(1/4)=1/52 Logo: P(RC) = 1/52 = P(R).P(C) = (1/13).(1/4)=1/52. Portanto os eventos R e C são independentes, ou seja, o conhecimento da ocorrência de C não ajuda para reavaliarmos a probabilidade de R.. Exemplo 1.6. Três componentes C1, C2, e C3, de um mecanismo são postos em série (em linha reta). Suponha que esses componentes sejam dispostos em ordem aleatória. Seja R evento { C2 está à direita de C1 }, e seja S o evento { C3 está à direita de C1 }. Os eventos R e S são independentes? Por quê?. Solução: Para que R e S sejam independentes deve-se ter: P(R S) = P(R).P(S). O espaço amostra para este caso é:  = { C1C2C3, C1C3C2, C2C1C3, C2C3C1, C3C1C2, C3C2C1 } = 6 As seqüências em que C2 está à direita de C1 são: R = { C1C2C3, C1C3C2, C3C1C2 } = 3. Logo: P(R) = 3/6 = 50% As seqüências em que C3 está à direita de C1 são: S = { C1C2C3, C1C3C2, C2C1C3 } = 3. Logo: P(S) = 3/6 = 50% As seqüências em que C2 está à direita de C1 e C3 está também à direita de C1 são: R S = { C1C2C3, C1C3C2 } = 2 . Logo: P(R S ) = 2/6 = 1/3 = 33,33% ≠ P(R).P(S) = 0,5.0,5 = 0,25 = 25%. Portanto os eventos R e S não são independentes.. 24 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Partição de um espaço amostral O conceito de probabilidade condicionada ou condicional pode ser utilizado para calcular a probabilidade de um evento simples A ao invés da probabilidade da interseção de dois eventos A e B. Para tanto é necessário o conceito de partição de um espaço amostra. Diz-se que os conjuntos A1, A2, ..., An eventos de um mesmo espaço amostra S, formam uma partição deste espaço se: (a) Ai Aj =  , para todo i ≠ j. (b) A1A2 ... ∪ An = S (c) P(Ai) > 0, para todo i. Figura: Partição do Espaço Amostral. Por exemplo, considere-se o espaço amostra obtido pelos números das faces no lançamento de um dado equilibrado e sejam os eventos:A1 = { 1, 2, 3 }, A2 = { 4, 5 } e A3 = { 6 }. Então, pode-se verificar facilmente que, os eventos acima formam um partição do espaço amostra S = { 1, 2, 3, 4, 5, 6 }.. => Teorema da probabilidade total Considere-se um espaço amostra S e A1, A2, ..., An uma partição deste espaço amostra. Seja B um evento de S. Então B, pode ser escrito como (A figura acima ilustra a partição com n = 8):. B = (BA1) (BA2)  ...  (BAn) Todos os conjuntos B  A1, B  A2, ..., BAn são dois a dois mutuamente excludentes. E por isto, pode-se aplicar a propriedade da adição de eventos mutuamente excludentes e escrever.. P(B) = P[(BA1) (BA2)  ...  (BAn)] = P(BA1) + P(BA2) + ... + P(B  An) Mas cada um dos termos P(BAj) pode ser escrito na forma:. P(BAj) = P(Aj).P(B|Aj), pela definição de probabilidade condicionada, obtém- se então o denominado teorema da probabilidade total:.              1 1 2 2 n nP B = P A .P B A + P A .P B A + ... + P A .P| B|A| . =>Exemplo de probabilidade total: Exemplo 1.7. Uma determinada peça é manufaturada por 3 fábricas: A, B e C. Sabe-se que A produz o dobro de peças que B e que B e C produzem o mesmo número de peças. Sabe-se ainda que 2% das peças produzidas por A e por B são defeituosas, enquanto que 4% das produzidas por C são defeituosas. Todas as peças produzidas são misturadas e colocadas em um depósito. Se do depósito for retirada uma peça ao acaso, qual a probabilidade de que ela seja defeituosa? Solução: Considerem-se os seguintes eventos: D = { A peça é defeituosa }, A = { A peça provém da fábrica A }, B = { A peça provém da fábrica B } e C = { A peça provém da fábrica C }. Tem-se então que: P(A) = 50%, P(B) = P(C) = 25%, uma vez que só existem as 3 fábricas e que A produz o dobro de B e esta por sua vez produz a mesma quantidade que C. Sabe-se também que P(D|A) = P(D|B) = 2% e que P(D|C) = 4%.. 25 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. Pela teorema da probabilidade total pode-se escrever que: P(D) = P(A).P(D|A) + P(B).P(D|B) + P(C).P(D|C) = (0,5 x 0,02) + (0,25 x 0,02) + (0,25 x 0,04) = 2,50%, pois A, B e C formam uma partição do espaço amostra S.. => Teorema de Bayes Suponha-se que no exemplo acima, uma peça é retirada do depósito e se verifica que é defeituosa. Qual a probabilidade de que tenha sido produzida pela fábrica A? ou B? ou ainda C? Neste caso, o que se quer calcular é a probabilidade condicionada P(A|D). Pela notação já vista acima, e generalizando a questão o que se está interessado em obter é a probabilidade de ocorrência de um dos Ai dado que B ocorreu, isto é, o que se quer é saber o valor de P(Ai|B), onde os eventos A1, A2, ..., An formam uma partição de S e B é um evento qualquer de S. Aplicando a definição de probabilidade condicionada segue que:. P(Ai|B) = P(AiB)/P(B) = P(Ai).P(B|Ai)/P(B), onde P(B) é avaliado pelo teorema da probabilidade total. Este resultado é conhecido como teorema de Bayes. Assim:.                      1 1. Calculado. 2. pelo Teorema da Probabilidade To. 2. tal. P A .P B|A P A .P B|A P A |B. P A .P B|A + P A .P B|A + ... + P A .PP B|A(B) i i i i. n. i. n.     1444444444442444444444443. ou.        P B A P A .P B|AP A P(B) (B A ) (. B A ). | i i i. i. i. i i. P | P.   . . => Exemplo de Teorema de Bayes: Exemplo 1.8. Considerando a pergunta acima vem então:. P(A|D), isto é a probabilidade de ter sido produzida pela máquina A dado que a peça é defeituosa é:.         .   P A . P D A 0,50 x 0,02 . P A D = = = 0,40 = 40% P D 0,5 x 0,02) + (0,25 x 0,02) + (0,25 x0,04. | | . Exemplo 1.9: Uma empresa produz rádios em três fábricas com porcentagens de produção de 15%, 35% e 50%. Suponha que os rádios produzidos por estas fábricas são defeituosos com probabilidades 0,01; 0,05 e 0,02, respectivamente. a) Se um rádio for escolhido aleatoriamente da produção, qual é a probabilidade de que ele seja defeituoso? b) Suponha agora que um rádio é escolhido aleatoriamente da produção e é verificado que é defeituoso. Qual é a probabilidade de que este rádio seja oriundo da segunda fabrica? Sabe-se: - Ai: produção da fábrica i; - B: evento “rádio defeituoso”.. 1 2 3. 1 2 3. (A ) 0,15; (A ) 0,35; (A ) 0,5 (A ). (B | A ) 0,01; (B | A ) 0,05; (B | A ) 0,02. i i. P P P P. P P P.    .   . . 2 2 2. (a) (B)= (B | A ) (Ai) 0,01.0,15 0,05.0,35 0,02.0,5 0,029. 2,9 %de probabilidade de que o rádio seja defeituso. (B | A ) (A ) 0,05.0,35 (b) P(A |B)= 0,603. (B) 0,029. O conhecimento que o rádio seja d. i i. P P P. P P. P.    .  . . efeituoso aumenta a chance. de que tenha vindo da fábrica 2 de 35% para 60,3%.. 26 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. 1.4.3 VARIÁVEIS ALEATÓRIAS. => Variáveis aleatórias Ao se descrever o espaço amostra de um experimento nota-se que os elementos não são necessariamente números. Assim, por exemplo, no lançamento de duas moedas pode-se ter o seguinte espaço amostra:  = { cc, ck, kc, kk } Contudo, na maior parte das vezes, se está interessado num resultado numérico, isto é, deseja- se associar aos elementos do espaço amostra S um número real x = X(w). Desta forma formula-se a definição: Seja E um experimento com um espaço amostra associado  . Uma função X que associe a cada elemento de  (w ) um número real x = X(w) é denominada variável aleatória.. => Notação de Variáveis Aleatórias: S: espaço amostral (conjudo, evento,... ); s: elemento do espaço amostral (evento); X,Y,Z: Variável Aleatória (VA); x y z :valores assumidos pelas Variáveis Aleatórias. ( )s S X s x   . => Exemplos de Variável Aleatória: Exemplo 1.10: Seja  o espaço amostra formado pelas seqüências obtidas no lançamento de 2 moedas equilibradas. Seja X a variável aleatória definida como sendo o número de coroas da seqüência, isto é, X(w) = x = números de coroas. O conjunto de valores da variável X é X( ) = { 0, 1, 2 }, pois, neste caso, tem-se:. X(cc) = 0, X(ck) = 1, X(kc) = 1, X(kk) = 2, ou então:. w cc ck kc kk X(w) 0 1 1 2. Exemplo 1.11. Três mordas são lançadas e observa-se o número de CARAS que ocorrem: S={ CCC, CCK, CKC, CKK, KCC, KCK, KKC, KKK } RX={0 1 2 3}. => Conforme o conjunto de valores uma variável aleatória poderá ser discreta ou contínua. Se o conjunto de valores for finito ou então infinito enumerável a variável é dita discreta. 27 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. (VAD). Se o conjunto de valores for infinito não enumerável então a variável é dita contínua(VAC).. => Variávies Aleatórias Discretas (VAD): Quando os valores assumidos pela V.A. são finitos ou contavelmente infinito (Infinito numerável). Isto é, a V.A. assume apenas um conjunto de valores discretos.. X 1 2. 1. ( ) 0, R { , ,..., ,...} . ( ) ( ) ( ) 1. i n. i i i i. p x i x x x. P X x p x p x . .    .    . A função “p” assim definida é denominada de função de probabilidade de X. A coleção dos pares (xi, p(xi)) para i = 1, 2, 3, ... é denominada de distribuição de probabilidade – FDP da VAD X.. => Variáveis Aleatórias Contínuas (VAC): Quando o conjunto RX assume valores não numeráveis. Isto é,a V.A. pode assumir qualquer valor em um intervalo de observação inteira. Por exemplo: Amplitude de uma tensão de ruído em um instante de tempo em particular.. => Função de probabilidade ou função distribuição de probabilidade de VAD Considerando-se o lançamento de um dado equilibrado. O espaço amostra é formado por 6 resultados eqüiprováveis. Seja X uma VAD definida como X = número obtido no lançamento. Tem-se então:. X(S) = {1, 2, 3, 4, 5, 6}. Como os resultados são equiprováveis, a propabilidade de ocorrência de cada face é igualmente 1/6 para todas elas:. p(1)=P(X=1) = 1/6 p(2)=P(X=2) = 1/6 p(3)=P(X=3) = 1/6 p(4)=P(X=4) = 1/6 p(5)=P(X=5) = 1/6 p(6)=P(X=6) = 1/6. A função de distribuição de probabilidade também pode ser representada pela tabela: x 1 2 3 4 5 6. p(x) 1/6 1/6 1/6 1/6 1/6 1/6 O diagrama abaixo também representa a função de distribuição de probabilidade, onde os valores da variável são registrados no eixo das abcissas e as probabilidades no eixo das ordenadas:. 28 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Função de Distribuição Cumulativa (CDF) de VAD Ou Função de distribuição acumulada (FDA) de VAD. Seja X uma VAD com função densidade f(x). Então a função de distribuição acumulada - FDA, ou simplesmente função de distribuição de X é a função F “em escada” definida por:. X ( ) ( ) ( )i xi x. F x P X x p x .    Para qualquer ponto de x, FX(x) expressa uma probabilidade (P(X ≤ x)). Propriedades de FX(x):. 1. 0 ( ) 1XF x  2. Função não decrescente: 1 2 1 2( ) ( ), X XF x F x x x  . => Exemplo de FDA ou CDF de VAD Seja X uma VAD definida como X = número obtido no lançamento de um dado equilibrado, com a distribuição de probabilidade da tabela abaixo:. x 1 2 3 4 5 6 p(x) 1/6 1/6 1/6 1/6 1/6 1/6. Então a função de distribuição acumulada de X é dada por:. X. 0 se <1. 1/6 se 1 <2. 2/6 se 2 <3. ( )= 3/6 se 3 <4. 4/6 se 4 <5. 5/6 se 5 <6. 1 se 6. x. x. x. F x x. x. x. x.         .   . Abaixo o gráfico da função de distribuição de probabilidade acumulada de X:. 29 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. => Função de Densidade de Probabilidade (fdp) de VAC: Seja X uma variável aleatória contínua (VAC). A função f(x) que associa a cada x  X(S) um número real que satisfaz as seguintes condições:. (a) f(x) ≥ 0, para todo x ∈ X(S) e. (b)  1 2 1Xx ; x f x dx . .      É denominada de função densidade de probabilidade (fdp) da variável aleatória X. Neste caso f(x) representa apenas a densidade no ponto x, ao contrário da variável aleatória discreta, f(x) aqui não é a probabilidade de a variável assumir o valor x.. => Cálculo de probabilidade com uma VAC Seja X uma variável aleatória contínua com função densidade de probabilidade f(x). Sejam a < b, dois números reais. Define-se:. P(a < X < b) = b. a ( ) df x x , . isto é, a probabilidade de que X assuma valores entre os números “a” e “b” é a área sob o gráfico de f(x) entre os pontos x = a e x = b.. Exemplo de Cálculo de probabilidade de uma VAC Descrição alternativa da probabilidade VAC X:. / . ( ) ( ). . d dx. X X. dx. d f x F x. dx. . .  . Seja X uma VAC com fdp dada por: 2 se 0< <1. ( )= 0 para quaisquer outros valores. x x f x.   . . Determinar a P(X < 1/2) Solução:. P(X <1/2) = 1 2 1 22. 00 (2 )d. / / x x x    = 1/4 – 0=1/4 = 25%. => Função de probabilidade conjunta de VADs bidimensionais Se o número de valores possíveis de (X,Y) for finito ou infinito numerável, isto é, se os valores de (X,Y) puderem ser representados por (xi, yj), i = 1,2, …, n, …; j = 1, 2, …, m, … , então (X,Y) designa-se como v.a. discreta bidimensional..    XY X Y = p x, y P x , y  XY. XY. ( ) se (x,y)=( ) ( )= . 0 se (x,y) ( ). i j i j. i j. p x , y x , y p x, y. x , y.   . 30 UEA – EST - Curso de Engenharia Eletrônica – Teoria da Informação e Codificação. Prof. Paulo C. S. Cavalcante. Propriedades:  XY 0 , i jp ( x , y ) i, j  .  XY 1 1. ( ) 1 m n. i j j i. p x , y  .  . Função de distribuição conjunta ou função de probabilidade acumulada de (X, Y) de VADs. XY XY( )= ( , )= ( ) k k. k k x x y y. F x, y P X x Y y p x , y  .     Propriedades:.  FXY (x, y) é monótona crescente ( ( > f( )>f( ))x, y A, x y x y    FXY (- ∞, y) = 0, ∀y  FXY ( x,- ∀∞) = 0, x  FXY ( + ∞,+ ∞) = 1  P(x1<X ≤ x2, y1<Y≤ y2) = FXY (x2, y2) - FXY (x1,y2) - FXY (x2,y1) + FXY (x1,y1). => Funções de probabilidade marginais de VADs Seja (X,Y) uma v. a. discreta bidimensional. Conhecida pXY (x, y), a função de probabilidade conjunta, podemos obter informação relativamente apenas a X ou a Y através das funções de probabilidade marginais. . => Função de probabilidade marginal da v. a. X. X XY 1 1. ( ) (X ( ) ( ) m m. i i i j i j j j. p x P x ) P X x ,Y y p x , y  .        Nota:.  X ( ) 0 , ip x i  e X 1. ( ) 1 n. i i. p x .  . => Função de probabilidade marginal da v. a. Y. Y XY 1 1. ( ) ( ( ) ( ) n n. j j i j i j i i. p y P Y y ) P X x ,Y y p x , y  .        Nota:.  Y ( ) 0 , jp y j  e Y 1. ( ) 1 m. j j. p y .  . => Funções de probabilidade condicionadas de VADs Seja (X,Y) uma v. a. discreta bidimensional. O conceito de probabilidade condicionada aplica-se do seguinte modo:. => Função