NI01 - Origens da Teoria da Informacao

BC-0504

Natureza da Informação

Santo André 07/11/2013

Equipe de professores de Natureza da Informação Prof. Irineu

Semana 1

Uma pequena viagem à História da Teoria

da Informação

Objetivos da Disciplina

• Objetivos:

o Apresentar os fundamentos sobre a origem e a

natureza da Informação, e sobre como ela é representada e armazenada.

• Competências:

o Que o aluno seja capaz de compreender os conceitos

fundamentais a respeito da origem e da natureza da Informação, e

o que seja capaz também de entender as principais

técnicas e tecnologias envolvidas nos processos de representação e armazenamento da Informação.

Composição do Conceito Final

• Avaliação:

• 1ª Prova: 35%

• 2ª Prova : 35%

• Prova Substitutiva: toda matéria; apenas para quem perder uma das provas.

• Atividade semanal (verificada pela presença): 30%.

• Critério de conversão conceito/nota usado para calcular médias: [8 ; 10]  A

[ 6 ; 8 [  B [ 4 ; 6 [  C [ 2 ; 4 [  D

[ 0 ; 2 [  F

Inscrição no Tidia

A partir da página

http://tidia-ae.ufabc.edu.br

Basta logar com o seu login institucional

da UFABC e se inscrever em

Eixo da Informação

• Os avanços da ciência e da tecnologia estão

multiplicando as nossas capacidades de coletar, tratar, gerar e utilizar informações, levando-as a sucessivos patamares nunca antes alcançados, trazendo assim novas oportunidades, novas questões sociais e mais

avanços na ciência e tecnologia, em um ciclo que se quer virtuoso.

• O Eixo da Informação tem como objetivo apresentar os fundamentos desses processos, enfocando-os sob diversas perspectivas que se revelam úteis para

compreendê-los e discuti-los.

• 6 eixos: www.ufabc.edu.br -> Sobre a UFABC -> Projeto Pedagógico

Eixo da Informação

•

Fundamentos e processos



Natureza da Informação: o que é Informação,

como é representada e armazenada (registrada)

BC 0504 Natureza da Informação



Transformação da Informação: manipulação e

tratamento da Informação, tanto sob aspecto

humano como por computadores (processada)

BC 0505 Processamento da Informação



Comunicação da Informação: transmissão e

distribuição da Informação e o seu impacto na

sociedade

BC 0506 Comunicação e Redes

Eixo da Informação

(cont.)

• Visões e Perspectivas



Teórica: permite uma visão

conceitual

e

abstrata

dos fundamentos e processos da

Informação



Tecnológica: apresenta uma dimensão

física

e concreta

da Informação, e as tecnologias

que dão suporte aos Sistemas de Informação



Humana e Social:

processamento humano

da

Informação e seus atributos (

cognição,

inteligência

), a visão utilitária e as

Natureza da Informação Transformação da Informação Comunicação da Informação Fundamentos e Processos Visões e Perspectivas (conceitual)

Teórica Tecnológica (suporte) (utilização) Humana

Abstrata Concreta Social

O Bit Entropia Analog.X Digital Capac. Shannon T. Informação T. Computação  _{Org. Computadores}  Compressão Dados Criptografia Complexidade T. Comunicações Capacidade canal Canal gaussiano  Informação genética Codificação Símbolos e Sinais Ruído  Proc. Estocásticos  Ordem e Desordem Caos Sentidos/percepção Cognição e Ação Inteligência Consciência Memória Aprendizado Cérebro Conhecimento Razão/Emoção Redes Sociais  Linguagem Humana Internet Soc. Informação Econ. nformação Regulação/Ética Proc. Sinais  Transformadas Programação Mineração Dados Tradução Sist. Comunicações Redes e Tráfego Eletrônica/Fotônica Novas Tecnologias Amb. comunicação

Tópicos

• Origens da Teoria da Informação

• Codificação da Informação

• Entropia e Medidas de Informação

• Conversão A/D e D/A

• Armazenamento da Informação

• DNA, RNA e Proteínas

• Biologia de Sistemas • Sistemas Neurais • Percepção e Cognição • Linguagem e Significados • Lingüística e Semiótica • Informação quântica

Bibliografia Complementar

o Decoding the Universe. Charles Seife. Penguin Books.

(2006) (livro de divulgação científica)

o Sistemas Digitais: fundamentos e aplicações. Thomas L.

Floyd. 9 ed. Porto Alegre: Bookman. (2007)

o Information and its Role in Nature (The Frontiers

Collection). Juan G. Roederer. Springer. (2005)

o An Introduction to Information theory. Symbols,

signals and Noise. John R. Pierce. Dover. (1980)

o Sistemas de Comunicação Análogicos e Digitais. Simon

Haykin. 4ª. edição. Bookman. (2004)

o Elements of Information Theory. Thomas M. Cover, Joy

Dado

• Dado

: elemento puro, quantificável sobre algo

– Por si só não oferece embasamento para

entendimento da situação

• Percepção inicial do observador sobre objeto

• Identificado por características visuais/simbólicas

– Ex.: Dado = “o parafuso 63 pesa 60 gramas”

Dados

• Um conjunto de fatos a respeito do mundo;

• São geralmente quantificados;

• São facilmente capturados e arquivados em

dispositivos computacionais;

• Não permitem julgamentos ou significados;

• Não constituem base para a ação

Dados

• Tipos

– Alfanuméricos

• Código de produto, preço individual, quantidade etc.

– Imagens

• Fotos dos funcionários

– Áudio

• Registro de promoções anunciadas

– Vídeo

Dados

• Fatos básicos

– Ex.: compra em supermercado

6 R$ 1,50 Cerveja 89452 1 R$ 5,00 Queijo 57871 4 R$ 3,00 Suco 54387 1 R$ 2,00 Manteiga 45675 8 R$ 1,50 Leite 86456 2 R$ 3,50 Achocolatado 12314 Quantidade Preço Individual Descrição Código

Informação

• Informação

: dado analisado e contextualizado

– Envolve a interpretação de um conjunto de dados

• Resultado dos dados tratados, comparados,

relacionados, servindo para tomada de decisão

– Provê respostas a questões “quem", “o que", “onde", “quando"

– Ex.: parafuso 25 é o mais pesado do grupo

Informação

• Um

conjunto de dados conjugados

que

possuem

relevância

e

propósito

;

• Pode ser transformada pela análise e

julgamento humanos:

– Análise da informação para produção de

conhecimento

– Semiótica (qualidade da informação)

Informação

• Dados organizados para ter valor adicional

R$ 47,00 22 Total R$ 9,00 6 R$ 1,50 Cerveja 89452 R$ 5,00 1 R$ 5,00 Queijo 57871 R$ 12,00 4 R$ 3,00 Suco 54387 R$ 2,00 1 R$ 2,00 Manteiga 45675 R$ 12,00 8 R$ 1,50 Leite 86456 R$ 7,00 2 R$ 3,50 Achocolatado 12314 Preço Total Quantidade Preço Individual Descrição Código

Conhecimento

• Conhecimento

: habilidade de criar um

modelo que descreva o objeto e indique

ações a implementar, decisões a tomar

– Compreensão, análise e síntese são realizadas a

partir do nível do conhecimento

• Necessárias para a tomada de decisões inteligentes

– Responde questões do tipo “como”?

 Ex.: definição do mais pesado, regras de comparação

e o procedimento (modelo)

Informação + processamento = conhecimento

Conhecimento

• Um

conjunto organizado e estruturado de

informações

a respeito do mundo;

• Requer intervenção humana e inteligente

– Semiótica: atribuição de significado às

informações;

• Proporciona comparações;

• Permite deduções;

Conhecimento

• Ex. supermercado:

– Compras de itens X e Y ocorrem com frequência

• Leite e achocolatado

Hierarquia

A pirâmide pode representar tanto a hierarquia de seqüência entre os três componentes como também o volume

DADO: Representação, Símbolos REALIDADE: Emite sinais

Informação

Dimensão Humana: Dimensão

Tecnológica: _Instrumentos Sensores Relevância Importância

Percepção e Aquisição - captura de dados

- abstração da realidade - visão parcial da realidade

INFORMAÇÃO: Abstração Processamento Computação Utilidade Possui valor Análise e Tratamento

- processamento dos dados - abstração do significado

CONHECIMENTO: Teoria, hipóteses, Manipulação real ou simbólica

Conhecimento

Dimensão Humana: DimensãoTecnológica: I.A., padrões, aprendizagem Utilidade Gerar Valor Generalização

- análise dos dados

- abstração do processo - experimentação INFORMAÇÃO: Abstração Processo experimental REALIDADE: Emite sinais

Dados x informação x conhecimento

• Dados são os números (brutos) uma divisão por “áreas” pode gerar informações (grupos com mais/menos dados de uma certa cor)

• A obtenção de regras que descrevam quando um dado é vermelho e quando é verde, do tipo “se-então”, por exemplo, representa conheci-mento

O que é informação?

• Etimologia em latim

• Existem diferentes visões

– Biologia

– Lingüística

– Física

– Ciência da Computação

Qual é a relação entre informação e comunicação?

Comunicação: intercâmbio de informação entre sujeitos ou objetos

Termo “informação” na engenharia: troca de dados brutos

• Informação é inversamente proporcional a

probabilidade de ocorrência de um fato:

Informação = função(1/probabilidade)

– Quanto maior a probabilidade desse fato, menos informação ele trará

– Exemplos:

– A primeira vez que ouvimos um disco ele nos traz um novo

conhecimento musical. Depois de ouvir várias vezes o mesmo disco, podemos prever os próximos acordes. Portanto esse disco não nos traz mais informação.

– Na palavra “c_mo”, todos podem prever que a letra faltando é “o”. Portanto, é desnecessário escrever essa letra naquela posição.

– Objetivo: quantificar a informação (o significado, ou

“qualidade”, dessa informação é irrelevante a princípio)

Claude E. Shannon (1916-2001), considerado o pai da Teoria da Informação, e seu livro publicado em 1949, Teoria Matemática da Comunicação

• Em 1948, Shannon publica seu artigo “A Mathematical

Theory of Communication”, publicado na forma de livro no ano seguinte

• Antes dele, trabalhos isolados caminhavam passo a passo em direção a uma teoria geral de comunicação • Hoje em dia, Teoria da Comunicação (ou Teoria da

Informação) é uma área imensa de pesquisa, e muitos livros e simpósios internacionais sobre este assunto são publicados e realizados

• Teoria da Informação é uma teoria muito geral e que envolve muita matemática

• A unidade fundamental, o bit, é uma medida universal da quantidade de informação

Informação (em bits) = log₂ (1/probabilidade)

• Na UFABC existe uma disciplina específica sobre Teoria da Informação (EN2612 – Teo. da Info. e Códigos)

• Teoria da Informação nos permite:

• Dizer quantos bits de informação por segundo (bits/s) podem ser enviados através de certos canais de comunicação

• Medir a taxa (bits/s) na qual uma fonte pode gerar informação

• Dizer como representar, ou codificar, mensagens de uma determinada fonte eficientemente para transmitir através de algum tipo de canal

• Como podemos evitar erros nesta transmissão

Os pilares da teoria da informação



Os estudos da

criptografia

desenvolvidos na 2ª

Guerra Mundial



Os estudos da

termodinâmica



As

tecnologias de transmissão

de informação

(começando pelo código Morse e pela

telefonia)

Criptografia

• Um método muito simples para criptografar

uma mensagem consiste em

substituir cada

letra pela que está n posições na frente

• Cifra de César

• Tentar decifrar a mensagem seguinte:

Q xgpvq jqlg guvcxc owkvq hqtg

O vento hoje estava muito forte

Americanos decodificaram a seguinte

mensagem japonesa: “Atacaremos AF”

• Código japonês (J-25)

decifrado pelos

americanos.

Dados

(símbolos) e informação (tradução da língua) estavam OK!

• Somente faltava

saber qual das ilhas

do Pacífico era AF.

Faltava o conhecimento do significado de “AF”.

Comandante Rochesfort Almirante Yamamoto

“A ilha Midway está sem água”

AF está sem agua

Te peguei!!

O valor de um pouquinho de

informação

• Os americanos

aguardaram o

ataque dos

japoneses na ilha

Midway.

• Quatro porta aviões

japoneses foram

afundados.

• Saber que AF era

Midway reverteu o

curso da guerra no

Pacífico.

Enigma

• O alemão Arthur

Scherbius inventou a

máquina para cifrar

mensagens “Enigma”

• 3x10

114

_{configurações}

diferentes.

• Isto equivale a cada

átomo do universo

tentando um trilhão de

combinações por segundo

desde o início do

Turing e seus colegas de “Bletchley Park”

(antiga instalação militar secreta)

quebraram o código do

Enigma

• Descobriram que a máquina

Enigma nunca deixava nenhuma letra sem trocar.

• Era provável que uma informação freqüentemente transmitida

tivesse a ver com o clima:

“O tempo está bom hoje”

• A quebra do código permitiu a destruição dos submarinos

alemães “U-boats” e o fim da guerra.

Turing desenvolveu também o primeiro computador teórico:

A Máquina de Turing

• Consistia numa máquina que se mexia por uma fita sem fim.

• A máquina lia, escrevia, e apagava uns e zeros na fita. • A máquina de Turing

possuía “computabilidade universal” ou seja poderia simular a lógica de qualquer algoritmo computacional.

Demonstração com Robomind:

http://www.youtube.com/watch?v=0KDz5y0Uam4

Robô trabalha como uma máquina de turing adicionando dois números binários de 8 bits: 186 + 230.

A Criptografia aliada fez terminar a II

Guerra e começou a era da informação

• Turing contribuiu

para acabar a II

Guerra Mundial

• Mas suicidou-se

por causa da

discriminação aos

homosexuais.

(cf. filme Breaking the Code:

A termodinâmica

(O conceito de entropia nasceu nos estudos de

termodinâmica e depois foi aplicado para medir

Boltzmann o pai da termodinâmica e

(indiretamente) da teoria da

informação

• Inscrição no túmulo

de Boltzmann

• Veremos que a

entropia

termodinâmica

e a

entropia da teoria

da informação

estão

relacionadas.

Revolução Industrial

• 1769 Watt

inventou

máquina de

vapor.

• Pesquisa para

aumentar

eficiência das

máquinas.

Exemplo: Motor Stirling

Máquina térmica a mais eficiente possível.

Máquinas térmicas e fontes de calor

Fonte fria Trabalho Máquina térmica Fonte quente Q₁ Q₂ Fonte quente Fonte fria Fonte de calor Q₁ Q₂ Trabalho

Rudolf Claussius

• É impossível deter a

tendência ao

equilíbrio

termodinâmico do

universo (1860)

• Em outras palavras

“A entropia sempre

tende a aumentar”

>equilíbrio termodinâmico

Impossível parar a tendência ao

equilíbrio termodinâmico

Fonte fria Fonte quente Trabalho Máquina térmica Q₁ Q₂ Fonte de calor Q₁ Q₂ Trabalho Máquina térmica Q₁ Q₂ http://pt.wikipedia.org/wiki/Morte_t%C3%A9rmica_do_universo

Entropia do universo cresce

O tempo evolui na mesma direção

da entropia

Rudolf Claussius

• È impossível deter a

tendência ao

equilíbrio

termodinâmico do

universo (1860)

• Não existe a

“supermáquina”

2ª lei da termodinámica

• Entropia mede o equilíbrio termodinâmico

• Maior equilíbrio termodinâmico equivale a

maior entropia.

• A 2ª lei da termodinâmica estabelece que

"A

quantidade de entropia de qualquer sistema

isolado termodinamicamente tende a

incrementar-se com o tempo, até alcançar um

valor máximo"

Entropia = desordem?

• O conceito de

ordem ou

desordem é

subjetivo.

• Um conceito

subjetivo não

pode ser usado

como medida

Entropia do universo cresce

• A metáfora do

tabuleiro de sinuca nos

ajudará a

compreender que o

motivo do incremento

da entropia é

simplesmente um

motivo estatístico.

1/16 _{4/16 6/16} 4/16 1/16 S₁=kLog(1) S₂=kLog(4) S₃=kLog(6) S₄=kLog(4) S₅=kLog(1)

Com 1024 bolas de sinuca a situação seria a seguinte

• Como vemos a entropia cresce simplesmente

por um simples motivo estatístico, porque o

estado mais provável de um sistema ao longo

do tempo é aquele cuja entropia é maior.

S=k log(W)

• Inscrição na lápide de

Boltzmann

• W é o número de microestados

correspondentes a um

determinado macroestado.

• Um exemplo de macroestado:

tabuleiro de sinuca com duas

bolas a esquerda e duas a

direita.

• Microestado: Cada uma das

seis possíveis configurações do

anterior macroestado.

Charada do diabo de Maxwell

• Mazwell inventou uma charada para

Boltzmann resolver.

Charada do diabo de Maxwell

• Maxwell apresentou esta charada para Boltzmann

• O diabo abria a comporta (sem atrito e, portanto, sem exercer

trabalho) para que as moléculas mais rápidas e quentes (vermelhas) ficassem de um lado e as moléculas mais frias e lentas (azuis) do

outro.

• Assim a entropia diminui sem custo, e o sistema poderia acumular energia de graça, podendo ser usado como um “perpetuum mobile”

I

Entropia inicial: E₁ Entropia final: E₂

• Mesmo que o diabo não gaste energia para abrir a

porta (porta sem atrito) é preciso que gaste

energia para arrecadar informação

I

sobre o estado dos

átomos.

• Arrecadar informação não é de graça.

Considerações finais sobre

informação entropia e entropia

termodinâmica

• Veremos que a informação não é algo

etéreo mas algo que envolve um

consumo de energia.

• O desafio do chamado diabo de Maxwell

era criar um sistema que produzisse

trabalho sem aumentar a entropia.

• Veremos que esta possibilidade não

O poço duplo de Landauer

• Este arranjo resolve a charada do diabo de Maxwell.

• Supúnhamos um dispositivo rudimentar para armazenar um bit.

• Com uma pequena batida podemos mudar a posição da bola e mudar o bit armazenado.

• Na queda da bola a energia pode ser recuperada para ser utilizada na seguinte mudança do bit (como se fosse um freio regenerativo)

• Contudo se não soubermos a posição inicial da bola a energia da batida é perdida.

• Para conhecer a posição da bola precisamos

bater na bola mesmo que a batida seja “no ar” e a energia se disperse.

• Obter informação envolve dissipação da energia.

0 1

Exercício

• Suponha uma memória de computador de 8 GB

(bytes) que armazena 533 Mbits/s (clock de

1066MHz) e consome cerca de 10 W. Nestas

condições, pede-se:

a) A potência gasta por bit, P

_b

, em W/bit.

b) A energia gasta por bit, E

_b

, em J/bit.

c) Compare E

_b

obtido com o

limite teórico, e

_b

:

S = k.lnW, com W = 2 =>

e

_b

= S.T = k.T.ln2

,

para temperatura ambiente, T = 300 K.

(k=1,38.10-23 _J/K)

.

Tecnologias de transmissão de

informação

Origem da moderna Teoria da

Informação

• Embora haja analogia matemática da entropia

da Informação com a entropia da

Termodinâmica e da Mecânica Estatística, a

origem real da Teoria Moderna da Informação

tem suas raízes nas origens da comunicação

elétrica

Origens com o telégrafo

• 1838: Samuel B. Morse trabalhando com Alfred Vail, o código Morse como conhecemos hoje foi idealizado

• Neste código, letras do alfabeto são representadas por espaços, pontos e traços

• Para transmissão em um circuito elétrico, espaços eram representados por ausência de corrente, pontos por corrente de curta duração e traços por correntes de longa duração

• Várias combinações de pontos e traços eram associadas a cada letra

• Ex.: letra E (que mais ocorre em textos em Inglês) era associada a um único ponto

Código Morse e Teoria da

Informação

• Questão importante:

• Uma outra associação entre os pontos, traços e

espaços e as letras do alfabeto nos permitiria enviar textos em Inglês mais rápido pelo telégrafo?

• Resposta:

• Usando nossa moderna Teoria de Informação,

encontramos que teríamos, no máximo, um ganho de cerca de 15% sobre a velocidade de transmissão

• Isto mostra que Morse, intuitivamente, sabia o que estava fazendo, e atacou um assunto que está no centro da Teoria da Informação

• Resumo das limitações

• Limitação associada a velocidade de emissão do sinal

• Interferências (ruídos)

• Dificuldade em distinguir entre muitos valores possíveis de correntes

• Limitação na intensidade de correntes a serem

utilizadas (para não destruír o isolamento dos cabos) • Uma análise matemática mais precisa deste problema

se tornou necessária

Contribuições a teoria

da Informação

• No século XIX, várias pessoas contribuíram matematicamente para a teoria da Informação:

• Lorde Kelvin (William Thomson)

• Alexander Graham Bell (inventor do telefone em 1875) • Henri Poincaré

• Oliver Heaviside • Michael Pupin

• G. A. Campbell (ATTC)

• Mas sem dúvida alguma, a grande contribuição foi de Joseph Fourier

A contribuição de Fourier

• Fourier baseou seus trabalhos na função seno:

• Demonstrou que toda função (incluindo os sinais elétri-cos) poderiam ser decompostas numa soma de funções senos com diferentes amplitudes, fases e frequências

Contribuições de Kolmogoroff

e Wiener

• Na década de 40, ambos independentemente,

um na Rússia e outro nos EUA, resolveram o

problema de como, a partir de um sinal

desconhecido com ruído, estimar qual o melhor

sinal correto sem a presença do ruído

E chegamos a Shannon

• Portanto, quando Shannon publica seu trabalho

em 1947, muito já se havia feito anteriormente

• De certa maneira, ele resumiu e trouxe mais

conhecimento a todos estes problemas já

estudados anteriormente

Contribuição de Shannon

• Mas podemos dizer que a grande contribuição da sua teoria foi responder as perguntas:

• Como podemos codificar (em termos de sinais

elétricos) uma mensagem a partir de uma fonte para poder transmití-la o mais rápido possível através de um canal que introduz ruídos com certas características? • O quão rápido podemos transmitir um tipo de

mensagem através de um determinado canal sem erros?

• Tudo isto que vimos faz parte do que chamamos de Teoria

da Informação e veremos alguns tópicos introdutórios

Exercício

Para o sinal de telégrafo abaixo.

a) Estimar a quantidade de informação de um ponto e de um traço.

b) Quantas letras tem a mensagem?

c) Calcular a quantidade média de bits gastos por letra nesta mensagem.

.--. .- .-. .-

---

... .. -. .- .-..

-.. .

- . .-.. . --. .-. .- ..-.

a) 0,69; 1,39 b) 20 c) 2,39.

Observações sobre o Exercício

• A resolução do item “a)” supõe que o sinal de telégrafo possui apenas dois símbolos, o que não é exatamente o caso. A rigor, temos “ponto+silêncio” ou “traço+silêncio”, além do mais, há

“silêncio”s adicionais entre duas letras e entre as palavras. Neste caso “silêncio” (sozinho) deveria ser considerado um símbolo à parte. Ou seja, o sinal de telégrafo poderia ser aproximado por um alfabeto ternário, com 3 símbolos: “ponto+silêncio”, “traço+silêncio” e “silêncio”.

• No item “c)”, obtém-se um número pequeno de bits por letra. O esperado seria se obter, pelo menos, 5 bits por letra (pois um alfabeto com 32 símbolos necessita 5 dígitos binários).

• A resolução apresentada tem vários “problemas”, podendo-se citar:  O trecho analisado não tem todas as letras do alfabeto.

 A probabilidade de uma letra não é o produto das

probabilidades dos pontos e traços usados no código morse. Daí, I_letras não é a soma das I_traço’s e I_ponto’s constituintes!