Sistemas Multimídia. ü Objetivo: Sistemas Multimídia. ü Definição de mídia. ü Definição de multimídia. ü Tipos de mídia. ü Sistemas multimídia

(1)

1

Sistemas Multimídia

Sistemas Multimídia

Profa. Débora Christina Muchaluat Saade debora@midiacom.uff.br

debora@ic.uff.br

Departamento de Ciência da Computação - UFF

2

Sistemas Multimídia

ü Objetivo:

• Dar uma visão geral sobre codificação digital de

dados multimídia, sistemas multimídia e hipermídia e requisitos de aplicações multimídia com relação à infraestrutura de telecomunicações. 3 Sistemas Multimídia

Ementa

ü 1a. Parte: •  Introdução

•  Mídias Discretas e Contínuas

•  Técnicas de Compactação e Compressão

•  Texto, Imagem, Áudio, Vídeo

ü 2a. Parte:

•  Sistemas Multimídia e Hipermídia

•  Linguagens de Autoria Multimídia

ü 3a. Parte

•  Protocolos de Streaming

•  Infraestrutura de Comunicação em Redes Multimídia

4 Sistemas Multimídia

Introdução

ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia 5 Sistemas Multimídia

Mídias Discretas e Contínuas

ü Classes básicas de tráfego

• CBR, rajada, VBR

ü Mídias Discretas

• Texto

• Gráficos e Imagens Estáticas

ü Mídias Contínuas • Digitalização de Sinais • Áudio • Vídeo 6 Sistemas Multimídia

Técnicas de Compactação e Compressão

ü Compactação X Compressão

ü Técnicas de Compactação

• Codificação por carreira

• Codificação por Shannon-Fano

• Codificação de Huffman

• Codificação de Lempel-Ziv-Welch (LZW)

(2)

7

Técnicas de Compactação e Compressão

ü Técnicas de Compressão

• Redução do domínio

• Redução do espaço de quantização

• Codificação preditiva

• Codificação por sub-bandas

• Codificação por transformadas

• Quantização vetorial ü Mídia Texto 8 Sistemas Multimídia

Imagem Estática

ü BMP ü GIF ü TIFF ü PNG ü JPEG ü JPEG-2000 ü Imagem Gráfica - SVG 9 Sistemas Multimídia

Áudio

ü Sinal de Voz • PCM e variações – ITU-T G.711, G.721, G.722, G.726

• LPC (Linear Predictive Coding)

• CELP (Code-excited LPC)

– ITU-T G.728, G.729, G.729(A), G.723.1

10

Áudio

ü Codificação Perceptual – Modelo Psicoacústico

• Mascaramento de frequências

• Mascaramento temporal

ü MPEG Layer 1, Layer 2, Layer 3 (MP3) ü Dolby Digital AC-3

ü DTS (Digital Theater Systems) ü MPEG-2 AAC

ü MPEG-4 HE-AAC

Vídeo

ü Princípios da Compressão de Vídeo

• Redundância inter-quadro – Estimativa de Movimento ü H.261 ü H.263 ü MPEG-1 ü MPEG-2 ü MPEG-4 Sistemas Multimídia

Sistemas Multimídia e Hipermídia

ü Multimídia x Hipermídia ü Documentos Hipermídia •  Objetos de Mídia •  Relações ü Modelos Hipermídia ü Entidades Hipermídia •  Nós •  Âncoras •  Elos •  Composições

(3)

13

Linguagens de Autoria Multimídia

ü Linguagem HTML ü Linguagem SMIL ü Linguagem NCL 14 Sistemas Multimídia

Protocolos de Streaming

ü Protocolos de Streaming • RTP, RTCP, RTSP ü Streaming Adaptativo • MPEG-DASH 15 Sistemas Multimídia

Infraestrutura de Comunicação em Redes Multimídia

ü Comunicação Multicast

ü Provisão de Qualidade de Serviço – QoS

• QoS na Internet: IntServ e DiffServ

16

Bibliografia

ü  Multimedia Communications: Applications, Networks,

Protocols, and Standards

F. Halsall

Addison-Wesley Publishing, 2000.

ü  Multimedia Fundamentals, Volume I: Media Coding

and Content Processing (2nd Edition)

Ralf Steinmetz, Klara Nahrstedt Prentice Hall, 2002.

ü  Handbook of Data Compression (5th edition), David Salomon, D.; Giovanni Motta, Springer, 2010

ü  Redes de Computadores e a Internet: Uma Nova

Abordagem

James Kurose, Keith Ross, Tradução Pearson Education, 2003.

ü  Programando em NCL 3.0

Luiz Fernando Gomes Soares, Simone Barbosa. Editora Campus-Elsevier, 2009. 17 Sistemas Multimídia

Material

ü www.midiacom.uff.br/debora ü Avaliações: ü P1 – 27 de setembro ü P2 – 29 de novembro

ü VS – 6 de dezembro (somente graduação) ü Trabalho

18

Introdução

Profa. Débora Christina Muchaluat Saade debora@midiacom.uff.br

(4)

Introdução

ü Definição de mídia ü Definição de multimídia ü Tipos de mídia ü Sistemas multimídia ü Aplicações multimídia ü Desafios da Multimídia 20 Sistemas Multimídia

O que é mídia?

ü termo em inglês – media

ü plural da palavra medium em latim

•  Substantivo que significa “meio, centro”

•  Meio de distribuir e representar informação

ü Mídia de Percepção ü Mídia de Representação ü Mídia de Apresentação ü Mídia de Armazenamento ü Mídia de Transmissão 21 Sistemas Multimídia

Mídia

ü Mídia de Percepção

• Como os humanos percebem informação?

• visão, audição, olfato, paladar, tato

ü Mídia de Representação

• Como a informação é codificada em um

computador?

• texto, imagem gráfica (vetorial), imagem estática

(matricial), áudio, vídeo

22

Mídia

ü Mídia de Apresentação

• Qual meio é utilizado como dispositivo de saída ou

entrada de informações em um computador?

• Sistemas de entrada e saída

– Saída: monitores, caixas de som, papel – Entrada: teclados, câmeras e microfones

ü Mídia de Armazenamento

• Onde a informação é armazenada?

• Discos magnéticos, discos óticos, fitas magnéticas,

papel

Mídia

ü Mídia de Transmissão

• Qual meio é utilizado para transmitir dados?

• Meios físicos (cabos metálicos, fibras óticas, ondas

de rádio)

ü Foco do curso:

• Mídia de representação

– Como a informação é codificada em um computador? – texto, imagem gráfica (vetorial), imagem estática

(matricial), áudio, vídeo

O que é Multimídia?

ü Etimologia

• Multi + Mídia

• Multus => Numerosos, Muitos, Múltiplos.

• Medium => Meio, Centro

ü Uma definição

• Área interessada na integração controlada por computador

de textos, gráficos, imagens, vídeos, animações, sons, e qualquer outro meio onde todo tipo de informação pode ser representado, armazenado, transmitido e processado digitalmente

ü Multimídia é interesse das indústrias de:

(5)

27

Classificação dos tipos de mídia

ü Mídias discretas versos contínuas

• Mídias discretas (estáticas ou em bloco)

– Compostas por itens de informação independentes do tempo

– mídia com dimensões unicamente espaciais

• textos, imagens, gráficos

– tempo não faz parte da semântica da informação

• Download é a operação de recuperação de uma

mídia discreta.

– Tráfego em rajada

28

Classificação dos tipos de mídia

ü Mídias discretas versos contínuas

•  Mídias contínuas (dinâmicas ou dependentes do tempo)

– O tempo ou a dependência temporal entre os itens de informação fazem parte da própria informação

– mídia com dimensões temporais • áudios, vídeos e animações

– tempo faz parte da semântica da informação

– Se a dependência temporal não for respeitada, o significado pode ser alterado

•  Streaming é um termo usado para indicar que uma mídia

contínua está sendo enviada e apresentada diretamente no destino à medida que é recebida (em tempo real)

– Tráfego CBR ou VBR

29

Classificação dos tipos de mídia

ü Mídias capturadas versos sintetizadas

• Informações capturadas do mundo real

– imagens, vídeos e sons

• Informações sintetizadas pelo computador

– texto, gráficos e animações

30

Sistema Multimídia

ü Trata mídias discretas e contínuas

• No mínimo, uma discreta e uma contínua

ü Mídias devem ser independentes

ü Processamento controlado por computador ü Integração das mídias de forma sincronizada

Sistema multimídia é um sistema capaz de manipular ao menos um tipo de mídia discreta e um tipo de mídia

contínua na forma digital de maneira sincronizada

33

Aplicações Multimídia

ü Aplicações Multimídia

• Áudio, vídeo e imagens são meios naturais de

comunicação

– Sistemas multimídia têm aplicações em todas as áreas em que essas mídias necessitam ser utilizadas, comunicadas e compartilhadas

• educação/treinamento, entretenimento, medicina,

saúde, mídia sob demanda, comércio eletrônico, governo eletrônico, etc.

34

Aplicações Multimídia

ü Em geral, podem ser classificadas em três

categorias (visão do Halsall):

• Comunicação interpessoal

• Aplicações interativas na Internet

(6)

35

Comunicação Interpessoal

ü Voz somente

• Telefonia, Voice-mail, Teleconferência

• Telefonia IP ü Imagem somente • Facsimile (fax) ü Texto somente • Correio eletrônico 36 Sistemas Multimídia

Voz Somente: Telefonia, Voice-mail,

Teleconferência

37

Voz Somente: Telefonia IP

39

Texto Somente: Correio Eletrônico

Comunicação Interpessoal

ü Texto e imagens

• CSCW (computer-supported cooperative work)

• Compartilhamento de um whiteboard

ü Voz e vídeo

• Videotelefonia

• Videoconferência

ü Multimídia

• Correio eletrônico multimídia

CSCW

(7)

Videoconferência

Correio Multimídia

Aplicações Interativas na Internet

ü World-Wide Web (WWW) ü Comércio eletrônico • Homeshopping ü Homebanking 45 Sistemas Multimídia

World-Wide Web (WWW)

ü Comércio eletrônico •  Homeshopping ü Homebanking 46 Sistemas Multimídia

Aplicações de Entretenimento

ü VoD (Video On Demand) – vídeo sob demanda

• MOD – movie-on-demand ü TV Interativa • Jogos • homeshopping 47 Sistemas Multimídia

(8)

VoD

TV Interativa

Taxonomia Recomendada pela ITU-T

ü Define 4 classes básicas de serviços:

• Serviços Conversacionais • Serviços de Mensagem • Serviços de Recuperação • Serviços de Distribuição 51 Sistemas Multimídia

Taxonomia Recomendada pela ITU-T

ü Serviços Conversacionais

•  Interatividade em tempo real da comunicação entre os

usuários

•  implica interação entre um humano e outro humano ou um

sistema

– inclui serviços pessoa-a-pessoa (videofonia, videoconferência) e também algumas aplicações pessoa-a-sistema (tele-compras, etc.)

ü Serviços de Mensagem

•  troca assíncrona de imagens, sons ou documentos

multimídia

•  Correio eletrônico

•  Não são em tempo real

Taxonomia Recomendada pela ITU-T

ü Serviços de Recuperação

•  Recuperação de informação armazenada remotamente

•  cobrem todos os tipos de acesso a servidores de informação

(p.e. vídeo sob-demanda, livrarias eletrônicas)

ü Serviços de Distribuição

•  Sem interatividade

•  Cobrem serviços onde a informação é distribuída por

iniciativa do sistema servidor

– P.e. programas de TV, distribuição de jornais eletrônicos, distribuição de cotação de bolsa de valores

Desafios da Multimídia

ü Dados Multimídia x Dados Alfanuméricos

• Dados multimídia têm características e requisitos

diferentes dos dados alfanuméricos

– sistemas computacionais convencionais não suportam eficientemente aplicações multimídia

(9)

54

Desafios da Multimídia

ü Requisitos das Aplicações Multimídia:

•  Exigem codificação, armazenamento e manipulação de

objetos não convencionais

•  Manipulam objetos longos

•  Exigem transferência contínua de dados e altas taxas

•  Exigem acesso sincronizado aos dados

55

Desafios da Multimídia

ü Principais características e requisitos:

• Dados multimídia têm dimensão temporal

– devem ser transmitidos, processados e apresentados em taxas fixas

• processamento e comunicação devem satisfazer

requisitos de tempo-real

• Aplicações multimídia usam múltiplos tipos de

mídia

– relações temporais e espaciais entre mídias devem ser mantidas

56

Desafios da Multimídia

ü Principais características e requisitos:

•  Dados multimídia têm volume grande

– devem ser compactados

– redes de alta velocidade e computadores potentes são necessários

•  Dados multimídia não têm sintaxe e semântica óbvia

– bancos de dados convencionais não suportam efetivamente dados multimídia

– técnicas de indexação, recuperação e reconhecimento de informações multimídia são necessárias

57

Desafios da Multimídia

ü Redes Multimídia

• Transmissão em banda larga

• Baixo retardo e baixa variação do retardo (jitter)

• Transmissão multicast nativa