Sistemas Multimídia

(1)

1

Sistemas Multimídia

Sistemas Multimídia

Profa. Débora Christina Muchaluat Saade

debora@midiacom.uff.br debora@ic.uff.br

Departamento de Ciência da Computação - UFF

(2)

Sistemas Multimídia

ü 

Objetivo:

•  Dar uma visão geral sobre codificação digital de

dados multimídia, sistemas multimídia e hipermídia e requisitos de aplicações multimídia com relação à infraestrutura de telecomunicações.

(3)

3

Ementa

ü  1a. Parte:

•  Introdução

•  Mídias Discretas e Contínuas

•  Técnicas de Compactação e Compressão

•  Texto, Imagem, Áudio, Vídeo

ü  2a. Parte:

•  Sistemas Multimídia e Hipermídia

•  Linguagens de Autoria Multimídia

ü  3a. Parte

•  Protocolos de Streaming

•  Infraestrutura de Comunicação em Redes Multimídia

(4)

Introdução

ü 

Definição de mídia

ü 

Definição de multimídia

ü 

Tipos de mídia

ü 

Sistemas multimídia

ü 

Aplicações multimídia

ü 

Desafios da Multimídia

(5)

5

Mídias Discretas e Contínuas

ü 

Classes básicas de tráfego

•  CBR, rajada, VBR

ü 

Mídias Discretas

•  Texto

•  Gráficos e Imagens Estáticas

ü 

Mídias Contínuas

•  Digitalização de Sinais

•  Áudio

•  Vídeo

(6)

Técnicas de Compactação e Compressão

ü 

Compactação X Compressão

ü 

Técnicas de Compactação

•  Codificação por carreira

•  Codificação por Shannon-Fano

•  Codificação de Huffman

•  Codificação de Lempel-Ziv-Welch (LZW)

•  Codificação aritmética

(7)

7

Técnicas de Compactação e Compressão

ü 

Técnicas de Compressão

•  Redução do domínio

•  Redução do espaço de quantização

•  Codificação preditiva

•  Codificação por sub-bandas

•  Codificação por transformadas

•  Quantização vetorial

ü 

Mídia Texto

(8)

Imagem Estática

ü 

BMP

ü 

GIF

ü 

TIFF

ü 

PNG

ü 

JPEG

ü 

JPEG-2000

ü 

Imagem Gráfica - SVG

(9)

9

Áudio

ü 

Sinal de Voz

•  PCM e variações

– ITU-T G.711, G.721, G.722, G.726

•  LPC (Linear Predictive Coding)

•  CELP (Code-excited LPC)

– ITU-T G.728, G.729, G.729(A), G.723.1

(10)

Áudio

ü 

Codificação Perceptual – Modelo Psicoacústico

•  Mascaramento de frequências

•  Mascaramento temporal

ü 

MPEG Layer 1, Layer 2, Layer 3 (MP3)

ü 

Dolby Digital AC-3

ü 

DTS (Digital Theater Systems)

ü 

MPEG-2 AAC

ü 

MPEG-4 HE-AAC

(11)

11

Vídeo

ü 

Princípios da Compressão de Vídeo

•  Redundância inter-quadro

– Estimativa de Movimento

ü 

H.261

ü 

H.263

ü 

MPEG-1

ü 

MPEG-2

ü 

MPEG-4

ü 

H.264

(12)

Sistemas Multimídia e Hipermídia

ü  Multimídia x Hipermídia

ü  Documentos Hipermídia

•  Objetos de Mídia

•  Relações

ü  Modelos Hipermídia

ü  Entidades Hipermídia

•  Nós

•  Âncoras

•  Elos

•  Composições

ü  Modelos para Sincronização Temporal

ü  Autoria e Formatação Hipermídia

(13)

13

Linguagens de Autoria Multimídia

ü 

Linguagem HTML

ü 

Linguagem SMIL

ü 

Linguagem NCL

(14)

Protocolos de Streaming

ü 

Protocolos de Streaming

•  RTP, RTCP, RTSP

ü 

Streaming Adaptativo

•  MPEG-DASH

(15)

15

Infraestrutura de Comunicação em Redes Multimídia

ü 

Comunicação Multicast

ü 

Provisão de Qualidade de Serviço – QoS

•  QoS na Internet: IntServ e DiffServ

(16)

Bibliografia

ü  Multimedia Communications: Applications, Networks, Protocols, and Standards

F. Halsall

Addison-Wesley Publishing, 2000.

ü  Multimedia Fundamentals, Volume I: Media Coding and Content Processing (2nd Edition)

Ralf Steinmetz, Klara Nahrstedt Prentice Hall, 2002.

ü  Handbook of Data Compression (5^th edition),

David Salomon, D.; Giovanni Motta, Springer, 2010

ü  Redes de Computadores e a Internet: Uma Nova Abordagem

James Kurose, Keith Ross, Tradução Pearson Education, 2003.

ü  Programando em NCL 3.0

Luiz Fernando Gomes Soares, Simone Barbosa. Editora Campus-Elsevier, 2009.

(17)

17

Material

ü 

www.midiacom.uff.br/debora

ü 

Avaliações:

ü 

Trabalhos

ü 

Prova no fim do período

(18)

Introdução

Profa. Débora Christina Muchaluat Saade

debora@midiacom.uff.br

Departamento de Ciência da Computação - UFF

(19)

19

Introdução

ü 

Definição de mídia

ü 

Definição de multimídia

ü 

Tipos de mídia

ü 

Sistemas multimídia

ü 

Aplicações multimídia

ü 

Desafios da Multimídia

(20)

O que é mídia?

ü  termo em inglês – media

ü  plural da palavra medium em latim

•  Substantivo que significa “meio, centro”

•  Meio de distribuir e representar informação

ü  Mídia de Percepção

ü  Mídia de Representação

ü  Mídia de Apresentação

ü  Mídia de Armazenamento

ü  Mídia de Transmissão

(21)

21

Mídia

ü 

Mídia de Percepção

•  Como os humanos percebem informação?

•  visão, audição, olfato, paladar, tato

ü 

Mídia de Representação

•  Como a informação é codificada em um computador?

•  texto, imagem gráfica (vetorial), imagem estática (matricial), áudio, vídeo

(22)

Mídia

ü 

Mídia de Apresentação

•  Qual meio é utilizado como dispositivo de saída ou entrada de informações em um computador?

•  Sistemas de entrada e saída

– Saída: monitores, caixas de som, papel

– Entrada: teclados, câmeras e microfones

ü 

Mídia de Armazenamento

•  Onde a informação é armazenada?

•  Discos magnéticos, discos óticos, fitas magnéticas, papel

(23)

23

Mídia

ü 

Mídia de Transmissão

•  Qual meio é utilizado para transmitir dados?

•  Meios físicos (cabos metálicos, fibras óticas, ondas de rádio)

ü 

Foco do curso:

•  Mídia de representação

– Como a informação é codificada em um computador?

– texto, imagem gráfica (vetorial), imagem estática (matricial), áudio, vídeo

(24)

O que é Multimídia?

ü  Etimologia

•  Multi + Mídia

•  Multus => Numerosos, Muitos, Múltiplos.

•  Medium => Meio, Centro

ü  Uma definição

•  Área interessada na integração controlada por computador de textos, gráficos, imagens, vídeos, animações, sons, e

qualquer outro meio onde todo tipo de informação pode ser representado, armazenado, transmitido e processado

digitalmente

ü  Multimídia é interesse das indústrias de:

•  informática, telecomunicações, publicidade, consumidores de dispositivos de áudio e vídeo, indústria de televisão e cinema

(25)

27

Classificação dos tipos de mídia

ü 

Mídias discretas versos contínuas

•  Mídias discretas (estáticas ou em bloco)

– Compostas por itens de informação independentes do tempo

– mídia com dimensões unicamente espaciais

•  textos, imagens, gráficos

– tempo não faz parte da semântica da informação

•  Download é a operação de recuperação de uma mídia discreta.

– Tráfego em rajada

(26)

Classificação dos tipos de mídia

ü  Mídias discretas versos contínuas

•  Mídias contínuas (dinâmicas ou dependentes do tempo)

–  O tempo ou a dependência temporal entre os itens de informação fazem parte da própria informação

–  mídia com dimensões temporais

•  áudios, vídeos e animações

–  tempo faz parte da semântica da informação

–  Se a dependência temporal não for respeitada, o significado pode ser alterado

•  Streaming é um termo usado para indicar que uma mídia contínua está sendo enviada e apresentada diretamente no destino à medida que é recebida (em tempo real)

–  Tráfego CBR ou VBR

(27)

29

Classificação dos tipos de mídia

ü 

Mídias capturadas versos sintetizadas

•  Informações capturadas do mundo real

– imagens, vídeos e sons

•  Informações sintetizadas pelo computador

– texto, gráficos e animações

(28)

Sistema Multimídia

ü 

Trata mídias discretas e contínuas

•  No mínimo, uma discreta e uma contínua

ü 

Mídias devem ser independentes

ü 

Processamento controlado por computador

ü 

Integração das mídias de forma sincronizada

Sistema multimídia é um sistema capaz de manipular ao menos um tipo de mídia discreta e um tipo de mídia

contínua na forma digital de maneira sincronizada

(29)

33

Aplicações Multimídia

ü 

Aplicações Multimídia

•  Áudio, vídeo e imagens são meios naturais de comunicação

– Sistemas multimídia têm aplicações em todas as áreas em que essas mídias necessitam ser utilizadas,

comunicadas e compartilhadas

•  educação/treinamento, entretenimento, medicina, saúde, mídia sob demanda, comércio eletrônico, governo eletrônico, etc.

(30)

Aplicações Multimídia

ü 

Em geral, podem ser classificadas em três categorias (visão do Halsall):

•  Comunicação interpessoal

•  Aplicações interativas na Internet

•  Aplicações de entretenimento

(31)

35

Comunicação Interpessoal

ü 

Voz somente

•  Telefonia, Voice-mail, Teleconferência

•  Telefonia IP

ü 

Imagem somente

•  Facsimile (fax)

ü 

Texto somente

•  Correio eletrônico

(32)

Voz Somente: Telefonia, Voice-mail,

Teleconferência

(33)

37

Voz Somente: Telefonia IP

(34)

Texto Somente: Correio Eletrônico

(35)

40

Comunicação Interpessoal

ü 

Texto e imagens

•  CSCW (computer-supported cooperative work)

•  Compartilhamento de um whiteboard

ü 

Voz e vídeo

•  Videotelefonia

•  Videoconferência

ü 

Multimídia

•  Correio eletrônico multimídia

(36)

CSCW

(computer-supported cooperative work)

(37)

42

Videoconferência

(38)

Correio Multimídia

(39)

44

Aplicações Interativas na Internet

ü 

World-Wide Web (WWW)

ü 

Comércio eletrônico

•  Homeshopping

ü 

Homebanking

(40)

World-Wide Web (WWW)

ü  Comércio eletrônico

•  Homeshopping

ü  Homebanking

(41)

46

Aplicações de Entretenimento

ü 

VoD (Video On Demand) – vídeo sob demanda

•  MOD – movie-on-demand

ü 

TV Interativa

•  Jogos

•  homeshopping

(42)

Vídeo Sob Demanda

(43)

48

VoD

(44)

TV Interativa

(45)

50

Taxonomia Recomendada pela ITU-T

ü 

Define 4 classes básicas de serviços:

•  Serviços Conversacionais

•  Serviços de Mensagem

•  Serviços de Recuperação

•  Serviços de Distribuição

(46)

Taxonomia Recomendada pela ITU-T

ü  Serviços Conversacionais

•  Interatividade em tempo real da comunicação entre os usuários

•  implica interação entre um humano e outro humano ou um sistema

–  inclui serviços pessoa-a-pessoa (videofonia, videoconferência) e também algumas aplicações pessoa-a-sistema (tele-compras,

etc.)

ü  Serviços de Mensagem

•  troca assíncrona de imagens, sons ou documentos multimídia

•  Correio eletrônico

•  Não são em tempo real

(47)

52

Taxonomia Recomendada pela ITU-T

ü  Serviços de Recuperação

•  Recuperação de informação armazenada remotamente

•  cobrem todos os tipos de acesso a servidores de informação (p.e. vídeo sob-demanda, livrarias eletrônicas)

ü  Serviços de Distribuição

•  Sem interatividade

•  Cobrem serviços onde a informação é distribuída por iniciativa do sistema servidor

–  P.e. programas de TV, distribuição de jornais eletrônicos, distribuição de cotação de bolsa de valores

(48)

Desafios da Multimídia

ü 

Dados Multimídia x Dados Alfanuméricos

•  Dados multimídia têm características e requisitos diferentes dos dados alfanuméricos

– sistemas computacionais convencionais não suportam eficientemente aplicações multimídia

(49)

54

Desafios da Multimídia

ü  Requisitos das Aplicações Multimídia:

•  Exigem codificação, armazenamento e manipulação de objetos não convencionais

•  Manipulam objetos longos

•  Exigem transferência contínua de dados e altas taxas

•  Exigem acesso sincronizado aos dados

(50)

Desafios da Multimídia

ü 

Principais características e requisitos:

•  Dados multimídia têm dimensão temporal

– devem ser transmitidos, processados e apresentados em taxas fixas

•  processamento e comunicação devem satisfazer requisitos de tempo-real

•  Aplicações multimídia usam múltiplos tipos de mídia

– relações temporais e espaciais entre mídias devem ser mantidas

(51)

56

Desafios da Multimídia

ü  Principais características e requisitos:

•  Dados multimídia têm volume grande

–  devem ser compactados

–  redes de alta velocidade e computadores potentes são necessários

•  Dados multimídia não têm sintaxe e semântica óbvia

–  bancos de dados convencionais não suportam efetivamente dados multimídia

–  técnicas de indexação, recuperação e reconhecimento de informações multimídia são necessárias

(52)

Desafios da Multimídia

ü 

Redes Multimídia

•  Transmissão em banda larga

•  Baixo retardo e baixa variação do retardo (jitter)

•  Transmissão multicast nativa

•  Garantia da Qualidade de Serviço (QoS) fim-a-fim