ções Componentes da especificaçã

(1)

Prof.:

Prof.: Jauvane Jauvane C. de OliveiraC. de Oliveira Aluno: Erm

Aluno: Ermíírio de Siqueira Coutinhorio de Siqueira Coutinho Rio de Janeiro, 27 de novembro de 2002

Rio de Janeiro, 27 de novembro de 2002

7

Sum

á

rio

•

• Introduçã

Introdu

ção

o

•

• Outras iniciativas

Outras iniciativas

•

• Diferen

Diferen

ças no MPEG

ç

as no MPEG-

-7

7

•

• Defini

Defini

ções

çõ

es

•

• Componentes da especificaçã

Componentes da especifica

çã

o MPEG-

o MPEG

-7

7

•

• Ferramentas pré

Ferramentas pr

é-

-definidas de descri

definidas de descriçã

ção

o

•

(2)

Introdu

çã

o

•

• MPEGMPEG-7: [1]-7: [1]

–

– Multimedia Content Description InterfaceMultimedia Content Description Interface –

– ISO/IEC 15938 / JTC 1 / SC 29 / WG 11ISO/IEC 15938 / JTC 1 / SC 29 / WG 11 •

• Moving Pictures Expert GroupMoving Pictures Expert Group •

• International Standards OrganizationInternational Standards Organization •

• International Electrotechnical CommissionInternational Electrotechnical Commission •

• Joint Technical Commitee Joint Technical Commitee 11 •

• SubSub--commitee commitee 2929 •

• Working group Working group 1111

Outras iniciativas

•

• IBM QBIC:

IBM QBIC:

Query By Image Content [2]

Query By Image Content

[2]

–

– DisponíDisponível vel DB2DB2Image Extenders: Image Extenders:

•

• CritCritéérios de busca: exemplos de cores e texturasrios de busca: exemplos de cores e texturas •

• Usado pelo Usado pelo http://www.hermitagemuseum.org/http://www.hermitagemuseum.org/ (Museu de artes em

(Museu de artes emSt PetersburgSt Petersburg––RúRússia)ssia)

•

• MIT Photobook

MIT

Photobook

(1994) [3]

–

– GratuitoGratuito –

– Possui ferramenta de aprendizado para Possui ferramenta de aprendizado para consultas posteriores:

(3)

Photobook

–

FourEyes

(MIT)

Outras iniciativas

•

• MIT Media

MIT Media

Streams

& Stratification

&

Stratification [4]

[4]

–

– Desenvolvido entre 1991 e 1997Desenvolvido entre 1991 e 1997 –

– VocabuláVocabulário com mais de 6000 rio com mais de 6000 ííconescones –

– Os íOs ícones podem ser combinados para criar cones podem ser combinados para criar caracteres, objetos e padr

caracteres, objetos e padrõõeses

–

– Cria-Cria-se uma gramse uma gramáática que permite intica que permite inúúmeras meras combina

(4)

No que MPEG

-

7 difere ?

•

• Principal diferenç

Principal diferen

ça entre MPEG

a entre MPEG-

-7 e outros

7 e outros

padr

padrõ

ões de

es de metadados

metadados:

:

–

– Procura ser genéProcura ser genéricorico –

– NãNão esto estáá voltado para uma aplicaçãvoltado para uma aplicação ou o ou dom

domíínio de aplicanio de aplicaçãção especo especííficosficos –

– Suporta diversos níSuporta diversos níveis de abstraveis de abstraçãção: desde a o: desde a descri

descriçãção de caractero de caracteríísticas do sinal atsticas do sinal atéé informa

informaçõções semes semâânticasnticas

No que MPEG

-

7 difere ?

•

• Possibilidade de adapta

Possibilidade de adapta

ção

çã

o à

à

evoluçã

evolu

çã

o das

t

té

écnicas envolvidas com som e imagem:

cnicas envolvidas com som e imagem:

–

– MPEG-MPEG-7 fixa apenas o formato para descri7 fixa apenas o formato para descriçãção o de conte

de conteúúdo, independente das tdo, independente das téécnicas de cnicas de extra

extraçãção utilizadas, pois o utilizadas, pois éé o mío mínimo necessnimo necessáário rio para garantir interoperabilidade

para garantir interoperabilidade –

– Algoritmos de extraçãAlgoritmos de extração no não fazem parte do ão fazem parte do padr

(5)

Introdu

çã

o

•

• Existe um subconjunto de descritores para cada Existe um subconjunto de descritores para cada aplica

aplicaçãção, domo, domíínio de aplicanio de aplicaçãção e contexto de usoo e contexto de uso •

• NãNão háo há apenas uma apenas uma úúnica descriçãnica descrição corretao correta •

• Permite a geraçãPermite a geração de descrio de descriçãção durante a captura o durante a captura (real

(real-time-timeenvironment)environment) •

• Dificuldades na extraDificuldades na extração automção automáática:tica:

–

– Quanto maior o níQuanto maior o nível de abstravel de abstraçãção, maior a necessidade o, maior a necessidade de interven

de intervençãção humanao humana

Defini

çõ

es

•

• Dado

Dado

(data):

informaçã

informa

ção multim

o multim

ídia

í

dia

descrita usando MPEG

-7, independente de

-

7, independente de

armazenamento, codifica

armazenamento, codificaçã

ção, apresenta

o, apresentaçã

ção,

o,

transmiss

transmissã

ão, meio ou tecnologia [5]

o, meio ou tecnologia [5]

•

• Caracter

Caracter

ística

í

stica

(feature

(

feature)

)

: caracterí

: caracter

ística do

stica do

dado que significa algo para algu

(6)

Conceitos b

á

sicos

•

• Descritor Descritor (Descriptor(Descriptor)): define a sintaxe e a : define a sintaxe e a sem

semâântica da representantica da representaçãção da caractero da caracteríísticastica •

• Esquema de descriçãEsquema de descrição o (Description Scheme(Description Scheme)): : estrutura e sem

estrutura e semâântica dos relacionamentos entre ntica dos relacionamentos entre componentes (que podem ser descritores ou componentes (que podem ser descritores ou esquemas de descri

esquemas de descriçõções)es) •

• DescriçãDescrição o (Description(Description)): consiste de:: consiste de:

–

– um esquema de descriçãum esquema de descrição (estrutura)o (estrutura) –

– Valores do descritor (instâValores do descritor (instâncias) que descrevem o dadoncias) que descrevem o dado

Conceitos b

á

sicos

•

• DDL DDL ––Description Definition Language:Description Definition Language: –

– linguagem para a crialinguagem para a criaçãção de descritores e esquemas de descritoreso de descritores e esquemas de descritores –

– Permite a extensPermite a extensãão e modificao e modificaçãção de esquemas de descritores o de esquemas de descritores existentes

existentes •

• Ferramentas do Sistema Ferramentas do Sistema ((System ToolsSystem Tools)): dar suporte a:: dar suporte a: –

– MultiplexaMultiplexaçãção o de descritoresde descritores –

– SincronizaSincronizaçãção de descritores com o conteo de descritores com o conteúúdodo –

– Mecanismos de envio Mecanismos de envio ((deliverydelivery))

–

– CodificaCodificaçãção de representao de representaçõções para armazenamento e transmisses para armazenamento e transmissããoo –

(7)

Componentes da

especifica

çã

o MPEG

-

7

•

• Parte 1 -Parte 1 - MPEG-MPEG-7 7 SystemsSystems::

–

– especifica as ferramentas do sistemaespecifica as ferramentas do sistema

•

• Parte 2 -Parte 2 - DDL:DDL:

–

– Especifica a DDL (Description Definition LanguageEspecifica a DDL (Description Definition Language))

•

• Parte 3 -Parte 3 - Visual:Visual:

–

– Especifica as ferramentas de descriçãEspecifica as ferramentas de descrição de imagenso de imagens

•

• Parte 4 -Parte 4 - Audio:Audio:

–

– Especifica as ferramentas de descriEspecifica as ferramentas de descriçãção de o de audioaudio

Componentes da

especifica

especificaçã

çã

o MPEG-

o MPEG

-7

7

•

• Parte 5 -Parte 5 - Multimedia Description Schemes:Multimedia Description Schemes:

–

– Descritores e esquemas de descriçãDescritores e esquemas de descrição que no que nãão so sãão o espec

especííficos para ficos para ááudio ou vudio ou víídeodeo

•

• Parte 6 -Parte 6 - ReferenceReferencesoftware:software:

–

– ÉÉuma implementauma implementaçãção de software dos componentes da o de software dos componentes da especifica

especificaçãção MPEGo MPEG--77 –

– Normativo no que diz respeito àNormativo no que diz respeito àcodificaçãcodificação:o: •

• Todas as implementaTodas as implementaçõções, compates, compatííveis com MPEGveis com MPEG--7, devem 7, devem produzir os mesmos resultados de decodifica

produzir os mesmos resultados de decodificaçãção que o o que o software de refer

(8)

Componentes da

especifica

çã

o MPEG

-

7

•

• Parte 7

Parte 7

-

Conformance:

Conformance

:

–

– Especifica as diretrizes e procedimentos para Especifica as diretrizes e procedimentos para certificar a compatibilidade de descri

certificar a compatibilidade de descriçõções e es e ferramentas com o padr

ferramentas com o padrããoo

•

• Parte 8

Parte 8

-

Extraction and use of

Extraction and

use of descriptions

descriptions:

:

–

– ProvêProvêinformainformações sobre a extrações sobre a extraçãção e uso de o e uso de algumas ferramentas de descri

algumas ferramentas de descriçãçãoo

Ferramentas

pr

pré

é-

-

definidas de descri

çã

o

•

• Formadas pelo conjunto de Descritores e Esquemas de Formadas pelo conjunto de Descritores e Esquemas de Descri

(9)

Basic Elements

/

Schema Tools

Basic Elements

/

Schema Tools

•

• Elementos b

Elementos b

ásicos

á

sicos

–

– SãSão as entidades bo as entidades báásicas usadas como sicas usadas como building building blocks

blockspor vápor várias ferramentas de descririas ferramentas de descriçãçãoo

•

• Ferramentas do esquema:

Ferramentas do esquema:

–

– SãSão usadas para empacotar ferramentas de o usadas para empacotar ferramentas de descri

descriçãção para uso por aplicativoso para uso por aplicativos –

– Inclui ferramentas de empacotamento para Inclui ferramentas de empacotamento para agrupamento de ferramentas de descri

agrupamento de ferramentas de descriçãção em o em

grupos grupos

(10)

Content Description Tools

•

• Representam a informaçãRepresentam a informação propriamente dita o propriamente dita (percept

(perceptíível)vel) •

• Ferramentas de descriçãFerramentas de descrição estrutural:o estrutural:

–

– permitem-permitem-nos descrever o contenos descrever o conteúúdo:do: •

• em termos de segmentos espaem termos de segmentos espaççoo--temporaistemporais •

• organizados numa estrutura hierorganizados numa estrutura hieráárquicarquica –

– MPEG-MPEG-7 Visual 7 Visual description toolsdescription tools –

– MPEG-MPEG-7 7 Audio description toolsAudio description tools –

(11)

Content Management Tools

•

• Ferramentas de descriçãFerramentas de descrição de mo de míídias:dias: –

– MMíídia de armazenamentodia de armazenamento –

– Formato de codificaFormato de codificaçãçãoo –

– Qualidade Qualidade –

– Dicas Dicas (hints(hints) ) de de transcodificatranscodificaçãçãoo •

• Ferramentas de descriçãFerramentas de descrição de criao de criaçãção:o: –

– Processos de criaProcessos de criaçãção (agentes, materiais, lugares, datas)o (agentes, materiais, lugares, datas) –

– ClassificaClassificaçãção (linguagem, go (linguagem, gêênero)nero) –

– Materiais relacionadosMateriais relacionados •

• Ferramentas de descriçãFerramentas de descrição de uso:o de uso: –

– CondiCondiçõções de uso (direitos e disponibilidade)es de uso (direitos e disponibilidade) –

(12)

Content Organization Tools

Content Organization Tools /

/

Navigation and

Access

Tools

•

• Permite criar e modelar coleçõPermite criar e modelar coleções de contees de conteúúdos multimdos multimíídia dia e descri

e descriçõçõeses

Navigation and

Access

Tools

•

• Ferramentas de descriçã

Ferramentas de descri

ção de sum

o de sumá

ário

rio

(

(summary

summary):

):

–

– NavegaNavegaçãção hiero hieráárquica e seqrquica e seqüüencialencial –

– PreviewsPreviews

•

• Ferramentas de descriçã

Ferramentas de descri

ção de parti

o de partiçã

ção e

o e

decomposi

decomposiçã

ção:

o:

–

– Permite acesso progressivo (tempo e espaPermite acesso progressivo (tempo e espaçço)o) –

– Diversas resoluDiversas resoluçõçõeses

•

(13)

User Interaction Tools

•

• Preferê

Prefer

ências e hist

ncias e histó

órico do usu

rico do usuá

ário

rio

DDL

-

Description Definition

Language

•

• Permite representar e estender descritores, Permite representar e estender descritores, descri

descriçõções e esquemas de descries e esquemas de descriçõçõeses •

• Adiciona extensõAdiciona extensões ao XML es ao XML Schema Schema (#) (#) espec

especííficas para MPEGficas para MPEG--7 como suporte a:7 como suporte a:

–

– Vetores (*)Vetores (*) –

– Matrizes (*)Matrizes (*) –

– ReferêReferências ncias tipadas tipadas (typed references(typed references))

(*) implementado como lista de elementos (*) implementado como lista de elementos (#) ver www.w3schools.com

(14)

MPEG

-

7

7 Elementary Streams

Elementary Streams

•

• Unidades de acesso

Unidades de acesso

(Access Units

(Access

Units)

)

:

–

– PorçõPorções individuais de dados, acesses individuais de dados, acessííveis veis individualmente

individualmente –

– VáVárias unidades de acesso consecutivas formam rias unidades de acesso consecutivas formam um

umMPEG-MPEG-7 7 elementary streamselementary streams

•

• Descriçõ

Descri

ções podem ser representadas:

es podem ser representadas:

–

– Formato de textoFormato de texto –

– Formato bináFormato binário (rio (BiM BiM –– Binary Format Binary Format for for MPEG

MPEG--7 data)7 data)

MPEG

-

7

•

• ArquivoArquivo

–

– Elemento raiz: <Mpeg7>Elemento raiz: <Mpeg7> –

– Description Metadata HeaderDescription Metadata Header::metadadosmetadadossobre a sobre a descri

descriçãção: <o: <DescriptionMetadataDescriptionMetadata>>

•

• Dois tipos vDois tipos válidos diferentes:álidos diferentes:

–

– Unidades de descriçãUnidades de descrição <o <DescriptionUnitDescriptionUnit>> •

• Permite que se envie apenas parte de toda a descriPermite que se envie apenas parte de toda a descriçãção, quando o, quando a aplica

a aplicaçãção fizer uma requisio fizer uma requisiçãção especo especííficafica –

(15)

MPEG

-

7

•

• Elementos de Alto N

Elementos de Alto N

ível [6]:

í

vel [6]:

–

– Organizados em 3 grupos:Organizados em 3 grupos:

•

• Content ManagementContent Management •

• Content Entity Content Entity (*)(*) •

• Content Abstraction Content Abstraction (*)(*)

(*)

(*) Content DescriptionContent Description

Content Management

•

• Lida com informa

Lida com informa

ções relacionadas ao

çõ

es relacionadas ao

conte

conteú

údo, mas independente do que este

do, mas independente do que este

vem a ser:

–

– User descriptionUser description –

– Media descriptionMedia description –

– Creation descriptionCreation description –

– Usage DescriptionUsage Description –

(16)

Content Entity

•

• Multimedia content:Multimedia content:

–

– Image Image (Still (Still Region)Region)

–

– Video Video ((segmentsegment))

–

– AudioAudio((segmentsegment))

–

– Audio-Audio-visual visual ((segmentsegment))

–

– Multimedia ContentMultimedia Content –

– Multimedia CollectionMultimedia Collection –

– SignalSignal –

– Ink Content (*)Ink Content (*) –

– Analytic Edited VideoAnalytic Edited Video

Multimedia content

–

– VideoVideo((segmentsegment))

•

• Video Description ToolsVideo Description Tools: ISO/IEC 15938: ISO/IEC 15938--3: permite 3: permite verificar similaridades em imagens e v

verificar similaridades em imagens e víídeosdeos

–

– AudioAudio(segment(segment))

•

• Audio Descritption ToolsAudio Descritption Tools: ISO/IEC 15938: ISO/IEC 15938--4: busca 4: busca e filtragem de

(17)

Content Abstraction

•

• Semantic Description

Semantic Description

•

• Model Description

Model Description

•

• Summary Description

Summary Description

•

• View Description

View Description

•

• Variation Description

Variation Description

Semantic Description

(18)

Descrevendo propriedades

multim

í

dia

•

• Duas op

Duas op

ções:

çõ

es:

–

– Descrever como um todoDescrever como um todo –

– Descrever as partesDescrever as partes

•

• Inovaçã

Inova

ção com MPEG

o com MPEG-

-7:

7:

–

– DescriçõDescrições segmentadas por espaes segmentadas por espaçço e tempoo e tempo –

– Diferentes níDiferentes níveis de detalheveis de detalhe

Diferentes n

(19)

Descri

çõ

es segmentadas por

espa

ç

o e tempo

Amarelo: regi

Amarelo: regiãão mo móóvelvel Verde: regi

Verde: regiãão paradao parada

<Mpeg7

<Mpeg7xmlnsxmlns==httphttp://www.mpeg7.://www.mpeg7.orgorg/2001/MPEG/2001/MPEG--7_7_SchemaSchemaxmlxml::langlang==““enen””

type

type==““completecomplete””>> <

<ContentDescription xsiContentDescription xsi::typetype==““ContentEntityTypeContentEntityType””>> <

<MultimediaContentMultimediaContentxsixsi::typetype==““ImageTypeImageType””>>

< <ImageImage>> < <MediaLocatorMediaLocator>> < <MediaUriMediaUri>> http

http://www.ermirio.com.://www.ermirio.com.brbr/dunas./dunas.jpgjpg

</ </MediaUriMediaUri>> </ </MediaLocatorMediaLocator>> < <CreationInformationCreationInformation>> < <CreationCreation>> (...) (...) </ </CreationCreation>> </ </CreationInformationCreationInformation>> </ </ImageImage>> </ </MultimediaContentMultimediaContent>> </ </ContentDescriptionContentDescription>> </Mpeg7> </Mpeg7>

(20)

Aplicativos [7]

•

• Ricoh MovieTool:Ricoh MovieTool: –

– http://www.ricoh.co.jp/src/multimedia/MovieTool/http://www.ricoh.co.jp/src/multimedia/MovieTool/ •

• Canon:Canon: –

– Permite criar um arquivo de descriPermite criar um arquivo de descriçãção MPEGo MPEG--77AudioAudio “

“SpokenContentSpokenContent””a partir de um a partir de um ““..wavwav”” –

– Baseado na tecnologia de reconhecimento de fala desenvolvida pelBaseado na tecnologia de reconhecimento de fala desenvolvida pelaa Canon

Canon –

– http://www.cre.canon.co.uk/mpeg7asrhttp://www.cre.canon.co.uk/mpeg7asr •

• Interface grInterface gráfica para áfica para MPEGMPEG--77Audio Low Level Audio Low Level Descriptors

Descriptors:: –

– SiteSiteque gera descritores MPEGque gera descritores MPEG--7 para um arquivo de 7 para um arquivo de ááudio (.udio (.wavwav, , .mp3) enviado

.mp3) enviado –

– httphttp://www.://www.whisperwhisper..elecelec..uowuow..eduedu..auau/mpeg7/mpeg7

Aplicativos

•

• Exemplo:

Exemplo:

•

• IBM MPEG-IBM MPEG-77Annotation ToolAnnotation Tool--July 19, 2002July 19, 2002

–

– http://www.http://www.alphaworksalphaworks.ibm.com/.ibm.com/techtech//videoannexvideoannex –

(21)

IBM MPEG

-

7

7 Annotation Tool

Annotation Tool

IBM MPEG

(22)

IBM MPEG

-

7

7 Annotation Tool

Annotation Tool

Conclus

ã

o

•

• MPEG-

MPEG

-7 visa padronizar a maneira de se

7 visa padronizar a maneira de se

descrever conte

descrever conteú

údo multim

do multim

ídia

í

dia

•

• Ferramentas poder

Ferramentas poder

ão ser modificadas para

ã

o ser modificadas para

suportar o padr

ão

ã

o

•

• Essencial para a criaçã

Essencial para a cria

çã

o de uma web

o de uma

web

sem

(23)

Refer

ências

ê

ncias

[1]

[1] LindsayLindsay, A. , A. ––MPEG-MPEG-7:7:PuttingPuttingititall togetherall together––ACMACM Multimedia

Multimedia--SepSep2001.2001. [2] QBIC:

[2] QBIC: httphttp://://wwwqbicwwwqbic..almadenalmaden.ibm.com.ibm.com [3]

[3]PhotobookPhotobook: : httphttp://://webweb.media.mit..media.mit.eduedu/~/~tpminkatpminka//photobookphotobook [4] MIT Media

[4] MIT MediaStreamsStreams&&StratificationStratification: : http

http://://acgacg.media.mit..media.mit.eduedu//peoplepeople//golangolan//mediastreamsmediastreams [5]

[5] MartMartííneznez, J. , J. et et al al ––MPEG-MPEG-7 7 The generic multimedia The generic multimedia content description

content description standard standard ––IEEE IEEE Multimedia Multimedia –– Apr

Apr/Jun 2002 pg 78/Jun 2002 pg 78--8787 [6]

[6] MartMartííneznez, J., J.etetal –al –OverviewOverviewof MPEG-of MPEG-7 7 Description Description Tools

Tools––IEEEIEEEMultimediaMultimedia––Jul/Jul/SepSep2002 pg 83-2002 pg 83-9393 [7] MPEG