Áudio Estruturado no Padrão MPEG-4

Áudio Estruturado no Padrão MPEG-4

João Alfredo Cal Braz

Leandro Basílio dos Santos

Lucas Nicolato Epitácio Pereira

Roteiro

Motivação

Codificação e Síntese de Áudio Áudio Estruturado

Padrão MPEG-4 Linguagem SAOL Linguagem SASL Exemplos

Conclusão

Motivação

Áudio Estruturado tem tido importância crescente

Necessidade de expressividade semântica

Padronização no MPEG-4

Técnicas de Síntese de Som

Parâmetros

Alogritmo de Síntese

Conversão D/A

Transdução SOM

Técnicas de Síntese de Som

Modelagem do sinal

Síntese Temporal

Síntese Espectral

Síntese Abstrata

Modelagem da Fonte

Modelos Físicos

Técnicas de Codificação

Sem suposição de modelos

PCM

Compressão por Transformadas

Análise por Síntese

Transmite parâmetros do sintetizador

Ex.: LPC, CELP

Limitações das Representações de Áudio

Dificuldade de conjugar

expressividade semântica e morfológica

Pouca flexibilidade

Não explora redundância estrutural

Áudio Estruturado

Proposto por Vercoe et al (1998) Sintetizador e Parâmetros

Algoritmo (Código) e Parâmetros (Dados)

Áudio Estruturado

Exemplo:

Código: pegue cada amostra contida em “dados” e reproduza

Dados: Conjunto de amostras de áudio digital

Universalidade

Áudio Estruturado

Exemplo:

Código: Conjunto de sintetizadores para todos os instrumentos de uma orquestra, efeitos

sonoros e voz. Decodificadores de fala LPC e decodificador ADPCM.

Dados: Partitura para todos os instrumentos da orquestra e coral. Coeficientes LPC para as vozes dos comentários do locutor. Amostras codificadas por ADPCM para a voz dos

cantores.

Áudio Estruturado

Propriedades

Universalidade

Expressividade

Possibilidade de Codificação Ótima

Áudio Estruturado no MPEG-4

Características:

É o primeiro padrão internacional a incluir o áudio estruturado em

ambiente multimídia.

Não padroniza um conjunto de

métodos de síntese, mas um método de descrição de métodos de síntese.

Divisão do áudio em objetos e não apenas em canais.

Formatos de Descrição do Áudio:

SAOL (

)

É uma linguagem de processamento de sinais que visa a descrição de

algoritmos de síntese e controle.

Possibilita a transferência das

técnicas de síntese, para o destino, junto com o fluxo de dados.

Garante a qualidade do áudio produzido.

Formatos de Descrição do Áudio:

SASL (

)

É uma linguagem de partitura e controle.

É usada para especificar a forma como os algoritmos definidos em SAOL devem ser usados.

Parâmetros relativos às notas musicais.

Formatos de Descrição do Áudio:

SASBF (Structured Audio Sample Bank

Format): permite a transmissão de bancos de amostras em ponto

flutuante.

MIDI (Musical Instrument Digital

Interface): formato alternativo, que pode ser usado em conjunto ou

substituição ao SASL.

Decodificação

Etapas:

Configuração da máquina de síntese, criação de instrumentos, usando o

código em SAOL.

Uso dos Sintetizadores, a partir dos dados, em SASL, do fluxo de áudio.

Pós-processamento de toda o sistema de som através da camada AudioBIFS.

Esquema de Decodificação

Acc ess Unit Unidade De Acesso

Unidade De Acess o

Fluxo de dados

Lista de eventos

síntese

&

Escalona-

Nota (I2)

Nota (I2) Nota

(I3) Nota

(I1)

Nota (I3) I1

I2

I3 I2 I3

Loop de execução

Áudio de saída do Fluxo

Cabeça lho I6

I3 I1

I4 I3

I2

Definição de instrumentos

Conjunto de notas

Unidade De Acess o

Unidade De Acess o

de

dor

Formação da Cena MPEG Áudio

Autoria

Dividida em duas etapas:

Definição de instrumentos usando blocos básicos de processamento de sinais, como filtros e osciladores.

Composição do áudio propriamente dito na partitura em SASL

A Linguagem de Orquestra de Áudio Estruturado (SAOL)

Estrutura temporal da forma de onda composta por diferentes escalas de tempo

Notas

Timbre

Forma de Onda

Linguagens convencionais têm dificuldades em lidar com estas escalas

A Linguagem de Orquestra de Áudio Estruturado (SAOL)

MPEG4-SA: gerência do tempo é parte da linguagem em si.

relógio simulado

taxa-a: taxa de amostragem de áudio

taxa-k: taxa de controle

Padrão: taxa-a: 32 kHz taxa-k: 100 Hz

SAOL

Definição de Instrumentos

Subprogramas SAOL chamados instr servem como instrumentos instr:

emissão de uma nota

modelagem da evolução do timbre

geração de amostras de áudio

Audio rate : 40,000 Hz Control rate : 100 Hz Start time : 0.995 s

Time (s) Cycle Pass X-#

0.999975 a-cycle

1.000000 k-cycle i-pass -- k-pass | a-cycle a-pass | 1.000025 a-cycle a-pass | 1 1.000050 a-cycle a-pass | 1.000075 a-cycle a-pass |

... ... ... |

1.009975 a-cycle a-pass --

1.010000 k-cycle k-pass --

a-cycle a-pass | 2

SAOL

Declaração de Variáveis

instr: preâmbulos válidos instr none () { }

instr one (p1) { }

instr many (p1, p2, p3) { }

SAOL

Declaração de Variáveis

escalares

instr foo () { ivar a;

ksig b,c;

asig d;

b = a;

}

vetores

ivar a[3];

ksig b,c[2];

SAOL

Core Opcodes

Acesso a algoritmos

freqüentemente usados

amp = sin(pi*x2/dur);

Elementos atômicos

Opcodes padrão

Opcodes user-defined

A Linguagem de Partitura de Áudio Estruturado (SASL)

Partitura SASL: lista de comandos que inicializa ações relativas ao

relógio

sine.sasl

0.25 tone 4.0 4.50 end

Exemplos de Sons

Sintetizador Senoidal

Sintetizador Senoidal II Vogais

Palmas

Conclusões