Introdução à Auralização Introdução à Auralização

(1)

Introdução à Auralização Introdução à Auralização

Cezar Monteiro Pirajá Neto Cezar Monteiro Pirajá Neto

cezar@ime.usp.br

(2)

Apresentação Apresentação

 Baseado no artigo:Baseado no artigo:

M. Kleiner, B.-I. Dalenbäck, P. Svensson, "Auralization - An M. Kleiner, B.-I. Dalenbäck, P. Svensson, "Auralization - An

Overview", JAES Vol.41, pp861-875, Nov 1993.

 Pesquisa preliminar sobre minha área de Pesquisa preliminar sobre minha área de pesquisa

pesquisa

 Estrutura da Apresentação:Estrutura da Apresentação:

 IntroduçãoIntrodução

 HistóricoHistórico

 TécnicasTécnicas

 ConsideraçõesConsiderações

(3)

Introdução Introdução

 Auralização é o processo de renderizar o campo Auralização é o processo de renderizar o campo sonoro de uma fonte em um espaço, de modo a sonoro de uma fonte em um espaço, de modo a

simular uma sensação binaural em um posição simular uma sensação binaural em um posição

do espaço modelado.

 Foco em recriar a impressão aural das Foco em recriar a impressão aural das características acústicas de um espaço.

características acústicas de um espaço.

 Preocupações:Preocupações:

 Fidelidade SonoraFidelidade Sonora

 DiretividadeDiretividade

 Capturar características acústicas do localCapturar características acústicas do local

(4)

Histórico Histórico



Munich, década de 30 Munich, década de 30

 Modelos físicos em escalaModelos físicos em escala

 Alto-falantes customizados na gravaçãoAlto-falantes customizados na gravação

 Reprodução de forma binauralReprodução de forma binaural

 Fala como sinal de testeFala como sinal de teste

 Métodos similares foram utilizados em Métodos similares foram utilizados em experiências no Japão

experiências no Japão



Evolução se deu graças ao Evolução se deu graças ao

Processamento Digital de Sinais

(5)

Histórico (2) Histórico (2)



Meyer (1965) e Kleiner (1980) Meyer (1965) e Kleiner (1980)

 Sistemas Auralização utilizando múltiplos Sistemas Auralização utilizando múltiplos alto-falantes

alto-falantes

 Objetivo era simular reflexõesObjetivo era simular reflexões



Bech (1990) e Fincham (1991) Bech (1990) e Fincham (1991)

 Refinaram o método para obter um Refinaram o método para obter um

posicionamento ótimo dos alto-faltantes.



Produtos Comerciais Produtos Comerciais

 Yamaha e LexiconYamaha e Lexicon

(6)

Técnicas Técnicas

 As técnicas baseiam-se em aproximações de As técnicas baseiam-se em aproximações de características.

características.

 Problema está quantificar e até mesmo Problema está quantificar e até mesmo descrever audivelmente algumas dessas descrever audivelmente algumas dessas

aproximações.

 Quatro técnicas básicas de auralização:Quatro técnicas básicas de auralização:

 Fully Computed AuralizationFully Computed Auralization

 Computed multiple-loudspeaker auralizationComputed multiple-loudspeaker auralization

 Direct acoustic scale-model auralization Direct acoustic scale-model auralization

 Indirect acoustic scale-model auralizationIndirect acoustic scale-model auralization

 Foco nas técnicas que utilizam computação.Foco nas técnicas que utilizam computação.

(7)

Fully Computed Auralization Fully Computed Auralization



Tendência Hoje Tendência Hoje



Componentes: Componentes:

 Computador com dados da fonte, sala e do Computador com dados da fonte, sala e do ouvinte

ouvinte

 Programa com um modelo matemático das Programa com um modelo matemático das propriedades de transmissão

propriedades de transmissão

(8)

Fully Computed Auralization

(9)

Fully Computed Auralization (2) Fully Computed Auralization (2)



Etapas: Etapas:

 Cálculo da Cálculo da RIRRIR e da e da BRIRBRIR

 Filtragem (Convolução)Filtragem (Convolução)



Cálculo da resposta impulsiva é simples Cálculo da resposta impulsiva é simples apenas em casos idealizados

apenas em casos idealizados



Quanto mais realista simulação, mais o Quanto mais realista simulação, mais o modelo se torna extremamente

modelo se torna extremamente complicado.

complicado.

(10)

Fully Computed Auralization (3) Fully Computed Auralization (3)

 Cálculo da RIRCálculo da RIR

 Predição da RIRPredição da RIR

 Espelhamento

 Ray-Tracing

 ProblemasProblemas

 Fenômenos como Dispersão e Difração.Fenômenos como Dispersão e Difração.

 SoluçõesSoluções

 FEM – Finite-Element MethodFEM – Finite-Element Method

 BEM – Boundary-Element MethodBEM – Boundary-Element Method

 Novos ProblemasNovos Problemas

 Quantidade de elementos necessáriosQuantidade de elementos necessários

(11)

Fully Computed Auralization (4) Fully Computed Auralization (4) Absorção, Dispersão e Difração Absorção, Dispersão e Difração

 Problema para programas baseados somente Problema para programas baseados somente na acústica geométrica.

na acústica geométrica.

 AbsorçãoAbsorção

 Dimensão da Superfície / Comprimento de OndaDimensão da Superfície / Comprimento de Onda

 ““Menos problemática”Menos problemática”

 Complexidade da ReflexãoComplexidade da Reflexão

 Materiais reativosMateriais reativos

 Evitar superestimar Som Direto / Som ReverberanteEvitar superestimar Som Direto / Som Reverberante

 Perceptivo (Maekawa e Sakurai)Perceptivo (Maekawa e Sakurai)

(12)

Fully Computed Auralization (4) Fully Computed Auralization (4)

Absorção, Dispersão e Difração (2) Absorção, Dispersão e Difração (2)



Dispersão e Difração Dispersão e Difração

 Kleiner and KihlmanKleiner and Kihlman

 Efeitos audíveis mesmo que em pequenas Efeitos audíveis mesmo que em pequenas proporções

proporções

 Relação direta com a qualidade acústicaRelação direta com a qualidade acústica

 Complicado de simularComplicado de simular

 Uma solução é fazer uma “re-radiação”Uma solução é fazer uma “re-radiação”

 Outra opção é fazer uso de dados dispersão Outra opção é fazer uso de dados dispersão medidos de várias superfícies

medidos de várias superfícies

(13)

Fully Computed Auralization (5) Fully Computed Auralization (5)

 Cáculo da Cáculo da BRIRBRIR

 Considera um ouvinte humanoConsidera um ouvinte humano

 Casos idealizadosCasos idealizados

 RIR -> BRIRRIR -> BRIR

 Obtenção do Efeito BinauralObtenção do Efeito Binaural

 Canal EstéreoCanal Estéreo

 Cálculo da função de transferência de um modeloCálculo da função de transferência de um modelo

 Medição através de um ouvinteMedição através de um ouvinte

 Medição através de uma cabeça artificialMedição através de uma cabeça artificial

(14)

Fully Computed Auralization (5) Fully Computed Auralization (5)

Cabeça Artificial

(15)

Fully Computed Auralization (6) Fully Computed Auralization (6)



Convolução Convolução

 Diretamente no domínio do tempoDiretamente no domínio do tempo

 No domínio das freqüênciasNo domínio das freqüências



Problemas Problemas

 In-head localizationIn-head localization

 Back-front ambiguityBack-front ambiguity

(16)

Fully Computed Auralization (7) Fully Computed Auralization (7)

 ApresentaçãoApresentação

 BinauralBinaural

 Transaural

 Back-front confusionBack-front confusion

 VantagemVantagem

 Pode se utilizar grande quantidade de sinais de Pode se utilizar grande quantidade de sinais de entrada e RIR

entrada e RIR

 DesvantagemDesvantagem

 Tempo de processamento proporcional a essa Tempo de processamento proporcional a essa quantidade

quantidade

(17)

Computed Multiple-Loudspeaker Computed Multiple-Loudspeaker

Auralization Auralization



Compartilha todos os princípios da fully Compartilha todos os princípios da fully computed auralization

computed auralization



Componentes+ Componentes+

 Sistema multi-canalSistema multi-canal

 Delay e ReverberadoresDelay e Reverberadores

(18)

Computed Multiple-Loudspeaker Computed Multiple-Loudspeaker

Auralization

(19)

Computed Multiple-Loudspeaker Computed Multiple-Loudspeaker

Auralization

Auralization (2) (2)



Vantagem Vantagem

 Natural direcionalidadeNatural direcionalidade



Desvantagem Desvantagem

 Necessidade do Necessidade do array array estar localizado em estar localizado em uma câmara anecóica.

uma câmara anecóica.

 Alto-falantes pequenos e suficientesAlto-falantes pequenos e suficientes

(20)

Direct Acoustic Scale-Model Direct Acoustic Scale-Model

Auralization Auralization

 Modelo acústico escalado Modelo acústico escalado

 Ultra-sônicoUltra-sônico

 ParedesParedes

 VantagemVantagem

 Naturalmente incluí os fenômenos como dispersão e difração.Naturalmente incluí os fenômenos como dispersão e difração.

 ObservaçõesObservações

 As vantagens só são válidas se o modelo acústico reproduz As vantagens só são válidas se o modelo acústico reproduz fielmente o original (paredes, fonte, ouvinte)

fielmente o original (paredes, fonte, ouvinte)

 Conseqüência: O modelo e a auralização são aproximaçõesConseqüência: O modelo e a auralização são aproximações

 ProblemasProblemas

 Reproduzir características técnicas de microfones e alto-Reproduzir características técnicas de microfones e alto- falantes em escala reduzida.

falantes em escala reduzida.

 Propriedades de absorção para reflexõesPropriedades de absorção para reflexões

 Reproduzir propriedade de absorção do arReproduzir propriedade de absorção do ar

(21)

Direct Acoustic Scale-Model Direct Acoustic Scale-Model

Auralization

(22)

Indirect Acoustic Scale-Model Indirect Acoustic Scale-Model

Auralization Auralization



Calcular Calcular BRIR BRIR através do modelo em através do modelo em escala reduzida

escala reduzida



No resto equivale ao No resto equivale ao Direct Acoustic Direct Acoustic Scale-Model Auralization

Scale-Model Auralization



Vantagens Vantagens

 Diminuição de distorçõesDiminuição de distorções

 Armazena somente as respostas impulsivasArmazena somente as respostas impulsivas

 Possibilidade de compensar perdas pelo arPossibilidade de compensar perdas pelo ar

(23)

Indirect Acoustic Scale-Model Indirect Acoustic Scale-Model

Auralization

(24)

Considerações Sobre o Material Considerações Sobre o Material

para Auralização para Auralização



Caracterização da Fonte Caracterização da Fonte

 Alto-falanteAlto-falante

 Fontes NaturaisFontes Naturais



Diretividade Diretividade



Reichardt e Kussev Reichardt e Kussev

(25)

Verificação da Auralização Verificação da Auralização



Que se espera ? Que se espera ?

 Simulação aceitávelSimulação aceitável

 Simulação exataSimulação exata



Inteligibilidade da fala (1980) Inteligibilidade da fala (1980)



Comparação entre uma gravação binaural Comparação entre uma gravação binaural e a auralização do

e a auralização do setup setup



Comparação a partir da audição alternada Comparação a partir da audição alternada entre trechos auralizados e reais.

entre trechos auralizados e reais.

(26)

Outras considerações Outras considerações



Performance no cálculo da Performance no cálculo da RIR RIR e e BRIR BRIR



Padronização de Interface Padronização de Interface



Binaural ou Transaural x Multicanal Binaural ou Transaural x Multicanal



Redução de dados Redução de dados

(27)

Usos da Auralização Usos da Auralização



Treinamento e Estudos Treinamento e Estudos



Predição de ruído Predição de ruído



Sistemas de Realidade Virtual Sistemas de Realidade Virtual



Jogos Jogos



Melhorar sistemas em aviões e carros Melhorar sistemas em aviões e carros

(28)

Conclusão Conclusão

 Auralização é útil graças ao advento dos “super”-Auralização é útil graças ao advento dos “super”- computadores pessoais e softwares

computadores pessoais e softwares

 Junto com novas implementações em hardware a Junto com novas implementações em hardware a

auralização vai se tornar uma poderosa ferramenta para auralização vai se tornar uma poderosa ferramenta para

simulação de salas e geração de evento aural simulação de salas e geração de evento aural

 Demonstrações convincentes tem sido feitas.Demonstrações convincentes tem sido feitas.

 Verificação dessas demonstrações é que deixa a Verificação dessas demonstrações é que deixa a desejar

desejar

 Auralização combinada com reprodução transaural e Auralização combinada com reprodução transaural e controle ativo do campo sonoro deve possibilitar que a controle ativo do campo sonoro deve possibilitar que a

auralização saia dos laboratórios.

 Existem várias aplicações interessantes, como Sistemas Existem várias aplicações interessantes, como Sistemas de Realidade Virtual.

de Realidade Virtual.

(29)

Referências Referências

 M. Kleiner, B.-I. Dalenbäck, P. Svensson, M. Kleiner, B.-I. Dalenbäck, P. Svensson,

"Auralization - An Overview", JAES Vol.41,

"Auralization - An Overview", JAES Vol.41, pp861-875, Nov 1993.

pp861-875, Nov 1993.

 Lia Kortchmar, “Sound Quality In Workplaces”, Lia Kortchmar, “Sound Quality In Workplaces”, COPPE/URFJ, April 2000.