O interesse pelo chamado Som 3D como fenómeno acústico em que as fontes sonoras estão localizadas num espaço tridimensional onde o ouvinte se encontra, vem já desde há anos a esta parte.
Em 1931 Alan Blumlein registou a patente Nº394,325 na qual se descrevia pormenorizadamente o sistema binaural, um método electrónico de reprodução sonora a partir de dois microfones (coincident pair - um microfone
omni com um figure of eight à esquerda) para 2 colunas
de som [ R. Alexander, 1999].
No início da década de 70 surgiu aquele que é um dos maiores desenvolvimentos sonoros das últimas décadas que foi a tecnologia Ambisonics desenvolvida por um grupo de investigadores chefiados por Michael Gerzon do Mathematical Institute em Oxford, e professor na University of Reading. O Ambisonics é um sistema de gravação e reprodução capaz de recrear, de uma forma bastante exacta, ambientes sonoros tridimensionais [R. Elen, 1991]. Baseado em complexos cálculos matemáticos e psicoacústicos enunciados no Blumlein's stereo system, o sistema é capaz de fazer a codificação de fontes sonoras provenientes de qualquer direcção a partir de microfones soundfield com uma cápsula
omnidireccional e mais 3 figure-of-eight uma com direcções direita/esquerda, outra frente e atrás e outra
acima/abaixo. A ideia era extraordinariamente simples: só gravando os sinais acústicos das salas de concerto se podia recrear um ambiente sonoro com a respectiva imagem sonora. Com esta técnica, era possível fazer uma reprodução dos ambientes sonoros com algum rigor, e os sistemas sonoros podiam variar na quantidade de colunas 4, 6 ou outro número, reproduzindo sonoramente 360 graus. Esta tecnologia, ainda perdura sendo no entanto um pouco inacessível
No início da década de 80, Hugo Zuccarelli desenvolveu uma tecnologia de nome Holophonics. Baseada nos princípios holográficos da Pribram's theory, assumia que há frequências que são geradas pelo ouvido, e que os sons interferem com estas frequências. O padrão de interferência é aquilo que nós interpretamos e o holophonics é a conversão dos sons directamente para o padrão de interferência. É um tipo de tecnologia 4D com 3 dimensões de localização e uma quarta de tempo cujos conceitos se aproximam da
Sensorial Reality por oposição à Virtual Reality [M.
Talbot, s/d].
Em 1994 Bill Gardner and Keith Martin investigadores do MIT Media Lab, investigaram extensivamente as HTRF´s (Head Related Transfer Function) utilizando o KEMAR dummy head microphone [B. Gardner, 1994] . Baseavam-se nos princípios de Blumlein e o modelo era próximo da audição humana, em que conseguimos ter a percepção de localização de som devido à diferença de tempo com que as ondas sonoras chegam aos 2 diferentes ouvidos, conjuntamente com os atrasos das mesmas ondas depois de reflectidas nas diferentes partes do corpo humano (cabeça, ombros) conjugadas com o comportamento do som nos canais auditivos. As medições efectuadas foram conseguidas, usando para gravação de som, o manequim KEMAR com microfones implantados nos canais auditivos. As HRTF’s são as funções de transferência que modelam a percepção do som determinando posições das fontes sonoras, no espaço, contudo este sistema não possui posicionamento vertical de som, sendo este problema resolvido parcialmente através da filtragem de altas frequências.
Das diferentes tecnologias enunciadas, esta tem sido uma das mais utilizadas, no entanto e apesar de hoje em dia algumas placas de sons possuírem já aceleração para ajudar a efectuar este tipo de cálculos, a utilização de HTRF’s apresenta alguns problemas:
-o som distorce facilmente
-os cálculos são complexos e por vezes lentos
-se as fontes sonoras estão es táticas as posições não podem ser determinadas rigorosamente porque o cérebro necessita de informação de movimento.
Esta tecnologia funciona parcialmente em sistemas
117
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL
em sistemas surround com boa distribuição sonora. De facto, é possível direccionar som ou fontes sonoras para uma ou mais colunas utilizando o “ paning ”.
No final da década de 90 começaram a surgir os sistemas sonoros surround 5.1, mas apesar de todos estes desenvolvimentos no campo sonoro, os developers de tecnologias como realidade virtual ou jogos nem sempre deram grande importância ao som. Muitas vezes, grande parte do tempo e orçamento eram dedicados ás partes gráficas e aos conteúdos.
Havia algumas razões para este cenário:
-a informação a transmitir era essencialmente gráfica -o tipo de actividade de programador por formação era mais adequada ao uso de grafismos
-o elevado preço do hardware e das tecnologias sonoras -o custo adicional de recursos humanos especialistas em som
Ao mesmo tempo, parecia mais fácil convencer um utilizador a mudar de placa gráfica do que a mudar a placa de som [A. Menshikov, 2004].
A GameCODA, que se auto proclama como a primeira solução audio middleware disponível para developers verdadeiramente multiplataforma, referia já durante este ano no seu site: “Research has indicated that audio
represents in excess of 30 percent of the total gaming experience, but at present has an average investment of less than 5 percent of the total cost. When this information is considered alongside the competitive business environment it becomes obvious that greater effort must be made to maximise this aspect of gameplay”
[GameCODA , 2004].
A situação referida está actualmente a mudar e, em muitos projectos, o som conta com cerca de 40% do orçamento total em custos de tempo e investigação dispendidos [A. Menshikov, 2004]. De facto, hoje o som desempenha um papel de maior importância não só por causa da baixa de preços da tecnologia e da massificação de placas de som 5.1 e 7.1, mas também pela introdução de novos conceitos sonoros
Esta conjuntura, embora favorável nomeadamente a nível da acessibilidade a sistemas sonoros 5.1 ou 7.1. não foi correspondida a nível da evolução das API’s (Application Programming Interface) [Wikipedia, 2004] áudio para surround mantendo-se grande parte delas fundamentalmente baseadas nas HTRF’s e em implementações stereo.
Os sistemas surround trouxeram assim alguns problemas tecnológicos para os investigadores de sistemas de realidade virtual e de jogos que passaram a ter disponíveis apenas um pequeno lote de API’s que funcionam com sistema com multicanal com mais de 4 canais.
De uma forma geral, e não contando com sistemas proprietários muito caros, no respeitante à escolha de
API’s áudio para programação o panorama não é muito animador. Existem uma série de API’s com licenciamento relativamente caro, como por exemplos as da Aureal, Creative, Sensaura e Nvidea entre outras, que usam sistemas proprietário, e existem depois, uma série de API’s, livres, que nem sempre têm uma implementação muito completa. Neste último caso temos Api’s como o OpenAl, FMOD, EAX e PortAudio.
O OpenAL é uma a cross-platform 3D audio API concebida inicialmente para jogos mas que acolheu uma aceitação bastante boa. A Apple re -escreveu o OpenAL para utilização no Mac OSX, mas existe também para Linux e para Windows.
O FMOD é uma API não comercial que ultimamente tem surgido como a uma ferramenta bastante interessante pela quantidade de funções suportadas. É multiplataforma,, e apres enta um código de mistura é muito rápida. Na versão para Windows, suporta os formatos surround.
O EAX (Environmental Audio Extensions) originário da Creative que recentemente absorveu o OpenAL, é um conjunto de extensões para a API DirectSound3D e contêm uma série de parâmetros ajustáveis tanto para para as fontes sonoras como para o ouvinte. É quase um standard para jogos, mas pelo menos neste momento, não é multiplataforma e tem um tempo de latência ligeiramente superior ao FM.
As ferramentas para áudio não se ficam por aqui: há a registar ainda as multiplataformas “Open Source Audio Library Project”, o “PortAudio” e o "SMIX.
A nível do projecto que estamos a desenvolver, houve uma grande dificuldade em contornar problemas com as API’s áudio já que os sist emas surround praticamente não estão implementados. Nota-se claramente a preocupação da implementação de tecnologias de som 3D sobre stereo mas estão ainda numa fase inicial em relação ao som tridimensional surround.
No respeitante à utilização de técnicas sonoras no protótipo que a seguir descrevemos, gostaríamos de referir que:
-a investigação que estamos a efectuar tem uma abordagem prioritariamente musical e sonora e por extensão tecnológica.
-na abordagem que fazemos ao protótipo, consideramos fundamental conseguir o movimento de rotação circular horizontal num sistema surround através da distribuição de som com técnicas de paning .
-é importante conseguir a dimensão sonora semi- circular vertical, recorrendo a técnicas de paning mas, com uma colocação de colunas de maneira a poder distribuir som verticalmente, respeitando alguns dos princípios das HTRF’s.
118
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL
das fontes sonoras deverá ser tratada da mesma forma mas acrescentando parâmetro de reverberação e o delay.
Embora não seja prioridade no projecto em curso, a dimensão de ambiente acústico deverá ser introduzida com técnicas semelhantes aos IRF’s já implementadas em algum software áudio como forma de recriação de ambientes acústicos em ambientes virtuais.