3.3 ÁUDIO EM RVI
3.3.2 Ferramentas para áudio em ambientes de RVI
Em principio qualquer tecnologia ou ferramentas/bibliotecas para áudio constante da Tabela 5 poderia ser portada ou adaptada para uso em ambientes de realidade virtual. Entretanto, o que se verifica é que a maioria das tecnologias baseadas em modelos perceptuais para espacialização (tipicamente voltadas para jogos) não são preferidas nos ambientes audiovisuais imersivos e em plataformas profissionais de realidade virtual, possivelmente devido a uma combinação de fatores, como a imprecisão física destes modelos e à necessidade real de auralização em tempo real.
Ainda, nos ambientes do tipo CAVE é comum a adoção de bibliotecas de gerenciamento globais, que incorporam as ferramentas de computação gráfica, de controle do ambiente computacional, e também bibliotecas para áudio, que na maioria das vezes satisfazem requisitos minimalistas de uso de som, principalmente nos ambientes e aplicações onde a visualização é priorizada.
Centramos nossa presente abordagem nas ferramentas utilizadas para programação e geração de áudio nestas plataformas. Nelas, o cenário de uso envolve atividades de pesquisa e desenvolvimento em engenharia e arquitetura, treinamento em funções especializadas (utilizando modelos e maquetes virtuais), em projeto de estruturas arquitetônicas, civis, e grandes espaços físicos, na navegação virtual em ambientes inóspitos, e finalmente em entretenimento avançado. A navegação nestes cenários virtuais requer técnicas imersivas de visualização e auralização avançadas, para garantir o grau de realismo e nível de imersão necessários.
As seguintes ferramentas são usualmente utilizadas em sistemas e ambientes voltados para aplicações de realidade virtual imersivas:
VSS
O VSS (Virtual Sound Server ou Vanilla Sound Server) é um pacote de software independente de plataforma, voltado para produção de som orientado a dados, e controlável pelas aplicações interativas42. Trata-se de uma biblioteca para
42
plataformas Irix, Linux, e Windows criada para complementar aplicações interativas desenvolvidas em C ou C++ com recursos sonoros (GOUDESEUNE, 2003).
O programa permite ao usuário controlar, coordenar e sincronizar sons produzidos por síntese direta por software, reprodução de amostras/arquivos, e sintetizadores externos como MIDI, MAX e OpenSound Control. Antes de se utilizar o VSS é necessário se criar um servidor para sonorização. Após, é estabelecida uma conexão entre o cliente e o servidor, e o cliente pode enviar comandos para a geração de sons. O controle e comunicação são efetuados por intermédio de atores, estes atores podem controlar diversos sons ao mesmo tempo. A comunicação é feita diretamente por IP, esta é especificada em linha de comando.
O sistema oferece as seguintes opções para disposição dos alto-falantes: a) 2 canais, b) 4 canais (frontal direito esquerdo e traseiro direito e esquerdo), e c) 8 canais (cubo).
Avango
Avango consiste numa estrutura de referência orientada a objetos para aplicações em realidade virtual43. A biblioteca Avango usa um servidor de áudio baseado no sistema de processamento de som MAX/FTS do IRCAM. O controle é feito via rede local, através do protocolo UDP. A integração com a cena audiovisual é descrita por meio de nós especiais no gráfico de cena.
Bergen Sound Server & Library
A biblioteca Bergen foi desenvolvida para ser uma versão simplificada do VSS distribuída gratuitamente (BERGEN, 2004). Assim como na arquitetura do VSS, existem os papéis do servidor e o cliente. Uma versão para Linux foi disponibilizada.
43
FMOD
O FMOD é uma biblioteca de desenvolvimento para aplicações sonoras com bons recursos, bem documentada, e gratuita (FIRELIGHT TECHNOLOGIES, 2004). Com ela é possível sintetizar sons com baixo consumo de processamento e memória. Uma de suas principais vantagens é operar em diversas plataformas (Windows, Windows CE, Linux, Macintosh, Play Station 2, Xbox) o que facilita muito a sua portabilidade. Suporta computadores com até 16 placas de som ou o uso de dispositivos como videogames. Também permite explorar recursos multimídia específicos da arquitetura, como por exemplo, o sistema MMX44 que pode aumentar a performance e qualidade da aplicação em até 2 ou 3 vezes.
Um aspecto atraente é seu suporte a diversos formatos de áudio (WAVE, AIFF, Ogg Vorbis, MP2, MP3, MIDI, AVI, etc.). Outra vantagem é sua capacidade nativa de executar simulações de espacialização (panoramas) e suporte a efeitos estereofônicos e Doppler.
VRJuggler Sound Library
O VRJuggler é uma biblioteca ampla, alternativa ao CAVELib, para gerenciamento de CAVE’s e para aplicações interativas, e possui uma biblioteca de desenvolvimento exclusiva para áudio, a VRJuggler Sound Library, além de suportar os recursos de som da biblioteca Performer. Sua utilização é, entretanto, de relativa complexidade. O grande inconveniente desta ferramenta é estar presa à biblioteca VRJuggler, limitando seu uso.
AuSIM
A AuSIM Engineering Solutions desenvolveu o sistema AuSIM3D. A empresa informa que a tecnologia “foi projetada para aplicações interativas como CAVE’s e outros ambientes imersivos, com a habilidade de integrar dispositivos head-tracking e fornecer uma perspectiva do mundo auditivo dinâmica, aliviando o problema
44
Multi Media eXtensions, tecnologia da Intel, consiste num conjunto de instruções para acelerar aplicações multimídia em PC.
conhecido por ‘perspectiva congelada’, e permitindo a correta correlação de todos os objetos gráficos móveis mesmo com o usuário movendo-se”45.
A solução primária da AuSIM é a simulação bi-aural, para fones de ouvido. A segunda solução é panorama por amplitude (SVPA), para matrizes de alto-falantes (multicanal). Para aplicações de CAVE suportam auralização independentes via fones de ouvido para diferentes usuários, utilizando fones com rastreamento.
A implementação de SVPA prioriza a liberdade do usuário dentro da CAVE, com imagem ótima focada no centro da CAVE, e sonorização para um mínimo de 14 alto- falantes sugeridos, para melhores resultados.
O sistema bi-aural da AuSIM é utilizado em várias CAVE’s, por exemplo a da NASA Langley’s International Space Station (EUA). O SVPA é usado por exemplo na Universidade de Helsinki, mas a AuSIM não tem CAVE’s com soluções suas de SVPA instaladas até hoje46.
Lake Huron
Lake Huron é uma plataforma proprietária de hardware/software baseada em DSP para aplicações otimizadas de áudio. Uma arquitetura modular expansível provê a flexibilidade para implementar soluções de complexidade diferentes. O sistema inclui um equipamento de rack para processamento DSP e placas de áudio para entrada/saída de áudio (analógico e digital) escalável de 2 até 512 canais.
O sistema provê recursos como ferramentas de configuração, virtual patchbay (central de conexões e gerenciador de entrada/saída), mixer, equalização, e uma suíte de módulos para simulações acústicas com diversas opções de renderização/auralização que incluem: AniScape (modelamento em tempo real do movimento da fonte e ouvinte em ambiente 3D), HeadScape (aplicação para avaliação de modelos acústicos baseada em fones de ouvido), MultiScape (aplicação
45
conforme em http://www.ausim3d.com/FAQ/audio.html
46
de navegação para múltiplos ambientes, fontes e ouvintes), BinScape (para renderização bi-aural com fones de ouvido), SpaceArray (aplicação multicanal para posicionamento de múltiplas fontes em espaço 3D utilizando até 50 alto-falantes), e Convolver (módulo para convolução de baixa latência e alto desempenho proprietário da Lake, capaz de 278.244 taps de convolução e instantânea troca de filtros). Este último módulo é talvez o mais atraente para desenvolvedores, e esta tecnologia tem sido licenciada para outros sistemas.
McGRATH (1994) reporta num artigo técnico da Lake experimentos com codificação e reprodução de campo sonoro com Ambisonics utilizando 12 alto- falantes e também reprodução em fones de ouvido, numa implementação associada ao módulo AniScape, que incorpora suporte a B-Format. Reporta que o campo sonoro é criado por simulação virtual acústica codificando em B-Format o raio direto e os 6 primeiros raios, além de um algoritmo para modelar a reverberação. A simulação acústica no AniScape é suprida pelo pacote CATT-Acoustics47, e o sistema, proprietário da Lake, utiliza os recursos de convolução de baixa latência patenteados da mesma. Dos sistemas revisados, este é o o único que combina ferramentas de alto desempenho para simulação acústica, suporte a auralização por Ambisonics e recursos de convolução de alto desempenho. Entretanto não há implementações adaptadas a ambientes audiovisuais imersivos com CAVE’s documentadas.
Wave Engine
O Wave Engine é o processador e gerador de áudio multicanal baseado em DSP desenvolvido por OGI (2003) e apresentado no item anterior.