O WAVE - A Virtual Audio Environment é um projecto actualmente em curso no Departamento de Sistemas de Informação da Universidade do Minho. Este projecto propõe uma investigação multidisciplinar e desenvolver um modelo/protótipo de instrumento musical imersivo polivalente de nome WAVE. Este protótipo associa ao mesmo tempo a criação e a performance musical num ambiente de realidade virtual, incorporando novas funções tecnológicas musicais/sonoras com aplicação em vários campos como a educaç ão ou o entertainment.
Fig. 22 Modelo de interacção no WAVE
A razão base para este projecto é a falta de resposta dos instrumentos musicais tradicionais face aos novos desafios sonoros da composição musical electroacústica, tanto a nível da conceptualização como a nível da interpretação (performance).
Esta investigação envolve múltiplas competências, conhecimentos e experiência nomeadamente a nível de computação gráfica, realidade virtual, digital signal
processing, tecnologia musical, information retrieval,
acústica, interpretação, motricidade, e psicologia. Estas áreas são agrupadas em 3 grandes domínios da investigação: HCI (Human Computer Interaction), Realidade Virtual e Som/Música conjugados de maneira a resolver questões orientadas para a tridimensionalidade visual, sonora e de cinética.
O protótipo em desenvolvimento deve reproduzir paradigmas que se mostrem, válidos, úteis e consistentes
quando comparados com os dos instrumentos musicais tradicionais, mas ao mesmo tempo possibilitem abrir caminhos para a criação de novos e bem sucedidos instrumentos musicais tecnológicos.
Por outras palavras, consideramos importante neste projecto, por um lado, medir diferentes modos de controlo do intérprete, possibilitando novos canais expressivos musicais e, por outro lado, incorporar algum grau de inteligência no interface de forma a permitir que gestos musicais simples possam despoletar e moldar frases musicais complexas. Simultaneamente importa complementar estes mesmos instrumentos com um grande feedback visual, num ambiente de realidade virtual de múltiplas visualizações, de maneira a permitir a gestão/interpretação eficaz dos parâmetros de controlo, dos canais expressivos e dos automatismos inteligentes incorporados (Fig. 22).
Este cenário/instrumento virtual pretende nesta perspectiva disponibilizar a diferentes perfis de utilizadores a possibilidade de interagir directamente na composição, improvisação e exploração musicais ou no mero entretenimento.
A aplicação contém essencialmente 4 grupos de objectos:
-uma escala musical simplificada (pentatónica) -4 conjuntos com escalas cromáticas e 4 conjuntos de efeitos sonoros e padrões musicais
-um conjunto de selectores de ficheiros áudio ordenados por estilos (dance, jazz, rock)
-um slider para portamentos.
Adicionalmente, tem ainda um conjunto de objectos auxiliares para mudança de timbre, altura, ficheiros áudio ou efeitos, e uma caixa com transport controls (play, record, stop e rewind ).
A movimentação tridimensional das fontes sonoras é efectuada através do arrastamento dos objectos referidos no espaço visualizado, arrastamento este a que corresponde um zoom in, zoom out, deslocamento para a esquerda, direita, para cima ou para baixo conforme o movimento do utilizador sobre os objectos em questão.
119
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL
Para o utilizador, o sistema WAVE centra -se num ecrã de grande dimensão (Fig. 23) com visualização através de óculos stereo activos para induzir a impressão de imersividade. A sua implementação permite utilizar vários tipos de tecnologias de visualização tais como monitores vídeo (CRT’s), projectores vídeo com tecnologia DLP, head mount displays, 3D displays e high
performance projection tables.
Quanto à componente áudio, há ainda neste momento alguns problemas no entanto, uma das particularidades do sistema é a tentativa de posicionamento de altifalantes em 2 círculos sonoros, um vertical e outro horizontal, usando placas de som e sistemas sonoros de baixo custo, mas com qualidade profissional.
Em relação ao processamento, o sistema usará apenas um computador pessoal para controlar o instrumento virtual e a aplicação é basicamente construída num sistema operativo Linux SUSe 9.1, utilizando o OpenSG com o VR Juggler.
Ao nível destes recursos, o OpenSG incorpora funções a baixo nível manip ulação de matrizes, translações rotações e o VR Juggler controla aspectos de baixo nível do sistema e fornece um interface genérico de input e
output para periféricos além de controlar o rendering dos
grafismos, os periféricos de realidade virtual, o sistema de projecção vídeo, o multi-processamento e os processos de sincronismo.
Os principais motivos que levaram à escolha destes recursos foram, por um lado, o facto do sistema se tornar facilmente portável e, por outro lado, o facto de serem ferramentas de uso livre.
Quanto ao sistema de posicionamento, foi usado um sistema magnético de uso genérico com 3 coordenadas, o Flock of Birds da Ascension, por ser aquele que estava disponível no timing com que decorre o projecto de investigação. Apesar desta limitaç ão, fica disponível na aplicação a funcionalidade de interacção com vários sistemas de posicionamento em simultâneo, de maneira a que o sistema possa vir a ser usado por vários utilizadores simultâneos.
Pretendeu-se desenvolver um modelo que:
-implemente a dimensão “tempo” nos timbres, não possível com instrumentos acústicos;
-implemente os timbres/sons na perspectiva tridimensional;
-tenha um elevado grau de feedback visual de maneira a permitir uma eficiente gestão e controlo dos parâmetros, a assegurar a repetibilidade de resultados sonoros e a previsão/antecipação cognitiva de frases e ideias musicais;
-utilize a combinação de mais de um sistema de posicionamento independentes e com abordagem de
conceitos diferentes;
-possa ser usado quer ao nível do entretenimento, quer ao nível da educação artística e simultaneamente ser um instrumento de composição, interpretação e experimentação;
-possa despertar faculdades artístico/sonoras a utilizadores com diferentes competências musicais, diferentes idades e diferentes preferências musicais;
-permita criar frases musicais a partir de gestos simples e, ao mesmo tempo, controlar o comportamento dos sons e timbres, dando aos utilizadores a possibilidade de gerir canais expressivos e técnicas inteligentes de controlo do instrumento.
Os resultados esperados no final do projecto são a concretização de um modelo de instrumento musical imersivo que poderá ser tocado com um ou vários sistemas de posicionamento simultâneos e que inclua as seguintes características:
-ambiente interactivo de Realidade Virtual, que incorpore, de uma forma simples e natural, temáticas como o som, música e interpretação
-reprodução de som tridimensional em surround -possibilidade de múltiplos utilizadores e com diferente perfil
-feedback visual da acção sobre os objectos -elevado controlo sobre o ambiente imersivo
-liberdade possível de movimentos com a eliminação possível de cabos
-repetibilidade da performance musical
-possibilidade de tomar decisões musico/cognitivas em tempo real.
Na parte final do projecto será elaborado um conjunto de materiais técnicos e descritivos, entre os quais se contam o manual de descrição técnica e o guia do utilizador. Será feita também a avaliação da
acceptability do protótipo, usando para isso
instrumentos de avaliação de investigação, como o TAM - Technology Acceptance Model, teoria de sistemas de informação que apresenta modelos de aceitabilidade e utilização da tecnologia.
Conclusão
Neste artigo fez-se referência à evolução de sistemas de sensores e tecnolo gias sonoras para controlo tridimensional.
O projecto WAVE tenciona disponibilizar um protótipo de um instrumento musical imersivo com a utilização de tecnologias acessíveis de maneira a que este tipo de instrumentos cheguem brevemente ao grande público
Apesar do resultados até agora conseguidos, continuaremos a procurar sistemas de sensores mais
120
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL
eficazes e acessíveis, do mesmo modo que continuaremos na busca de formas mais efectivas de controlar o som em ambientes tridimensionais. Adicionalmente, procurare mos novos caminhos para controlar novos timbres.
Contamos assim desenvolver um sistema de Realidade Virtual que possa servir o entretenimento, a educação artística e ao mesmo tempo se torne uma séria ferramenta de composição, interpretação e experimentação .
REFERÊNCIAS
[G. Brooker, 2004] G. Brooker, Sensors & Signals 2004
[W. Putnam, 1996] W. Putnam and R. B. Knapp, Input/Data Acquisition System Design for Human Computer Interfacing, 1996
[Electronic Music Foundation, 20003] Electronic Music Foundation in
http://emfinstitute.emf.org/exhibits/luciersolo.html, 2003 [T. Marrin, 2000] T. Marrin, Inside the Conductor’s Jacket:Analysis, Interpretation and Musical Synthesis of Expressive Ge sture, Massachusetts Institute of
Technology 2000
[NewMusicBox 1999] Baton Interfaces ,
NewMusicBox 1999, http://www.newmusicbox.org/third- person/oct99/batons.html
[Institute of Electrical and Electronics Engineers, 1997] LaserWall, Institute of Electrical and
Electronics Engineers, 1997
http://www.spectrum.ieee.org/select/1297/laser.html [F. Sparacino, 2000] F. Sparacino, G. Davenport, and A. Pentland
IBM Systems Journal Vol. 39, Nos. 3 & 4, 2000, p. 479 - Issue Order No. G321-0139
[GameCODA , 2004] GameCODA – About, http://www.gamecoda.com/ , 2004
[R. Alexander, 1999] R. Alexander, The Inventor Of Stereo: The Life & Works Of Alan Dower Blumlein, ISBN 0-240-51628-1, Publ. Focal Press, 1999
[R. Elen, 1991] R. Elen, Whatever Happened to Ambisonics?, in AudioMediaMagazine, November, 1991 http://s2n.org/Art icles/Ambisonics.html [M. Talbot, s/d] M. Talbot - Holographic Universe- The Universe as a Hologram in
http://www.crystalinks.com/holographic.html [B. Gardner, 1994] Gardner B. and Martin K., HRTF Measurements of a KEMAR Dummy -Head Microphone, MIT Media La b, May 1994
[A. Menshikov, 2004] A. Menshikov, Modern Audio Technologies in Games, 2004
[Wikipedia, 2004] Application programming interface in: http://en.wikipedia.org/wiki/API, 2004
121
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL