espaço acústico incluindo a localização dos altifalantes. O interface usado pelo utilizador para definir as trajectórias do som por função a esta representação do espaço, é o cursor do rato, que vai definir num sistema cartesiano de coordenadas (x,y) a posição que ocupa por relação ao centro da figura geométrica. Essa posição representa a localização do som.
SPHERE GRAPH CONTROL
0. Speaker [1] Speaker [0] 0. 0. 0. Speaker [3] Speaker [2] Fig. 9
A técnica usada para conseguir trajectórias sonoras, ou seja a movimentação ilusória do som é feita através de um balanço da amplitude do som relativa aos difusores de som, os altifalantes. Enquanto que a maioria do software para espacialização de som implementa um sistema de balanço sonoro da amplitude do som entre um conjunto contíguo de dois altifalantes, em ‘Real-Move’ é implementado um novo sistema de distribuição dessa amplitude por n- altifalantes, dependendo da configuração do sistema de difusão em uso. Se por exemplo o sistema estiver configurado para quatro canais, é possível em qualquer momento distribuir o som nesses quatro canais de acordo com a posição do som/cursor relativo a esses quatro pontos de difusão. Esta distribuição é efectuada a partir do cálculo vectorial definido pelas coordenadas do cursor por relação às coordenadas dos quatro altifalantes. Se o sistema de difusão estivesse configurado a oito canais o mesmo tipo de raciocínio seria aplicado aos oito canais, etc. O “Sphere Graph Control” está dividido em áreas concêntricas diferenciadas pela cor que permitem alternar o uso desta nova implementação da distribuição da amplitude do
som a n-canais para a implementação clássica entre dois grupos contíguos de altifalantes. Assim sendo, o primeiro círculo, em azul, delimita a implementação a n-canais, o segundo anel em amarelo representa a implementação a dois canais e o terceiro anel em cor de rosa representa uma área em que o som se afasta para além dos altifalantes. Esta área é bastante importante pois é nela que os indicadores de distância versus amplitude são utilizados. ‘Real-Move’ está a ser desenvolvido de modo a substituir o controle da localizacão do som feita pelo cursor do rato sobre o Sphere Graph por um controlador MIDI, especificamente por uma luva MIDI. No futuro o utilizador deste programa poderá em tempo real controlar três fonte sonoras independentes, duas destas com as mãos com duas luvas MIDI e a terceira com os pés com dois pedais MIDI que fornecerão também as coordenadas (x,y) necessárias para a controlar a sua trajectória.
A utilização de luvas MIDI permitindo a gestualização das trajectórias do som terá um efeito visual e dramático muito mais rico do que a simples utilização do cursor do rato.
---AUTOMATION CONTROLS---
Table Index
PAUSE/RESUME PLAY/STOP
REC Ready MUTE CLEAR
ENABLE F(x)
2 5000
SCALE Tempo Play From Reverse Invert
Add % 52 write read
Transpose Amount 15000 Table Size 257 --- Fig. 10
Em termos de difusão de som em tempo real o programa irá lidar com três fontes simultâneas, mas poderá ainda e também simultaneamente difundir sons previamente espacializados cujas trajectórias foram gravadas e armazenadas. Existe em ‘Real-Move’ uma funcionalidade - um controle de automatização que permite que todas as movimentações realizadas pelo(s) controlador(es) sejam gravadas em tempo real de modo a posteriormente poderem ser reproduzidas. O que é relevante também é o facto de as trajectórias que foram gravadas poderem ser transformadas de várias maneiras. Por exemplo a trajectória de um som pode ser temporalmente acelerada ou atrasada; pode ser retrogradada, o que faz com que a trajectória seja reproduzida do fim para o princípio; pode também ser invertida no sentido em que os
99
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL valores gravados para cada altifalante podem ser
invertidos por relação a um eixo de simetria; podem ainda ser transpostos ao ser adicionado ou subtraído uma dada quantidade aos valores da amplitude; e podem ainda ser espelhados o que faz com que uma dada trajectória passe a ocupar uma posição simétrica à original no espaço de difusão.
‘Real-Move’ pode chamar quatro ou cinco gravações prévias de trajectórias sonoras e fazê- las coexistir com a movimentação de som em tempo real. Este limite pode naturalmente ser ultrapassado ficando dependente da existência ou não de espaço livre para abrir mais janelas no monitor do computador, uma vez que a cada trajectória gravada corresponde uma janela do “Automation Controls”.
Para além do controle em tempo real das trajectórias do som através de controladores, ‘Real-Move’ implementa também um sistema mecanizado de espacialização sonora que engloba por ordem de importância, trajectórias circulares, trajectórias paralelas por grupos de altifalantes e trajectórias geradas aleatoriamente.
X SND + VST ROTATION Phase del Motion Type time/cycle ms PAUSE Start location Speed 0
RADIUS Motion direction
clockwise speaker[0] 0. ON/OFF LOOP 0 0. TIME Adjust Off 0 Loop Nº Circular 0. Speed 2 0. 0 Radius 2 Move-pace Linear<-Speed 0. 0. Y
Fig 11 Trajectórias de som mecanizadas
No caso das trajectórias circulares que têm frequentemente sido usadas em composições de música electroacústica para reprodução multicanal, ‘Real-Move’ consegue fazer girar sons, com origem em qualquer ponto do espaço acústico e com um máximo de velocidade correspondente ao tempo de 25 milisegundos para um ciclo completo de rotação. O som a ser girado pode fazê-lo nos dois sentidos, sendo estes possíveis de serem alternados em tempo real. A distância da fonte ao ouvinte pode ser dinamicamente modificada em tempo real e a
velocidade angular associada à trajectória de rotação pode ser programada em função da distância da fonte à origem das coordenadas (onde se encontra o ouvinte ideal). Por exemplo a variação desta distância ao centro pode fazer com que a velocidade angular aumente o que faria com que quanto maior a distância maior a velocidade de rotação, ou pelo contrário, que a mesma diminua com o aumento dessa distância. É ainda possível realizar como já foi referido, outros tipos de trajectórias automatizadas. Destas destacam-se a movimentação paralela entre dois grupos de altifalantes de modo a criar um ‘efeito de mola’ – num sistema a quatro canais esta situação poder-se-ia verificar por exemplo com os canais 0 e 1 e os canais 2 e 3 a oscilarem alternadamente. É também possível gerar trajectórias aleatórias embora estas sejam à partida de menor interesse sob o ponto de vista musical.
Dada a flexibilidade da plataforma de programação usada para criar ‘Real-Move’, este programa permite a simultaneidade da reprodução de vários sons com trajectórias automáticas, da reprodução de sons previamente gravados e ainda da difusão de son(s) em tempo real.
Em relação aos indicadores da localização do som quando este se movimenta, foi incorporado em ‘Real-Move’ um processo de determinação do Efeito Doppler em tempo real. Este mede as variações de velocidade que geram uma modificação na propagação das ondas sonoras causando alterações na percepção da frequência.
Fig. 12
A latência na computação do som animado de movimento é de 100ms. Ou seja, para o som que está a ser movimentado é feita 10 vezes por segundo, um cálculo da distância a que ele se encontra relativamente ao centro das coordenadas. A partir destes cálculos é
Reference Speed
Reference FACTOR to multiply by the incoming frequency
p convert_units_to_meters 0. p get_speed 0. 0. p doppler_formula 0. SPEED KM/H DISTANCE in meters covered in 100ms
Speed m/s
SPEED KM/H abs
d1-d0 Sampling time for
distance (default =100ms)
constantemente determinada a velocidade (ou melhor, as variações de velocidade) que a fonte exibe. Este processo permite determinar, pela aplicação das fórmulas do efeito de Doppler o aumento ou a diminuição da frequência percepcionada pelo ouvido.
Quando ‘Real-Move’ é utilizado no modo de espacialização em tempo real de um ficheiro reproduzido a partir do disco rígido, existem várias opções em relação à distribuição nos vários canais, do tipo de ficheiros sonoros a difundir:
Pode-se optar que um simples ficheiro monofónico alimente todos os canais do sistema de difusão, sendo criada a ilusão do movimento do som pelo controle da panorâmica desses canais; pode-se optar também por difundir pares de sons estéreo. No caso do sistema estar configurado em quadrafonia obter-se-ia dois pares de som estéreo, por exemplo, um par à frente e outro atrás. É também possível atribuir a cada um dos canais do sistema de difusão um ficheiro monofónico totalmente diferente. Neste último caso há ainda a possibilidade de efectuar, paralelamente à espacialização manual do som, uma rotação linear desses ficheiros pelos diversos canais do sistema de difusão de modo a criar um elemento extra de variação tímbrica no espaço acústico.
SOUNDFILE DISCRETE CONTROLS
__________________________________________________________________________________________ OpenPlay AUDIO LEVEL
CH[0] CH[1] CH[2] CH[3]
SPACE Loop Pause Mute Start play
0. Trans 0. S-Amp
0 0
End play CUES
0. 0. 0 0 0. 0. 0 0 0. 0. 0 0 T-ByP Solo Fig. 13
Um dos aspectos mais interessantes do programa ‘Real-Move’ é a capacidade que este possui de poder aceitar para cada um dos canais de difusão, e de modo independente, a presença de algoritmos para processamento digital de som. Este tipo de arquitectura permite que um dado canal de difusão se associe e possa ser identificado pelo tipo de processamento de sinal que nele está a acontecer.
Por exemplo, em quadrafonia, se se tivesse optado por carregar o mesmo som nos quatro canais, seria possível diferenciá-los através do uso de um processamento diferente para cada um desses canais (ex: canal 1 = modulação em anel; canal 2 = Filtro, canal 3= reverb, canal 4 = transposição. Poder-se-ia também usar o mesmo processamento para todos os canais e alterar ligeiramente os parâmetros do processamento em cada canal individual).
VST LEVEL Edit
Plug Mute ByPs MiX
0. 0. 0. 0. Write Read VST DISCRETE CONTROLS ________________________________________________ CH[0] CH[1] CH[2] CH[3] SPACE Fig. 14
Outra característica que o software ‘Real- Move’ permite implementar é a espacialização ou a movimentação de um efeito ou processamento associado ao som. A conhecida designação/parâmetro “wet/dry” que gere a quantidade de processamento que um som é sujeito pode ser usado de uma forma dinâmica sendo esse parâmetro, ele próprio, espacializado dentro do espaço de difusão. Para este fim os canais de difusão devem todos ter o mesmo som e o mesmo processamento sobre esses sons idênticos. A técnica de espacialização do balanço “wet/dry” que um som tem utiliza o mesmo paradigma de distribuição de valores numéricos que são usados para a escolha das amplitudes quando se está a gerar um movimento ilusório do som.
Open Discrete VSTs Wet/Dry
7.1
CH[0] Mute Plug Edit VST 1 vst->4 channels ByPs CH[1] CH[2] CH[3] Fig. 15‘Real-Move’ é uma aplicação ainda em fase de desenvolvimento à qual serão adicionadas novas funcionalidades num futuro próximo. Nomeadamente:
- Difusão a oito e a d ezasseis canais - Localizadores para o eixo vertical
- Novo interface com controladores MIDI (luva MIDI, etc)
- Redimensionação em tempo real do tamanho do espaço de audição incluindo a posição da distribuição dos altifalantes - Criação de efeitos de reverberação
dependentes da redimensionação acima descrita (com controle do rácio som reverberante/som directo)
101
Copyright © ARTECH 2004 – 1º Workshop Luso-Galaico de Artes Digitais 12 de Julho de 2004, FC - UL - Filtragem do som em função da distância
- etc
Esta aplicação começou por ser desenvolvida com o intuito de ser uma ferramenta para a criacão musical e para a performance, nomeadamente para a criação de obras de música electroacústica com difusão multicanal, mas a diversidade das suas características permitem um uso mais alargado das suas potencialidades, em aplicações como: áudio para Realidade Virtual; Pós-produção de som para filme e cinema; instalações sonoras; desenvolvimento de som para jogos de computador, etc, etc.
REFERÊNCIAS
1. Begault D. 1994, 3-D Sound for Virtual realityand Multimedia, Academic Press
2. Begault, D. 1996, Audible and inaudible early reflections: Thresholds for auralization system design. 100th Convention of the Audio Engineering Society, (Copenhagen, Denmark, 1996), Preprint 4244.
3. Begault, Wenzel, Lee, Anderson. 2000, Direct comparison of the impact of head tracking, reverberation, and individualized head-related transfer functions on the spatial perception of a virtual speech source. 108 th Convention of the Audio Engineering Society, (Paris, France, 2000), Preprint 5134.
4. Blauert, Jens 1996, Spatial hearing, MIT press
5. Bregman, Albert 1990, Auditory scene analyses, MIT press
6. Bronkhorst, A. W. 1995, Localization of real and virtual sources. Journal of the Acoustical Society of America, 98, (1995)
7. Chowning, John 1972, The simulation of moving sound sources, Journal of Acoustical Society of America
8. Coleman P.D. 1962, Failure to localize the source distance of an unfamiliar sound., Journal Acoustical Society of America ,vol. 34:345-346,1962.
9. Coleman P.D. 1968, Dual role of frequency spectrum indetermination of auditory distance. . Journal Acoustical Society of
America,vol.44:631-632,1968.
10. Cook, Perry 1999, Music, Cognition and Computerized sound, MIT press
11. Cook, Perry 2002, Real sound synthesis for interactive applications, A K Peters
12. Cook, Essl, Tzanetakis,Trueman 1998 Multi-speaker Display Systems for Virtual Reality and Spatial Audio Projection,
proceedings of the International Conference on Auditory Displays, ICAD1998, Glasgow, 1998.
13. Hartmann, William 1998, Signals, Sound and Sensation, Springer
14. Matthews, Max 1989, Current directions in Computer Music Research, MIT press
15. Mershon D..and King L.E. 1975, Intensity and reverberation as factors in auditory perception of egocentric distance."Percept Psychophysics ,18: 409-415,1975.
16. Moore, Richard 1990, Elements of computer music, Prentice Hall
17. Plenge, G, 1974, On the Differences between Localisation and Lateralisation, in Journal of the Acoustical Society of America, Volume 56
18. Pulkki, Ville 1999, Virtual Sound Source Positioning Using Vector Base Amplitude Panning
19. Pulkki, Ville 1999, Uniform spreading of amplitude panned virtual sources, Proc. 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acosutics, New Paltz, NY 1999
20. Roads, Curtis 1998, The computer music tutorial, MIT press (3rd printing)
21. Roads, Curtis 2001, Microsound, MIT press 22. Roads, C, Pope, Picciali 1997, Musical Signal Processing, Swets&Zeitlinger 23. Rumsey, Francis 2001, Spatial audio, Focal Press
24. Shinn-Cunningham, B. 2000, Learning Reverberation: Considerations for Spatial Auditory Displays, Proceedings of the
International Conference on Auditory Displays ICAD 2000, 126-134, April 2000.
25. Warren, Richard, 1999, Auditory Perception, A NewAnalysis and Synthesis, Cambridge University Press.