Sensores som/música (protótipos)

Uma das tecnologias utilizadas em ambientes de Realidade Virtual é aquela que diz respeito aos sensores, elementos fundamentais em sistemas de posicionamento.

Os sensores são um subgrupo dos transducers que têm por função receber um sinal de input ou estímulo e responder com um outro sinal eléctrico em função de uma conhecida relação de input (Fig. 1). Os sensores podem ser eléctricos, electromecânicos ou electroquímicos [G. Brooker, 2004].

Fig.1

Numa típica aquisição de informação via sensores, a informação é passada ao computador num processo que consiste na estimulação dos sensores, na transmissão e condicionamento do sinal estimulado nos sensores e na aquisição de dados [W. Putnam, 1996].

A quantidade e o tipo de sistemas de sensores disponíveis no mercado é considerável. Fazendo uma pequena incursão por alguns dos catálogos disponíveis, encontramos diversificados tipos e categorias que reagem a diferentes tipos de estímulos. Apenas como exemplo, e apesar de não haver uma classificação standard, o site http://www.pacificsites.com/~brooke/Sensors.shtml, referia os seguintes tipos de sensores:

Tabela 1 Magnetic Acceleration Pressure Light IR Laser Cloud Temperature Humidity Tilt

Building Wall Stud Ultrasonic Gyroscopic Human movement Explosive Detection Gas Speech Smell Touch Rotary Angle Hobo Data Logger Fingerprint

Ao tentar adaptar sensores existentes a ambientes virtuais áudio ou mais propriamente a instrumentos virtuais imersivos, surgem naturalmente algumas dificuldades.

Nos últimos anos têm aparecido diferentes tipos de sensores capazes de responder a algumas exigências musicais no âmbito da posição e movimentos das mãos ou do corpo, mas a sua utilização em context os ou ambientes sonoros e musicais torna-se muitas vezes complexa. Nem sempre os sensores têm características adequadas a exigências dos músicos, compositores ou produtores de som.

O preço dos sistemas existentes ainda não atingiu níveis que permitam a massificação, sendo que pouco são, os que utilizam infra -vermelhos, ultra -sons ou videotracking,

capazes de dar ao utilizador uma liberdade de acção que os cabos e campos magnéticos retiram parcialmente, e a tridimensionalidade é por vezes substituída pela bidimensionalidade com tempo de latência elevado.

De uma forma genérica poderíamos afirmar que, tendo em conta a sua utilização em ambientes áudio - virtuais, os sensores deveriam ser discretos, com um baixo tempo de latência, sem fios, enquanto fornecia uma rigorosa localização 3D, permitindo uma maior liberdade de movimento, maior precisão, maior capacidade de interpretar dados e maior capacidade de mapeamento de eventos complexos, sem as restrições físicas de movimentos impostas por cabos ou outras barreiras.

Neste contexto torna-se urgente mudar algumas estratégias a curto prazo, para que tecnologias praticamente só existentes em laboratórios comecem a ser massificadas.

A história sonoro/musical dá-nos conta de alguns contributos decisivos para o actual estado de desenvolvimento da tecnologia de sensores com utilização musical.

A importância crescente que este tipo de sensores tem vindo a conhecer fica, aliás bem documentada no interesse que, sobretudo nestes últimos anos, centros de investigação de nomeada como o MIT - Massachusetts Institute of Technology ou empresas como a Yamaha têm vindo a mostrar por esta área tecnológica.

Assim, em 1920, Leon Theremin inventou um instrumento com uma abordagem completamente nova. O som passava a ser controlado por gestos. A mão direita controlava a altura do som (monofónico), enquanto a outra mão actuava sobre a amplitude. O Theremin (Fig. 2) chegou a ser comercializado regularmente pela RCA, e foi utilizado por alguns virtuosos intérpretes, entre os quais se notabilizou Clara Rockmore.

Fig. 2 Theremin Fig. 3 Radio Baton

Em 1987, Max Mathews em colaboração com Robert Boie construiu no Bell Telephone Laboratories o Radio

113

Baton (Fig. 3). Este equipamento era constituído por duas baquetas com transmissores de rádio de baixa frequência que se movimentavam sobre uma superfície plana que continha receptores. As baquetas produziam informação de posição 3D através da medição do sinal induzido entre dois osciladores da superfície plana controlada pelos eléctrodos das baquetas. O sinal das baquetas era sincronizado para diminuir o ruído e estender o raio de acção [Electronic Music Foundation, 2003].

O BioMuse (Fig. 4) foi desenvolvido pelo Stanford’s Center for Computer Research in Music and Acoustics (CCRMA), em 1989. Originalmente desenhado para permitir o uso estético e recreacional de computadores a deficientes físicos, este aparelho continha sensores de controlo de olhos (electrooculogram-EOG), de tensão muscular (EMG) e de ondas cerebrais (electroencephalogram-EEG). Os sinais eram encaminhados para um amplificador de sinal com um conversor analógico/digital para reconhecimento de padrões, fazendo depois o output de mensagens MIDI. A companhia BioControl Systems passou a comercializar este sistema desde 1992 [T. Marrin 2002].

Fig. 4 Biomuse Fig. 5 Lady’s Glove

Construída em 1991 por Laetitia Sonami, a Lady's Glove (Fig. 5) permitia através de movimentos expressivos dos dedos, mão e braços, interpretar música, controlar o som, equipamentos mecânicos e luzes via MIDI. A Lady’s Glove tinha implantados sobre uma luva de Lycra, uma série de microswitches, magnetos, sensores magnéticos, superfícies de pressão algumas flexíveis e outras duras, bem como transmissores e receptores de ultra-sons que detectavam a distância entre a luva e o chão. [Electronic Music Foundation, 2003].

O BodySynth construído em 1992 (Fig. 6), é um

wearable wireless em que as mensagens MIDI são

controladas por músculos, usado para gerar música e efeitos de luzes enquanto o intérprete se move ou dança. O sistema básico é composto por 4 sensores de tensão muscular, uma caixa de amplificação de sinal e transmissão wireless e uma unidade de processamento. A unidade de processamento, com um DSP dedicado, aplica vários filtros em tempo real como funções metronómicas, ajuste de tempo, detectores de picos áudio [T. Marrin, 2000].

Fig. 6 BodySynth Fig. 7 Miburi

A Yamaha comercializou no Japão em 1994 o Miburi (Fig. 7). O sistema era composto por 2 pequemos teclados (um para cada mão) com 8 botões, um casaco com 6 sensores flexíveis, um cinto com receptores e cabos para ligar o equipamento do cinto a um sintetizador. Os sensores distribuídos por todo o casaco, podiam ser usados por baixo ou por cima do casaco. A Yamaha desenvolveu uma linguagem gestual para este sistema na qual as notas eram especificadas através da combinação da configuração dos ombros e as teclas premidas nos controladores dos pulsos. Apesar de vários artistas e compositores terem utilizado o Miburi nas suas obras e não obstante o grande investimento feito durante 9 anos de desenvolvimento, o Miburi foi descontinuado [T. Marrin 2000].

Mais recentemente, o Digital Baton (Fig. 8) foi resultado de um projecto concluído no MIT Media Lab em 1996. Baseava-se num tubo de plástico que contendo 5 pequenas superfícies com sensores de pressão e 5 acelerómetros dispostos em array ortogonal. A multiplicidade de sensores utilizados permitiam um controlo expressivo sobre música electrónica permitindo ao interprete conduzir a música a um alto nível ou em baixo nível (virtuoso) controlando assim detalhes de sons particulares. O Digital Baton foi utilizado em vários concertos da Brain Opera [NewMusicBox 1999].

Fig. 8 Digital Baton Fig. 9 Sensor Floor

Concebido em 1997, o Sensor Floor (Fig. 9) usava uma superfície em mat com cerca de 1,8 x 3 metros contendo uma matriz de 64 sensores de pressão. A posição e o peso dos pés era medido sendo estes sinais depois convertidos para mensagens MIDI. A parte superior do corpo era monitorizada por um par de radares Doppler, com feixes de um array de 4 elementos. O Sensor Floor produzia mensagens MIDI a partir da quantidade de movimento, velocidade e

114

direcção.

O Conductor's Jacket (Fig. 10) foi apresentado em público por Keith Lockhart com a Boston Pops Orchestra a 4 de Junho de 1998. O casaco em causa tinha 16 sensores de diferentes tipos, reflectindo cada um, um diferente aspecto psicológico ou de movimento do utilizador/director.

Fig. 10 Conductor's Jacket Fig. 11 Imaginary Piano

Tarabella da Universidade de Pisa desenvolveu o Imaginary Piano (Fig.11). Neste sistema, o tracking dos dedos do utilizador é feito por uma câmara vídeo. A altura do som é definida pela posição das mãos na linha horizontal e o som era atacado quando as mãos chegavam a uma região determinada por uma coordenada vertical.

Muitos outros sistemas de sensores historicamente importantes se poderiam referir, mas que, dadas as limitações de espaço deste estudo, não podemos aqui descrever. A síntese de imagens que abaixo se podem ver, não deixa, no entanto, de realçar a sua importância como protótipos resultantes de longa e rigorosa investigação tecnológica e musical:

• solo Performer concebido por Alvin Lucier em 1965;

• the Hands, do início dos anos 80, por Michel Waisvisz;

• os DancingShoes construídos no MIT Media Lab em 1997;

• a VideoHarp, construída em 1990 por Dean Rubine e Paul McAvinney em Carnegie-Mellon;

• o Thunder criado em 1990 por Donald Buchla;

•

a "Sensor Chair", desenhada em 1994 por Tod Machover com uma equipa de engenheiros na qual se integrava Joseph Paradiso;

• o TwinTowers construído em 1995 por Leonello Tarabella;

• o Gesture Wall concebido em 1996 no MIT Media Lab;

• a Laser Harp usada em concertos por Jean Michel Jarre);

• a LaserWall em 1997 construída no MIT Media Lab;

• danceSpace na primeira versão construída no MIT em 1996;

• o Sbass, desenhado por Curtis Bahn em 2001;

• knock Tracker desenhado no MIT (2002). Destes, reproduzimos a seguir as suas imagens.

Fig. 12

Fig. 13

Fig. 14

No documento Artech 2004. Actas [do] 1º Workshop Luso-Galaico de Artes Digitais (páginas 124-126)