Aplicações e Serviços Existentes

Presentemente, as aplicações e serviços existentes que mais directamente trabalham as relações de sinestesia entre som e imagem servem os seguintes propósitos:

 Fins terapêuticos;

 Fins de composição musical digital, também num âmbito educativo;

 Fins de planeamento e visualização de projectos performativos.

No contexto clínico de terapia de determinados estados alterados da consciência, foram desenvolvidos ambientes reactivos sob a forma de um serviço hospitalar, para pacientes autistas. Estes ambientes, dos quais Snoezelen é exemplificativo (figuras 30 e 31), compõem-se nas mais diversas formas e o seu objectivo é potenciar as sensações do paciente, através de estímulos sensoriais inter- relacionados, de modo a melhorar as suas capacidades comunicativas.

Figura 30. Espaço terapêutico baseado no conceito SNOEZELEN.

Figura 31. Espaço SNOEZELEN com fibra óptica.

No contexto da composição musical digital existem várias aplicações e programas com interfaces e possibilidades de criação diversas.

Iannis Xenakis é apontado por muitos autores como o primeiro a conceber um sistema digital de conversão/mapeamento de imagem para som. É em 1978 que

apresenta a sua primeira implementação do sistema UPIC (figuras 32 e 33).

O UPIC é uma ferramenta computacional de composição musical, desenvolvida no CEMAMu, Centro de Estudos da Matemática e Automação Musical, em Paris.

A mesa digitalizadora é o suporte do UPIC, onde o utilizador desenha com uma caneta electromagnética, num espaço bidimensional, onde o eixo do X representa a duração cumulativa, e o eixo Y a altura do som, obedecendo à metáfora da notação tradicional. O utilizador desenha ondas e envelopes de volume, passíveis de serem armazenados para posterior composição através da interface da mesa.

Figura 32. Iannis Xenakis no laboratório. Figura 33. Visualização do sistema UPIC.

O sistema funciona também em tempo-real, gerando o som de forma síncrona aos movimentos da caneta. Cada linha desenhada define um arco sonoro que tem associado um timbre, um envelope e uma intensidade, permitindo ainda o controlo da duração através de transformações de escalamento. As composições podem ser transpostas, invertidas, estando sujeitas a um número de transformações algorítmicas e gráficas (simetrias e rotações). Desta forma, são facilitadas várias escolhas musicais permitindo ao utilizador controlar todo o processo de composição musical, sem requerer qualquer experiência na programação ou habilidade instrumental.

O trabalho de Xenakis é base e referência para muitos sistemas de composição generativa de som e imagem desenvolvidos recentemente, implementando um conceito de notação gráfica que formula a composição musical segundo uma condição espácio-temporal, tornando-se generalizada pelos sistemas que se seguiram.

Exemplo disto é o projecto Small Fish, criado por Furukawa e Fujihata, em 1999, que apresenta uma variedade de interfaces, reunidos num CD educativo com 15 jogos de controlo de objectos animados num ecrã (Reuter, 2005). A interacção com esses objectos gera sequências poligonais de tons em tempo real. Baseado em eventos MIDI, o som é determinado pela forma e cor dos objectos de um ambiente animado.

O Makesound, concebido por Burrell, em 2001, cuja base de funcionamento se traduz em cada pixel da imagem representar uma secção de uma onda sinusoidal, segue a ideia de um espectograma. Já o Coagula, proposto por Ekman em 2003, usa um método de síntese sinusoidal, com um mapeamento particular de cor para som, usando coordenadas como tempo e eixo como pitch: o azul controla o conteúdo de ruído, enquanto o vermelho e o verde controlam a divisão stereo do som.

Tal como o Coagula, o MetaSynth (figura 34), de Eric Wenger e Edward Spiegel, criado em 2005, mapeia o vermelho e o verde para o stereo, enquanto o azul é ignorado. Ainda que seja um programa apenas para ambiente Macintosh, o MetaSynth é um programa de composição e mistura de música electrónica e design do som, oferecendo a possibilidade de transformar qualquer imagem num som. A versão mais conhecida é o

MetaSynth 4 que, além de permitir a produção de música electrónica e o design de som

para a criação de elementos áudio para cinema, vídeo, música e eventos multimédia, vem equipado com seis aplicações:

 Effects Room – Efeitos sonoros controláveis por envelope;

 Image Synth – Permite editar o som através da cor, traduzida para a posição

espacial e a claridade para a amplitude do som;

 Image Filter Room – Dispõe de uma interface visual para filtragem stereo do

som;

 Spectrum Synth – Usa sequências de síntese granular espectral, analisando sons

para uma sequência de eventos passíveis de transformar;

 Sequencer Room – Específico para composição de melodias e loops não MIDI

(Musical Instrument Digital Interface);

 Montage Room – Próprio para mistura de áudio.

Figura 34. Visualização do ambiente e interface do programa MetaSynth4.

Todas estas aplicações reunidas num só programa permitem a exploração da música micro tonal e macro tonal, o controlo do envelope da amplitude de cada nota, possibilitando essencialmente trabalhar com áudio que permite qualquer tom e frequência que os sintetizadores baseados em MIDI não permitem.

EE/CS 107b, criado por Suen Suen em 2004, usa uma FFT (Fast Fourier

Transform) 2D para cada layer RGB como base da transformação. Contudo, a relação

Imagem/Som não é muito evidente.

Já o Sonasphere (figuras 35 e 36) de Nao Tokui e Kark Willis, produzido entre 2002 e 2004, apresenta uma solução interessante. Este é um ambiente interactivo musical conduzido por movimentos cinéticos, desenvolvido apenas para Mac OS X. A aplicação é composta por três tipos de unidades funcionais, com forma esférica, que representam samples de sons (sample object, representasdo a azul), efeitos (effect

object, a verde) e mixers (mixer object, a vermelho), dispostos num espaço 3D. A

interacção é feita por intermédio do movimento do rato que estabelece uma rede de fluxos de sinal.

Figura 35. Visualização da interface do programa Sonasphere.

Figura 36. Esquema explicativo sobre os módulos de trabalho do som.

SoundPaint, da autoria de Jurgen Reuter, lançado em 2008, é uma ferramenta

que permite criação de colagens de som, baseada na transformação dos dados da imagem para dados áudio. A transformação rege-se pelas noções de notação gráfica

tradicional, usando os eixos x e y para expressar tempo e frequência,respectivamente.

As formas gráficas da imagem determinam o conteúdo musical da colagem sonora, sendo o som controlado pela cor. Apesar do nome parecer sugerir a ideia de pinturas sonoras, o projecto insere-se antes no paradigma da síntese de música electrónica através de composição gráfica. Reuter estuda o uso da cor na notação musical tradicional, ao longo do tempo, de modo a perceber a sua função, pois pretende que o seu protótipo respeite as características de notação musical, propondo, também, regras para o mapeamento de cor em som para aplicações do género.

O caso português também apresenta um leque bastante alargado e ambicioso de programas de composição sonoros, apresentando interfaces cada vez mais intuitivas.

O projecto PSOs (The Public Sound Objects), criado por Álvaro Barbosa, propõe uma forma de interacção intuitiva, baseada na manipulação de formas circulares e sua relação com o espaço onde estão circunscritas, às quais são atribuídos timbres de vários instrumentos musicais convencionais. A aplicação teve enorme receptividade e está disponível para várias plataformas. Veja-se alguns desses exemplos nas figuras 37, 38 e 39.

Figura 37. PSOs instalação. Figura 38. Fig. PSOs touch- screen.

Figura 39. PSOs em PDA.

O trabalho realizado por Rui Penha, inserido no projecto “Digitópia” – Plataforma de Desenvolvimento de Comunidades de Música Digital - procura oferecer alternativas de acesso e composição de música digital através de contextos informais e meios intuitivos. O Políssonos (figura 40) é a mais recente aplicação do autor e apresenta-se como um sequenciador MIDI baseado em loops, que se configura através da relação entre a divisão rítmica de tempo e as formas dos polígonos.

Figura 40. Visualização da interface do programa Políssonos.

Figura 41. Visualização da interface do programa Narrativas Sonoras.

O Narrativas Sonoras (figura 41), de Penha, baseado no paradigma da Musique

Concréte, é um sequenciador áudio que usa síntese granular, criado em Max/MSP. Na

especificação de requisitos para o design das suas interfaces, ainda que não tenha considerado estudos relativos ao fenómeno da sinestesia, o autor salienta a importância do uso da cor na variação do som dos objectos interactivos de cada programa. Em todos eles é proposto que cada cor esteja vinculada a uma voz/som diferente. Repare-se que o sucesso das aplicações depende da relação inerente entre imagem e som.

Outro projecto, de 2009, é designado de Colmus (figuras 42 e 43)proposto por

André Rangel Macedo (Rangel, 2009). Colmus é um projecto fundamentado, precisamente, pelas correspondências de sinestesia entre Luz (Cor) e Som (Música), justapondo o espectro de frequências visíveis e o espectro de frequências audíveis, através de modelação matemática. Esta aplicação resulta de um processo de composição intermédia multissensorial e é enunciado como um hiper-instrumento que concebe a correspondência já referida através de vários algoritmos que convertem a frequência do som para o comprimento de onda da cor (configurada segundo o sistema RGB).

A melodia e o ritmo são gerados em tempo real, tendo por base o algoritmo composicional. A interface permite aos utilizadores controlar a linha melódica e a composição com base em batimentos por minuto, através da monitorização dos seus movimentos e posição no espaço, oferecendo também manípulos de controlo. É um sistema de composição multissensorial que pretende implicar, segundo o autor, simultaneamente os sentidos da audição, visão e tacto dos utilizadores/performers. O sistema tem um modo de detecção de presença e ausência, que influencia a sua performance.

Figura 42. Hiper-instrumento Colmus. _{Figura 43. Visualização do hiper-instrumento, Colmus e} respectiva projecção visual das notas musicais.

Convicto de que os instrumentos musicais do futuro visam a expressividade aumentada e intuitiva da expressão artística, baseada numa relação de sinestesia entre cor e música, o autor propõe a correspondência cor – frequência – nota explícita no gráfico da figura 44.

Figura 44. Correspondência proposta por André Rangel entre o espectro visível e o espectro audível.

A performance visualization é outra das possibilidades de aplicação dos conceitos sinestésicos. Esta permite uma visualização dos passos e planeamento de performances artísticas e proporciona uma nova interacção através de uma explicação objectiva para a expressão musical e visual, possibilitando a visualização da performance musical numa imagem expressa em gráficos computacionais.

Rumi Hiraga, Reiko Mizaki e Issei Fujishiro apresentam o programa comp-i (comprehensive MIDI Player-Interactive) que fornece um ambiente 3D, permitindo a exploração visual de uma determinada concepção MIDI, de uma forma imersiva e intuitiva. A sinestesia surge, neste projecto, relevante por fornecer formas de mapear áudio para o visual para o controlo e acesso de informação disponíveis em vários tipos de sensores. É de facto sinestesia aplicada, pois diferentes configurações visuais permitem o controlo e manipulação de parâmetro de frequência, volume e tempo da nota musical, ancorados às características de altura, diâmetro e saturação de cor, respectivamente. São atribuídas formas cilíndricas, dispostas num eixo espacial, a cada nota musical, permitindo dispô-las por layers e ver a sua hierarquia. Comp-i fornece, portanto, um método objectivo para a performance que assenta nos ditames do fenómeno da sinestesia.

Tanto ao nível da programação criativa como ao nível da sua aplicabilidade e variedade de propostas, a sinestesia fornece dados e métodos que possibilitam desenvolver interfaces multimédia mais intuitivas e próximas do sistema perceptivo humano, abrindo caminho a novas possibilidades e campos de investigação.