UNIVERSIDADE ESTADUAL DE CAMPINAS INSTITUTO DE ARTES
FERNANDO FALCI DE SOUZA
MÚSICA VISUAL GRANULAR
CAMPINAS 2016
FERNANDO FALCI DE SOUZA
MÚSICA VISUAL GRANULAR
Tese apresentada ao Instituto de Artes da Universidade Estadual de Campinas como parte dos requisitos exigidos para obtenção do título de Doutor em Música.
Área de Concentração: Fundamentos Teóricos.
Orientador: PROF. DR ADOLFO MAIA JÚNIOR
ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DA TESE DEFENDIDA PELO ALUNO FERNANDO FALCI DE SOUZA, E ORIENTADA PELO PROF. DR. ADOLFO MAIA JÚNIOR
_______________________________
CAMPINAS 2016
AGRADECIMENTOS
À Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) pelo apoio financeiro, por meio da Bolsa de Doutorado Regular (DR), processo no 2011/03713-2, nos períodos de junho de 2011 a janeiro de 2012, maio de 2012 a fevereiro de 2014 e março de 2015 a fevereiro de 2016, e da Bolsa de Estágio de Pesquisa no Exterior (BEPE), processo no 2013/23016-0, no período de abril de 2014 a fevereiro de 2015.
Ao Banco Santander pelo apoio financeiro por meio da Bolsa de Mobilidade Internacional no período de fevereiro de 2012 a abril de 2012.
Aos professores, funcionários e colegas do Instituto de Artes (IA) e do Núcleo Interdisciplinar de Comunicação Sonora (NICS) da Universidade Estadual de Campinas (UNICAMP) pelo apoio institucional e uso de suas facilidades onde muitas reuniões, apresentações, discussões, ou simples bate-papos aconteceram por todo o período de nossa pesquisa. Particularmente aos Profs. Drs. Jônatas Manzolli, Denise Hortência Lopes Garcia, Artemis Maria Francelin Sanchez Moroni, Samuel Rocha de Oliveira, Stéphan Oliver Schaub e Hermes Renato Hildebrand, pelas contribuições que trouxeram ao participar dos exames de Monografia e Qualificação.
Ao Prof. Dr. Marcelo Wanderley pela supervisão durante estágio de pesquisa realizado no Input Devices for Music Interaction Lab (IDMIL), McGill University, no período de fevereiro de 2012 a julho de 2012.
Ao Prof. Dr. Joseph Hyde pela supervisão durante estágio realizado no Centre for Musical Research (CMR), Bath Spa University, no período de abril de 2014 a fevereiro de 2015. Em especial ao Prof. Dr. Adolfo Maia Júnior pela orientação sempre muito motivada, por compartilhar suas ideias e por me incentivar a seguir os caminhos que foram surgindo ao longo de nossa pesquisa. O meu aprendizado com esta parceria vai muito além do conteúdo das próximas páginas.
Agradeço imensamente à minha mãe e minha irmã, Deomara Ana Falci e Claudia Monteiro de Castro, ao meu pai e a sua esposa, Luiz Carlos de Souza e Elisete Augusto de Souza, aos sobrinhos, aos amigos e a todos os encontros que me culminaram nesta realização.
RESUMO
Esta tese trata do desenvolvimento de um sistema de criação de obras de arte multimodais utilizando o “Paradigma da Granularidade”, que pode ser descrito como uma forma de criar objetos macroestruturais complexos por meio da organização de uma grande quantidade de microestruturas mais simples chamadas grãos. Esta tese está dividida em três partes. Na Parte I – Pontos de Partida, apresentamos os conceitos fundamentais das duas principais áreas envolvidas: a Síntese Granular e a Música Visual. A Síntese Granular é uma técnica de síntese de som que tem sua origem no modelo físico do som introduzido pelo físico Dennis Gabor em 1947. A Música Visual delimita uma subárea das artes audiovisuais na qual os elementos visuais de expressão consistem na cor, forma e movimento, apresentados em um discurso com momentos de tensão e resolução, reproduzindo assim, no domínio da imagem, as qualidades sensoriais associadas à música. Na Parte II – Síntese Granular Audiovisual, definimos uma possível extensão da Síntese Granular para o domínio da imagem, estabelecendo um modelo conceitual e um modelo computacional associado com o qual podemos gerar texturas multimodais complexas, formadas dinamicamente por grãos sonoros e visuais e seus possíveis tipos de correspondência, gerando correlações entre os dois domínios com grande expressividade artística. Para tal desenvolvemos dois sistemas de software em linguagem JAVA, o Granular Streamer e o Granular Drawer, que implementam, respectivamente, a síntese granular de som e de imagem. Completamos estes aplicativos integrando-os a diversas estratégias de controle de desenvolvimento próprio, como o Granular Score, uma partitura gráfica granular, e com o Kinect para controle gestual em tempo real, e também sistemas estabelecidos como, por exemplo, Pure Data, Ableton Live, Adobe After Effects. Na Parte III – Música Visual Granular, focalizamos o objeto de estudo pela ótica da prática criativa. Originando obras de Música Visual construídas a partir de grãos sonoros e visuais. É esta arte e sua técnica que denominamos “Música Visual Granular”, sendo esta a palavra-chave do título de nossa tese. Através desta arte criamos obras multimodais em mídia fixa e performances como forma de validação do quadro teórico e dos sistemas computacionais que desenvolvemos.
Palavras-chave: Síntese Granular, Síntese Granular Audiovisual, Música Visual Granular, Música Visual.
ABSTRACT
This thesis deals with the development of a system to create multimodal art using the “Granularity Paradigm” that can be described as a way to create complex macrostructural objects by organizing a large amount of simple microstructures denoted grains. This thesis is divided is three parts. In Part I – Starting Points, we present the fundamental concepts about the two main areas involved in this research: Granular Synthesis and Visual Music. Granular Synthesis is a sound synthesis technique originated in the physical model of sound introduced by Dennis Gabor in 1947. Visual Music specifies the aesthetic boundaries of a practice within multimodal art in which the visual elements of expression consists of color, form and movement, presented in a discourse with moments of tension and resolution, in this way reproducing the sensorial features usually associated with music. In Part II – Audiovisual Granular Synthesis, we define a possible extension of Granular Synthesis to the domain of image, establishing a conceptual model and an associated computer model with which we can generate complex multimodal textures made dynamically with sound and visual grains and possible types of correspondences between them. In this direction, we developed two systems using JAVA programming language, Granular Streamer and Granular Drawer that implement respectively the granular synthesis of sound and image. We completed this set of systems integrating them to many strategies of control, some of them of our own development like, for example, the Granular Score, a graphical score to organize and arrange sound and visual grains in differed time, and with the Kinect, that provides a gestural control, as well as established systems like, for instance, Pure Data, Ableton Live and Adobe After Effects. In Part III – Granular Visual Music, we focus the study object from the viewpoint of creative practice, that is, by creating and analyzing works of Visual Music built with sound and visual grains that we named Granular Visual Music, the keyword of this thesis. Therefore, we created fixed-media and performances works as a way to evaluate the theoretical framework and the computer systems we developed.
Keywords: Granular Synthesis, Audiovisual Granular Synthesis, Granular Visual Music, Visual Music.
SUMÁRIO
INTRODUÇÃO ... 12
Estrutura da Tese ... 14
Contribuições ... 16
PARTE I – PONTOS DE PARTIDA ... 17
Capítulo 1: Síntese Granular ... 17
1.1 Da flauta de osso à Síntese Granular ... 17
1.2 Fundamentos matemáticos da Síntese Granular ... 19
1.3 História e Tecnologia da Síntese Granular ... 23
1.4 Nossa motivação para a integração da Síntese Granular com a Música Visual ... 26
Capítulo 2: Música Visual ... 28
2.1 Da pintura rupestre à animação abstrata ... 28
2.2 Definições da Música Visual ... 29
2.3 Suportes da Música Visual ... 32
2.4 História e Tecnologia da Música Visual ... 33
2.4.1 Primeira geração de instrumentos musicais visuais ... 34
2.4.2 Segunda geração de instrumentos musicais visuais ... 35
2.4.3 Terceira geração de instrumentos musicais visuais ... 36
2.5 Estado da Arte no uso da Síntese Granular em Música Visual ... 37
PARTE II – SÍNTESE GRANULAR AUDIOVISUAL ... 39
Capítulo 3: Modelando a Síntese Granular de som ... 39
3.1 Objetos granulares... 39
3.1.1 Tipos de grão sonoro ... 39
3.1.2 Motivo, Trainlet e Palavra Granular ... 41
3.1.3 Pulsar e Stream ... 42
3.1.4 Nuvens Síncronas e Assíncronas ... 44
3.2 Objetos granulares complexos e processos de transformação ... 44
Capítulo 4: O sistema Granular Streamer ... 49
4.1 Instruções iniciais ... 51
4.2 Configuração do sistema ... 52
4.3 Mensagens de controle do tipo “grão” ... 59
4.4 Mensagens de controle do tipo “fluxo” ... 62
4.5 Mensagem de saída do tipo “grão criado” ... 64
4.6 Arquivo de grãos ... 65
Capítulo 5: Modelando a Síntese Granular Visual ... 66
5.1 A busca por uma correspondência absoluta entre o som e a luz ... 66
5.2 A definição de um grão visual ... 67
5.3 O tempo visual na imagem estática e animada ... 69
5.4 Correspondente visual para Motivo, Trainlet e Palavra Granular ... 70
5.5 Correspondente visual para Pulsar e Stream ... 71
5.6 Correspondente visual para Nuvens Síncronas e Assíncronas ... 72
Capítulo 6: O sistema Granular Drawer ... 74
6.1 Instruções iniciais ... 75
6.2 Mensagens de controle do tipo “grão visual” ... 76
6.3 Instâncias da Síntese Granular Visual ... 78
Capítulo 7: Modelando a Síntese Granular Audiovisual ... 80
7.1 Aspectos cognitivos da percepção multissensorial ... 80
7.2 Correspondências entre som e imagem ... 81
7.3 Tipos de correspondências entre grãos sonoros e visuais... 84
7.3.1 Correspondência Sintática Granular ... 84
7.3.2 Correspondência Sintática Estrutural ... 85
7.3.3 Correspondência Semântica ... 86
7.3.4 Grãos audiovisuais ... 87
Capítulo 8: Integrando os sistemas Granular Streamer e Granular Drawer ... 88
8.1 Arquitetura da integração ... 88
8.1.1 Controle direto simultâneo de ambos os sistemas de forma independente... 89
8.1.2 Controle indireto conectando o Granular Streamer ao Granular Drawer ... 89
8.2 O sistema Granular Score ... 92
8.2.1 Instruções iniciais ... 93
8.2.3 Funções complementares ... 95
8.3 Controle do sistema por captura de gesto livre ... 96
8.3.2 Síntese Granular Espacial ... 98
8.3.3 Desenho virtual em tempo real ... 100
PARTE III – MÚSICA VISUAL GRANULAR ... 102
Capítulo 9: Prática criativa ... 102
9.1 A Criação de Música Visual ... 102
9.2 Primeiros Experimentos em Síntese Granular Audiovisual ... 104
9.2.1 Círculos com cores opacas e deslocamento para cima ... 105
9.2.2 Círculos com cores transparentes e deslocamento para cima ... 106
9.2.3 Círculos com cores transparentes e esvanecimento ... 107
9.2.4 Linhas em um processo acumulativo ... 108
9.2.5 Experimentos em altas densidades ... 109
9.2.6 Experimentos com fotografias ... 110
9.3 Software complementar ... 111
9.4 A criação da obra “Uirapuru” como referência não granular ... 112
9.5 Metodologia para a criação de Música Visual Granular ... 114
Capítulo 10: A criação da obra “Rain” ... 117
10.1 Definição do conceito ... 117
10.2 Definição do material granular ... 117
10.3 Definição dos objetos granulares ... 120
10.4 Produção sonora ... 121
10.5 Produção visual ... 122
10.6 Discussão ... 124
Capítulo 11: A criação da obra “Belly Trick” ... 125
11.1 Parte A1 “Natureza e tempo” ... 126
11.2 Parte B1 “Underground” ... 129
11.3. Parte B2 “Passeios de bicicleta” ... 131
11.4 Parte A2 “Finale” ... 133
11.5 Discussão ... 134
Capítulo 12: A criação da obra “Contrapontos” ... 135
12.1.1 Contraponto 3 e o parâmetro tempo ... 137
12.1.2 Contraponto 4 e o parâmetro espaço ... 139
12.1.3 O contraponto 9 e a imitação ... 140
12.1.4 O contraponto 8 e o processos de transformação ... 141
12.2 Contrapontos Live ... 142
12.2.1 O contraponto do junto ou separado ... 142
12.2.2 O contraponto da forma perfeita ou ruidosa ... 144
12.2.3 O contraponto do sintético ou amostrado ... 145
12.2.4 O contraponto de estilos musicais ... 146
12.3 Discussão ... 147
CONCLUSÕES DA TESE E PERSPECTIVAS DE CONTINUIDADE DA PESQUISA ... 149
Discussão sobre o processo de pesquisa ... 149
Conclusões sobre a pesquisa ... 152
Perspectivas de continuidade da pesquisa ... 153
Introdução
Som e Luz são dois fortes estímulos que podemos captar com nossos sentidos e os mais importantes para perceber e interagir com o mundo que nos cerca. Durante o processo de evolução dos seres humanos, tanto os órgãos perceptivos, os ouvidos e os olhos, quanto o sistema nervoso central e a cognição, desenvolveram-se em mecanismos complexos de assimilação destes sinais. A humanidade, desde suas culturas mais primitivas, interessou-se em utilizar a experiência sensorial que podemos ter por meio destes sentidos para expressar formas de arte, as quais atualmente são denominadas artes sonoras e artes visuais.
Esta tese explora as possibilidades criativas de se trabalhar o som intimamente relacionado à imagem. Atualmente, esta relação é muito beneficiada pelos avanços da tecnologia digital dos computadores. A representação digital tanto de sons como de imagens, como ocorre em arquivos de computador, permite, não somente o armazenamento, mas também a síntese, análise, mapeamento e processamento de objetos sonoros e visuais de forma ágil e flexível, podendo até mesmo ocorrer em tempo real.
Dentre uma grande diversidade de algoritmos de síntese sonora, o foco desta pesquisa está no método conhecido como Síntese Granular, cuja ideia fundamental é gerar sons, timbres, texturas e música a partir do sequenciamento de partículas sonoras de duração muito curta, de poucos milissegundos até algumas centenas de milissegundos, também chamados de grãos sonoros. Assim, para se gerar um som mais longo e complexo, ou mesmo uma composição musical, utilizando esta técnica, uma grande quantidade de grãos é organizada em objetos granulares que são arranjados e transformados no tempo.
A tarefa de especificar os valores dos parâmetros para cada grão sonoro de uma composição é excessivamente trabalhosa, entediante ou, até mesmo, humanamente impossível. Sendo assim, uma área bastante consolidada da pesquisa em Síntese Granular trata de encontrar modelos de alto nível para controlar a geração de uma grande quantidade e diversidade de grãos sonoros a partir de um conjunto reduzido de parâmetros.
Embora esta estratégia apresente alguns resultados interessantes, ao nosso ver implica também em algumas desvantagens. Primeiramente, a utilização de um modelo de alto nível automatiza parcialmente a geração dos parâmetros dos grãos sonoros e consequentemente resulta em uma redução do espaço de possibilidades sonoras que a Síntese Granular apresenta. Além disto, considerando que a Síntese Granular é controlada por parâmetros que já estão fora
do vocabulário do músico tradicional e que os grãos sonoros costumam estar organizados no tempo de uma forma diferente da estrutura convencional da música com ritmo, harmonia e melodia, o emprego de um modelo de alto-nível, por sua vez controlado por parâmetros e conceitos inerentes ao modelo empregado, termina por aumentar ainda mais a distância entre o músico e o som, que de certa forma precisa aprender os termos e o funcionamento do modelo empregado para assim utiliza-lo mais eficientemente.
Motivados pela busca de uma solução alternativa, procuramos traçar correspondências visuais para a Síntese Granular, investigando a hipótese de que a visualização dos grãos poderia ser suficiente para guiar o compositor ou performer pelos processos sonoros granulares. Ou seja, queremos realizar uma extensão poética da Síntese Granular do domínio sonoro para o domínio visual e estabelecer também um mapeamento entre os dois campos definindo assim o que denominamos Síntese Granular Audiovisual.
Ao considerar a possibilidade de que a representação visual poderia ter não apenas a finalidade de análise e controle, mas também de adicionar expressividade ao trabalho, definimos a Síntese Granular Visual, isto é, um método para composição de imagens ou animações abstratas a partir de grãos puramente visuais. A seguir, verificamos que este tipo de trabalho se enquadra em uma subárea das artes audiovisuais chamada Música Visual. Assim, o resultado principal de nossa pesquisa é a definição de uma metodologia para de criação de obras de Música Visual por meio do paradigma da granularidade, que pode ser descrito como uma forma de criar objetos macroestruturais complexos por meio da organização de uma grande quantidade de microestruturas mais simples chamadas grãos, e que portando denominamos Música Visual Granular.
Estrutura da Tese
Esta tese está organizada em três partes, envolvendo diversas áreas que foram incluídas gradativamente na pesquisa conforme exibido na Figura 1. As partes indicam o caminho que percorremos, a partir de conhecimentos já estabelecidos, até chegar à Música Visual Granular, sendo assim, na Parte I, apresentamos os pontos de partida de nossa pesquisa: o Capítulo 2 dedicado à Síntese Granular e o Capítulo 3 à Música Visual. Estes dois capítulos têm um mesmo formato e são, por sua vez, divididos em seções que descrevem brevemente uma visão histórica das artes sonoras, desde a flauta de osso até a Síntese Granular, e das artes visuais, desde a pintura rupestre até a Música Visual, em seguida, apresentamos os conceitos teóricos fundamentais de cada área e detalhes das formas de produção conforme a tecnologia utilizada.
Figura 1: Diagrama das áreas envolvidas nesta Tese.
A Parte II, Síntese Granular Audiovisual, descreve o processo de desenvolvimento dos sistemas de software em capítulos pareados, sendo que em um deles definimos o modelo conceitual e no outro detalhamos a implementação dos sistemas citados em linguagem de programação JAVA. Embora a ênfase desta parte sejam os aspectos tecnológicos de nossa pesquisa, os capítulos que a constituem estão permeados por conceitos teóricos. Neste sentido, os Capítulos 4 e 5 apresentam um modelo de organização de grãos sonoros em objetos granulares complexos e em seguida descrevem o sistema Granular Streamer, nosso software que implementa a síntese granular de som. Os Capítulos 6 e 7 consistem da formalização da
Síntese Granular Visual e da descrição da implementação do Granular Drawer, nosso sistema para síntese de imagens apoiadas no conceito de grão visual. Nos Capítulos 8 e 9 apresentamos os aspectos teóricos de uma discussão frequente em Música Visual que são as correspondências entre som e imagem, abordando aspectos cognitivos da percepção humana. Estas teorias permitiram a definição de tipos de correspondência entre grãos sonoros e visuais, integrando a síntese granular de som com a síntese granular de imagem e, desta forma, formalizando a Síntese Granular Audiovisual. E então descrevemos como os sistemas Granular Streamer e Granular Drawer podem ser integrados, apresentando algumas opções de sistema de controle simultâneo.
A Parte III, Música Visual Granular, tem enfoque nos processos de criação de algumas composições nossas que por sua componente estética podem ser vistas como uma forma de avaliar o modelo que definimos e o sistema que implementamos. Resumidamente, no Capítulo 10, apresentamos os primeiros experimentos práticos que realizamos, introduzimos os sistemas comerciais e de terceira parte que utilizamos na criação das obras, definimos uma metodologia para a pratica criativa e descrevemos o processo criativo da obra de referência “Uirapuru”. Nos capítulos seguintes, 11, 12 e 13, descrevemos o processo criativo de três obras que visam validar a aplicação de nossos sistemas na criação e Música Visual Granular, são elas: “Rain”, “Belly Trick” e “Contrapontos”. Finalmente, no Capítulo 14apresentamos uma discussão sobre o processo de pesquisa, as conclusões e perspectivas futuras de trabalho.
Contribuições
Por se tratar de uma pesquisa interdisciplinar que envolve a fundamentação teórica, o desenvolvimento de sistemas, e a prática criativa, este trabalho contribuições distintas listadas a seguir:
Uma breve revisão dos conceitos fundamentais e uma pesquisa sobre o atual desenvolvimento das áreas da Síntese Granular e da Música Visual;
A definição de um modelo de organização de imagens e animações a partir de uma abstração da Síntese Granular de som, isto é, um modelo de Síntese Granular Visual;
Uma definição dos tipos de correspondência entre grãos sonoros e visuais, ou seja, a definição da Síntese Granular Audiovisual;
Uma metodologia para a criação de obras de Música Visual Granular;
Diversos sistemas digitais, desenvolvidos em linguagem JAVA, nos quais implementamos a Síntese Granular de som (Granular Streamer), Síntese Granular Visual (Granular Drawer), uma partitura granular (Granular Score) e uma interface gestual (com o Kinect);
Um conjunto de obras de Música Visual acompanhadas de uma análise descrevendo como podem validar a aplicabilidade do modelo conceitual e dos sistemas digitais desenvolvidos;
Um relatório sobre o processo desta pesquisa, suas conclusões e possíveis direções futuras e caminhos não explorados para a continuação desta pesquisa na interseção das áreas da Música Visual e Síntese Granular.
PARTE I – PONTOS DE PARTIDA
Capítulo 1: Síntese Granular
Neste capítulo apresentamos a Síntese Granular, primeiramente, localizamos esta técnica de síntese sonora dentro da história da música. Em seguida, descrevemos a Teoria de Gabor e os aspectos físicos deste modelo de representação do som. Continuamos apresentando fatos históricos da própria Síntese Granular relacionados com a tecnologia empregada para sua produção e uso na composição musical. Por fim, apresentamos a motivação que nos levou a procurar a integração da Síntese Granular com a Música Visual.
1.1 Da flauta de osso à Síntese Granular
O som é uma perturbação periódica (onda mecânica) que se propaga longitudinalmente em um meio material elástico através de compressões e expansões deste meio que se alternam. Esta propagação de uma frente de compressão carrega uma forma de energia chamada de Energia Elástica e quando atinge a fronteira com outro meio de propagação a energia é parcialmente refletida e parcialmente absorvida. Quando a superfície atingida é um tímpano humano, a energia absorvida continua se propagando pelo ouvido médio e pelo ouvido interno até atingir as células ciliares da membrana basilar, onde é convertida em impulsos eletroquímicos que se propagam pelos neurônios do sistema nervoso central (Roederer, 1998). A música é um fenômeno universal e está presente em todas as culturas do homem. Embora não se conheça exatamente por que se faz música, sabe-se que a música evoca emoções de forma muito particular. Enquanto vantagem evolutiva, alivia a sensação de desconforto que sentimos quando temos um conflito de conhecimentos, isto é, quando recebemos uma nova informação que é dissonante de um aprendizado anterior, auxiliando na formação de grupos mais coesos e cooperativos (Perlovsky, 2013).
Embora não se conheça uma datação exata, há milhares de anos atrás, os seres humanos desenvolveram a habilidade de criar instrumentos musicais e a partir daí a organização dos sons na forma que socialmente se conhece como música. Fundamentalmente, qualquer objeto que produz som pode ser considerado um instrumento musical, dependendo unicamente do propósito de seu uso. Sendo assim, objetos percutidos de pedra ou madeira, chocalhos e flautas de osso do período paleolítico, são os primeiros instrumentos musicais utilizados pelo
homem (Sachs, 1940). Embora a tecnologia de confecção destes instrumentos tenha se modificado e avançado ao longo do tempo, durante muitos séculos, de fato, por milhares de anos, desde a música primitiva até fins do século XIX, estes instrumentos formaram o conjunto de dispositivos com os quais fazemos música. Deve-se ressaltar, no entanto, que instrumentos musicais são criados cotidianamente ao redor do mundo, muito mais agora com toda a tecnologia eletrônica e digital à disposição do músico e do inventor. Chega-se ao paroxismo de se criar um instrumento para ser utilizado na performance única de uma obra. Abaixo apresentamos alguns momentos importantes desta evolução.
Uma mudança significativa na composição musical ocorreu no fim do Século XIX com a invenção do alto-falante, originalmente parte integrante de um telefone, mas que em pouco tempo passaram a ser utilizadas também na fabricação de instrumentos musicais eletrônicos. Estes instrumentos resultaram em uma grande ampliação de possibilidades sonoras ao adicionar os sons sintetizados e processados à paleta de sons acústicos e naturais. O Theremin é um dos primeiros instrumentos desta família, criado na Rússia em 1920, por Léo Theremin, nele o instrumentista movimenta livremente suas mãos perto de duas antenas e com isso controla a frequência e a amplitude de um oscilador conectado a um alto-falante (Glinsky, 2000).
Como parte destes mesmos avanços tecnológicos, foram inventadas formas de armazenagem do som, primeiramente em cilindros e discos de cera, vinil ou metal, posteriormente em meio magnético e, depois, em meio digital. O som, como sequência de compressões e expansões, pode ser capturado por um microfone e convertido num sinal elétrico periódico s(t) e, inversamente, o sinal s(t) pode ser convertido em som por um alto-falante. Microfones e alto-falantes são exemplos do conceito de transdutores em engenharia elétrica, os quais transformam sinais de diferentes naturezas um no outro. Além da reprodução, a armazenagem também permite a análise e a modificação do som. Em 1963, Max Mathews publicou um artigo no qual apresenta o computador digital como um instrumento musical para se obter “sons a partir de números” (Smith III, 2002). A partir deste momento, a busca por representações digitais do sinal sonoro passou a ocupar uma posição muito importante, dada a possibilidade de implementação de algoritmos de análise, processamento e síntese no computador. Neste cenário, o sinal elétrico s(t) tem uma representação discreta (digital) dada por uma sequência de valores da amplitude de s(t) amostrados em intervalos de tempo regulares.
Quando a amostragem é realizada em intervalos suficientemente pequenos (a cada 1,36 milissegundos, ou a 44.100 vezes por segundo) é possível representar toda a faixa de frequências que está dentro dos limites da audição humana, de 20 Hz a 22.050 Hz (Moore, 1990).
Diversos métodos de síntese sonora foram desenvolvidos ao longo de décadas de pesquisa, entre eles, síntese aditiva, síntese subtrativa, síntese FM, modelagem física, entre outras. Um dos métodos mais conhecidos é a Síntese Aditiva de Fourier no qual o som é fisicamente representado por um modelo ondulatório, ou seja, o sinal s(t) é representado por uma somatória de funções periódicas senoidais (dos tipos seno e cosseno), conhecidas também como parciais harmônicas ou simplesmente, Parciais de Fourier. Apesar do método de Síntese Aditiva de Fourier obter excelentes resultados e estar bem estabelecido como técnica de síntese sonora, o mesmo apresenta algumas dificuldades de representação de sons cujo transiente é muito rápido ou que contenham uma forte componente de ruído (Roads, 2001, pp.58). Métodos tradicionais de síntese focados no domínio da frequência (em contraposição ao domínio do tempo) costumam apresentar limitações na reprodução deste comportamento de envoltória temporal, em especial nos períodos de ataque e decaimento onde o sinal sonoro apresenta uma intrincada variação de energia entre suas componentes espectrais.
Em busca de um modelo mais adequado para representar sons desta natureza, o físico Dennis Gabor considerou que nenhuma fonte sonora real é capaz de produzir o som de uma única onda senoidal, e também que todo som é finito, ou seja, tem começo, meio e fim, e definiu um modelo no qual o som é interpretado como um conjunto de “partículas elementares” de energia sonora, ou seja, um modelo de onda-partícula, conceito emprestado da Mecânica Quântica. O modelo de Gabor oferece uma alternativa aos métodos de síntese tradicionais, pois, ao decompor sons longos e complexos em uma grande quantidade de pequenos sons, ou quanta de sons na definição de Gabor, cuja duração é da ordem de milissegundos, dá maior ênfase à dimensão do tempo ao invés da dimensão da frequência (Gabor, 1946, 1947).
1.2 Fundamentos matemáticos da Síntese Granular
Para se escutar um sinal sonoro é necessário observá-lo por certo período de tempo. Qualquer que seja o detector utilizado, seja este o ouvido humano ou outro instrumento de medida, para se distinguir todas as frequências que compõem o som detectado com precisão
absoluta, é necessário considerar, idealmente, que este som seria observado por um intervalo de tempo infinito. Em contrapartida, para se saber o valor de um sinal sonoro s(t) com precisão absoluta no instante de tempo t, é necessário considerar que todas as infinitas frequências do espectro sonoro poderiam estar presentes no sinal. Ou seja, em qualquer análise de um sinal sonoro, existe um compromisso entre a precisão do tempo e a precisão da frequência no resultado. Por exemplo, se queremos distinguir bem (com pequeno erro) a frequência de um som, teremos que ouvi-lo por um tempo razoavelmente longo. Inversamente podemos ouvir (ou detectar) sons de duração muito curta (da ordem de milissegundos), mas o preço a ser pago por isto é a perda de resolução na identificação das frequências que compõem o sinal sonoro.
Gabor propõe então uma representação do som que considere simultaneamente a função Densidade de Energia associada ao sinal sonoro em função do tempo s(t) e a função Densidade de Energia associada à representação espectral S(f) (Transformada de Fourier) do sinal s(t).Em 1947, Dennis Gabor publicou um artigo onde introduz, matematicamente, ou formalmente, o conceito do Quantum Acústico, definido como a menor partícula de som que contém energia suficiente para ser detectada por um aparelho sensorial acústico. A consequência desta abordagem é que um som longo e complexo poderia então ser decomposto em uma grande quantidade de “quanta” de som de curta duração (da ordem de milésimos de segundos, para o ouvido humano). Traduzindo isto na linguagem da Teoria da Comunicação: “Considerando que queremos classificar as frequências dentro de uma largura de banda W, não podemos medir intervalos de tempo menores 1/W” (Gabor, 1947).
Matematicamente isto pode ser formalizado da seguinte maneira: se denotamos ∆𝑡 como o intervalo de tempo da análise de um som, e ∆𝑓 como a largura da banda na análise de frequências, então vale a desigualdade:
∆𝑡 × ∆ 𝑓 ≥ 1
Esta desigualdade é similar à famosa Relação de Incerteza de Heisenberg da Mecânica Quântica, para as variáveis tempo e frequência. A desigualdade mostra que elas não são independentes, isto é, qualquer medição de uma resulta em um erro na medição da outra. Este fenômeno aparece na formulação teórica da Mecânica Quântica, razão pela qual Gabor denomina um sinal acústico elementar que satisfaz a desigualdade acima de “quantum
acústico”, ou ainda, “quantum de informação”. Assim, Gabor combinou tempo e frequência dispondo-os, numa representação cartesiana, como eixos ortogonais (tempo na vertical e frequência na horizontal), conforme a Figura 2. Este espaço bidimensional é conhecido usualmente como Espaço Tempo-Frequência de Gabor.
Figura 2: Teoria do Quantum Acústico de Gabor.
Um “quantum” de som é representado então como um retângulo com larguras ∆𝑡 e ∆𝑓 e com área mínima unitária, isto é, ∆𝑡 × ∆𝑓 = 1. Observe que desta igualdade, resulta que tempo e frequência são quantidades inversamente proporcionais. Estes retângulos foram denominados por Gabor de células. Para cada uma delas está associado um quantum acústico. Qualquer sinal sonoro real (que tem um início e fim) ocupa certo retângulo no Espaço de Gabor
cuja área é sempre maior ou igual a 1. Esta área pode então ser decomposta em uma rede (ou matriz) de células (retângulos) de Gabor ou, dito de outra forma equivalente, o sinal é representado por uma “soma” de quanta acústicos.
Do ponto de vista matemático, Gabor tomou sinais elementares (ou quanta acústicos) como senóides moduladas por funções gaussianas, isto é, sinais que podem ser expressos como:
s(t) = exp{-a2.(t-t0)2}.{cos(2πft) + i.sen(2πft)}
ou equivalentemente,
s(t) = exp{-a2.(t-t0)2}.ei2πft
Onde a primeira parte do lado direito da equação, exp{-a2.(t-t0)2}, é a função
gaussiana, e a segunda parte, ei2πft, é a função periódica complexa que incorpora as funções seno e cosseno com frequência f. Quando multiplicadas, estas partes resultam em uma “partícula sonora” chamada de “partícula gaussiana” (Roads, 2001, pp.55) cujo sinal s(t) é apresentado na Figura 3.
1.3 História e Tecnologia da Síntese Granular
Apesar de Gabor estar interessado em obter um método para análise do som, sua teoria resulta que, de forma inversa à decomposição do som, é possível compor sons mais complexos por meio da “soma” (ou fusão) de uma grande quantidade de “partículas de som”. Atualmente, a Síntese Granular é pensada como um método de síntese de som cujo paradigma teórico continua sendo a teoria do Quantum Acústico, mas cada partícula de som, denominada grão, tem uma definição mais flexível do que as partículas de som de Gabor. Parâmetros do grão tais como, por exemplo, duração, amplitude, forma de onda e tipo de envoltória de amplitude, bem como sua organização em estruturas maiores, podem ser explorados livremente pelo compositor. Podemos considerar que, enquanto a música tradicional tem como material básico as notas musicais, definidas por sua altura, duração, intensidade e articulação, arranjadas em estruturas de alto-nível tais como melodia, harmonia, ritmo e orquestração, a composição musical com Síntese Granular tem como material básico os grãos sonoros, organizados em estruturas com vários graus de complexidade e diferentes características psicoacústicas denominadas, por exemplo, nuvens, pulsares, fluxos, entre outras (Roads, 2001, pp.87-178).
As possibilidades de geração de grãos sonoros e de sua organização dependem da tecnologia utilizada. Essencialmente, é possível aplicar um paradigma granular de organização de sons mesmo quando se está compondo para instrumentos tradicionais ou orquestra. Neste cenário, grãos sonoros são emitidos pelos instrumentos acústicos por meio de técnicas estendidas, e são caracterizados, em geral, por sua curta duração e baixa amplitude. Por exemplo, nos instrumentos de sopro de madeira utiliza-se o som das chaves sendo acionadas, nas cordas o pizzicato, e ainda, em instrumentos de percussão pode-se considerar que maracas e chocalhos são instrumentos de natureza granular nos quais cada guizo emite a sua partícula de som. A identidade de um único grão sonoro é um tanto irrelevante dentro da composição como um todo, porém, quando emitidos em grandes quantidades (densidades), resultam em texturas sonoras peculiares de característica granular. A natureza é uma fonte inesgotável de sons granulares como, por exemplo, o som dos pingos da chuva, de pedras rolando, de um enxame de abelhas, e até mesmo aqueles produzidos pelo homem como aplausos, estalos e murmúrios, ou ainda, por máquinas como motores a combustão e outros ruídos.
Na história da música do século XX, encontramos já em Webern, representante da Segunda Escola Vienense, a tendência de atomizar cada vez mais o material sonoro. Em
diversas de suas peças é possível comprovar esta tendência em características como a pequena duração total da peça, grande presença do silêncio e uso de pequenos motivos, mas compostos por uma grande quantidade de notas de curta duração. Com o advento das possibilidades de manipular o som através de meios eletromagnéticos, as escolas de Darmstadt e Colônia, na Alemanha da segunda metade do século XX, deram continuidade a esta tendência estética ao focalizar no “ponto” (pequeno trecho de som) como menor unidade de material composicional, em oposição às notas tradicionalmente escritas em partitura (Thomson, 2004).
Stockhausen trouxe uma importante contribuição para a síntese granular ao compor em 1952 o movimento Étude da peça Kontact. Nesta composição granular pioneira, Stockhausen utiliza diversos geradores de impulso analógicos, cada um deles conectado a outros componentes eletrônicos analógicos como filtros passa-baixa, filtros passa-alta, gravadores de fita em loop e circuitos de realimentação com diferentes arquiteturas (Roads, 2001, pp.70), (Tissot, 2008). É interessante notar que, ao compor com síntese granular, pequenas alterações na estrutura do grão (conteúdo espectral, envoltória, forma de onda, duração) resultam globalmente em alterações nas propriedades da textura sonora. Ou seja, alterações no nível microtemporal, mas realizadas em um grande número de grãos, resultam em efeitos que são perceptíveis no nível macrotemporal do som.
Em 1957, Stockhausen publicou o artigo “...how time passes...” onde propõe uma visão composicional unificada para as diversas camadas temporais da estrutura musical. Definindo um período como o tempo de repetição entre ciclos, o ato musical de compor é estudado, ou analisado, em camadas relacionadas à sua duração. Assim estuda-se separadamente forma, frase, motivo, ritmo e melodia. O principal conceito utilizado neste artigo é de que pulso e altura são eventos da mesma natureza, mas com períodos diferentes. Um pulso nada mais é do que uma altura com frequência infrassônica, e reciprocamente uma altura é um pulso com período muito curto ao ponto de ser percebido como um som contínuo e, por serem eventos da mesma natureza, devem ter igual tratamento musical (Stockhausen, 1957). Nesta época, Stockhausen estava trabalhando com serialismo integral e assim pretendia obter uma série de 12 números que fosse aplicável para as pulsações de forma idêntica à série de alturas melódicas.
O compositor grego Iannis Xenakis foi o primeiro a formalizar um possível modelo de composição para síntese granular dividindo o tempo em unidades iguais (síncrona) e de
curtíssima duração as quais denominou telas (screens). Cada tela é representada por uma matriz ocupada por grãos sonoros. Uma sequência de telas recebe o nome de livro (book). Este modelo está presente em seu famoso livro Formalized Music (Xenakis, 1971, pp.43-78). Em 1958, Xenakis trabalhou no GRM (Group de Recherches Musicales) em Paris e produziu diversas peças para fita magnética, entre elas a composição granular “Concrete P.H.”, na qual usou uma gravação do som de carvão sendo despejado como material composicional (um som natural, mas de característica granular). A fita magnética foi recortada em uma grande quantidade de pedaços pequenos, mas de tamanho variável, os quais foram reorganizados e colados segundo a estética do compositor. O resultado é uma textura rugosa, com estalidos brilhantes e secos, que está em constante transformação. Xenakis foi também o primeiro a utilizar o termo microsom (microsound) para se referir a peças onde o controle do compositor se verifica no nível do Quantum Acústico (Roads, 2001, pp.64-68).
Além da possibilidade de se compor música granular com recursos analógicos, e até mesmo acústicos, a Síntese Granular apresenta mais recursos, flexibilidade e facilidade de manuseio no domínio digital. Muitas das principais contribuições nesta linha de pesquisa foram feitas por Curtis Roads (Thomson, 2004), que realizou uma grande quantidade de estudos em Síntese Granular desde 1978. Daí em diante foi estabelecido um respeitável vocabulário de tipos de grãos sonoros e formas de organização de estruturas mais complexas como nuvens, pulsares, grainlets, trainlets, entre outras; bem como uma diversidade de métodos de síntese a partir de grãos, granulação de sons gravados, análise e ressíntese de som, com contribuições de vários pesquisadores e compositores, as quais são apresentadas por Roads em seu famoso livro “Microsound” (Roads, 2001).
Os programas de Síntese Granular desenvolvidos por Roads não operavam em tempo real, isto é, era necessário especificar todos os parâmetros do programa antes de executá-lo, para posteriormente obter o output em um arquivo de som. Barry Truax foi pioneiro ao realizar Síntese Granular em tempo real com o uso de um microprocessador de sinal digital chamado DMX-1000 (Truax, 1988) no Instituto de Sonologia de Haia, na Holanda. Este dispositivo de hardware dedicado sintetizava os grãos em tempo real e permitia a alteração nos parâmetros da síntese a qualquer momento. Em Riverrun, composta em 1986, Truax faz analogia às partículas de água de um rio em constante fluxo, a peça é um marco no controle da Síntese Granular em tempo real.
Uma vez estabelecida uma linguagem granular, e com o avanço da tecnologia digital, pesquisas realizadas entre 1990 e 2010 se voltaram para o uso de modelos matemáticos e computacionais para controle de alto nível sobre os parâmetros da síntese. Desta forma busca-se obter novas estruturas sonoras a partir de um conjunto mínimo de parâmetros. DiScipio (1990) controlava os parâmetros de síntese através de Modelos Fractais, Sistemas Dinâmicos e Teoria do Caos. Nesta mesma direção mais formal, Maia e Miranda (Maia e Miranda, 2005) desenvolveram um sistema em MATLAB denominado FuzzKov utilizando Conjuntos Fuzzy e Cadeias de Markov. A Teoria dos Grafos, como estrutura de controle, também foi proposta por Valle e Lombardo (2003). E mesmo nós experimentamos a aplicação de uma solução deste tipo em nossa pesquisa anterior com o desenvolvimento do sistema EVOGrain no qual um Algoritmo Genético controla em tempo real a evolução de uma população de grãos sonoros (Souza e Maia, 2009) e BIOGrain com um modelo ecológico (Souza e Maia, 2011).
1.4 Nossa motivação para a integração da Síntese Granular com a Música Visual
Pode-se inferir destes exemplos que uma grande profusão de sistemas computacionais para Síntese Granular pode ser obtida como aplicações de modelos matemáticos e algorítmicos para geração e controle de um fluxo de sons granulares. Embora a aplicação de modelos computacionais no controle da Síntese Granular tenha obtido resultados interessantes durante ao menos duas décadas, ao nosso ver, o uso de tais modelos, ao mesmo tempo em que simplifica e automatiza a seleção e organização dos grãos sonoros, implica também em duas desvantagens.
Primeiramente, o modelo restringe demasiadamente o espaço de possibilidades sonoras da Síntese Granular, chegando a um ponto que nos leva a questionar se é o modelo que está servindo à criação musical ou se é a música que está subordinada ao modelo e, sendo assim, resultando em um sistema cujas possibilidades se restringem aos “sons possíveis” do modelo. Em segundo lugar, a indagação que fizemos no decorrer de nossa pesquisa anterior é que, do ponto de vista de um usuário com formação musical tradicional, a Síntese Granular já apresenta alguns parâmetros de controle não usuais como, por exemplo, “densidade de grãos por segundo”, “largura de banda da distribuição dos grãos”, entre outros. O uso de um modelo computacional pode dificultar ainda mais a compreensão do sistema para este usuário caso sejam apresentados parâmetros de controle inerentes ao modelo, assim como ocorre, por
exemplo, no sistema EVOGrain, no qual são utilizados os parâmetros “tamanho da população”, “velocidade de reprodução”, “taxa de evolução”, entre outros (Vertegaal e Bonis, 1994).
Do ponto de vista da interação entre humanos e computadores (HCI), no princípio da computação a entrada de comandos era bastante limitada pelo uso dos cartões perfurados e a saída dos resultados também estava vinculado ao uso de impressoras. Esta potencialidade mudou gradativamente com o projeto de interfaces cada vez mais eficientes tais como o teclado, o monitor (texto), o mouse e as interfaces gráficas. É bastante plausível considerar que o uso dos modelos alto nível se apresentem como solução para contornar o gargalo da interação humano computador. Porém, hoje em dia, o uso de controladores gestuais como dispositivo de entrada e a síntese de som e de vídeo em tempo real como dispositivos de saída tendem a eliminar a necessidade do uso de tais modelos. Sendo assim, partimos da hipótese que oferecer ao usuário um feedback visual em tempo real melhora a sua percepção sobre os processos sonoros em andamento e pode auxiliar no controle da Síntese Granular reduzindo a necessidade de automação na seleção dos grãos de som ao mesmo tempo em que impõe poucas restrições ao espaço sonoro tornando o processo de controle de parâmetros mais intuitivo e rápido.
Capítulo 2: Música Visual
Neste capítulo introduzimos a Música Visual em cinco seções: na primeira descrevemos o processo histórico de como esta forma de arte foi estabelecida; em seguida, apresentamos a descrição dos princípios da Música Visual por diversos pesquisadores e compositores; em terceiro, definimos os tipos de suporte nos quais a Música Visual se manifesta; na quarta seção, apresentamos fatos históricos da Música Visual relacionados com a tecnologia empregada para sua produção; finalmente, descremos o estado da arte no uso da Síntese Granular na produção de obras de Música Visual.
2.1 Da pintura rupestre à animação abstrata
Registros arqueológicos indicam uma relação entre o homem e a pintura no período paleolítico, cerca de 40 mil anos atrás, antes mesmo do início da agricultura, quando os homens ainda eram nômades e dependiam da caça e da coleta para sobreviver. Enquanto a música e a percepção do som são fenômenos intrinsicamente abstratos, a pintura é, desde o início, dominada por representações de objetos concretos do mundo real tais como animais, plantas e pessoas, com uma simbologia relacionada à caça e à fertilidade (Curtis, 2006). Durante as idades antiga, média, moderna e parte da idade contemporânea, até fins do Século XIX, embora a tecnologia dos materiais utilizados e a técnica de pintura tenha se modificado, a pintura se manteve atrelada a representações figurativas, concretas e simbólicas. A tendência ao abandono da representação de objetos do mundo real tem origem no Impressionismo, seguida pelo Neoimpressionismo, Pós-impressionismo e Cubismo, caminhando gradativamente em direção ao Abstracionismo (Cole e Gealt, 1991).
A pintura abstrata utiliza a linguagem visual da forma, da cor e da linha para criar uma composição com certo grau de independência de referências visuais descritivas. Em 1910, Wassily Kandinsky foi o primeiro pintor ocidental a criar uma tela abstrata denominada “Primeira Aquarela Abstrata”. Além de pioneiro na pintura abstrata, escreveu muitos textos traçando paralelos entre o seu pensamento criativo ao pintar e conceitos do domínio da música tais como ritmo, harmonia, tema, forma, estrutura e consonância (Holsopple, 2003). Em seu livro, Point and Line to Plane, por exemplo, Kandinsky estabelece tais elementos (pontos, linhas e planos), como ferramentas suficientes para representar quaisquer objetos, e os utiliza como conteúdo de sua arte. Kandinsky, e outros pintores que o seguiram, entre eles, Paul Klee
e Karl Gerstner, escreveram extensivamente sobre como estes elementos simples podem ser combinados e justapostos para representar ideias abstratas como causalidade, tensão e crescimento.
Os avanços tecnológicos do cinema permitiram que a dimensão do tempo fosse adicionada à imagem estática, que passa a ser imagem em movimento. Norman McLaren foi pioneiro na técnica da animação abstrata na qual desenhos abstratos são feitos à mão quadro-a-quadro no fotograma. O filme “Boggie-Doodle”, de 1940, é a primeira obra de animação abstrata. Nele, as animações são acompanhadas por uma gravação de piano tocando um ritmo conhecido como boggie-woggie. Já em “Synchromy”, de 1971, McLaren fotografou cartões de papel de diferentes cores e tamanhos organizados em diversas configurações. Estas fotografias são então ordenadas na parte visual do fotograma e também na faixa sonora, resultando em uma relação direta entre o som e a imagem.Com a possibilidade da animação, a expressividade destas obras é resultado do arranjo das imagens no tempo e de transformações entre as imagens em um discurso com momentos de tensão e relaxamento, ordem e desordem, equilíbrio e desequilíbrio (Evans, 2005), (Whitney, 1980).
2.2 Definições da Música Visual
A música sempre teve em si uma dimensão visual, esta manifesta-se no formato dos instrumentos, nos padrões formados pelas notas na partitura, nos movimentos dos músicos e dos ouvintes, nas capas de álbuns, nas luzes de palco e mesmo nos vídeos clipes (Collopy, 2000). De forma abrangente, qualquer representação visual da música como, por exemplo, a notação musical, formas de onda, espectrogramas e outros mapeamentos de dados sonoros, podem ser considerados objetos audiovisuais. Porém, nem todas formas de notação ou representações são pretendidas a serem objetos visuais interessantes em si mesmos (Rudi, 2005). Pode-se questionar o quanto esta informação visual é importante para a percepção total de uma obra musical (Edmonds et al, 2004). Em dança, ópera, teatro, passando pela obra de arte total de Wagner, no cinema e, até mesmo, na realidade virtual, as artes repetidamente confrontaram os problemas e as potencialidades de envolver muitos dos sentidos humanos simultaneamente (Alexander e Collins, 2008).
Esta tese se concentra principalmente nas relações entre som e imagem, isto é, uma forma de arte audiovisual. Conforme definido por Zielinski (1999), arte audiovisual é uma
forma de arte na qual, com ajuda da tecnologia, a ilusão da percepção de movimento acompanhada por som é planejada, produzida, comentada e apreciada. Também é apresentada em diferentes configurações como vídeos em mídia-fixa, performances e instalações interativas. Obras audiovisuais, de acordo com sua estética e com a tecnologia empregada em sua produção, podem ser subclassificadas como, por exemplo, Cinema, Filme Experimental, Filme Abstrato, Vídeo Arte, Música Visual, entre outros, e recentemente tem sido referenciada como multimodal. O audiovisual refere-se a toda a forma de comunicação sintética destinada a ser percebida ao mesmo tempo pelo olhar e pelo ouvir. Esta linguagem está perfeitamente integrada no tempo e no espaço. A dimensão temporal é acrescentada pelo movimento e “casa-se” com o som (Cloutier, 1975).
A Música Visual é definida, de forma simples e universal, como a expressão artística ou a representação de ideias musicais através da mídia ocular. Diferentemente de outras definições, esta não faz restrições quanto ao processo criativo que foi ou que deve ser empregado em sua produção (Hyde, 2012). De forma complementar, a Música Visual é um termo utilizado para descrever um amplo leque de práticas artísticas, espalhadas no tempo e no espaço, porém com a ideia comum de que as artes visuais podem aspirar as qualidades dinâmicas e não objetivas da música (Jones e Nevile, 2005).
Em Evans (2005) são propostos os fundamentos da Música Visual: “A animação abstrata, frequentemente chamada de Música Visual, pode ter uma base estrutural semelhante àquela da música absoluta. A abordagem se constrói sobre a simples premissa de que a resolução da tensão nos move através do tempo”. Por música absoluta, Evans cita o conceito estabelecido por Stravinsky: “Música não significa nada fora de si mesma”. E então o autor define um princípio de proporção para definir o conceito de consonância visual e trabalha em suas obras a transição entre dissonância e consonância. Para ele, a Música Visual é tipicamente não-narrativa e não-representacional. Podendo estar acompanhada por som ou, até mesmo, ser silenciosa.
Referindo-se à Música-Vídeo, uma forma de arte audiovisual semelhante à Música Visual, Lima (2010) define que esta caracteriza-se por ser um produto da ação do compositor que aborda o meio videográfico a partir de sua formação musical específica, mas de forma alguma significando que a música, ou o som, seja o aspecto preponderante da obra. A Música Visual pode ser caracterizada como o produto, ou obra, de um músico que trabalha o conteúdo
gráfico de uma peça audiovisual em um modo particular de acordo com sua formação musical. Desta forma, o conteúdo visual tende a ser mais abstrato, assim como o som, consistindo de formas geométricas, misturas de cores e luzes difusas.
Segundo Collopy (2000), Lumia foi o termo utilizado no Século XVIII para referir-se ao que hoje recebe o nome de Música Visual, é uma forma de arte que permite ao artista visual “tocar imagens” de forma semelhante a que músicos tocam sons. Lumia são obras, como composições musicais, criadas por artistas visuais, algumas essencialmente composicionais em sua estrutura, outras incluem elementos improvisados, e são resultado da fascinação dos artistas visuais pelo impacto que a música tem sobre os ouvintes. Seus elementos principais de expressividade são a cor, a forma e o movimento.
Alves (2012) descreve extensivamente como os conceitos de consonância e dissonância musical apresentam, para o músico visual, uma oportunidade para explorar relações entre som e imagem que compartilham uma base emocional, buscando uma harmonia das cores e do movimento que são mais do que um mapeamento arbitrário das características elementares de um sentido no outro. Em contrapartida, Jones e Nevile (2005) obtiveram sucesso ao explorar estratégias de mapeamento de parâmetros simples entre os domínios, apoiados em correspondências como, por exemplo, amplitude do som e brilho (ambas medidas de intensidade), frequência e tamanho (instrumentos grandes produzem sons graves, instrumentos pequenos produzem sons agudos), ou mesmo frequência e posição vertical como ocorre em uma partitura musical tradicional (notas agudas ficam em cima, notas graves ficam embaixo). Porém, neste mesmo trabalho, os autores destacam que o timbre seria um fenômeno muito complexo para ser representado visualmente por um pequeno conjunto de parâmetros. Apesar disto, Schoenberg, no terceiro movimento de sua obra “Cinco peças Orquestrais”, chamado de “Farben”, imagina uma “melodia de timbres” ou melhor “melodia de cores sonoras” (Klangfarbenmelodie), associando cor ao timbre em seu processo criativo de composição musical, com diversas e sutis combinações instrumentais que evoluem no tempo (Schoenberg, 1911).
O termo harmonia é hoje utilizado não somente para referir-se a dimensão vertical da música, mas de forma generalizada, como um senso de concordância ou paz. Sendo este o significado original atribuído a esta palavra pelos gregos antigos. A vitalidade da Música Visual vem, assim como na harmonia musical, não de uma concordância total, mas do movimento
através do tempo entre momentos de maior e de menor harmonia da música em si mesma, da animação em si mesma, e da relação entre o som e a imagem (Jones e Nevile, 2005).A transição de uma imagem equilibrada, para uma menos equilibrada, e de volta a imagem original, provê uma forma de estruturar o tempo por meio de objetos visuais, semelhante a uma cadência harmônica como, por exemplo, tônica-dominante-tônica (I–V–I).
Para Fuxjager (2012), a produção de imagens não-representacionais em movimento, sejam elas capturadas em vídeo ou realizadas ao vivo por meio instrumentos especiais, frequentemente foi, e ainda é, motivada pela intenção de criar obras de arte visual que são abstratas como a música, daí o termo Música Visual, para denotar este tipo de imagens em movimento. Além disto, a progressão das animações ao longo do tempo tende a explorar momentos de tensão e resolução, equilíbrio e desequilíbrio, ordem e caos, assim como, por exemplo, em uma progressão harmônica musical, sem que haja uma narrativa e, na maioria dos casos, sem que haja referência a objetos concretos.
Em seu artigo, Evans (1992) cria medidas de equilíbrio visual das cores com base na quantidade total de vermelho, verde e azul (RGB), de forma que, quanto menor a diferença nestes valores, mais equilibrada a tonalidade da imagem, e medidas de equilíbrio visual do movimento a partir do peso e do movimento dos objetos exibidos e também de outros fatores como precedência temporal e repetição.
2.3 Suportes da Música Visual
Vale ainda delimitar a Música Visual quanto aos suportes de apresentação e, até mesmo, suas formas de produção. Ox e Keefer (2008) descreveram o processo de curadoria de uma exposição de Música Visual e categorizaram suas formas de manifestação:
Uma visualização da música que é uma tradução de uma composição musical ou som específico em uma linguagem visual, com sua sintaxe original sendo preservada em sua nova rendição visual. Pode ser feito com ou sem o uso do computador;
Uma estrutura visual narrativa com base no tempo que é similar à estrutura de certo tipo ou estilo de música. É uma nova composição criada visualmente, mas como se fosse uma obra para escuta. Pode ter som ou ser silenciosa;
Uma tradução direta de imagem ou vídeo para música ou som, como por exemplo, imagens fotográficas, desenhadas ou rabiscadas na banda sonora de um filme diretamente convertida para som quando o filme é projetado. Frequentemente essas imagens são exibidas simultaneamente ao processamento sonoro. Literalmente, o que se vê é o que se ouve. Este método já foi chamado de Música Visual Pura;
Uma composição visual, não baseada no tempo, mas em uma tela estática, mas que, porém, não perde sua relação com a dinamicidade da música. O movimento dos objetos pintados pode levar a um tipo de Música Visual, servindo como uma interpretação visual do artista sobre uma música específica.
Sobre a categorização acima, gostaríamos de fazer duas ressalvas. Primeiro, sobre a Música Visual estar acompanhada por som ou ser silenciosa, Fuxjager (2012) menciona que alguns autores não utilizam música para acompanhar suas animações não-representacionais com o argumento de que esta seria apenas uma distração que atrapalha a concentração do expectador nesta forma de arte autônoma. Segundo, sobre o processo de se mapear som em imagem ou, inversamente, imagem em som. Embora essa distinção possa ser feita ao nível de uma análise técnica do sistema utilizado, e de certa forma também possa ser feita ao nível do processo criativo, Fuxjager (2012) destaca que, perceptivamente, a diferenciação não é possível pois a cognição humana, por meio dos mecanismos apresentados na seção anterior, funde o material sonoro ao visual resultando em uma percepção audiovisual, na qual não se pode dizer que o som originou a imagem, ou vice-e-versa, pois existe apenas um objeto audiovisual amalgamado.
2.4 História e Tecnologia da Música Visual
Podemos considerar que a Música Visual passou até os dias de hoje, por três momentos históricos de grande importância, cada um diretamente relacionado com a tecnologia utilizada em sua produção. Em sua origem, no século XVIII, a Música Visual manifestava-se na construção de instrumentos audiovisuais mecânicos, isto é, instrumentos que projetavam som e luz simultaneamente. Já no Século XX, foi beneficiada pelos avanços científicos na física
óptica que resultaram no surgimento do cinema. Para, finalmente, nos dias de hoje, alcançar grande poder e flexibilidade com uso dos computadores digitais.
2.4.1 Primeira geração de instrumentos musicais visuais
Assim como grande parte das pesquisas realizadas nos dias de hoje, podemos remeter a origem da Música Visual aos filósofos gregos antigos como, por exemplo, Aristóteles, que criou uma teoria relacionando a qualidade da consonância de intervalos musicais às cores. Nos Séculos XVI e XVII, artistas como Arcimboldo e pensadores como André Félibien produziram sistemas e teorias relacionando cores e sons (Edmonds et al, 2004). Quando Isaac Newton propôs uma conexão entre som e luz através das propriedades da cor da luz e do tom (pitch) do som estava de fato plantando a semente que iria inspirar, no Século XVIII, a construção dos primeiros instrumentos audiovisuais (Alves, 2005).
Antes conhecida como Lumia, este campo conquistou interesse em 1734 com a concepção ideológica do primeiro instrumento de Música Visual chamado de “Cravo Óptico” (Clavecin pour les Yeux, Ocular Harpsichord), por Louis-Bertrand Castel. A máquina consistia de um cravo ampliado com dispositivos mecânicos, espelhos, filtros de luz, velas e cortinas, e quando tocado projetava luz ao invés de som (Popper, 1968).
De fato, existem indicativos de que o Cravo Óptico nunca chegou a ser construído no tempo de vida de Castel. Parte do problema era a dificuldade técnica de se construir tal instrumento no Século XVIII. Protótipos muitos simples e reduzidos chegaram a ser construídos em 1730 e 1734, porém Castel argumentava: “Sou um matemático e um filósofo e não tenho desejo de me tornar um construtor para criar exemplos de arquitetura”. Para ele o que valia era a ideia e não o artefato, até porque, segundo ele, a tecnologia disponível em sua época não seria suficiente para construir um instrumento que pudesse confirmar ou negar sua hipótese sobre a correlação entre som e imagem. Castel era chamado por Voltaire de “Dom Quixote da Matemática” por causa de sua tendência a atacar “gigantes” como Newton, Leibniz, Reaumur e Maupertuis. Neste grupo podem ser incluídos Rameau, Rousseau, Dortous de Marian, Diderot, Montesquieu e o próprio Voltaire. Não obstante, o simples fato de Castel ter obtido a atenção de tais pensadores já é um forte indicativo que sua invenção apresentava um conceito inovador e válido para discussão científica, artística e filosófica. Sendo assim, o Cravo Óptico, embora tenha tido pouca aceitação, recebeu grande atenção em sua época (Hankins, 1994).
Este tipo de instrumentos nos quais a integração entre som e imagem é resultado de transdução mecânica ou elétrica forma a primeira geração de instrumentos audiovisuais. Muitos outros instrumentos construídos posteriormente seguiram o conceito do “Cravo Óptico”, utilizando outras formas de geração de luz de diferentes cores como, por exemplo, gases flamejantes, tubos de vácuo e arcos elétricos de alta voltagem (Peacock, 1988). Estes instrumentos recebem o nome genérico de órgãos de cores (color organs). Um trabalho muito conhecido, a obra Prométhée do compositor russo Aleksandr Scriabin, inclui uma parte escrita para este tipo de instrumento, na qual são projetadas cores definidas pelas associações sinestésicas do compositor (Alves, 2005). Embora, a tecnologia utilizada por estes inovadores permitisse apenas a projeção de formas visuais um tanto vagas e pobres (Collopy, 2000), os órgãos de cores iniciaram uma tradição que persiste pelos últimos 300 anos, sendo continuamente reinventados até os dias de hoje utilizando a tecnologia disponível para criar instrumentos que projetam som e luz em tempo real (Alexander e Collins, 2008).
2.4.2 Segunda geração de instrumentos musicais visuais
A segunda geração de instrumentos audiovisuais surgiu no início do século XX como resultado dos avanços nas tecnologias ópticas e elétricas, pelas teorias modernas sobre a percepção humana e também por inovações na arte da pintura (Levin, 2000). Nessa época, diversos pintores começaram a explorar as propriedades da forma e da cor pura, resultando em uma nova estética da pintura como, por exemplo, a pintura Abstrata e o Cubismo (Russet e Starr, 1988). Collopy (2000) cita o pintor cubista Leopold Survage, que em 1914 afirmou: “A pintura, tendo se liberado das formas convencionais dos objetos do mundo exterior, conquistou o terreno das formas abstratas. Deve agora livrar-se de sua imobilidade, para tornar-se maleável e rica como uma forma de expressar nossas emoções assim como a música faz”. Em 1903, Albert A. Michelson, físico norte-americano que recebeu o Prêmio Nobel por seu trabalho sobre a medição da velocidade da luz, declarou em seu livro Light Waves and Their Uses: “Este fenômeno da cor me atrai tão fortemente que eu arrisco predizer que no futuro não tão distante haverá uma arte da cor análoga a arte da música, isto é, uma música da cor” (Moritz, 1903).
Um tipo particular de instrumento audiovisual desta geração surgiu com a invenção do cinema. A técnica do Filme Abstrato consiste em desenhar diretamente sobre os fotogramas ou sobre a banda sonora do rolo de filme do cinema. Esta manifestação artística começou no
início do Século XX, os primeiros praticantes eram, em grande parte, pintores abstracionistas já acostumados a lidar com o conceito do ritmo musical e sua representação no domínio visual em seus quadros. Estes artistas começaram a trabalhar com filme, acrescentando o elemento do tempo em suas obras (Alexander e Collins, 2008). Enquanto a narrativa hollywoodiana dominava e ainda domina o cinema, pioneiros trabalhavam com uma linguagem não-narrativa da luz em uma tradição experimental semelhante àquela de compositores como Erik Satie, John Cage e Karlheinz Stockhausen (Evans, 2005).
Animações gráficas são resultado dos desenhos no fotograma, enquanto a síntese sonora é resultado de desenhos feitos na banda sonora de cada quadro. Os artistas mais proeminentes nesta técnica são Oskar Fischinger e Norman McLaren. A tecnologia do cinema permitiu muito mais controle sobre a forma e melhor sincronização da animação com a música (Alves, 2005). Ainda assim, durante os anos 20, a Música Visual teve grande notoriedade, mas pouco sucesso, e somente com os avanços nas técnicas de síntese de som e de imagem que este meio pode atingir sua potencialidade (Becker, 1945).
2.4.3 Terceira geração de instrumentos musicais visuais
Nos dias de hoje, com o estado da tecnologia digital de computadores, é possível projetar sistemas que analisam, processam e sintetizam som e imagem em tempo real. Mesmo considerando que o processamento de imagens ainda consome muitos recursos computacionais, as possibilidades de investigação de correspondências audiovisuais estão expandindo e muito permanece a ser explorado. A representação digital de som e de imagem provê uma forma poderosa de manipular o material que, livre de dispositivos mecânicos e elétricos, permite a implementação de um mapeamento flexível entre elementos visuais e sonoros. Mas, se por um lado a tecnologia traz a facilidade de composição e uma ampliação do leque de possibilidades em uma escala jamais vista, por outro, faz-se necessária a pesquisa e a formalização das estratégias ótimas nesta área de expressão artística (Russet e Starr, 1988).
Para Danneberg (2005), a performance interativa combinando imagens e música é uma aplicação natural para computadores. Em seus primórdios, o poder computacional era insuficiente, resultando em uma baixa taxa de quadros por segundo ou na necessidade de utilizar estratégias de atalho reduzindo a complexidade ou definição dos gráficos. Porém, com o poder
