O contraponto de estilos musicais

Conforme mencionamos, a cada performance de “Contrapontos Live” que realizamos, novos elementos foram acrescentados à obra. O elemento mais recente adicionado foi um processo de granulação de um loop ao estilo Drum’n’Bass, buscando, mais uma vez,

investigar as possibilidades de hibridização da música eletroacústica com a música popular. No domínio visual, fizemos uma gravação de uma motocicleta passando por uma rua, e dividimos o vídeo em uma sequência de imagens numeradas, todas em um mesmo diretório. Em seguida criamos um mapeamento entre o offset do arquivo sonoro e o índice das imagens, e exploramos o efeito de ir para trás e para frente com diferentes velocidades neste loop audiovisual (Figura 50).

Figura 50 Granulação visual em “Contrapontos Live”.

12.3 Discussão

“Contrapontos Live” é a obra de Música Visual Granular avalia de modo mais completo o modelo teórico definido bem como os sistemas que desenvolvemos para a Síntese Granular Audiovisual. Nela, exploramos as possibilidades de independência e interdependência da Síntese Granular Sonora e da Síntese Granular Visual. Nesta obra também consideramos que realizar o processo de granulação sobre uma base rítmica da música popular favoreceu a hibridização das linguagens, pois podemos apresentar, por um lado, loops com bastante destaque do material original e então trabalhá-lo com várias técnicas, tais como distorção e erosão, a ponto de torna-lo irreconhecível.

Em instâncias de organização mais complexas, isto é, do ponto de vista estrutural, atingimos um nível de domínio do material granular que nos permitiu o uso equilibrado de diversas formas de organização em objetos tais como grãos, palavras granulares, trainlet, pulsar, stream, nuvens síncronas e assíncronas e granulação de som e imagem. Arranjamos estes objetos em múltiplas camadas e especificamos processos de transformação dinâmicos que combinam aleatoriedade com controle do usuário por meio do nanoKontrol2 da Korg. Desta forma, nesta obra não necessitamos do uso dos sistemas Ableton Live e Adobe After Effects para a produção de um trabalho que se mostrou muito interessante e que, pela qualidade e complexidade do material audiovisual, valida tanto o nosso modelo teórico como a aplicabilidade dos sistemas Granular Streamer e Granular Drawer para a Síntese Granular Audiovisual em tempo real.

Conclusões da Tese e perspectivas de continuidade da pesquisa

Nesta seção, apresentamos uma discussão sobre o processo de pesquisa que se desdobrou nas bases teóricas, tecnológicas e práticas e que envolveu duas grandes áreas de pesquisa, a Síntese Granular e a Música Visual. Em seguida apresentamos as conclusões da tese descrevendo os objetivos atingidos bem como as limitações de nosso modelo e sistemas. Finalmente, são apresentadas propostas de continuidade desta pesquisa.

Discussão sobre o processo de pesquisa

Esta pesquisa partiu do objetivo de realizar um estudo da geração e controle de paisagens audiovisuais em tempo real com Síntese Granular e controladores gestuais. Este estudo foi motivado pela hipótese de que a Síntese Granular pode ser eficientemente controlada em tempo real utilizando recursos tecnológicos atuais para a interação com o usuário. Mais detalhadamente, queríamos saber se, ao apresentar uma rica representação visual dos processos granulares em andamento e usar controladores gestuais como dispositivos de entrada supriríamos as necessidades de controle e expressividade do usuário em uma performance solo. Investigamos este objeto por três óticas: a teórica, a tecnológica e a poética. Embora tenhamos dado maior ênfase para cada uma destas investigações em períodos específicos da pesquisa, é razoável considerar que o avanço foi simultâneo, pois cada resultado parcial obtido em uma das abordagens causava alterações nas demais. Sendo assim, realizamos diversos ciclos de aprofundamento da pesquisa, em uma metodologia em espiral.

Inicialmente, ampliamos nosso quadro teórico de referência sobre a Síntese Granular de som, analisamos obras dos compositores Curtis Roads e Barry Truax, e identificamos algumas formas recorrentes de organização de grãos de som em objetos mais complexos. No sentido tecnológico, acrescentamos algumas funcionalidades em nosso sistema Granular Streamer, que permitiram sua integração com um novo sistema desenvolvido por nós, o Granular Drawer, em sua primeira versão. Com estes sistemas pudemos realizar os primeiros experimentos em Síntese Granular Audiovisual, modelando objetos granulares em um patch do Pure Data e automatizando o disparo de processos espectromorfológicos lineares, parabólicos, cíclicos e em espiral. Uma vez que pudemos gerar a primeira versão das paisagens audiovisuais granulares, representando grãos como círculos de cores opacas e com o movimento de scroll,

direcionamos nossa pesquisa à procura por dispositivos de entrada adequados para gerar e controlar os grãos de som e de imagem.

Esta parte da pesquisa foi realizada durante um estágio no Input Devices for Music Interaction Lab (IDMIL), McGill University, sob orientação do Prof. Dr. Marcelo M. Wanderley, com seis meses de duração. Neste estágio, partimos de um modelo interativo no qual o gesto do usuário reproduziria o ato de tocar fisicamente nos grãos visuais projetados na tela, manipulando seus parâmetros. Com este propósito, o dispositivo Microsoft Kinect nos pareceu, inicialmente, bastante adequado. Realizamos experimentos com este modelo, primeiramente permitindo que o usuário interagisse com grãos distribuídos em uma área bidimensional. Estes grãos visuais, ao serem “tocados”, causavam a emissão de um grão sonoro associado. Em um segundo momento, criamos virtualmente um ambiente tridimensional, espalhando os grãos pelo espaço, passando a utilizar a visualização apenas como um mapa da posição dos grãos. No último experimento prático realizado no estágio, substituímos o modelo interativo permitindo que o usuário, ao invés de tocar em grãos visuais, realizasse um desenho em uma tela virtual inicialmente em branco. A partir de uma análise das cores de grupos de pixels, massas sonoras granulares são geradas. Com estes três experimentos pudemos notar uma tendência no uso do controlador gestual em desvincular o espaço visual do espaço de interação do usuário, tornando a interação mais indireta no sentido de que o usuário não participaria da exibição visual da performance. Esta observação nos levou a flexibilizar nosso projeto quanto ao uso dos dispositivos de entrada, permitindo a experimentação com outros mapeamentos e, até mesmo, outros controladores gestuais. Além disso, o conteúdo visual também se torna mais livre, podendo ser explorado de forma mais artística e expressiva em projeções de qualquer tamanho, já que o usuário não vai interagir diretamente com a imagem.

Diante das diversas possibilidades de abordar o domínio visual, nossa pesquisa se direcionou para a área da Música Visual. Esta área delimita uma estética na qual o domínio visual é tratado da mesma forma e com igual importância que o domínio sonoro, evitando criar uma relação hierárquica entre som e imagem. Em nossa abordagem anterior, o domínio visual estava subordinado ao espaço como consequência do modelo de interação com o usuário. Em outra abordagem, o domínio visual é caracterizado pela narrativa, e o som fica subordinado à imagem com a função de realçar e complementar a narrativa. Ao criar um quadro teórico de referência da Música Visual, encontramos os fundamentos que fortaleceram nosso modelo para

a Síntese Granular Visual de forma independente de sua contraparte sonora, ou seja, um modelo de síntese granular exclusivamente no domínio da imagem, reconstruído a partir de uma abstração do modelo de Síntese Granular de som. Discutimos também os aspectos cognitivos da percepção multissensorial, em especial, do som e da imagem, e propusemos tipos de correlação entre grãos sonoros e visuais e, sendo assim, formalizamos a Síntese Granular Audiovisual. O contato com a área da Música Visual, inicialmente não prevista em nosso projeto de original, além de consolidar os modelos conceituais e ocasionar melhorias no desenvolvimento dos sistemas Granular Streamer e Granular Drawer, também mudou nosso enfoque da prática criativa em direção à produção de obras de Música Visual, principalmente dentro de um paradigma de Síntese Granular.

Neste sentido, realizamos um estágio de pesquisa no Centre for Musical Research (CMR), Bath Spa University, sob orientação do Prof. Dr. Joseph Hyde, com onze meses de duração. Como primeira tarefa neste estágio, utilizamos os sistemas comerciais Ableton Live e Adobe After Effects para criar “Uirapuru”, nossa primeira obra de Música Visual. Neste trabalho partimos de uma restrição ao processo criativo na qual não poderíamos utilizar os sistemas de desenvolvimento próprio e nem mesmo a técnica da Síntese Granular de som ou de imagem. Embora, no princípio, esta estratégia tenha nos parecido como um desvio em nossa pesquisa, podemos neste momento perceber os benefícios que trouxe. Primeiramente, ao abandonar a área de maior familiaridade, que consistia em nossos conhecimentos sobre a Síntese Granular e nas habilidades de desenvolvimento de sistemas, fomos induzidos a experimentar o processo criativo da Música Visual com autenticidade. Em segundo lugar, identificamos recursos e procedimentos que poderiam ser englobados em uma metodologia para a prática criativa. E, terceiro, a própria obra “Uirapuru”, uma referência não granular, permitiu uma melhor análise de nossas obras de Música Visual Granular. Este estágio teve continuidade com a criação das obras “Rain”, “Belly Trick” e “Contrapontos 3, 4, 9 e 8”, todas para mídia fixa, nas quais procuramos explorar e avaliar os limites do modelo conceitual e dos sistemas que desenvolvemos.

Após este estágio, adentramos o último período de nossa pesquisa no qual consolidamos os resultados obtidos. Mais uma vez, nossos esforços foram distribuídos em atividades teóricas, tecnológicas e práticas. Com a elaboração de artigos científicos e da própria tese e, com isso, formalizamos o modelo de Síntese Granular Visual e Audiovisual, analisamos

as obras criadas durante o estágio e definimos um método para a prática criativa em Música Visual Granular. Também desenvolvemos as modificações finais nos sistemas Granular Streamer, Granular Drawer e Granular Score que julgamos importantes para a conclusão de nosso projeto. Nossa prática criativa final ocorreu com a criação e apresentação de “Contrapontos” em sua versão live, reunindo todos os resultados da pesquisa.

Conclusões sobre a pesquisa

Nesta tese demonstramos como a Síntese Granular de som pode ser eficientemente controlada em tempo real, no contexto de uma performance artística, utilizando dispositivos de entrada projetados para a interação com sistemas musicais e acompanhada, vis-à-vis, da apresentação de uma representação visual dos processos granulares em andamento. Com a aceitação das obras “Rain”, “Belly Trick” e, principalmente, “Contrapontos” ao vivo, para apresentação em eventos científicos específicos das áreas de Música Visual, Computação Musical e Composição Eletroacústica, bem como em eventos populares menos formais, validamos a aplicabilidade de nossos modelos e sistemas na criação de obras audiovisuais a partir de grãos sonoros e visuais.

Para a criação de tais obras, os sistemas disponíveis no mercado se mostraram ineficientes, requerendo o desenvolvimento de sistemas específicos como o Granular Streamer e o Granular Drawer que implementam respectivamente a síntese em tempo real de som e de imagem, a partir de grãos. Em um sistema desenvolvido com tecnologia digital, o domínio visual é tradicionalmente utilizado de forma a retratar o estado do sistema de forma bastante clara, utilizando janelas, gráficos, informações textuais, entre outros recursos. Em nosso sistema, distanciamos o domínio visual deste paradigma informativo e o aproximamos de qualidades mais artísticas e criativas. Não obstante, durante a criação das obras ou durante a realização de uma performance, a informação visual exerce grande influência sobre as tomadas de decisão e equilíbrio dos materiais. Neste sentido, a Música Visual apresenta-se como um modelo estético que pode ser empregado no projeto de interface gráficas alternativas (Souza, 2015). Complementar a estes sistemas, desenvolvemos o Granular Score, contribuindo para a área de pesquisa de Partituras Gráficas, e realizamos experimentos com dispositivos de entrada e modos de interação, em particular com o Kinect, típicos da pesquisa em Instrumentos Musicais Digitais.

O desenvolvimento de tais sistemas fundamenta-se em modelos teóricos. Para tanto, partimos da revisão teórica do método de Síntese Granular de som e da análise de sua aplicação na criação de obras musicais, para então definir um modelo de Síntese Granular Visual, qual imagens e animações complexas são obtidas a partir de grãos visuais. Em seguida, apoiados por teorias que descrevem o funcionamento dos sentidos humanos da audição e da visão, integramos a síntese de som e de imagem em um modelo de Síntese Granular Audiovisual. Finalmente, conforme abordamos a área da Música Visual, chegamos a um método para a prática criativa de obras de Música Visual Granular. Diante de tantas possibilidades criativas facilitadas pela tecnologia digital atual, faz-se necessária a pesquisa e a formalização das estratégias ótimas nesta área de expressão artística.

Estas produções artístico-experimentais, mostram que a Música Visual com características granulares pode ser extensivamente usada em vários contextos com grande expressividade e, claramente, utilizando as técnicas e conceitos aqui expostos, um artista audiovisual pode ir muito além do que chegamos, com seu estilo próprio e pessoal.

Perspectivas de continuidade da pesquisa

Devido a sua natureza interdisciplinar, envolvendo muitas áreas de conhecimento, esta pesquisa tem potencial para ser continuada em muitas direções, tanto no sentido de aprofundar-se nos resultados obtidos, como no de expandir os conceitos e técnicas para novas áreas afins à Síntese Granular e à Música Visual.

Dada as características das obras criadas, uma outra frente de pesquisa, mais teórica, seria discutir mais profundamente as relações de significação e interdependência entre o sonoro e o visual, explorando os tipos de correspondências relacionados nesta tese frente a outras poéticas. Pode-se também, por meio de nossos sistemas, realizar experimentos nos limites cognitivos da reconhecibilidade e percepção de um material audiovisual quando este se apresenta fragmentado em unidades de informação que tendem ao infinitesimal. Este aprofundamento, mais uma vez, estaria relacionado com a criação de novas obras dentro de nossa estética granular que, por sua vez, também se relacionam com as capacidades técnicas dos sistemas de reprodução de som e imagem, bem como de computação, que de fato nunca deixam de ser aprimorados.

Além da Síntese Granular, pode-se investigar também a extensão de outras técnicas de síntese sonora para o domínio visual como modelos, por exemplo, para a Síntese Aditiva Visual, Síntese Subtrativa Visual, Síntese FM Visual e outras contrapartes de técnicas de síntese de sons. Também é possível explorar outras estéticas de arte audiovisual além da Música Visual, criando trabalhos cujo conteúdo visual, que apesar de granular, não seja abstrato e talvez até mesmo contenha uma narrativa, contrariamente às obras apresentadas nesta tese. Finalmente, podemos ampliar os sentidos envolvidos em nosso modelo, além da audição e da visão, como o tato, o olfato e o paladar, por exemplo, analisando e reconstruindo todas as informações e materiais artísticos sob o paradigma da granularidade.

REFERÊNCIAS

Abaddo, A.: Perceptual Correspondences of Abstract Animation and Synthetic Sound. Master Thesis, Massachusetts Institute of Technology (MIT), Media Laboratory. 1988.

Alexander, A., Collins, N.: Live Audiovisual. In: Collins, N., d’Escrivan, J. The Cambridge Companion to Electronic Music. New York: Cambridge University Press, 2008.

Alves, B.: Digital Harmony of Sound and Light. Computer Music Journal, Vol.29, No.4, The MIT Press, pp.45-54, 2005.

Alves, B.: Consonance and Dissonance in Visual Music. Organised Sound, Vol.17, No.2, pp.114-119, 2012.

Batty, J., Horn, K., Greuter, S.: Audiovisual granular synthesis: micro relationships between sound and image. Melbourne: Proceedings of the 9th Australasian Conference on Interactive Entertainment: Matters of Life and Death, 2013.

Batty, J.: Audiovisual granular synthesis: creating synergistic relationships between sound and image. Ph.D. Thesis, Media and Communication, RMIT University, 2014.

Becker, L.: Synthetic Sound and Abstract Image. Hollywood Quaterly, Vol.1, No.1, pp.95-96, 1945.

Callear, S.: Audiovisual Particles: Parameter Mapping as a Framework for Audiovisual Composition. Ph.D. Thesis, Music and Performing Arts, Bath Spa University, 2011.

Chion, M.: Audio Vision. Claudia Gorbman (trad.). Nova York: Columbia University Press, 1994.

Ciufo, T.: Real-Time Sound/Image Manipulation and Mapping in a Performance Setting. Digital Arts and Culture Conference, Providence, Rhode Island, EUA, 2001.

Cole, B., Gealt, A.M.: Art of the Western World: From Ancient Greece to Post Modernism. Simon and Schuster, 1991.

Collopy, F.: Color, Form and Motion: Dimensions of a Musical Art of Light. Leonardo, Vol.33, No.5, pp.355-360, 2000.

Collopy, F.: Playing (With) Color. Glimpse: the art plus science of seeing, Vol.23, pp. 62-67, 2009.

Clark, M.: Composing at the intersection of time and frequency. Organised Sound, Vol.1, No.2. Cambridge: Cambridge University Press, pp.107-117, 1996.

Cloutier, J.: A Era de EMEREC. Lisboa: Instituto de Tecnologia Educativa, 1975.

Curtis, G.: The Cave Painters: Probing the Mysteries of the World's First Artists. Knopf, 2006.

Dannenberg, R. B.: Interactive Visual Music: A Personal Perspective. Computer Music Journal, Vol.29, No.4, pp.25-35, 2005.

Discipio, A.: Composition by Exploration of Nonlinear Dynamical Systems. Proceedings of the 1990 International Computer Music Conference. San Francisco: International Computer Music Association, pp.324-327, 1990.

Edmonds, E. A., Martin, A., Pauletto, S.: Audiovisual Interfaces in Digital Art. Singapure: International Conference on Advances in Computer Entertainment Technology (ACE 04), pp.331-336, 2004.

Efron, R.: Conservation of temporal information by perceptual systems. Perception & Psychophysics, Vol.14, No.3, pp.518–530, 1973.

Evans, B. Foundations of a Visual Music. Computer Music Journal, Vol.29, No.4, pp.11-24, 2005.

Evans, B.: Elemental Counterpoint with Digital Imagery. Leonardo Music Journal, Vol.2, No.1, pp.13-18, 1992.

Ferraz, S.: Análise e percepção textural: o Estudo N.oVII, para sopros de Ligeti. Cadernos de Estudo: Análise Musical, No.1. São Paulo: Atravéz, 1990.

Fuxjager, A.: Translation, Emphasis, Synthesis, Disturbance: On the function of music in visual music. Organised Sound, Vol.17, No.2, pp.120-127, 2012.

Gabor, D.,: Theory of Communication. JIEE, Vol.93, Part 3, No.26, pp.429-457, 1946.

Gabor, D.: Acoustical Quanta and the Theory of Hearing. Nature 159, pp.591-594, 1947.

Hankins, T. L. The Ocular Harpshichord of Louis-Bertrand Castel: Or, The Instrument Than Wasn’t. Osiris, Series 2, Vol.9, Instruments, pp.141-156, 1994.

Glinsky, A.: Theremin: Ether Music and Espionage. Urbana, Illinois: University of Illinois Press, 2000.

Haverkamp, M.: Look at that Sound: Visual Aspects of Auditory Perception. III Congresso Internacional de Sinestesia, Ciencia y Arte, 2009.

Holsopple, J. L.: Toward a poetic of visual music. Ph.D. Thesis, Division of Media and Communication, European Graduate School, 2003.

Hyde, J.: Musique Concrète Thinking in Visual Music Practice: Audiovisual silence and noise, reduced listening and visual suspension. Organised Sound, Vol.17, No.2, pp.170-178, 2012.

Hunt, A., Kirk, R.: Mapping Strategies for Musical Performance. In: Trends in Gestural Control of Music. Ircam - Centre Pompidou, 2000.

Isaacs, W. F.: Time and the Fourth Dimension in Painting. College Art Journal, Vol.2, No.1, pp.2-7, 1942.

Jones, R., Nevile, B.: Creating Visual Music in Jitter: Approaches and Techniques. Computer Music Journal, Vol.29, No.4, pp.55-70, 2005.

Kapucinski, J.: Basic Theory of Intermedia: Composing with Sounds and Images. Monochord: De MusicaActa, Studia e Comentarii, Vol.19, pp.43-50, 1998.

Kohlrausch, A., Van De Par, S.: Audiovisual Interaction in the Conext of Multi-Media Applications. In: Blauert, J. Communication Acoustics. Springer, Berlin, Heidelberg, pp.109- 138, 2005.

Levin, G.: Painterly Interfaces for Audiovisual Performance. Master Thesis, Massachussets Institute of Technology (MIT), 2000.

Ligeti, G., Wehinger, R. Artikulation. Internet:

https://www.youtube.com/watch?v=71hNl_skTZQ. Acessado em 10/12/2015.

Lima, M. C.: Música-Vídeo: Uma Experiência, Transsensorial. Rio de Janeiro: Anais do I Simpósio Brasileiro de Pós-Graduandos em Música, XV Colóquio de Pós-Graduação em Música da UNIRIO, 2010.

Maia, A., Miranda, E.R.: Granular synthesis of sound through Markov chains with fuzzy control. Barcelona: Annals of the International Computer Music Conference, 2005.

Mahnke, F. H.: Color, Enviroment and Human Response. John Wiley and Sons Inc., pp.71-77, 1996.

Malloch, J., Sinclair, S., Wanderley, M.M.: A Network-based Framework for Collaborative Development and Performance of Digital Musical Instruments. Berlin: Proceedings Of Computer Music Modeling and Retrieval Conference, 2008.

Marino, G., Serra, M., Raczinski, J.: The UPIC System: Origins and Innovations. Perspectives of New Music, Vol.31, No.1, pp. 258-269, 1993.

Moore, F. R.: Elements of Computer Music. New Jersey: Prentice Hall, 1990.

Moritz, A. A.: Light Waves and Their Uses. The Decennial Publications, Serie2, Vol.3. Chicago: The Chicago University Press, 1903.

Oberg, K.: Culture Shock: Adjustment to new social environments. World Wide Classroom Consortium for International Education & Multicultural studies, 2009.

Ox, J., Keefer, C.: On Curating Recent Digital Abstract Visual Music. Abstract Visual Music Catalog, The New York Digital Salon, 2008.

Peacock, K.: Instruments to Perform Color-Music: Two Centuries of Technological