CLAYTON ROSA MAMEDES
DESIGN SONORO E INTERAÇÃO EM INSTALAÇÕES AUDIOVISUAIS
CAMPINAS 2015
UNIVERSIDADE ESTADUAL DE CAMPINAS Instituto de Artes
CLAYTON ROSA MAMEDES
DESIGN SONORO E INTERAÇÃO EM INSTALAÇÕES AUDIOVISUAIS
Tese apresentada ao Instituto de Artes da Universidade Estadual de Campinas como parte dos requisitos exigidos para a obtenção do título de Doutor em Música.
Área de concentração: Processos criativos.
Orientador: PROFA. DRA. DENISE HORTÊNCIA LOPES GARCIA Co-orientador: PROF. DR. JÔNATAS MANZOLLI
ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DA TESE DEFENDIDA PELO ALUNO
CLAYTON ROSA MAMEDES E ORIENTADA PELA PROFA. DRA. DENISE HORTÊNCIA LOPES GARCIA ____________________________________
CAMPINAS 2015
RESUMO
A presente tese descreve o processo criativo das instalações audiovisuais interativas
Abstrações, Cerejeira e Caminho das águas, relacionando-as ao objetivo principal da pesquisa, que
consiste em analisar os mecanismos de integração entre o projeto conceitual de cada instalação, seu design sonoro e os processos que modelam a interação dos visitantes com a obra. Este objetivo é alcançado através de uma abordagem prática ao processo de pesquisa, a qual foi realizada através da criação de novas obras e a respectiva avaliação sobre o comportamento dos visitantes, processo repetido a cada etapa deste trabalho.
O trabalho contempla a análise e a localização de nossas referências para os conceitos de instalações, design sonoro e interatividade. Apresentamos uma proposta para estruturação do design sonoro baseada na espectro-morfologia de Denis Smalley, utilizando este conjunto teórico como modelo para estruturar a relação entre o som e o conteúdo referencial da obra, e entre o som e o modelo interativo que se pretende abrir aos visitantes.
Implementamos um conjunto de descritores de propriedades físicas para o movimento e desenvolvemos um conjunto de descritores baseados na fusão de dados sobre as propriedades físicas do movimento, com a intenção de descrever as classes de Esforço para a Análise de Movimento Laban. Estes descritores objetivam suprir deficiências do modelo interativo utilizado no início da pesquisa, durante o desenvolvimento das instalações Abstrações e Cerejeira.
A instalação Caminho das águas integra os desenvolvimentos alcançados pela pesquisa: uma nova abordagem para a relação entre o projeto conceitual da obra, seu design sonoro e o modelo interativo revisado. Um extenso estudo com participantes aplicado sobre esta instalação permitiu avaliarmos os resultados alcançados a partir das hipóteses levantadas durante o desenvolvimento da pesquisa.
ABSTRACT
This thesis presents the creative process of the interactive audiovisual installations
Abstrações, Cerejeira and Caminho das águas, relating them to the main objective of the research,
which consists in the analysis of the models that integrate the conceptual project of each installation, its sound design and the interactive processes that model the relation between visitors and the work. This objective was achieved through a practical approach to the research process and was implemented by the designing of new installations and the respective evaluation about the behavior of visitors. This process was repeated at each step of the research.
This work includes the analysis and origin of our references to the concepts of installations, sound design and interactivity. We present a proposal to structure sound design based on the spectro-morphology developed by Denis Smalley. We propose the use of this theoretical corpus as a model to structure the relation between sound and the referential content of the work, and between sound and the interactive model that is intended to be open for visitors' participation.
We have implemented a set of descriptors to retrieve physical properties of the movement. We also developed a set of descriptors based on data fusion from these physical properties, intending to describe the classes of Effort for the Laban Movement Analysis. These descriptors aim to fulfill shortcomings observed in the interactive model adopted in the early part of the research, specifically during the development of the installations Abstrações e Cerejeira.
The installation Caminho das águas integrates the developments achieved by this research: a new approach to the relation among the conceptual project of a work, its sound design and the interactive model adopted. An extensive study with participants applied over this installation enabled us to evaluate the results achieved from the hypotheses raised during the development of the research.
SUMÁRIO
INTRODUÇÃO …... 1
1) FUNDAMENTAÇÃO TEÓRICA: CONCEITOS E TERMINOLOGIAS …... 8
1.1) Definição de Instalações …... 9
1.2) O Design Sonoro …... 12
1.3) Design sonoro e espaço sonoro. Definições procedentes da música eletroacústica, cinema e arte sonora …... 17
1.4) Por um design sonoro baseado na espectro-morfologia dos eventos sonoros …... 24
1.5) Interatividade …... 30
2) INSTALAÇÕES ABSTRAÇÕES E CEREJEIRA: ESTUDOS-PILOTO PARA O DESENVOLVIMENTO DA PESQUISA …... 39 2.1) Abstrações …... 39 2.1.1) Seção 1 …... 46 2.1.2) Seção 2 …... 49 2.1.3) Seção 3 …... 50 2.1.4) Seção 4 …... 54
2.1.5) Apontamentos sobre o comportamento dos visitantes …... 56
2.2) Cerejeira …... 58
2.2.1) Modelo Bioinspirado de Cerejeira …... 63
2.2.2) Operadores Genéticos …... 69
2.2.2.1) Cruzamento ou Crossover …... 69
2.2.2.2) Mutação …... 70
2.2.3) Apontamentos sobre o comportamento dos visitantes …... 71
3) DESCRITORES PARA CAPTURA DE MOVIMENTO E ESTRATÉGIAS PARA C O N T R O L E D E M A P E A M E N T O E M I N S T A L A Ç Õ E S A U D I O V I S U A I S INTERATIVAS... 73
3.1) Desenvolvimento de modelos e implementação …... 78
3.2) Descritores de movimento …... 82
3.3) Testes de performance …... 87
3.4) Avaliação dos descritores de movimento desenvolvidos; soluções propostas a partir dos testes de performance …... 94
3.5) Conclusões sobre os descritores de movimento desenvolvidos …... 97
4) CAMINHO DAS ÁGUAS, INSTALAÇÃO AUDIOVISUAL INTERATIVA ... 98
4.1) Design visual da instalação …... 102
4.2) Estudo de design sonoro sobre o projeto Caminho das águas: agrupamento do material sonoro a partir de suas características espectro-morfológicas …... 106
4.3) Implementação computacional da instalação …... 110
4.4) Estudo com participantes …... 113
4.4.1) Análise dos Questionários …... 115
4.4.2) Análises estatísticas …... 120
4.4.3) Análise estésica sobre o resultado sonoro da interação de participantes selecionados …... 141
5) CONCLUSÃO …... 149
5.1) Discussão sobre o processo de pesquisa …... 149
5.2) Conclusões sobre a pesquisa …... 153
REFERÊNCIAS …... 158
Anexo 1: Análises detalhadas do subcapítulo 3.3) Testes de performance …... 167
Anexo 2: Descrição do conteúdo visual para a instalação Caminho das águas …... 176
Anexo 3: Descrição do conteúdo sonoro para a instalação Caminho das águas …... 187
Anexo 4: Comentários extraídos dos questionários de cada participante …... 200
Anexo 5: Tabelas com transcrição dos resultados obtidos das análises estatísticas …... 206
Para meus pais, Reginaldo e Marta, para minha irmã Naisa,
Agradecimentos
Ao apoio financeiro da Fundação de Amparo a Pesquisa do Estado de São Paulo, processos FAPESP nº 2011/01553-8 e 2012/21039-0.
Aos amigos que contribuíram de maneira valorosa com esta pesquisa, através de sua ajuda e opiniões sinceras: Mailis Rodrigues, Flávio Luiz Schiavoni, Euler Teixeira, Gabriel Rimoldi, Vânia E. Pontes, Pieter-Jan Maes, Hakon Knutzen e Edelson Constantino.
Ao amigo Mark Zadel, pela implementação de programa em Perl que adequa os dados enviados pelo sistema Vicon para o protocolo OSC, passo fundamental para os testes de performance do Capítulo 3.
Ao amigo Tiago Tavares, pela implementação de programa em Python que grava os dados obtidos pelos descritores de movimento, possibilitando nosso experimento do Capítulo 4.
A José Fornari, pelos conselhos durante o desenvolvimento das instalações Abstrações e
Cerejeira.
Agradecimentos especiais:
A Denise Garcia e Jônatas Manzolli, pela valiosa orientação, sábios conselhos, apoio para produção das instalações desenvolvidas durante a pesquisa e, principalmente, pelo carinho e dedicação com que conduziram este trabalho.
A Marcelo Wanderley, por nos abrir o IDMIL, pela supervisão e pelas grandes ideias sobre a relação movimento-som, possibilitando um salto de qualidade para a pesquisa A Ignacio de Campos (in memoriam), por seus ensinamentos.
A minha família: meus pais, Reginaldo e Marta, minha irmã Naísa; o apoio e a confiança de vocês sempre serão a minha força.
Lista de Ilustrações
Figura 2.1: Mapa dinâmico da instalação …... 43
Figura 2.2: Diagrama da correlação entre a localização dos visitantes por seu centro de gravidade e o sistema de difusão quadrifônico. …... 45
Figura 2.3: Alturas transcritas em notação musical das componentes espectrais selecionadas a partir do registro sonoro de gongo balinês analisado …... 47
Figura 2.4: Excerto visual da primeira seção, apresenta as partículas sendo projetadas a partir de sua posição de origem central através do controle paramétrico de órbita …... 48
Figura 2.5: Excerto visual da segunda seção, apresenta uma esfera sintetizada utilizando poliedros para sua composição que, quando aumentada, torna visíveis seus vértices e polígonos trapezoidais…... 50
Figura 2.6: Análise espectral por FFT de um excerto gravado do sino da Catedral de St. Michael, Coventry, UK (Hibbert, 2008). Análises realizadas pelo pesquisador. …... 52
Figura 2.7: Timbre de sino, implementado de acordo com o modelo para síntese de F. Richard Moore (Moore, 1990) …... 52
Figura 2.8: Timbre de sino, implementado de acordo com o modelo de Jean-Claude Risset (Risset, 1969) …... 52
Figura 2.9: Excerto visual da terceira seção, apresenta os cones projetados a partir do centro da tela, com seu eixo superior dispersando em diferentes direções …... 53
Figura 2.10: Excerto visual da quarta seção, apresenta o objeto massa-mola com seus vértices apontando para o centro …... 55
Fig. 2.11: Croqui com a disposição dos objetos integrantes da instalação …... 59
Fig. 2.12: Resultado visual da equação original …... 61
Fig. 2.13: Transcrição das escalas empregadas em Cerejeira. …... 62
Fig. 2.14: Diferentes excertos da projeção dos fractais; primeira adaptação na coluna a esquerda, segunda adaptação a direita …... 67
Figura 3.1: Duas origens possíveis para a coordenada de referência, rastreando ambas a mãos. A imagem a esquerda toma a origem dos dados de captura de movimento como referência. A imagem a direita toma a cinesfera como referência …... 80
Figura 3.2: Fluxograma do modelo proposto, incluindo o uso do software Libmapper. …... 81
Figura 3.3: Webmapper (interface gráfica para Libmapper): sistema Vicon conectado a descritores de movimento, descritores de movimento conectados ao módulo de síntese …... 82
Figura 3.4: fluxograma de captura de movimento, análise de dados, síntese sonoro e gravação dos
dados de coordenadas tridimensionais, descritores e áudio …... 90
Figuras 4.1 e 4.2: Excertos visuais da primeira seção de Caminho das águas …... 104
Figuras 4.3 e 4.4: Excertos visuais da segunda seção de Caminho das águas …... 105
Figuras 4.5 e 4.6: Excertos visuais da segunda seção de Caminho das águas …... 106
Figura 4.7: Fluxograma apresentando os parâmetros de controle sonoro que compõem cada gesto do visitante …... 109
Figura 4.8: Fluxograma descrevendo a rede de processamento de dados em Caminho das águas... 112
Figura 4.9: Croqui com a disposição dos objetos integrantes da instalação dentro do espaço de experimento …... 114
Lista de Tabelas
Tabela 2.1: parâmetros para controle de áudio …... 44
Tabela 2.2: Parâmetros para controle de vídeo …... 46
Tabela 2.3: Frequências das componentes espectrais dos sons de sino. Valores expressos em Hertz (Hz) …... 51
Tabela 2.4: Distribuição dos genes do cromossomo …... 69
Tabela 2.5. Possibilidades de comparação entre os indivíduos …... 70
Tabela 3.1: Análise de performance do sistema para captura e análise de movimento …... 91
Tabela 3.2: Síntese da análise de performance do sistema para captura e análise de movimento . 92 e 93 Tabela 4.1: Comparação entre análise qualitativa e nível de formação artística …... 116
Tabela 4.2: Lista de comentários extraídos dos questionários e contagem de redundância ….. 116 e 117 Tabela 4.3: Comparação entre percepção de controle declarada e nível de formação artística …... 117
Tabela 4.4: Comparação entre percepção de domínio declarada e nível de formação artística …... 118
Tabela 4.5: Comparação entre percepção da reatividade declarada e nível de formação artística ….. 118
Tabela 4.6: Comparação entre percepção de imersão declarada e nível de formação artística …... 119
Tabela 4.7: Comparação entre apreciação da temática e nível de formação artística …... 119
Lista de gráficos
Gráfico 4.1: Tempo de duração dos experimentos, em segundos …... 122
Gráfico 4.2: Relação entre os níveis de formação artística e a média de duração dos experimentos... 123
Gráfico 4.3: Proporção entre atividade e silêncio dos participantes, LMF2 …... 124
Gráfico 4.4: Proporção entre atividade e silêncio dos participantes, RMF2 …... 124
Gráfico 4.5: Proporção entre atividade e silêncio dos participantes, LTOE …... 125
Gráfico 4.6: Proporção entre atividade e silêncio dos participantes, RTOE …... 125
Gráfico 4.7: Proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, LMF2 ... 126
Gráfico 4.8: Proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, RMF2 ... 126
Gráfico 4.9: Proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, LTOE ... 127
Gráfico 4.10: Proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, RTOE ... 127
Gráfico 4.11: Relação entre os níveis de formação artística e a média da proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, LMF2 …... 128
Gráfico 4.12: Relação entre os níveis de formação artística e a média da proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, RMF2 …... 128
Gráfico 4.13: Relação entre os níveis de formação artística e a média da proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, LTOE …... 128
Gráfico 4.14: Relação entre os níveis de formação artística e a média da proporção entre atividade e silêncio dos participantes comparada pelo nível de formação artística, RTOE …... 129
Gráfico 4.15: Variação na movimentação entre as duas mãos e os dois pés utilizando a Norma L2... 130
Gráfico 4.16: Proporção entre silêncio e atividade dos participantes de acordo com sua avaliação qualitativa, LMF2 …... 131
Gráfico 4.17: Proporção entre silêncio e atividade dos participantes de acordo com sua avaliação qualitativa, RMF2 …... 131
Gráfico 4.18: Proporção entre silêncio e atividade dos participantes de acordo com sua avaliação qualitativa, LTOE …... 132 Gráfico 4.19: Proporção entre silêncio e atividade dos participantes de acordo com sua avaliação
qualitativa, RTOE …... 132 Gráfico 4.20: Assimetria para os períodos de atividade participantes, LMF2. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 134 Gráfico 4.21: Assimetria para os períodos de atividade participantes, RMF2. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 134 Gráfico 4.22: Assimetria para os períodos de atividade participantes, LTOE. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 135 Gráfico 4.23: Assimetria para os períodos de atividade participantes, RTOE. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 135 Gráfico 4.24: Assimetria para os períodos de atividade participantes, LMF2. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 136 Gráfico 4.25: Assimetria para os períodos de atividade participantes, RMF2. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 136 Gráfico 4.26: Assimetria para os períodos de atividade participantes, LTOE. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 137 Gráfico 4.27: Assimetria para os períodos de atividade participantes, RTOE. Análise realizada através de Curtose. Apresentação em escala logarítmica de base 10 …... 137 Gráfico 4.28: Relação entre os níveis de avaliação qualitativa e a média para a medida de curtose, LMF2. Apresentação em escala logarítmica de base 10 …... 138 Gráfico 4.29: Relação entre os níveis de avaliação qualitativa e a média para a medida de curtose, RMF2. Apresentação em escala logarítmica de base 10 …... 138 Gráfico 4.30: Relação entre os níveis de avaliação qualitativa e a média para a medida de curtose, LTOE. Apresentação em escala logarítmica de base 10 …... 138 Gráfico 4.31: Relação entre os níveis de avaliação qualitativa e a média para a medida de curtose, RTOE. Apresentação em escala logarítmica de base 10 …... 139 Gráfico 4.32: Relação entre os níveis de formação artística e a média para a medida de curtose, LMF2. Apresentação em escala logarítmica de base 10 …... 139 Gráfico 4.33: Relação entre os níveis de formação artística e a média para a medida de curtose, RMF2. Apresentação em escala logarítmica de base 10 …... 139 Gráfico 4.34: Relação entre os níveis de formação artística e a média para a medida de curtose, LTOE. Apresentação em escala logarítmica de base 10 …... 140 Gráfico 4.35: Relação entre os níveis de formação artística e a média para a medida de curtose, RTOE. Apresentação em escala logarítmica de base 10 …... 140
Lista de abreviaturas AG – Algoritmo Genético
AGI – Algoritmo Genético Interativo
C3D – Padrão de dados biomecânicos 3D (3D Biomechanics Data Standard) CE – Computação Evolutiva
CEP – Comitê de Ética em Pesquisa
CIDDIC - Centro de Integração, Documentação e Difusão Cultural da Unicamp
CIRMMT – Centre for Interdisciplinary Research in Music Media and Technology, McGill University FFT - Transformada Rápida de Fourier (Fast Fourier Transform)
FM – Frequência Modulada
IDMIL – Input Devices and Music Interaction Laboratory, McGill University IIR – Filtro de Resposta Infinita (Infinite Impulse Response Filter)
IMP – Índice de Movimentação do Público
IRCAM - Institut de Recherche et Coordination Acoustique/Musique LMA – Análise de Movimento Laban (Laban Movement Analysis) LMF2 – Dedo média da mão esquerda, segunda falange
LSHO – Ombro esquerdo (C3D standard data)
LTOE – Dedo polegar do pé esquerdo (C3D standard data) Mocap – Captura de movimento (Motion Capture)
NICS – Núcleo Interdisciplinar de Comunicação Sonora da Unicamp PCA – Análise de componentes principais (Principal Component Analysis)
RGB – Vermelho, verde e azul (Red, green and blue), aplicado em relação a cores de vídeo RMF2 – Dedo média da mão direita, segunda falange (C3D standard data)
RSHO – Ombro direito (C3D standard data)
RTOE – Dedo polegar do pé direito (C3D standard data) STD – Desvio padrão (Standard Deviation)
STRN – Esterno (C3D standard data) UDP – User Datagram Protocol
Introdução
O objetivo desta pesquisa foi desenvolver instalações audiovisuais interativas e analisar, durante o processo criativo, seus mecanismos de integração com o design sonoro e com a interação dos visitantes através de uma abordagem prática ao processo de pesquisa. A pesquisa compreendeu o estudo sobre a interação entre os visitantes das instalações e as obras desenvolvidas, sendo que deste estudo implementamos um conjunto de descritores de movimento baseados em sistemas de captura de movimento por vídeo. A pesquisa compreendeu também a proposição de uma abordagem ao design sonoro fundamentada pela espectro-morfologia de Denis Smalley (Smalley, 1986) e a utilização de suas terminologias como parâmetro para a classificação de sons e a definição de relações mútuas entre o design sonoro e os processos de interação e de unidade sonora para as obras.
Nossa motivação resulta da ausência de estudos que abordem o processo criativo e a implementação de instalações multimídia aplicando desenvolvimentos e recursos da área de design sonoro, especialmente aqueles desenvolvidos através de modelagem computacional. Como será apresentado no primeiro capítulo, a área carece de estudos que demonstrem praticamente a aplicação de seus conceitos e a interação com mídias outras além do cinema. Nosso objetivo com este trabalho é suprir parte desta lacuna, visualizada pelo próprio pesquisador em sua atividade como artista multimídia trabalhando nas áreas de instalações sonoras, instalações audiovisuais e arte sonora. O que desejamos, como suporte a finalidade artística do trabalho, é estabelecer um ambiente artístico imersivo e interativo de sucesso (Huron 2006, Boden 2005). O desenvolvimento técnico de ferramentas para descrição de movimentos dos visitantes e as propostas desenvolvidas para estruturar o conteúdo sonoro das obras fundamentadas por estratégias de design sonoro têm como objetivo alcançar esta finalidade artística, experimentando diferentes relações e avaliando a experiência dos visitantes com as instalações Abstrações, Cerejeira e Caminho das águas.
O design sonoro, embora seja uma área de estudo já desenvolvida nas áreas de cinema e música eletroacústica em língua estrangeira, permanece restrito a abordagens específicas, que não exploram todo o seu potencial. A bibliografia sobre o tema foca principalmente no tópico de síntese sonora ou simulação de fontes sonoras reais (Farnell 2010, Miranda 2002), e no tópico de relação entre áudio e imagem – este último, especialmente voltado para o cinema (Sonneschein 2001, Chion 1989, 1994 e 2006, Opolski 2009, Thom 1999).
de forma: 1) a integrar e criar pontos de relacionamento com outras áreas de conhecimento musical que permitam explorar aspectos importantes para a área de instalações: a percepção integral do espaço como parte de uma única obra e a percepção da experiência artística como multissensorial e imersiva. 2) Explorar a importância atribuída ao espaço e propor ao visitante jogos perceptuais, ao articular os eventos sonoros no tempo e relacioná-los com referências conceituais da obra ou com especificidades do local de exibição (Rogers 2013, Jot and Warusfel 1995, Pulkki 1997, Berkhout 1993 e Schacher 2006). 3) Explorar a multissensorialidade da experiência artística, que permite criar uma situação de imersão do público ao incorporar o uso simultâneo de seus sentidos (Bishop 2005, Coulter-Smith 2006, Blesser e Salter, 2007). Considerando o leque apresentado pelo contexto de instalações multimídia, neste trabalho também associamos a estes tópicos questões sobre sistemas interativos (Camurri et al. 200, 2004 e 2005, Wanderley e Depalle 2004, Winkler 2000) e sobre o mapeamento e relações entre movimento e respostas sonoras (Bevilacqua, 2002; Caramiaux et. al, 2012). Empregamos uma abordagem ampla, que propõe o uso do design sonoro como estratégia para a integração das principais etapas do processo de controle de dados em instalações interativas: um design sonoro que considere a interação do visitante e responda da forma mais adequada possível as potencialidades e expectativas geradas por seu mecanismo de interação; a definição de uma unidade sonora para obra, e como esta unidade se relaciona com seu projeto conceitual; definição de estratégias para organização da apresentação do conteúdo sonoro no tempo, também relacionando-o com o projeto da obra.
A realização da pesquisa partiu de uma abordagem prática que consistiu no desenvolvimento de duas instalações audiovisuais interativas, Abstrações e Cerejeira, a partir das quais realizamos análises sobre o comportamento espontâneo dos visitantes ao interagir com as obras. Nossa intenção – durante todo o trabalho – foi a de criar obras que permitam ao visitante assumir parte do controle de seu desenvolvimento no tempo. Os projetos poéticos de cada uma das instalações, que adotam diferentes temáticas para o processo de criação artística, são ligados por esta intenção comum. Partimos de uma escolha prévia por modelos de captura de movimento por vídeo, já que estes eliminam a dependência de interfaces que os visitantes precisem segurar ou tocar. Nossa ambição foi utilizar uma abordagem que implicasse na menor limitação possível ao repertório gestual do visitante. Os resultados das análises realizadas sobre estas duas instalações fundamentaram nossa abordagem para o desenvolvimento de um novo modelo de captura de movimento implementado através de recursos computacionais. Esta etapa da pesquisa consistiu na criação de um conjunto de descritores de movimento, aplicações de suporte computacional que permitem a análise de propriedades físicas do
movimento como distância, velocidade, aceleração, relações angulares, análise de componentes principais, média e desvio-padrão, assim como descritores para análise das categorias de esforço de Análise de Movimento Laban. Uma nova sequência de análises com o objetivo de testar a performance destes descritores permitiu avaliarmos seu comportamento e levantar informações sobre a variação no âmbito de respostas obtidas entre os diferentes participantes. Estas análises também indicaram os descritores percebidos com maior facilidade pelos participantes do experimento. Destacamos que estes descritores de propriedades físicas não estão restritos a dispositivos de captura de movimento por vídeo, pois foram implementados de forma a trabalhar com qualquer dispositivo operando com dados de coordenadas cartesianas no espaço tridimensional. Portanto, a aplicabilidade dos recursos técnicos desenvolvidos por esta pesquisa não se restringe apenas ao escopo deste trabalho, instalações interativas multimídia, encontrando-se disponível para artistas ou pesquisadores de outras áreas.
O estudo sobre o comportamento dos participantes nas instalações Abstrações e Cerejeira fundamentou também nosso aprofundamento bibliográfico sobre design sonoro. Este aprofundamento permitiu evoluir nossa abordagem sobre a unidade sonora da obra – considerando que a unidade de uma obra corresponde a concepção integralizante que caracteriza um projeto artístico – de uma definição que partia da abrangência integral do projeto artístico em direção a uma definição baseada em funções referenciais específicas desempenhadas pelos eventos sonoros dentro do conjunto da obra. Alcançamos esta evolução ao associarmos definições empregadas pela espectro-morfologia de Denis Smalley (Smalley, 1986), conjunto teórico inicialmente desenvolvido para a análise de música eletroacústica, a estratégias com o objetivo de desenhar a função de um evento sonoro de acordo com o potencial referencial que este pode associar e carregar consigo. O uso organizado destas estratégias permite tratarmos eventos sonoros como elementos estruturantes e, ao mesmo tempo, articuladores da obra. Exemplificaremos esta abordagem com a instalação Caminho das águas, obra que integra os resultados alcançados pela pesquisa em um projeto artístico que associa a unidade sonora e referencial da obra a seu design sonoro e a captura de movimento.
O método utilizado para desenvolvimento desta pesquisa consistiu na elaboração de três instalações artísticas interativas incluindo estratégias de design sonoro para estabelecer a unidade do projeto artístico e a coerência do processo interativo no contexto da obra. Seguem, ao desenvolvimento de cada uma desta obras, análises sobre o comportamento dos visitantes e propostas de melhorias a serem implementadas a partir de pertinências observadas durante estas análises, processo repetido a cada etapa deste trabalho. Apresentaremos neste trabalho os recursos técnicos desenvolvidos durante o
processo criativo destas três instalações, relacionando-os ao projeto conceitual de cada instalação, aos objetivos de adequação dos eventos sonoros as propostas poéticas de cada projeto artístico e as expectativas do artista-pesquisador. Análises sobre o comportamento dos visitantes permitiram aos pesquisadores avaliar a efetividade das relações definidas para cada instalação, e servirão como exemplos práticos de aplicação dos conhecimentos gerados por este estudo – tanto dos exemplos que funcionaram adequadamente quanto daqueles exemplos que não proporcionaram resultados satisfatórios para as expectativas dos pesquisadores.
Esta pesquisa propõe ampliar a abordagem e o alcance de aplicação do design sonoro, levantando características relevantes para a área de instalações multimídia a partir de definições utilizadas pelas áreas em que seu uso já se encontra estabelecido – notadamente, cinema, música eletroacústica e arte sonora; elaborar um conjunto de ferramentas computacionais para captura de movimento de visitantes de instalações que sirvam de suporte ao trabalho de compositores, designers sonoros e demais profissionais de áreas afins; propor uma abordagem para acesso dinâmico ao conteúdo sonoro da instalação, baseada na espectro-morfologia de Denis Smalley (Smalley, 1986), que atenda nossas expectativas por um uso da mídia sonora valorizando as potencialidades expressivas das relações intermídias (Higgins, 2002) e possua métodos fundamentados para explorar características e funções conceituais que os elementos constituintes de uma obra admitem. Por fim, o objetivo principal, que é exemplificar e apresentar – através de experiências aplicadas – um portfólio de instalações multimídia amparadas pelo conceito de design sonoro.
A tese é constituída por esta introdução, quatro capítulos e conclusão.
O primeiro capítulo apresenta a fundamentação teórica para a pesquisa e sintetiza o estado da arte em instalações, design sonoro, interação, além de descrever nossa proposta por um design sonoro baseado na espectro-morfologia de Denis Smalley. O processo investigativo foi construído ao longo do trabalho e seus resultados elaborados a partir da pertinência dos principais tópicos para nossa definição de design sonoro em instalações audiovisuais interativas. Investigamos as definições elaboradas para o termo de acordo com diferentes áreas da prática sonora e musical: cinema, música eletroacústica e arte sonora. Investigamos os principais usos do termo em cada área e sua relação com diferentes mídias, definindo seu uso como parte de um processo criativo de instalações multimídia. Elaboramos também uma investigação acerca das origens do conceito de instalações, delimitando o referencial que embasa nossa abordagem a este gênero artístico: temporalidade, multissensorialidade e percepção integral ou imersiva do espaço sonoro da instalação. Investigamos também o conceito de interatividade,
contrapondo as definições que o contemplam entre performance e a teoria de sistemas empregada em aplicações de interfaces homem-computador. Por fim, apresentamos nossas propostas de um design sonoro baseado na espectro-morfologia dos eventos sonoros como forma de abordar o som a partir de suas características constituintes; esta proposta nos permitirá articular o processo criativo de um conteúdo sonoro dinâmico e, ao mesmo tempo, manter a unidade sonora da proposta conceitual da obra e organizá-la de forma a articular sua estrutura formal e as referências entre as diferentes mídias integrantes do projeto artístico. A interpretação do leitor sobre conjunto das referências apresentadas durante esta seção permite definir, de maneira externa, grande parte de nossas aspirações estéticas e estilísticas.
O segundo capítulo apresenta as instalações audiovisuais interativas Abstrações e Cerejeira. Estas duas obras foram desenvolvidas no início do trabalho e funcionaram como estudos-piloto para pesquisa. O capítulo compreende a análise dos respectivos processos criativos de cada instalação, apresentando os conceitos de design sonoro utilizados pelo artista naquele momento. O estudo sobre os resultados alcançados pela instalação focou na análise sobre o comportamento dos visitantes ao interagirem com a obra, observando a recorrência de padrões indesejados pelos pesquisadores. O processo de pesquisa buscou rastrear as possíveis origens destes padrões observados. Este processo experimental de pesquisa nos apontou uma busca por referências ao processo cognitivo em situações densas em informação, objetivando uma maior eficiência para a definição do projeto de design sonoro e para os processos de construção de uma unidade sonora em cada projeto artístico. As instalações foram desenvolvidas sequencialmente, portanto Cerejeira emprega desenvolvimentos em sua proposta de design sonoro em relação a Abstrações. Dentre as melhorias implementadas, destacamos as referências a um design sonoro baseado em materiais de origem instrumental como mecanismo de abordagem ao controle materiais sonoros, em contraposição aos sons de caráter abstrato empregados em Abstrações. Apesar das modificações implementadas no design sonoro das instalações, a recorrência de padrões de comportamento pelos visitantes durante ambos os estudos nos conduziu a uma completa revisão dos fundamentos adotados para o sistema de controle interativo utilizado nestas duas obras.
O terceiro capítulo propõe uma nova abordagem para o modelo de captura de movimento, definindo-o como um modelo centrado no visitante da instalação, em contraposição ao modelo empregado nas instalações Abstrações e Cerejeira que tomava como referência o espaço físico da instalação. A partir das considerações obtidas por nossos estudos-piloto, construímos a hipótese que seria mais eficiente utilizar as características do movimento realizado pelos visitantes como parâmetro
de controle de que associações entre locais específicos no espaço físico da instalação. Com esta hipótese em mente, desenvolvemos descritores de propriedades físicas do movimento para analisar o processo de interação gestual dos visitantes; os resultados destes descritores foram combinados através de fusão de dados, implementando uma segunda classe de descritores com o objetivo de analisar as propriedades de esforço para a Análise de Movimento Laban. Realizamos testes de performance com participantes voluntários com a intenção de analisar a performance dos descritores e avaliar a eficiência de uma nova abordagem para o modelo interativo. O conjunto destes desenvolvimentos, a contextualização bibliográfica utilizada para alcançarmos este objetivo e os resultados obtidos por nossos testes com os descritores são apresentados neste terceiro capítulo.
O quarto capítulo apresenta a instalação audiovisual interativa Caminho das águas. Esta instalação, desenvolvida na fase final da pesquisa, propõe a aplicação de recursos selecionados dentre o conjunto de propostas desenvolvidas por nossos estudos. Neste capítulo apresentamos a relação entre o objetivo conceitual do projeto, baseado sobre a crise hídrica vivenciada pelo sudeste brasileiro entre o inverno de 2014 e o verão de 2015, sua divisão em seções que abordam diferentes visões sobre a questão da água na natureza e a relação do homem com este recurso natural. Descrevemos os objetivos conceituais e as regras utilizadas para o desenvolvimento e a classificação do conteúdo sonoro da instalação. Apresentamos nossas estratégias para definir eventos sonoros que permitam associar uma carga referencial própria e também capazes de manter a unidade do projeto conceitual da obra. Estas estratégias são apresentadas de acordo com as propriedades espectro-morfológicas de cada evento sonoro, a partir das quais relacionamos as suas características morfológicas aos padrões de interação gestual escolhidos e suas características espectrais as seções da instalação – sendo que cada seção explora uma abordagem diferente sobre o tema como parte da proposta conceitual para a obra. O capítulo contempla também um estudo com participantes que realiza uma avaliação do modelo interativo desenvolvido e das propostas de design sonoro estabelecidas no contexto da obra.
A conclusão apresenta as considerações finais desenvolvidas por esta pesquisa, sintetiza os resultados parciais alcançados pelas etapas descritas nos capítulos relacionados e avalia o conjunto dos resultados alcançados. Apontamos também melhorias a serem aplicadas ao modelo interativo desenvolvido e a necessidade de estudos dedicados ao processo cognitivo de visitantes de instalações multimídia interativas, fruto do resultado observado a partir de análises de correlação dentre os participantes de nosso experimento final.
estado da arte em instalações, design sonoro e interação. Apresenta nossos estudos-piloto e os resultados por eles alcançados. Descreve nossa revisão ao modelo de captura de movimento empregado. Apresenta uma nova instalação que aplica os conceitos e melhorias desenvolvidos pela pesquisa, seguida por um estudo com participantes que procura avaliar qualitativamente e quantitativamente a eficiência de nossas propostas. Conclui avaliando o conjunto dos resultados alcançados pela pesquisa, aponta melhorias a serem realizadas e indica a necessidade de trabalhos futuros que contemplem conceitos sobre o processo cognitivo que vão além do contexto desta tese.
1) Fundamentação teórica: conceitos e terminologias
Apresentaremos neste capítulo os principais tópicos para nossa definição de design sonoro em instalações multimídia interativas, cujo foco está estruturado a partir dos principais tópicos pesquisados: instalações, design sonoro e interação.
Dentre as definições terminológicas gerais - referenciadas constantemente durante este trabalho - destacamos nosso uso da expressão evento sonoro para a descrever um resultado sonoro de síntese, gravação ou processamento passível de ser isolado como uma entidade analisável. Esta terminologia é empregada por Eduardo Reck Miranda (Miranda 2002). A expressão material sonoro se aplica as propriedades físicas do evento sonoro, no sentido da materialidade caraterística de sua fonte sonora tal como apresentada por Michel Chion (Chion, 1994), a qual pode ser manipulada para alcançar diferentes propriedades espaciais1. Já o conceito de objeto sonoro de Pierre Schaeffer
(Schaeffer 1966 e Chion 1983), como apresentado abaixo, aparece quando empregado em referência as teorias de escuta reduzida. Todas as descrições de eventos sonoros aqui usadas são baseadas na terminologia empregada pela espectro-morfologia de Denis Smalley (Smalley, 1986), traduzidas para o português pelos pesquisadores.
Adotamos o termo visitante para descrever os frequentadores de instalações multimídia. Esta escolha se alinha ao emprego do termo por Antonio Camurri, (Camurri et al., 2005), Eva Horneck e Emma Nicol (Horneck e Nicol, 2011), Hannah Higgins (Higgins, 1998 e 2002), Julie H. Reiss (Reiss, 1999), Julian Stallabrass (Stallabrass, 2004) e Klaus C. Wasserman (Wasserman et al., 2003) e também evita o caráter estático que termos como audiência, espectadores, ouvintes ou usuário (no sentido de desenvolvimento de software e jogos) podem carregar consigo.
Cumpre destacar que consideramos um contexto no qual o design sonoro é aplicado durante a criação de instalações multimídia. Dentro deste contexto, assumimos a presença de um artista ou coletivo que, durante processo criativo, atua em todas as suas etapas: da concepção da obra a sua realização. Não intencionamos questionar os papeis de compositores, artistas sonoros ou designer sonoros, assumindo que o meio atual de produção de arte multimídia embaralha a categorização dentro destas funções tradicionais (Salter, 2010, pág. 211). Nossa proposta se concentra em aplicar a abordagem e os recursos de design sonoro para a interação entre mídias durante o processo criativo.
1 Um som de vozes, ruído ou música tem um número particular de índices de materialização sonora, de zero ao infinito, cuja relativa abundância ou escassez sempre influencia a percepção da cena e seu significado. Índices de materialização podem conduzir a cena em direção ao material e concreto, ou sua escassez pode conduzir a uma percepção dos
1.1) Definição de Instalações
O termo instalações vêm sendo empregado largamente pelo meio artístico, especialmente após a década de 1990 (Reiss, 1999, pág. 136). Com o aumento na produção de obras e a interação de diferentes configurações entre objetos, espaço e som, as margens que permitiriam compartimentar obras em classes começam a apresentar limitações.
Dentre os conceitos fundamentais que definem instalações como um gênero independente da escultura ou outras formas de arte encontramos a importância atribuída ao espaço, manifesto através da percepção integral do espaço expositivo como uma única obra. Em instalações o público pode assumir uma postura ativa ao explorar sua tridimensionalidade, observar a obra em diferentes ângulos e experimentar fenômenos sensoriais distintos ao mesmo tempo. Propostas que incluem imersão, interação, emprego de múltiplas mídias, atividade dos visitantes e performance são facultativas a cada proposta artística, podendo ocorrer simultaneamente e em diferentes níveis.
[Em uma instalação ...] o artista trata todo um espaço interno (grande o suficiente para pessoas entrarem) como uma única situação, ao invés de [tratá-lo] como uma galeria para exibição de obras separadas. O espectador é de alguma forma considerado como integral para realização da obra. Embora o termo “instalação” tenha se tornado amplamente utilizado, ele ainda é relativamente inespecífico. Ele se refere a um amplo âmbito de práticas artísticas, que por vezes se superpõe com outras áreas inter-relacionadas incluindo Fluxus, Earth-art, minimalismo, vídeo arte, performance, arte conceitual e process art. Especificidade do local, crítica institucional, temporalidade e efemeridade são temas compartilhados por muitos [artistas] praticantes destes gêneros. (Reiss 1999, pág. 14)
Considerando a obra como um conjunto que integra público, espaço e tempo, podemos ponderar que este gênero artístico se caracteriza pela multissensorialidade da experiência artística. O uso simultâneo dos sentidos contribui para uma experiência que se manifesta através das dimensões, forma, disposição e materiais que constituem o ambiente, e sua relação com luminosidade, sons, temperatura e fragrâncias.
Na maior parte das vezes, ao se visitar uma exposição de artes, [...] tem-se pela frente uma faixa de segurança, impedindo que o público se aproxime e interaja com a obra. [...] Contemplar a obra de arte apenas com o sentido da visão implica na tradução de uma sensação parcial; em contrapartida, vestir, tocar, manusear e perceber texturas, formas, materiais, dimensões, peso, fazem com que a obra perpasse outros sentidos e que a percepção seja uma experiência do corpo em sua totalidade, não mais fracionado
ou segregado. (Zatiti 2005, 116-117)
Multissensorialidade, desta forma, está associada a uma situação que implica na imersão do público pela incorporação dos sentidos. Claire Bishop (Bishop 2005, pág. 6) argumenta que o processo de imersão difere instalações das demais mídias tradicionais [traditional media] (escultura, pintura, fotografia e vídeo) pela incorporação do público ao espaço da obra. Este espaço se caracteriza por elevar os sentidos de audição, tato e olfato ao mesmo nível de importância que a visão desempenha nas “mídias tradicionais”. Esta imersão multimodal é alcançada pela experiência do visitante com a obra e seu espaço de exibição, que parte e se manifesta através do princípio físico de sua incorporação dentro deste espaço. Podemos complementar esta definição de multissensorialidade utilizada por Bishop associando a narratividade presente no projeto artístico como característica aos processos de imersão, a qual contribui para criar uma experiência contínua para o público. Graham Coulter-Smith (Coulter-Smith, 2006) discorda da definição espacial de Bishop e argumenta que o ponto central e a principal contribuição para imersão em instalações está na dimensão narrativa deste gênero (idem, pág. 9). O autor divide o contínuo narrativo entre os polos linear e não-linear; o primeiro corresponde a uma obra de arte “convencional, governada por regras e produzida para consumo 'fácil'”, quanto o segundo corresponde a uma obra de arte “transgressiva e/ou divertida” (ibidem). O autor observa ainda que a imersão por narratividade se intensifica nos casos em que o público se depara com padrões não-lineares de organização dos objetos, argumentando que esta situação é capaz de gerar um comportamento “crítico e criativamente engajado” (ibidem) durante as tentativas de organização das informações pelo visitante. Esta abordagem está fundamentada em uma relação cognitiva para o processo de imersão.
Considerando as argumentações de ambos os autores, Claire Bishop e Graham Coulter-Smith, podemos definir que os processos de imersão se caracterizam pelo isolamento da realidade externa para o público, com consequente imersão dentro de um espaço controlado por uma proposta artística, dotada de um conceito próprio. Este isolamento é dependente do engajamento do público com a obra – que corresponde a seu compromisso dedicado com a experiência artística – e se manifesta pela apreciação da obra em sua íntegra; pode durar de alguns poucos segundos a vários minutos. A percepção multimodal do espaço físico e a consciência da proposta narrativa da obra são tipos de imersão possíveis, que vemos como complementares e que podem ocorrem em níveis variados. A efetividade deste processo implica diretamente no nível de imersão que os visitantes alcançam dentro do contexto da obra, partindo da experiência descompromissada a uma postura crítica do trabalho,
sendo as duas dependentes da experiência cognitiva2 dos visitantes e da capacidade de a obra despertar
um processo de comunicação (ou narratividade, para Coulter-Smith) com consequente interesse para o público.
Instalações, tendo sua origem dentro das artes visuais, permitem uma apreciação temporal diferente da música ou do cinema, nos quais há compromisso com uma linearidade temporal (Campesato, 2007, pág. 40). O ambiente expositivo de galerias e museus implica uma postura comportamental na qual o visitante pode entrar a qualquer momento durante a performance da instalação. Há casos específicos como a obra The Treachery of Sanctuary (2012) de Chris Milk, tríptico no qual a imagem dos visitantes projetada nas três telas controla revoadas de pássaros e, por fim, sua transformação em uma gigante figura de pássaros. Nesta obra, como apresentada na exposição Digital
Revolution3, há o controle do número de visitantes e de seu deslocamento entre as telas de interação –
apenas um por tela, máximo de três visitantes no total. Entretanto, situações orientadas como esta não compreendem a maior parcela de instalações que podemos observar. Para o caso de mídias que envolvem o apresentar de eventos no tempo, este conceito de temporalidade se torna distendido – caso da música e do vídeo, ambos exemplos abordados nesta pesquisa. Como Alan Licht (Licht 2010, pág. 120) aponta, para uma obra de arte visual – escultura, pintura, assemblages – não há um tempo fixo para sua apreciação; já uma instalação sonora necessita um período de tempo para o visitante apreender a estrutura proposta pelo artista; repetições ou a sustentação de eventos sonoros permitem ao visitante examinar detalhadamente sua constituição, como uma obra de arte. De maneira semelhante, Julie H. Reiss argumenta que:
Em uma situação de apreciação [artística], tanto a uniformidade das formas quanto a consciência de sua diferença é experienciada – simultaneamente ou sequencialmente. Há um fator temporal e um fator participativo envolvidos nesta descoberta, conforme o observador confronta os objetos. A experiência individual da obra e das questões que a obra pode levantar em relação a natureza da arte constituem participação. (Reiss 199, pág. 51)
Recapitulando, instalações tentam conciliar:
- percepção integral do espaço pelo visitante como uma única obra - experiência multissensorial pelo público
2 Destacamos que as expectativas cognitivas compreendem também e experiência do corpo ou da ação corporal (Huron, 2006) , a exemplo do gesto de golpear aplicado sobre um objeto e o retorno auditivo que o agente obterá (Boden, 2005).
- engajamento e imersão do público
1.2) O Design Sonoro
O design sonoro aparece, inicialmente, vinculado a produção sonora no cinema a partir do final da década de 1970 (Opolski, 2009, pág. 47). Neste contexto, o termo descreve a função desempenhada pelo artista trabalhando na concepção e na direção do ambiente sonoro do filme, com a exceção da trilha sonora, função delegada a um compositor (idem, pág. 20).
Para compreendermos o contexto de seu surgimento no meio cinematográfico e seu posterior emprego pelo meio musical, façamos uma rápida abordagem sobre a origem do termo design como empregado pela área industrial. Poderemos, assim, apontar os tópicos fundamentais para sua aplicação musical.
O conceito de design, em seu sentido industrial, é resultado da interação entre um produto a ser projetado e desenvolvido, as condições para sua produção e sua utilidade prática. Ao contextualizar a origem do termo, Bernhard Bürdek (Bürdek 2005, págs. 13-16) considera crucial a relação entre design e desenho, remetendo a definição de Giorgio Vasari4 que associa a base da boa arte ao disegno
(Vasari, 1991, pág. xvi), compreendendo o domínio técnico para realização da obra de arte. Encontra-se incluso no âmbito deste conceito a concepção da ideia artística em si. Os tradutores do livro de Vasari para o inglês explicam na introdução ao livro que o termo disegno abrange as traduções para “'design', 'drawing', or 'draughtsmanship'”5, os quais compreendem a habilidade técnica para a
realização da obra através do conhecimento de anatomia humana, proporção e perspectiva.
O design, no sentido como o aplicamos hoje, pode ser remetido a formalização estabelecida pela Bauhaus. O trabalho desenvolvido nesta escola de design possui o objetivo de uma aplicação industrial e a racionalização do processo produtivo, resultado que objetiva otimizar a relação entre estética e funcionalidade. O conceito de função, por sua vez, inclui o papel social do produto gerado:
Função sempre significa uma combinação de dois fatores em design, unindo as condições de manufatura industrial (tecnologia, métodos de construção, materiais) com as condições sociais, no serviço das necessidades de uma ampla população e os requerimentos de planejamento social. (Bürdek 2005, pág. 31)
4 Giorgio Vasari foi pintor, arquiteto e historiador do renascimento italiano.
5 Em português, poderíamos traduzir para design, desenho, ou a “habilidade do” desenhista. A passagem original é: “Thus, disegno can be translated into English as the more abstract 'design' or 'art of design', while in other contexts, it may mean 'draughtsmanship' or the more concrete 'drawing'.” (Vasari, 1991, pág. xvi)
Desta forma, “padronização, manufatura em série e produção em massa se tornaram a espinha dorsal de todas as atividades da Bauhaus” (idem, pág.33). Bürdek apresenta uma síntese para o conceito de design voltado para a área de produtos:
Eu proponho, ao invés de outra definição ou descrição, listar um conjunto de tarefas que o design é suposto a realizar:
- visualizar progresso tecnológico,
- simplificar ou fazer possível o uso e operação de produtos (hardware ou software). - tornar transparente as conexões entre produção, consumo e reciclagem,
- promover e comunicar serviços, mas também […] ajudar a prevenir produtos sem sentido. (Bürdek, pág. 16)
O que podemos estabelecer dentre as referências apresentadas acima é que a essência do design, tal qual definido porBürdek para a área industrial, compreende aspectos tanto criativos quanto técnicos durante o desenvolvimento de um novo produto. O design abrange, desta forma, um projeto de execução, o rascunho (desenho) que representa o objeto do projeto, a interação do objeto com o usuário e o ambiente e, por fim, as características de estilo que o diferenciam dos produtos similares.
Não temos a intenção de questionar se o design industrial é ou não considerado arte. Entretanto, alguns dos aspectos de adequação do material sonoro a objetivos apontados por outras mídias sugerem que devemos ao menos ter como pano de fundo a dicotomia entre criação e função. Em nosso caso, procuramos estabelecer associações entre o material sonoro gerado, interação com o público e interação com outras mídias, exemplificadas nesta pesquisa por experiências empregando recursos de vídeo. A metodologia do design é uma boa analogia para abordar a necessidade de conciliar o processo criativo a um objetivo específico.
Design é uma atividade associada com criatividade e fantasia, os espíritos de invenção e inovação técnica. O processo de design é sempre visto como uma espécie de ato de criação. Certamente é um processo criativo. Entretanto, design não se localiza no vácuo, com uma escolha de cores, formas e materiais totalmente livre. Cada objeto de design é o resultado de um processo de desenvolvimento influenciado por várias – não apenas artísticas – condições e decisões. Desenvolvimentos socioeconômicos, tecnológicos e culturais, em particular, juntamente com o contexto histórico e as condições tecnológicas de produção, tem aqui um papel tão importante quanto requisitos ergonômicos e ecológicos, interesses políticos e econômicos, e aspirações artístico-experimentais. Lidar com design, desta forma, implica sempre em refletir sobre as condições nas quais se emergem e visualizam seus efeitos sobre os produtos. (Bürdek,
pág. 225)
Podemos, então, destacar as características essenciais do conceito de design em seu sentido industrial compartilhadas com o design sonoro, ambas integrando uma raiz comum a suas respectivas aplicações:
- o objetivo de proporcionar uma experiência estética considerando o ponto de vista do usuário
- a adequabilidade de condições técnicas para sua realização - a clareza do projeto
- sua validade, ou sua utilidade prática e efetiva
O termo design sonoro possui uma definição ampla. Objetivando definir nosso espaço de trabalho, podemos destacar as duas principais abordagens que definem o conceito de design sonoro, ambas fundamentadas pela bibliografia (Miranda 2002, Sonnenschein 2001, Cancellaro 2006, Farnell 2010, Licht 2010, e nossas interpretações para a relação entre som e imagem em Chion 1989, 1994 e 2006).
Uma primeira abordagem do termo compreende principalmente os processos de fabricação do material sonoro através de síntese e gravação (Miranda, Farnell, Cancellaro e Licht). Uma segunda abordagem para o termo compreende o trabalho de integração entre áudio e imagem (Sonnenschein e Chion). Esta última compreende o emprego de recursos de áudio com o foco voltado para a narrativa, objetivando ressaltar a ambiência dramática audiovisual ou reconstruir o conjunto sonoro da cena capturada. Propomos em nosso trabalho uma aplicação de design sonoro que integra estas duas principais definições.
Podemos observar na bibliografia uma abordagem técnica para o conceito de design sonoro. Sua definição independe de gêneros ou tipos de aplicações artísticas, estando relacionada ao conjunto de estratégias e técnicas empregadas para a criação sonora e sua respectiva integração dentro de um projeto de criação artística que, como em nosso caso, integra diferentes mídias.
O design sonoro corresponde a etapa de produção de eventos sonoros, desenvolvendo os materiais que comporão a obra já atentando para a função que estes desempenharão durante sua performance. Entretanto, esta concepção não se resume a um conjunto de procedimentos técnicos definidos se considerarmos que o artista desenvolve o material sonoro já com um objetivo conceitual em mente durante o processo criativo. Desta forma, o design sonoro é parte da criação musical ou sonora em instalações multimídia, mas sua separação como uma etapa independente durante o processo
criativo é complicada, senão impossível de implementar, devido a superposição entre o desenvolvimento conceitual da obra e sua produção6. A concepção adotada neste trabalho, para o
design sonoro no contexto de instalações multimídia, compreende as etapas de produção de eventos sonoros e a definição de sua função dentro da obra através do mapeamento entre os parâmetros de interação escolhidos, o conjunto sonoro selecionado para a obra e sua relação com as demais mídias. Desta forma, não interpretamos design sonoro como um gênero artístico independente ou estritamente relacionado a áreas específicas de atuação como o cinema, música ou arte sonora. Sua atividade consiste em assumir o processo de desenho entre a proposta conceitual da obra, a função das mídias dentro do projeto artístico (incluindo a mídia sonora) e a interação entre visitante e obra (incluindo a experiência estética que se deseja trabalhar). Esta abordagem nos leva a considerar o design sonoro como uma etapa necessária no desenvolvimento do processo criativo multimidiático. Desta forma, a abordagem que propomos consiste em um trabalho voltado mais ao desenho do projeto artístico durante seu desenvolvimento e aplicável a diferentes gêneros ou mídias incluindo, entre estas, a mídia sonora.
Complementando esta visão mais ampla para a relação entre mídias e para a dificuldade em encontrar definições específicas no contexto de um processo criativo multimidiático, podemos citar a definição de Dick Higgins para o termo intermídia [intermedia], cujo foco de atuação se estabelece no intervalo entre categorias midiáticas definidas e é resultante de sua ação integrada:
Ao invés de simplesmente multiplicar categorias midiáticas existentes, como multimídia (como em ópera, que discretamente combina teatro, música e dança) ou mídias mistas [mixed media] (como em estórias ilustradas, apresentando imagens e palavras complementares), a intermídia ativamente sonda os espaços entre as diferentes mídias. (O termo, apropriado para compreensão do Fluxus, se espalhou desde então para linguagem comum da arte e mudou de significado, tornando-se associado a arte tecnológica). (Higgins, 2002, pág. 91; parênteses presentes no texto original e nota de tradução inserida pelo pesquisador)
Compreendemos a definição do conceito de design sonoro tanto como a aplicação de recursos de modelagem sonora durante o processo de síntese quanto a sua articulação entre as diferentes mídias. De acordo com esta nossa abordagem, o design sonoro enfatiza o desenho interativo entre as mídias, procurando articular as relações expressivas que as mesmas possuem em potencial.
6 O caso específico do cinema é uma exceção a possibilidade de generalizar esta nossa afirmação a toda arte multimídia pois compartimenta a produção do filme em categorias profissionais bem definidas, cada qual com seu conjunto específico de atribuições. Para informações neste tópico, consultar o organograma da produção de áudio em cinema
Neste sentido, o que chamamos de design sonoro é parte de um processo criativo que procura desenhar o som de acordo com o projeto conceitual da obra em questão, otimizando suas relações referenciais e as relações de unidade estabelecidas, tanto da mídia sonora e sua respectiva articulação expressiva em relação as demais mídias presentes na obra, quanto da mídia sonora e seu sentido próprio dentro do projeto artístico.
Através dos exemplos que apresentaremos nos capítulos 2 (instalações Abstrações e
Cerejeira) e 4 (instalação Caminho das águas) desta tese, nossa preocupação ao elaborarmos o design
sonoro das instalações desenvolvidas no âmbito desta pesquisa remete a relação entre os objetivos conceituais, estéticos, e as soluções implementadas; nosso objetivo foi articular a relação entre os gestos dos visitantes, o mapeamento definindo os parâmetros controlados em tempo real e a evolução dos materiais sonoros nas diferentes seções formais da instalação, implementando soluções de acordo com nossa disponibilidade de recursos.
Este trabalho não se propõe criar uma fórmula abstrata para a associação entre som e recursos multimídia. Ao invés disso, apresentamos aqui os resultados de nossas experiências durante o processo criativo de três instalações que envolvem desenvolvimento e aplicação de recursos tecnológicos para interatividade, estratégias para associação entre som e imagem de vídeo e uso do espaço imersivo em benefício da proposta conceitual que fundamenta cada instalação.
Narração de estórias tem usado som para invocar mito, realidade suspensa, e criar emoção desde os tempos de círculos ao redor de fogueiras em cavernas protetoras. Designers sonoros no séc. XXI têm o mesmo trabalho – combinar visão e som para capturar suas audiências. Tanto o xamã do passado quanto o designer sonoro de hoje precisam desenvolver sua habilidade perceptiva, significando os dois lados da inteligência criativa: impressão e expressão (Sonnenschein, 2001, pág. xix).
Considerando nossa abordagem voltada para instalações multimídia, exemplificadas na pesquisa através de criações artísticas audiovisuais, nossa abordagem sobre o design sonoro focará nos aspectos mais importantes do termo para nosso trabalho: sua relação com o processo de criação do evento sonoro através de síntese ou processamento de sons gravados e sobre a forma como o espaço é trabalhado, tendo como objetivo a interação efetiva entre as mídias utilizadas no projeto artístico.
O design sonoro, em nossa proposta, não implica em estabelecer uma relação de dependência ou subordinação do som as diferentes mídias envolvidas. Nossa intenção reside em estabelecer estruturas colaborativas e de mútua dependência entre estas mídias baseadas em definições sobre as
características do material sonoro. Esta abordagem permite desenvolver estratégias baseadas em regras dinâmicas, eliminando a estaticidade do formato “evento sonoro x = objeto visual y”. O que desejamos evitar, com isto, é uma estrutura de adesão entre sons e imagens estabelecendo regras de interação que se apresentem rígidas e pouco inventivas ao visitante de instalação. Esta abordagem se inspira em uma interpretação dos pesquisadores para as propostas de Einsenstein, Pudomn e Alexandrov em seu manifesto de 1928 A Statement (reeditado em Eisenstein et al., 1985). Este manifesto aborda o desenvolvimento do cinema sonoro naquele momento, propondo objetivos para emprego do som em filmes que valorizassem as potencialidades para expressão de ideias visuais. Estes cineastas estavam preocupados com uma não-mencionada “banalização” do cinema, manifesta na crítica a aplicações envolvendo a simples filmagem de peças teatrais. Para os autores do manifesto, este tipo de abordagem reduziria o significado e limitaria a potencialidade oferecida pelos recursos de montagem. Uma abordagem dinâmica para a dependência mútua entre som e outras mídias permite considerarmos o design de projetos interativos fundamentado pelas características e funções conceituais que todos os elementos constituintes de uma obra admitem. Para alcançar esta nova abordagem para o processo de criação em instalações multimídia, propomos uma conceitualização baseada em características de fundamentação espectro-morfológica dos materiais sonoros.
1.3) Design sonoro e espaço sonoro. Definições procedentes da música eletroacústica, cinema e arte sonora
Uma primeira abordagem do design sonoro é voltada para o processo de desenhar e esculpir o som, no sentido de criá-lo. Ao observarmos esta abordagem na literatura de design sonoro, podemos notar que os principais materiais têm como foco os processos de síntese e processamento de sinais. Na área de música eletroacústica, Eduardo R. Miranda (Miranda 2002, págs. xv-xvi) apresenta o design sonoro como o campo propício para criar sons originais, dotados de parâmetros expressivos e flexíveis além daqueles padronizados, disponibilizados por instrumentos musicais baseados em bancos de sons – como teclados, sintetizadores ou pedaleiras MIDI – disponíveis no mercado. Para o autor, o ferramental para alcançar este objetivo compreende o domínio de técnicas de síntese, o que incluiria a habilidade de compreender que certas técnicas produzem melhores resultados para determinados timbres, desta forma implicando conciliar a técnica de síntese apropriada para o objetivo sonoro intencionado.
