Abstrações: apontamentos sobre o comportamento dos visitantes
Clayton Rosa Mamedes(1, 2), José Eduardo Fornari Novo Jr.(1), Jônatas Manzolli(1,2), Denise Hortência Lopes Garcia(2) (1) Núcleo Interdisciplinar de Comunicação Sonora
(2) Departamento de Música Universidade Estadual de Campinas (UNICAMP)
Resumo. Apresentamos neste artigo a instalação audiovisual interativa Abstrações,
descrevendo sua proposta artística, implementação técnica e levantando apontamentos preliminares sobre a efetividade dos processos de interação com o público visitante observados durante a sua implementação.
Palavras-chave: instalação multimídia, estética, significação musical, composição Abstract. We present here the audiovisual installation named Abstrações, describing
its aesthetic aim, technical implementation and preliminary results regarding the effectiveness of the interactivity processes with visitors during its installation.
Keywords: multimedia installation, aesthetics, musical meaning, composition 1. Introdução
A compreensão dos mecanismos que tornam uma criação artística esteticamente “eficiente” têm sido objeto de estudo de diversos pesquisadores, principalmente nas áreas da filosofia (Hanslick 1989; Hegel 1996) e psicologia da emoção e da significação musical (Cook 2001; Huron 2006; Manzolli et al. 2000; Meyer 1956; Sloboda 1992). Estudos recentes sugerem que o processo de significação musical envolve uma complexa rede de relações entre o conteúdo musical previamente adquirido pelo ouvinte e sua capacidade em gerar expectativas observando o desenvolvimento de uma obra musical durante a sua performance. (Oliveira 2010) sintetiza os principais tópicos da teoria de Meyer (idem), que descrevem a complexidade do processo de significação musical:
(i) o significado, antes de mais nada, depende da capacidade de reconhecimento de padrões [pelo ouvinte]; (ii) o reconhecimento de padrões opera de acordo com os princípios da Gestalt e da Lei do Prägnanz;1 (iii) por meio de tais princípios, a mente
1 A Psicologia da Gestalt busca explicar propriedades cognitivas (e perceptivas) por relações entre o
todo e suas partes, defendendo que o todo é mais do que a soma das partes. [O conceito de Prägnanz] pode ser entendido como a tendência de um sistema a executar a forma ou processo mais estável, regular, ordenado, econômico possível em uma dada situação. (Oliveira 2010, 45. Grifos nossos.)
pode gerar expectativas (significados hipotéticos) sobre as estruturas consequentes a partir das antecedentes; (iv) as expectativas geradas são confrontadas com as estruturas consequentes que se efetivam no desdobrar da obra musical (significados evidentes); (v) os aspectos afetivos correlacionados se devem à dinâmica entre significados hipotéticos e evidentes, como a inibição de tendências ou atraso das estruturas esperadas; (vi) a dinâmica de significados hipotéticos e evidentes, assim como a correlação afetiva, depende da relação entre estruturas normativas e desviantes; (vii) estruturas normativas e desviantes só são possíveis dentro de sistemas musicais específicos; (viii) sistemas musicais específicos carregam consigo um conjunto de crenças, disposições e hábitos que mediam a relação estética entre ouvinte e obra; (ix) o conjunto de crenças, disposições e hábitos altera a maneira como percebemos padrões; (x) assim, voltamos ao ponto inicial, em um sistema de causalidade circular. (Oliveira 2010, 87-88)
Conciliar este conjunto de relações consiste em trabalhar com um constante jogo entre expectativas e surpresas. (Huron 2006) sugere que o sucesso ou falha neste jogo ativam diferentes respostas fisiológicas do sistema límbico cerebral, e as interpretações destas respostas são associadas a padrões emocionais. Neste artigo propomos questões sobre os processos de comunicação e imersão dos visitantes observadas empiricamente durante testes de performance da instalação: Abstrações.
2. Abstrações: descrição da proposta artística
Abstrações é o nome de uma instalação audiovisual em que o reconhecimento do sinal de vídeo, associado aos deslocamentos observados no espaço da instalação, controla parâmetros de síntese e processamento de áudio e vídeo em tempo real. Através de uma câmera de vídeo infra-vermelha, o sistema é capaz de rastrear a posição do público e o deslocamento de seu centro de massa, respondendo sonora e visualmente a esta interação. A instalação foi implementada com o objetivo de ser executada ininterruptamente. Seu projeto prevê quatro estados evolutivos que se alternam de acordo com associações definidas em relação ao Índice de Movimentação do Público (IMP) identificado pelo sistema.
O design de paisagem sonora criada nessa instalação determinou nossa preferência por sons sintetizados por Frequência Modulada (FM), desenvolvidos a partir de modelos inspirados em instrumentos percussivos metálicos, tais como sino e vibrafone. Esta preferência advém do processo criativo que emprega a análise de um
registro sonoro de gongo balinês para estruturação de alturas do ambiente harmônico da instalação. O design do ambiente visual da instalação é inspirado em formas geométricas exploradas de maneira abstrata, resultado de processamentos e distorções destas formas aplicados sobre o modelo de síntese de partículas inicial. A proposta desta instalação é estabelecer artisticamente um jogo entre o público visitante e os recursos audiovisuais, tornando a instalação um ambiente imersivo e lúdico. Para alcançar este objetivo, determinamos conjuntos de eventos e processamentos sonoros e visuais reativos à movimentação dos visitantes. Os quatro estados da instalação foram concebidos de maneira a se tornarem progressivamente complexos: sons de gradação contínua2 com espectro de nota3 e reatividade restrita no primeiro estado; sons idiofônicos (gerados por gestos do tipo ataque-ressonância) metálicos com espectro harmônico reativos ao movimento acompanhados de acordes aleatórios como plano textural de suporte no segundo estado; sons idiofônicos com espectro inarmônico também reativos e acompanhados por plano textural no terceiro estado; sons idiofônicos com espectro nodal por distorção do conteúdo espectral durante o ataque no quarto estado. A parte de vídeo de Abstrações é implementada integralmente a partir de um gerador de partículas controlando figuras geométricas, enquanto a parte de áudio é implementada a partir do modelo de síntese FM, conforme apresentado por Richard Moore (Moore 1990).
3. Modelo de Máquina de Estados
Máquina de Estados (Gill 1962) são mecanismos eficientes para modelar os comportamentos hierárquicos associados a sistemas que trabalham em um conjunto de
2 Adotamos os termos definidos pela espectro-morfologia de (Smalley 1986, 65-70).
3 A complexidade do espectro está associada aos valores do índice de modulação designados para cada
categoria de material sonoro empregada no design da instalação, progressivamente. Nosso modelo partiu da adaptação experimental de uma senoide com baixo índice de modulação (FM) para o primeiro estado, vibrafone para o segundo estado, sino para o terceiro estado e agogô para o quarto estado.
estados finitos, determinados por condições de transição que os alternam ao longo do tempo. Este modelo é largamente empregado em sistemas de comunicação, soluções de engenharias, inteligência artificial e sistemas de automação, sendo esta última solução o motivo pelo qual o adotamos na implementação de Abstrações.
O modelo de máquina de estados implementado em Abstrações coordena o mapeamento dos parâmetros utilizados para síntese sonora e processamento de vídeo. Estes parâmetros, obtidos a partir do movimento dos visitantes, controlam o início e término dos eventos de áudio e vídeo, simulam configurações de fontes sonoras no espaço acústico da instalação controlando um sistema de difusão quadrifônico e alteram a configuração das partículas de vídeo4.
A análise da movimentação dos visitantes é realizada pelo emprego de uma câmera de vídeo que constantemente obtém dados do ambiente mapeado, definido pela área restrita entre a tela de projeção e quatro alto-falantes dispostos nos vértices de um retângulo. Esta análise localiza o centro de gravidade dos movimentos realizados pelos visitantes e reporta valores dinâmicos que correspondem às coordenadas de seu deslocamento em relação ao comprimento e largura da sala. A interação entre áudio e vídeo é baseada nestes dois eixos perpendiculares de detecção, criando um modelo que trabalha com dois fluxos de dados independentes, mas correlacionados. Nossa proposta é que o público jogue com as diferentes reações da instalação a seu deslocamento no espaço.
Quando um visitante caminha dentro de Abstrações uma cadeia de estados sequenciais no domínio do tempo se inicia. A Figura 1 apresenta a arquitetura geral de Abstrações, onde é possível observar a dinâmica da instalação.
4 Detalhes sobre o modelo de máquina de estados implementado em Abstrações estão descritos em
Figura 1. Mapa dinâmico da instalação.
Figura 2. Resultado visual do primeiro estado, apresentando as partículas deslocando-se de
sua órbita inicial.
Figura 3. Resultado visual do segundo estado, apresentado os poliedros que formam a esfera
aumentada.
Figura 4. Resultado visual do terceiro estado, apresentando cones deslocando-se em
diferentes direções.
Figura 5. Resultado visual do quarto estado, apresentando o objeto massa-mola com seus
vértices apontando para o centro.
4. Apontamentos sobre o comportamento dos visitantes
A instalação foi estreada em agosto de 2011 no Espaço Cultural Casa do Lago, durante as comemorações dos 45 anos da Unicamp. A instalação foi apresentada também em montagem de testes controlados no Departamento de Artes Cênicas da
Unicamp em maio de 2012, e as considerações aqui apresentadas são fruto destes testes de performance. Contando com a participação de alunos aos quais não descrevemos o projeto, durante a montagem de testes pudemos observar que parte considerável dos visitantes interagiu pouco ou não explorou os comportamentos reativos da instalação. Este tendência nos levou a estruturar hipóteses sobre a alteração do design da instalação, com atenção para a proposição do jogo com os visitantes em ambientes interativos, sobre a estrutura para a espacialização de áudio e para a escolha dos materiais sonoros e visuais com o objetivo de intensificar a experiência imersiva dos visitantes.
Durante a montagem de testes controlados, simulamos o espaço ideal proposto para apresentação desta instalação: uma sala escura, com um projetor e quatro alto-falantes. Afixamos apenas uma pequena descrição da proposta artística ao lado da entrada para o espaço da instalação. Ao contrário da estreia oficial, realizada sob uma perspectiva didática, na montagem de testes não fornecemos qualquer informação sobre o funcionamento da instalação ao público visitante, até que todo o processo de avaliação estivesse concluído.
Durante estes testes pudemos observar que, sob o ponto de vista técnico, a instalação se comportou adequadamente ao projeto proposto: seu funcionamento foi realizado de acordo com o modelo, constatando a adequabilidade e a confiabilidade do sistema computacional implementado.
Entretanto, observamos que uma parcela considerável do público visitante ignorou a descrição da proposta do trabalho: instalação audiovisual interativa. Esta primeira parcela dos visitantes observados adentrou o espaço e apenas contemplou as imagens e sons de base, programados para serem gerados automaticamente durante os momentos de ausência de movimento e com o objetivo de manter o aspecto imersivo
da instalação em uma constância mínima. Esta primeira parcela dos visitantes não conseguiu iniciar uma relação interativa com os eventos audiovisuais ou percebê-los como dependentes de seus movimentos.
Uma segunda parcela considerável do público realizou apenas pequenos movimentos, suficientes para gerar materiais audiovisuais associativos. Como não houve a exploração do espaço, o conteúdo audiovisual resultante ficou restrito ao repertório de possibilidades associados àquela área do espaço mapeado, quase sempre ao centro da área de detecção. Tais visitantes perceberam que seus movimentos interferiram no ambiente da instalação, mas não foram capazes de estabelecer uma relação interativa com a obra.
Uma terceira parcela do público, formada principalmente por atores, conseguiu perceber a reatividade da instalação a seus movimentos; contudo, esta parcela dos visitantes realizou gestos performáticos de grande extensão e demonstrou insatisfação ao perceber que o sistema não reagia diferentemente a seus gestos. Ambas segunda e terceira parcela do público foram limitadas pelo modelo de sensibilidade adotado no projeto, que analisa se houve movimentação do público no espaço pela comparação entre sucessivos quadros (frames) de vídeo, retornando apenas um único par de coordenadas cartesianas para cada frame que indica o núcleo de maior alteração para o centro de massa do movimento identificado. Como toda a área de trânsito do público é mapeada, a efetividade da interação só é completamente alcançada quando os visitantes se deslocam pelo espaço da instalação.
A quarta e última parcela do público foi a única que conseguiu de fato compreender o funcionamento da instalação, estabelecendo uma relação interativa e explorando amplamente o espaço. Como grande parte dos visitantes reagiu de acordo com as primeira e segunda parcelas descritas, levantamos as questões abaixo
considerando a proposição do jogo com os visitantes e o design estético dos materiais audiovisuais apresentados acima. Estas questões estão relacionadas à interação entre visitantes e o sistema computacional que serão nossos próximos passos de análise. Levantamos estas perguntas com base nas experiências negativas de apreciação por parte do público que participou dos testes de performance realizados, e compreendem os seguintes tópicos:
1) Como eficientemente propor o jogo aos visitantes?
2) Como garantir que os visitantes compreendam as possibilidades de interação disponíveis e o comportamento esperado para suas ações?
3) Como equilibrar eventos sonoros e visuais reativos à interação do público (modelo associativo) e eventos gerados e/ou processados pelo sistema (modelo evolutivo)? No segundo caso, como indicar ao visitante que o material audiovisual gerado é produzido a partir do processamento das ações realizadas pelo próprio visitante?
Os trabalhos de (Meyer, 1956) e (Huron, 2006) nos permitem realizar algumas associações iniciais sobre os problemas de efetividade na comunicação com o público. Dentre estes problemas, destacamos a superposição de camadas simultâneas de interação com o público. O modelo implementado em Abstrações permite que os visitantes obtenham respostas independentes para ambas as direções do plano cartesiano em áudio e vídeo. Este modelo mostrou-se demasiado complexo, principalmente quando há mais de um visitante na sala.
De qualquer maneira, seja por conflito ou por repressão, quanto mais complexa a relação entre a situação e o individuo mais possibilidades de comportamento existem, resultando em um estado emotivo caracterizado pela “confusão e pela falta de claridade” (Oliveira 2010, 49)
Outros problemas verificados apontam para o emprego de formas abstratas na parte visual, o conjunto de modelos de síntese baseados em variações de uma mesma
matriz idiofônica remetendo a instrumentos metálicos, materiais sonoros para o plano de acompanhamento constantes e a implementação da espacialização sonora acompanhando o deslocamento dos visitantes no espaço da instalação.
5. Conclusão
Apresentamos acima a proposta para a criação de Abstrações, realizando uma breve explanação dos mecanismos e recursos de design sonoro empregados para sua implementação: síntese, controle de espaço acústico e processamentos sonoros de acordo com as fontes externas de informação – no caso, movimento do público. Levantamos também apontamentos preliminares sobre o comportamento dos visitantes.
Nossa proposta para os passos seguintes contemplará a busca por soluções a estas questões através de processos cognitivos, de significação musical e visual, bem como dos elementos estéticos a estas associados. Nesta etapa objetivamos estabelecer definições gerais que permitam determinar a especificidade deste sucesso e possibilitar que este conhecimento seja passível de ser transferido a novas criações artísticas e para a literatura de estética em instalações multimídia.
Agradecimentos
Abstrações foi desenvolvida como parte da disciplina Tópicos especiais em Música e Tecnologia: Recital de Música Computacional Interativa, ministrada pelo pesquisador Dr. José E. Fornari Novo. Jr, co-autor deste trabalho. A instalação é um projeto piloto que integra a pesquisa: Design Sonoro Aplicado a Instalações Multimídia, do autor principal, orientada pelos co-autores Profª Drª Denise H. L. Garcia e Prof. Livre-Docente Jônatas Manzolli. Esta pesquisa conta com o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).
Referências Bibliográficas
COOK, N. 2001. Theorizing musical meaning. Music Theory Spectrum, v. 23, n. 2, p. 170–195. Berkeley: Univ. of California Press.
FARNELL, A. 2010. Designing Sound. Cambridge: MIT Press.
GILL, A. 1962. Introduction to the Theory of Finite-state Machines. McGraw-Hill. HANSLICK, E. 1989. Do belo musical: uma contribuição para a revisão da estética musical. Campinas: Ed. da Unicamp.
HEGEL, G. W. F. 1996. Curso de Estética: o belo na arte. São Paulo: Martins Fontes.
HURON, D. 2006. Sweet anticipation: music and the psychology of expectation. Cambridge: MIT Press.
MAMEDES, C. R. FORNARI, J. MANZOLLI, J. GARCIA, D. H. L. 2011. Abstrações: an audiovisual installation based on motion recognizing. In: Proceedings of The 4th International Congress on Image and Signal Processing (CISP 2011). Vol. 2, pp. 597-600. ISBN 978-1-4577-1446-7. DOI: 10.1109/CISP.2011.6100348. IEEE Catalogue Number CFP1194D-PRT. Shanghai: IEEE.
MANZOLLI, J.; GONZALEZ, M.; VERSHURE, P. 2000. Auto-organização, criatividade e cognição. Auto-organização: Estudos Interdisciplinares, vol.30, pp. 105–125. Campinas: CLE - Unicamp.
MEYER, L. B. 1956. Emotion and Meaning in Music. Chicago: Chicago University Press.
MOORE, F. Richard. 1990. Elements of Computer Music. New Jersey: Prentice Hall. OLIVEIRA, L. F. 2010. A emergência do significado em música. Tese de doutorado. Campinas: Unicamp.
SMALLEY, Denis. 1986. Spectro-morphology and structuring processes. Em The language of eletroacoustic music, editado por Simon Emmerson, pp. 61-93. Londres: The Macmillan Press.
SLOBODA, J. 1992. Empirical studies of emotional response to music. Em Cognitive bases of musical communication, editado por M. Jones e S. Holleran, pp. 33-46. Washington: American Psychological Association.
