UNIVERSIDADE DO PORTO FACULDADE DAS BELAS ARTES
A performance audiovisual:
do digital jockey ao live cinema
João Filipe Fernandes Castanheira Beira
Dissertação para obtenção do grau de mestre em Arte Multimédia Orientador Prof. E.M. de Melo e Castro, Doutor em Letras (USP)
PORTO, 2009
This dissertation is structured around the audiovisual performance and its formal and technical elements. These practices have yet to be analysed in the context of contemporary art phenomena, considering the growing “underground” linkages that need to be integrated in the contemporary art and the academic circuits.
The emergence of this phenomena involves the neurological process of synesthe- tic perception, social references, culture, technology, and the audiovisual articula- tion within the digital era. This creates a mesh of well-defi ned cultural platforms and dynamic vocabulary, strongly related with the intrinsic characteristics of expe- rimentation and the procedures of a performance.
Our methodology for study of real time audiovisual creation combines the analysis of the structure of the typologies that support it - the channel -, and the analysis of emerging models of performance - the signal -. Finally, the implementation of an online web portal creates opportunities for a direct interaction with the commu- nity, through the preferred means of debate and discussion of these phenomena:
a virtual environment.
This journey of the digital jockey and the development of real-time audiovisual communication and coordination. Its peculiar ephemeral and multi-sensory fea- tures are the roots and bearing of the protagonists of live cinema.The media is digital, the channel is audiovisual – reactive and interactive.
ABSTRACT
Este estudo estrutura-se na perspectiva de um enquadramento com o universo da performance audiovisual e dos elementos formais e técnicos que a constituem.
Estes elementos cruzam-se numa actividade, ou várias actividades, que reclamam uma análise profunda e narrativa de fenómenos contemporâneos artísticos, e do- cumentam a passagem de um universo undergound à contemporaneidade artísti- ca, e consequentemente, ao circuito académico.
A aproximação ao fenómeno passa pela contextualização de propriedades neu- rológicas da percepção sinestésica, de referentes sociais, culturais e tecnológicos, e da articulação audiovisual na era digital, que criou plataformas culturais bem defi - nidas e vocabulários dinâmicos, enquadradas com as características intrínsecas às propriedades da experimentação e procedimentos imersivos da performance.
A perspectiva de análise centrada nos métodos para a criação audiovisual em tempo real é através da estruturação das tipologias que a sustentam -o canal-, e da análise referente aos meios expressivos e técnicos utilizados - o sinal- , que permitem a interacção entre o performer, o sistema e a audiência. Finalmente, a implementação de um portal que estabeleça uma interacção directa com os inter- venientes através do meio privilegiado de debate e discussão destes fenómenos:
o meio virtual.
Este percurso passa pela compreensão do campo de acção do digital jockey e da evolução da articulação e comunicação audiovisual em tempo real, com o seu carácter efémero e multi-sensorial, que conduz aos protagonistas do live cinema.
O meio é digital, e o canal é audiovisual – reactivo e interactivo.
SÍNTESE
ABSTRACT SÍNTESE
ÍNDICE DE IMAGENS 1. INTRODUÇÃO
1.1. Motivação
1.2. Objectivos e metodologia 1.3. A sinestesia
1.3. 1.A síncrese: a audiovisão e a visuadição 1.4. A articulação audiovisual
2. CONTEXTUALIZAÇÃO
2.1. O audiovisual no início do século XX 2.1.1. O cinema
2.1.2. O cinema e a narrativa linear
2.2. O vídeo, a televisão, a vídeo-arte e o vídeo-jockey 2.3. O audiovisual na era digital
2.4. A música electrónica e a cultura rave 3. O CANAL
3.1. O digital jockey 3.1.1. O Dj / Vj
3.1.1.1 Tipologias do Vj 3.1.2. O CJ
3.1.3. O DVJ 3.2. O Live Cinema
3.2.1. Conceito e objectivos
ÍNDICE
4 5 8 13 15 17 19 20 23 27 30 34 36 41 43 49 50 54 60 63 68 71
3.2.2. Estratégias para o live cinema Espaço físico
Espaço virtual Interactividade Géneros
Espaço de projecção
3.3.1. Live Cinema Vs Cinema 3.3.2. Live Cinema Vs Digital jockey 4. O SINAL
4.1. O meio expressivo
4.1.1. A interacção nas artes performativas 4.1.2. A narrativa não linear
4.1.3. A automatização 4.2. Referentes linguisticos
4.2.1. O Sampler e o loop 4.2.2 Filtros e efeitos
4.2.2.1. Freeframes 4.2.3. Compressão 4.2.4. Scratch
4.2.5. Processos generativos – Programação modelar.
4.2.6. Interfaces e protocolos de comunicação 4.2.7. Relação imagem/suporte
4.2.8. Propriedade intelectual 5. PORTAL VIRTUAL
5.1. Objectivos
5.2. A arquitectura do portal 5.2.1. O Jornal
5.2.2. O Fórum 5.2.3. O Manifesto 6. CONCLUSÃO
6.1. Projectos Av e metodologias emergentes 6.1.1. Loop R
6.1.2. Reactable 6.2. Ponto de encontro 6.3 Arte e Entretenimento
6.4. A importância da performance reactiva e interactiva na contemporanei- dade
6.5. Conclusão
GLOSSÁRIO BIBLIOGRAFIA
73 74 76 77 78 80 82 85
89 90 93 95 96 97 98 100 103 106 109 110 111 112 113 114 116 119 121 122 124
127 135
FIGURA 1: Lanterna Mágica de Athanasius Kircher, 1671
FIGURA 2 : Fonógrafo de Edison, inventado em 21 de Novembro de 1877 FIGURA 3: Cinematograph. 1890, Auguste e Louis Lumière.
FIGURA 4: Thomas Wilfred e o instrumento visual Clavilux, e composições provenientes deste instrumento
FIGURA 5: Catálogo de órgãos de cor (electronic audio color organs), objectos que foram comercializados e acessíveis ao grande público
FIGURA 6: Len Lye, um dos pioneiros s criar “vídeos musi- cais”, inseridos no movimento da visual music
FIGURA 7: Exemplos de frames da obra de Fishinger
FIGURA 8: Norman Mclaren, 1955. Retirado da película “Blinkity Blank”
FIGURA 9: Ben Laposky, “osicllon 4”, 1950.
FIGURA 10: Sony DV-2400 Video Rover (Portapack), que permitiu uma só pessoa realizar a captura de imagem.
FIGURA 11: Sthephen Beck, Beck Video Weaver, 1974.
FIGURA 12: Sthephen Beck, frames capturados a partir do Direct Video Synthesizer, 1970.
ÍNDICE DE IMAGENS
24 25 26
28
29
32 32 33 35
37 38
38
FIGURA 13: Melissa Ulto (VJ Mixxy), Estados Unidos da America.
FIGURAS 14: Eventos de música electrónica, denomina- dos de Rave parties.
FIGURA 15: Sistema do software WJ-S. O software realiza uma mistura aleatória de conteúdos de internet e mistura-os em tempo real, através de um sistema de colagens semelhante ao processo dadaísta.
FIGURA 16: Dj Stormtrooper, 2006 FIGURA 17: Dj Shadow ao vivo, 2007.
FIGURA 18: Interface gráfi co software Virtual Dj. O software é baseado na utilização do Pioneer CDJ.
FIGURA 19: Ilustração que aborda a procura de autonomia do vj (www.vjcentral.
com)
FIGURA 20: Ambiente de trabalho do Vj, 2007.
FIGURA 21: Interface gráfi co software modul8.
FIGURA 22: Interface gráfi co software Arkaos FIGURA 23: Setup Vj. Relação de inputs e outputs.
FIGURA 24: Oli Sorenson ( Vj Anyone ), Inglaterra (2006).
FIGURA 25: Alien News, Tv Sheriff , 2006.
FIGURA 26: Performance Dj Tiesto. Japão, 2006 FIGURA 27: HolyDaggers, Vertigo bluescreen set
FIGURA 28: Sinal de entrada de vídeo modifi cado em tempo real pela aplicação de efeitos - freeframes (Resolume 2.3.).
FIGURA 29: Sintetizador visual, Edirol CG-8
FIGURA 30: Robert Hodgin (Flight 404). Performance.
FIGURA 31: Painel de controle criado por Giorgio Olivero no software Isadora para performances visuais em tempo real.
FIGURA 32: Performance audiovisual de Ge Wand, criador da linguagem ChucK (2007).
41 45
53 54 55
56
57 58 58 58 59 60 61 62 62
63 63 64
66 66
FIGURA 33: Frame da performance Spam de Timothy Jaeger e Alex Dragulescu FIGURA 34: Timothy Jaeger e Alex Dragulescu, “Spam”
FIGURA 35: Pioneer DVJ X1. Este modelo revolucionou as possibilidades de manobra audiovisual do digital jockey, e desenvolve um novo género de performance, o Dvjing.
FIGURA 36: Dvd “Audiovisualize”, misturado por Addictive Tv, através da colaboração de djs e vjs, que produzam e remisturam faixas de áudio e som, agrupadas num só elemento, e direccionado para o mercado de Dvjs.
FIGURA 37: Setup Dvj. Projecto Baby Grand Master. 2007 (http://www.
babygrandmaster.com)
FIGURAS 38: The erasers,(2007) projecto que manifesta princípios de live cinema nas suas apresentações, pela diversidade e complexidade de ferramentas e meios que manipulam em tempo real.
FIGURA 39: Soft Cinema: Navigating the Database, Lev Manovich, The MIT Press, 2005,
FIGURA 40: performance de Peter Greenaway intitulada Tulse Luper.
FIGURA 41: Boris e Brecht Debackere, Rotor, 2007 FIGURA 42: Lost Highway, David Linch, 1997
FIGURAS 43: T_visionarium, projecto de cinema interactivo liderado por Jeff rey Shaw e Denis Del Favero. (www.i-cinema.com).
FIGURA 44: Interface Resolume 2.3. software de vjing para a plataforma windows, com base em mistura em tempo real de loops.
FIGURA 45: Rhythm Science, Paul Miller 2005.
FIGURA 46: FreeFrames. Exemplos de alguns efeitos disponíveis.
FIGURA 47: Max/ MSP/ Jitter Patch
FIGURA 48: Interface desenvolvido em Isadora para a performance Flotis Flotis de Alberto Pi
FIGURA 49: Teclado midi M-Audio.
67 68
69
70
70
74
75 76 78 79 79
93
95 96 99
100 109
FIGURA 50: Controlador Midi VMX VJ, adaptado ás necessidades da performance visual. Codanova, 2006.
FIGURA 51: Lemur JazzMutant, 2007.
FIGURA 52: Controlador Wii, Nintendo, 2006
FIGURA 53: Interface I-Phone com aplicação de vídeo, Apple, 2007 FIGURA 54: Instalação de telas múltiplas de Yannick Jacquet (Vj LegoMan).
FIGURA 55: “Apparition” de Klaus Obermaier. Queen Elizabeth Hall, Londres, 2004.
FIGURA 56: Performance Masterdamus, 1 de Março de 2008.
FIGURA 57: Masterdamus,12 de Janeiro 2007 Beat CultureTel Aviv, Israel FIGURA 58: Performance Masterdamus, 20 de Julho 2007 Cocoon club – Aninersário “3Dimensions” Frankfurt, Alemanha
FIGURA 59: AntiVj ou VJ Crustea . Artista Francês que explora formas tridimensionais em performances audiovisuais.
FIGURA 60: Imagem de marca referente á Creative Commons.
FIGURA 61: Layout Portal AV
FIGURA 62: Loop R 1.0 , interface físico e virtual desenvolvido por Rui Moreira, 2007
FIGURA 63: O interface da Loop R é táctil, e foi desenvolvido em Visual Basiq, 2007
FIGURA 63: Arquitectura do reacTable
FIGURA 64: As conexões entre os diferentes objectos FIGURAS 65: Reactable. 2006
FIGURAS 66: D-fuse ao vivo, 2007.
101 102 102 103 103 104 105 105
105
105 107 110
115
116 117 118 119 125
1.1. Motivação
A experiência que desenvolvi ainda como estudante, e mais tarde como per- former visual em eventos de música electrónica, foram fundamentais para o de- senvolvimento e percurso deste estudo, que foi inicialmente motivado por um manifesto interesse pela performance visual, e focalizado apenas para o vídeo jam- ming ou vjing. No entanto, e após uma primeira análise a documentos e a estudos realizados sobre este campo, apercebi-me da necessidade de realizar um estudo mais amplo e consciente do estado da arte actual, das tecnologias e artistas que sustentam a performance audiovisual e o futuro da mesma. Desta forma, decidi realizar um percurso que abrangesse uma análise às diferentes tipologias que o digital jockey encontra na performance audiovisual, e a evolução natural da mes- ma, até à identifi cação de alguns princípios teóricos e práticos do live cinema, que representa manifestamente uma evolução da performance audiovisual a vários níveis, como vai ser analisado.
Este estudo representa e materializa os elementos teóricos e conceptuais fundamentais à ascensão que procuro como artista e performer, que passa pela identifi cação e consciencialização do digital jockey, até à integração em actividades artísticas mais complexas e emergentes como o live cinema.
Um dos princípios que suporta esta investigação é objectivamente uma ma- nifesta necessidade de análise à performance audiovisual dinâmica e aos seus in- tervenientes, partindo de pressupostos académicos ainda pouco defi nidos, e pela consequente proximidade e experiência de campo performativa desenvolvida. “A prática do audiovisual em tempo-real possui uma história notável, porém, perten-
1. INTRODUÇÃO
ce ainda ao universo underground, mesmo que museus e galerias tenham come- çado a inclui-las nos seus programas.”TEODORO, MARIA LUIZA ;2007
Este carácter emergente de análise sobre um fenómeno que está em franca expansão e encontra nos jovens pontos de interesse culturais e identifi cação social muito vincados, não formaliza ainda elementos objectivos e claros de análise. As diferentes terminologias que representam a performance audiovisual na era digi- tal são pouco claras e defi nidas, e estendem-se a um leque vasto de referentes e subgéneros, como é o caso de: dj, vj, visual mix artists, audiovisualiser, pixel jockey, vi- sual performers, visual jockey, pro DJs, video jammer, viewsicians, Dvj, Web Jockeys,live- image, live-visuals, real-time-video, code jamming, videotagem, Computer jockey, Synaesthetic performer, live cinema, entre outros. No âmbito deste estudo vou ca- talogar o artista audiovisual como digital jockey ou digital performer. Esta aparente confusão do conceito do digital jockey e a sua integração profi ssional e artística, como perfomer audiovisual, reclama uma análise sobre as ferramentas, motiva- ções e contextualização que o tornou actualmente um dos pilares incontornáveis da arte performativa, da área do espectáculo e da cultura actual. A esta matéria designei de urgência académica, e foi também um dos motivos e objectivos que me estimularam para este projecto, fruto da experiência académica que encontrei ainda como estudante, e do muito pouco ou mesmo nenhum relevo artístico que me foi atribuído ao apresentar trabalhos em eventos de música electrónica, em detrimento de locais consagrados para a prática artística, como as galerias .
Também a “quantidade crescente de fontes, canais e locais de transmissão de conteúdos de diferentes géneros e estilos, e a forma como é recebida a sua difu- são, colocam as formas de produção e difusão da cultura dos media entre os mais importantes agentes de socialização. Mas os novos meios não só transmitem, de modo implícito ou explícito, conteúdos produzidos pelos vários grupos sociais”, como podem também expressar e exprimir as formas sensoriais cognitivas con- temporâneas. FERREIRA, GIL; S/D
A complexidade que envolve estes processos passa também pela análise de vários fenómenos culturais e sociais intrínsecos à prática e percepção do fenóme- no e à sua contextualização histórica, que são fundamentais para ser a base de uma análise crítica coerente e evolutiva destas actividades, como foi no caso de outras práticas artísticas consagradas. A música electrónica representa para mim um papel muito importante na minha experiência de vida, e é um dos palcos fundamentais para a evolução da performance audiovisual, e para a experimenta- ção de novas tecnologias e interfaces dinâmicos ao serviço da performance. Estas tecnologias estavam inicialmente apenas ligadas apenas à área da música, e mais tarde adaptadas também à componente imagética e ao sinal de vídeo. “Os pri- meiros exemplos da utilização de meios electrónicos para a produção no campo artístico podem ser encontrados na música.” BONGERS, BERT; 2000
O universo abrangente marcado pelo ritmo, dinâmica e complexidade que as novas tecnologias encontram na arte, representam para o jovem estudante um fascínio e deslumbramento que, por norma, é fragmentado em diferentes áreas de conhecimento e produção que vão desde o design, ao cinema, à musica, vídeo, à programação e multimédia. A performance audiovisual permite ao artista agrupar
diferentes áreas de conhecimento num mesmo veículo expressivo, com uma com- ponente laboratorial e experimental muito própria. Nesse sentido, a complemen- taridade e cruzamento de conhecimentos que o artista aplica é uma característica muito importante, refl exo de uma era muito própria e caracterizada pela comple- xidade e multi-diversidade cultural, tecnológica e informatizada. A internet tem neste campo um papel fundamental. Desde a década de 1990 que a computação em tempo-real tem permitido que artistas desenvolvam de forma personalizada sistemas e processos no âmbito da performance, em particular da performance audiovisual. Com a geração “Do It Yourself (DIY)” os artistas aprenderam técnicas de outras áreas, como a electrónica ou o design, e constroem de forma autónoma e personalizada os seus próprios interfaces/setups e metodologias.
A motivação fundamental a este projecto é portanto realizar um percurso entre elementos fundamentais à contemporaneidade artística e à performance audiovisual proveniente de fenómenos muitas vezes renegados para uma mar- ginalidade recreativa e pouco entrosados com o campo artístico. A performance audiovisual encontra no digital jockey fi rmamento para a criação de pilares para novos formatos e práticas artísticas, funcionando como um canal fundamental da arte contemporânea performativa digital e, para a qual eu direcciono este estudo.
1.2. Objectivos e metodologia
Um dos conceitos fundamentais para formular e interpretar este documento passa pelo principio segundo o qual a composição sonora e visual surgem como actos criativos integrados e complementares, que são fruto da criatividade artís- tica e de princípios de conhecimento e composição bem defi nidos. Seguindo a análise de Kostas Giannakis, “a dimensão visual e auditiva foram extensamente es- tudadas e analisadas em outras áreas científi cas, assim como a percepção visual e psicologia cognitiva, e inspiraram também novas formas de expressão artística”.
No entanto, apesar de “haver uma interdisciplinaridade de interesses de investiga- ção e aplicações de metáforas visuais para a música, ou propósitos semelhantes, a metodologia incorporada nas disciplinas e materiais inerentes não facilitam o processo de interdisciplinaridade e coordenação de investigação”. As associações audiovisuais são “fundamentalmente baseadas em julgamentos subjectivos e não em evidências empíricas”. 2006 Esta situação torna difícil encontrar métodos bem estabelecidos para avaliar o processo de visualização da música, e vice-versa, e a comparação de diferentes metodologias e resultados.
Assim, o objectivo do estudo não passa por questionar e/ou hierarquizar a validade artística da articulação audiovisual e dos elementos formais que a com- põem, mas sim analisar e identifi car processos inerentes às tecnologias digitais que potencializam metodologias e permitem formular novos enunciados que se ma- terializem em objectos contemporâneos emergentes de ambientes audiovisuais dinâmicos. Nesse sentido, enquadrar estes processos como motivações essenciais a formas de expressão e representação artísticas, associadas à cultura e tradição cultural gerada no século XX, é o percurso necessário para encontrar os princípios
do live cinema, desenvolvidos pelo digital jockey. O digital jockey funciona nesta prespectiva como um canal, um veículo actual que encontra uma vasta aceitação e contemplação pela forma como os media entram desde cedo na nossa consci- ência e percepção do mundo.
O itinerário deste estudo passa inicialmente pela compreensão dos fenómenos sensoriais que geraram representações e manifestações através da articulação au- diovisual, e a integração e contextualização destes processos com as tecnologias e referentes culturais da actualidade. As características intrínsecas ao meio digital redimensionam a obra audiovisual também no sentido participativo. Conceptua- lizar um formato inovador de representação, interacção e gratifi cação, é o percur- so que me proponho a realizar, de forma a encontrar enquadramentos teóricos e conhecimentos pedagógicos que permitam a simplifi cação e uniformização lin- guística do universo performativo audiovisual reactivo e interactivo. Este processo é construído através da análise do canal, que é referente às diferentes tipologias performativas, até ao sinal, referente aos meios expressivo e técnicos utilizados, que permitem a interacção entre o performer, o sistema e a audiência.
Um dos objectivos fundamentais é a introdução de conceitos e documenta- ção de actividades performativas ainda pouco descritas e presentes em institui- ções académicas. Este processo parece-me fundamental para uma melhor com- preensão e acompanhamento das ambições artísticas dos jovens que, por vezes, divagam entre as ditas artes nobres e a área do espectáculo, e a utilização dos novos meios sem orientação técnica especializada.
Finalmente, são apresentados projectos pioneiros que materializam e ilustram os aspectos mais interessantes e relevantes da performance audiovisual, como é o caso da complexa reactable e da surpreendente loop-r.
A componente prática deste projecto é a criação de um canal directo com os intervenientes, através do meio privilegiado de comunicação inerente a estes fenómenos, a internet, e a criação de um portal virtual. O domínio www.portal- av.net vai promover a interacção e a sinergia de ideias e conteúdos. O portal está dividido em três secções fundamentais: o jornal, o fórum, e o manifesto. Desta for- ma, é possível criar uma componente informativa em língua portuguesa relativa às práticas audiovisuais performativas, e às suas manifestações, agenda e manifesto.
Este é, sem dúvida, o meio privilegiado de intercâmbio e promoção destes fenó- menos. É a possibilidade de contactar directamente com os intervenientes que fomentaram este diálogo e intercâmbio de ideias, e estabelecer-se um diálogo sinérgico informativo. Através deste processo, esta investigação propõe-se anali- sar e desconstruir um espaço importante na promoção e sustentação conceptual, prática e actualizada da performance audiovisual contemporânea, que oscila entre a música, o cinema e os computadores.
1.3. A sinestesia
A ideia de sinestesia é um tema bastante complexo. Abrange campos teóricos diversifi cados como a história da arte, semiótica, psicologia, fi siologia e neurologia.
O termo caracteriza a experiência sensorial, na qual as sensações correspondentes a certo sentido são associadas a um outro sentido, e quase sempre acompanhado de memória e criatividade excepcionais. A sinestesia é portanto uma condição neurológica na qual o estímulo em um dos sentidos provoca uma percepção au- tomática em outro sentido. Há dezenas de modalidades de sinestesia.
As relações sensoriais, as sinestesias, representam um elemento fundamental à produção e percepção da performance audiovisual, na qual a fusão ou comple- mentaridade visual e auditiva criam uma forma de comunicação única, a percep- ção audiovisual.
Segundo a taxonomia estudada por Sérgio Basbaum existem quatro concep- ções para o fenómeno:
1) a sinestesia femômeno-neurológica, que diz respeito a percepção cinestési- ca, distinguindo em sinestesias: constitutiva (ou de nascença), adquirida por lesões no aparelho neurológico e induzida pelo uso de drogas;
2) a sinestesia na arte, proposta por realizações artísticas que buscam de algu- ma forma a fusão de dois ou mais sentidos;
3) a sinestesia subjectiva, baseada em depoimentos de pessoas para além da categoria da sinestesia neurológica
4) as sinestesias provenientes do domínio da linguagem verbal. 2002
Nesse sentido, no contexto deste estudo, a concepção proposta por Basbaum encontra-se dentro da segunda categoria, fruto de processos sensoriais e culturais, que são fruto de um modo de vida instaurado pelas tecnologias informáticas e os rituais que lhe são inerentes.
Como enuncia Luciene Belleboni “a sociedade contemporânea apresenta uma extensa gama de produtos audiovisuais, porém integra suas linguagens consti- tuintes em diferentes níveis de resolução. Na era denominada da Imagem, assisti- mos e escutamos a diferentes formas de relação entre som e imagem: em alguns casos a submissão dos sons à imagem, em outros o domínio do som e, em poucos o diálogo entre essas expressões.” 2004
A utilização do áudio na história do audiovisual, em particular nas ultimas três décadas, foi complementar à utilização da imagem. No entanto, a importância do áudio tem suscitado artistas, cientistas, teóricos a desenvolverem obras, investiga- ções que remetem e questionam este papel secundário, em particular na sines- tesia audiovisual. “ Actualmente, o som não pode ser mais entendido como mero suporte da imagem, uma ideia que se fundamentou, exclusivamente, em práticas culturais seculares.” ALVES;JORGE ;S/D
A relação som e imagem ganha novos contornos à medida que as linguagens audiovisuais vão encontrando novas formulas e formas de representação. Para tal, elas caminham em paralelo com a investigação científi ca e tecnológica, tirando partido das portas que ela abre e das pontes que depois permite ao utilizador criar. Esta sinestesia sensorial e tecnológica é fundamental a várias formas de co-
municação e à prática artística. Tendo em conta que os meios informáticos não exploraram formas sensoriais como o olfacto e mesmo o tacto (pelo menos na mesma escala que os outros sentidos –visuais e auditivos em hardware e software), parece-me que os meios de que dispomos actualmente permitem-nos traçar per- cursos cinestésicos localizados entre o formato visual e auditivo, e vice versa.
“Há muito que se afi rma uma tendência que considera a visão e a audição como dois sentidos que entre si mantêm relações privilegiadas de complementari- dade e de oposição. No Homem, a associação entre som e imagem é, desde muito cedo, estabelecida a partir do contacto com o meio exterior e”naturalizada”pela aprendizagem. “ALVES, JORGES; S/D
Efectivamente, a sinestesia está presente na forma como apreendemos o mun- do e o experimentamos. Mesmo na época do cinema mudo, foi necessário acres- centar a componente acústica através da introdução de música ao vivo, de forma a intensifi car e redimensionar uma experiência cinestésica. Este processo senso- rial no campo artístico através do sintagma”correspondência das artes”remete ao cruzamento que as artes travam entre si. Unidas por um traço comum, enquanto linguagem humana, as artes defi nem-se, na clave do crítico italiano Luigi Parey- son1, por três verbos chave:”a arte como fazer, como conhecer e como exprimir”.
Entendida numa defi nição abrangente, a arte torna-se corpus da refl exão estética, mesmo se cada linguagem artística abrange questões específi cas. CIT. MUCCI, ISAIAS LATUF ;S/D
O próprio meio de expressão pode conduzir a correspondência entre as artes, através também da sinestesia, “operando uma alquimia de percepções, desloca o sentido privilegiado por determinada linguagem artística. Na transacção das per- cepções, as artes absorvem ou assimilam, de certa maneira, elementos da lingua- gem peculiar de cada uma”. MUCCI, ISAIAS LATUF ;2005
O recurso cinestésico, que pode dar o tom das correspondências entre as artes situa-se precisamente na”instância metafórica, ao invés de operar uma contamina- ção entre as diversas linguagens artísticas, que defenderiam, em prol da utópica pureza de cada arte, uma autonomia do meio específi co de expressão”. Assim, “a sinestesia ultrapassa a retórica da analogia, enriquecendo a experiência estética e sensorial”. MUCCI, ISAIAS LATUF ;2005
A integração destes elementos e da sinestesia audiovisual através das novas tecnologias e novos meios de comunicação remete esta discussão para uma refl e- xão dos vários sentidos em linguagens emergentes. “Na era dos multimédia, o es- tudo dos modos artifi ciais de organização de imagem e de som adquire primordial importância, mobilizando a atenção de diversifi cadas áreas científi cas, artísticas e profi ssionais”. ALVES, JORGES; S/D
Deste modo, as páginas que vão seguir-se pretendem ser uma muito breve e parcelar introdução ao fenómeno perceptivo como parte integrante do sistema audiovisual. Este é defi nido como uma unidade que engloba diferentes subsiste- mas e códigos, que se harmonizam mediante a transformação técnico-retórica.
Para se realizar esta análise fi siológica ao formato audiovisual é fundamenta-
1Luigi Pareyson (Itália, 1918- 1991), fi lósofo do século XX.
partir das ideias incontornáveis de Michel Chion2, e desenvolver uma constatação de que as suas teorias, desenvolvidas em relação ao cinema, serão também válidas na análise de peças audiovisuais não-narrativas ou ‘non-objective narrative’. O áu- dio, o visual e o audiovisual estão assim indissociavelmente ligados à percepção sensorial áudio-ouvido; visual-visão; audiovisual-interacção ouvido/visão. CHION, MICHEL ;1990
1.3.1. A síncrese: a audiovisão e a visuadição
Audioimagem, audiovisão e visuaudição, síncrese, extensão e temporalização são ideias propostas por Michel Chion, numa série de trabalhos que culminam na obra L’audio-vision (1990). Estes elementos, conceitos e fusão de sentidos são também reorganizados de forma a sugerir novas formas de pensar a estrutura e efeitos da experiência audiovisual.
Partindo da defi nição de sinestesia já anunciada, Chion atribui momentos cha- ve á expriência sensorial audiovisual.
A fusão dos sentidos,”Synchrése”ou síncrese, representa a fusão mental en- tre eventos sonoros e visuais quando estes ocorrem simultaneamente. Designa o fenómeno fi siológico, espontâneo e refl exo, dependente das nossas conexões nervosas e musculares, que consistem no facto de percebermos com um único e mesmo fenómeno (uma síntese) uma manifestação visual e uma manifestação so- nora. No instante em que se produzem simultaneamente. Este ponto de sincroni- zação –”Synch point”- pode ser descrito como um encontro sincrónico audiovisual saliente entre um evento sonoro e um visual, deslocação sensorial fundamental para a analise que se segue.
Transportar estes elementos para a linguagem que o digital jockey utiliza, parece-me que é a partir da ideia de cometimento cinemático — “uma espécie de compromisso entre sons e imagens e o seu movimento paralelo no tempo, e o conceito de ‘audioimagem’ “— uma construção mental resultante da fusão entre sons e imagens através de inúmeras articulações enunciadas por Michel Chion no seu ‘contrato audiovisual’. [1990]
Esta infl uência fundamenta uma propensão natural para integrar sons e ima- gens num todo coeso, logo, uma sensação proporcionada por um sentido que infl uencia a sensação percebida pelos outros (especialmente no que diz respeito à infl uência mútua entre visão e audição). Esta noção explica a aceitação dos even- tos cinemáticos que estão logicamente associados mas também a possível asso- ciação entre eventos sonoros e visuais díspares na produção de efeitos dramáticos e expressivos. Este fenómeno é uma das bases essenciais dos efeitos audiovisuais e da articulação audiovisual nos meios electrónicos e na cultura de entretenimento, e pode ser largamente explorado nos mais diversos meios que impliquem articu- lações entre som e imagem, especialmente no que diz respeito ao valor de expres- são e representação que o som assume. CRUZ, JOÃO ;S/D
Chion afi rma que a imagem magnetiza o som na medida em que, por exem- plo, quando vemos uma projecção vídeo os sons parecem provir da imagem, em- bora a sua fonte possa estar localizada noutro lado. 1990
2Michel Chion (França), com- positor música exprimental,
realizador de cinema, e professor na Universidade de Paris, onde é teórico e professor de relações audio-
visuais.
tiva, através de comentários narrativos ou de música. Este processo de magnetiza- ção tem infl uência na forma como sentimos o espaço construído pelo audiovisual.
A união destes elementos, como fenómeno perceptivo, é sem dúvida objecto de refl exão exaustiva.
Perceber e analisar a conjugação destes dois elementos, inseridos num evento performativo, com o impacto visual do cinema e o impacto sonoro e social de um concerto, é materializar o conceito que Chion designa de ontologia digital.
Isto é, uma relação de paridade que a determinado momento é estabelecida en- tre os elementos sonoros e visuais que compõem a obra. Independentemente da origem, num momento exacto, o código-base da representação de ambos os elementos é o mesmo, idêntico, indiferenciado, e infi nitamente acessível. Nesse momento e local, esses elementos são informação, relacionada e parametrizada de perto, em contínuo diálogo, emergindo como uma unidade audiovisual, pixels de luz e imagem unidos de uma forma delicada, partilhando a mesma ontologia digital. CRUZ, JOÃO ;S/DB
1.4. A articulação audiovisual
A articulação audiovisual pode ser descrita nos seus elementos primários como
“um sistema que engloba os subsistemas auditivos e visuais que se combinam em múltiplas variáveis”. ALVES; JORGE ;S/D
O autor enquadra a palavra audiovisual passível de designar duas”realidades”, por vezes complementares, mas distintas:
a) Num sentido amplo, como mera justaposição de dois termos sem estabele- cer qualquer relação entre eles. Considera-se o áudio e o visual como elementos autónomos que manifestam a sua presença numa grande variedade de meios de comunicação. Exemplo: a fotografi a, o disco, o telefone, o cartaz, o cinema mudo.
b) Num sentido restrito, estabelece-se uma íntima relação entre os termos para originar um outro produto. A percepção simultânea de som e imagem vincula de tal maneira estes elementos que eles originam uma unidade expressiva, total e autónoma. Exemplo: cinema sonoro, televisão, algumas aplicações multimédia.
Adoptando-se o conceito ela confi gura um sistema que oferece duas possibilida- des: o funcionamento baseado na primazia de um dos subsistemas e a integração do visual e auditivo no que Cebrián Herreros (1995) denomina o audiovisual pleno;
um sistema no qual não é possível examinar em separado cada um dos compo- nentes se não quisermos destruir o sentido que transmitem. CIT. ALVES; JORGE ;S/D
A articulação audiovisual é um sistema que combina múltiplas variáveis e que reúne os subsistemas auditivos e visuais. A articulação audiovisual é composta também por diversos signos, que reunidos neste cinestésico defi nem novos sig- nos, nomeadamente o signo audiovisual. O signo audiovisual pode ser dividido em três grupos, partindo de pressupostos de Cebrian Herreros3. Os signos audiovi- suais produzidos pela combinação de signifi cantes percepcionados pelo ouvido e pela visão, e onde as imagens e os sons constituem o signifi cante. Os Signos Visu-
3Mariano Cebrián Herre- ros (Espanha), professor Faculdade de Ciências de Informação, com várias obras publicadas sobre a informação audiovisual em geral, rádio, televisão, vídeo, e tecnologias de comunica-
ção digital.
ais, produzidos por signifi cantes captados pela visão: pictóricos, gráfi cos, imagens, e fi nalmente, os signos auditivos, produzidos por signifi cantes apreendidos pelo ouvido. CIT. ALVES; JORGE ;S/D
Em síntese, o sistema audiovisual é constituído através das relações que os sig- nos percepcionados estabelecem através da audição e visão, e pelas relações que elas desenvolvem. “É um sistema que articula diversos subsistemas expressivos:
visual-infográfi co-escrito, visual-icónico e informação auditiva”. ALVES; JORGE ;S/D] Michel Chion afi rma que a condição da combinação áudio e visual”não consis- te na percepção de sons e imagens enquanto tais, mas na percepção de espaço, de matéria, de volume, de sentido, de expressão e de organização espacial e tem- poral”. [1990] A percepção do espectador não deve ser enriquecida pelo som ou pela imagem, deve antes modifi car por completo a percepção, experimentação e interpretação global da articulação audiovisual. Desta forma, nenhum sentido actua em função de outro, como está patente em várias práticas da performance audiovisual que vão ser analisadas.
Vários autores defi nem barreiras e encontram diferenças fundamentais aos processos perceptivos presentes na articulação audiovisual. O Som e imagem são facilmente comparados pela terminologia, mas na realidade são bastante distintos.
”A vista isola, o som incorpora. a visão é unidireccional, enquanto que a audição é omnidireccional”; JORDÃO,PEDRO;2003
Efectivamente, a difícil relação entre som e imagem foi verdadeiramente le- vantada e questionada com a introdução do cinema, que reuniu pela primeira vez os dois sistemas numa só fi ta, sem a necessidade de estes serem produzidos em tempo real. “Esta simbiose resulta num sistema novo, que não deve ser encarado como mera justaposição ou combinação híbrida. O audiovisual não é a soma dos seus elementos, constrói outra realidade, qualitativamente diferente. É um sistema tecnifi cado, com uma mediação técnico-retórica que concilia e dirige o sentido dos subsistemas que o integram.” ALVES, JORGE; S/D
As teorias de Nicholas Cook´s são fundamentais para reformular alguns concei- tos e propor novas leituras da interacção da articulação audiovisual:
Há apenas dois tipos de interacção entre o som e a imagem:
-Interacção que causa um sentimento de sinergia de ambos os media.
-Interacção que não causa o sentimento de sinergia de ambos os media.
O primeiro é resultado de uma interacção amplifi cada.
O segundo pode ser dividido em interacção de translação e interacção de dis- função. 1998
No âmbito deste estudo e da compreensão da articulação audiovisual, o ob- jectivo parcial da performance passa pela interacção amplifi cada, ou a interacção sinérgica.
A interacção sinérgica tem um espectro completo de valores variáveis de interacções entre o som e a imagem que tem também um valor harmónico, a interacções que tem um valor mais competitivo. Interacções que têm um valor harmónico mais acentuado têm tendência a terem características similares entre os referentes auditivos e visuais.
Um outro factor de condicionamento da atenção da articulação audiovisual
mencionado por Chion é o verbocentrismo. Dentro do universo sonoro, conside- rado segundo as três dimensões essenciais (palavra, música e ruído) denota-se que a primeira tem uma função muito localizada, pois pela sua dimensão semântica efectua um verbocentrismo, ou seja, uma propensão da atenção para considerar a palavra, verbo, por esta se constituir como um veículo de sentido. “Entende-se então que o valor acrescentado, a sÍncrese e a magnetização espacial, conjugados com o verbocentrismo, lançam as bases para os efeitos audiovisuais. Estes efeitos podem-se estabelecer essencialmente em termos de expressão e representação, efeitos de temporalização e efeitos relacionados com a construção de um espaço cénico, que Chion apelida de efeitos cenográfi cos.” CRUZ, JOÃO ;S/DB
Entre vários efeitos audiovisuais que o autor identifi ca encontram-se: “os efeitos do som na percepção temporal das imagens; os efeitos na percepção do espaço e os efeitos de expressão e representação. É nestes últimos que se revela mais deter- minante o grau de relação, entre som e imagem, num evento audiovisual e a forma como esta relação é usada para gerar sentido”. CRUZ, JOÃO ;S/DB A compreensão do entendimento e das relações que estabelecemos com o sonoro são essenciais para a introdução da noção de”contrato audiovisual”, sugerida por Chion para de- fi nir a articulação audiovisual como uma nova unidade. 1990
O autor afi rma que os fundamentos e princípios que este contrato transparece tem por vezes uma base psicofi siologica. 1990 Quais são então as causas que pro- vocam a amplifi cação da relação entre o som e a imagem na era digital?
A arte electrónica, com suas naturezas participativas e interactivas, a par da evolução tecnológica, que todos os dias apresenta novos produtos com requisi- tos e aparatos técnicos exponenciais, intensifi cam e redimensionam a experiência sensorial do espectador. A prática e a conceptualização da articulação audiovisual em tempo real remonta a vários períodos da história do século XX. As várias infl u- ências que deram origem ao audiovisual ao vivo vão ser analisadas de forma a criar uma plataforma de análise para as tecnologias e tendências que estão a surgir na contemporaneidade. Para tal, é necessário recuar aos fundamentos do cinema, do dadaísmo, da vídeo-arte, das performances e do happening, e do movimento de música electrónica e das festas que testemunharam as novas vanguardas do início de século, como a utilização do sample e de instalações do suporte de projecção, e o métodos associados à manipulação das novas tecnologias.
A história da performance visual remonta a processos arcaicos de refracção de luz no espaço. O primeiro emissor de luz foi o sol, projectando sombras no chão e permitindo a manipulação da luz e da refracção da mesma no chão em tempo real. Mais tarde, a utilização do fogo e de lâmpadas de óleo expandiram a utilização e manipulação da luz, e introduziram uma série de rituais performativos, cerimónias com uma forte componente espiritual, como é o caso do teatro de Sombras Indonésio Wayan Kulit. Surgem assim os primeiros referentes performati- vos com imagem manipulada em tempo real.
Desde Pitágoras, com seu conceito de “música das esferas”, e as relações dos sons com a matemática, os ocidentais vêm especulando sobre a relação cinesté- sica entre imagem e som, ou duas ou mais modalidades sensoriais. No caso par- ticular de Pitágoras, e outros pensadores e cientistas como Leonardo da Vinci ou Athanasius Kircher, fascinaram-se com a ideia da relação entre a escala musical e as cores. PAOLO, BRUNI ;2007
A lanterna mágica foi o antecedente directo do projector de slides. O primeiro registo publicado do aparelho data do ano de 1600 de Athnasius Kircher. As ima- gens eram pintadas sobre um vidro, e projectadas sobre uma superfície. Alguns modelos mais avançados utilizam uma técnica separada de lentes e permitiam criar alguns efeitos de óptica como a mistura da imagem e a dissolução das várias camadas.
O fenómeno foi durante muito tempo relacionado com o sobrenatural, má- gico, até ao fi nal do século XIX, com o aparecimento do cinema. Mágicos e ani- madores foram provavelmente os mais criativos e entusiastas destes mecanismos, nomeadamente com a introdução de espelhos para criar ilusões. Estes aparelhos eram transportados por projeccionistas que os transportavam nas costas, de cida-
2. CONTEXTUALIZAÇÃO
de em cidade.
A invenção da lanterna mágica remonta ao século XVII, mas ganha expressivi- dade durante o século XVIII, com melhorias técnicas, que permitiam transportar os equipamentos. Estas lanternas projectavam imagens que ao serem conjugadas com fumo davam uma sensação de transparência e imaterialidade.
Em 1798, Etebbe-Gaspard Robertson criou um espectáculo à volta destas projecções das lanternas mágicas no interior de uma capela em França, com a utilização de vários projectores, projecções em fumo, e sons para intensifi car a experiência retratada como “horror show”4, o que levava muitos espectadores a desmaiarem de espanto e choque, devido ao forte impacto sensorial que a tecno- logia permitia. MAKELA,MIA;2006
Em 1822, o matemático e físico Francês Joseph Fourier (1768 – 1830) apresenta a teoria que qualquer som complexo pode ser descrito por uma série de compo- nentes simples, que permitiu a passagem para métodos de análise a frequência de onda do som. HOLZER, DERECK; KOLSTER; SARA;S/D
Também em 1822, o Jacques Louis Daguerre5 e foi o primeiro artista apresentar o diorama. Esta apresentação consistiu em várias telas que foram colocadas em frente a uma audiência de 300 pessoas, com rotatividade da apresentação de ima- gens. Um teatro para a exibição de panoramas com efeitos de luz variáveis e pin- turas. Esta mudança era possível graças ao uso de fumo e luz, e era acompanhada também por música. Para melhorar a ilusão do movimento, foram desenvolvidas diferentes tipos de lentes para as lanternas mágicas, que permitia fazer sobreposi- ção de imagens, o que sugeria animação. Vários autores identifi cam estas perfor- mances como os primeiros sinais do cinema, uma vez que eram acompanhadas
FIGURA 1: Lanterna Mágica de Athanasius Kircher, 1671
5Francês Jacques Louis Mandé Daguerre (França, 1787-1851) pintor e actor e físico. É responsável pelo primeiro processo prático da fotografi a, conhecido como dagerreotype
4FMats Rendel: Atha- nasius Kircher http://user.
bahnhof.se/~rendel.engint.
html
por música.
Na fotografi a, estudos realizados já no fi nal do século XIX sobre o movimen- to e a sequência das imagens, como é o caso da sequência do movimento em deslocação de um cavalo de Eadweard Muybridge, “La Nature, Studies in Animal Locomation”, de 1878, e também por Muybridge, em 1987, mostraram o interesse e fascínio sobre a relação temporal da imagem, que se veio a materializar no cinema, e mais tarde no vídeo. RUSH,MICHAEL;2001
Em 21 de Novembro de 1877, Thomas Edison6 cria o fonógrafo, que permite a reprodução electrónica do áudio.
6Thomas Alva Edison (Americano, 1847- 1931) foi um inventor e empresário que desenvolveu muitos dispositivos importantes de grande interesse industrial. a lâmpada elétrica incan- descente, o gramofone, o cinescópio ou cinetoscópio, o ditafone e o microfone de grânulos de carvão para o telefone, Edison é um dos precursores da tecnologia do século XX
FIGURA 2 : Fonógrafo de Edi- son, inventado em 21 de No- vembro de 1877
Os primeiros registos de integração audiovisual num sistema integrado sur- gem já no século XVIII, através de uma série de experiências que associam o som e imagem, através dee um piano onde cada nota estava ligada a uma determinada cor, que era projectada através de luz de velas. Este sistema, denominado de Clo- vassin Oculaire, foi desenvolvido por Louis Bertand Castel.
Recentemente foi analisado a apresentado o phonautograph7, aparelho criado em 1860 por um inventor Francês, Edouard-Leon, que capturou em papel coberto com fuligem as ondas sonoras, através de uma lâmpada de óleo. Uma agulha gra- vava o registo de áudio movido por um diafragma. A preocupação do autor não era reproduzir o som, mas sim uma representação visual do mesmo.
Também no sec. XVIII, o padre jesuíta e matemático Louis-Bertrand Castell, pro- vavelmente inspirado nas teorias ópticas de Newton, foi pioneiro na concretização de instrumentos que possibilitassem “tocar cores”, através do Cravo Ocular, que associa vidros de cor a notas musicais, através da luz de uma vela e de janelas, ligadas por engrenagens às teclas.
Os artistas que elaboraram performances com estes instrumentos aglutinaram descobertas científi cas, como a energia a vapor e eléctrica, como maneira de po-
FIGURA 3: Cinematograph.
1890, Auguste e Louis Lumière.
7http://news.bbc.co.uk/2/hi/
technology/7318180.stm
tencializar esta forma de arte.
No fi nal do século XVIII, o termo colour-organ, ou órgão de cor, torna-se ge- nérico para este tipo de instrumento, através de Alexander Rimington, que em 1893 apresenta o primeiro exemplar. Este instrumento consistia num órgão ligado directamente a 14 orifícios, num quadro de madeira de 3 metros de altura. Um complexo mecanismo controlava a relação da nota tocada no órgão e a cor – e intensidade – de luz que surgia nos orifícios.
A invenção da fotografi a8 foi um dos momentos cruciais para o desenvolvi- mento não só das artes como da ciência, em particular no campo da antropologia visual.
Em 1895 Auguste e Louis Lumiere9 foram creditados por fazer a primeira sessão pública de cinema, através do Cinematograph, mecanismo inventado em 1890, que consistia numa câmara portátil, unidade de processamento do fi lme e pro- jector.
A primeira sessão de fi lmes é no entanto referenciada à Edison company em 1891, através do kinetoscope, que permitiu recriar o conceito básico de animação, e consequente imagem em movimento. Edison desenvolveu também o projector Vitascope, que foi o primeiro projector comercial dos Estados Unidos, mais tarde substituído pelo Projectoscope(1896). Outros projectores similares realizados no mfi nal do século foram Projectoscope (1896), Eidoloscope (895) e Phantoscope (1985), entre outros. MAKELA,MIA;2006
Ao analisar e realizar a recolha de toda esta conjuntura audiovisual performativa é curioso realçar que muitas destas práticas não eram entendidas na altura como manifestações artísticas, e enquadram-se em registos fora da esfera artística. Elas não são representativas de uma realidade no sentido absoluto, mas como forma de sugestão do sobrenatural. Apenas no Romantismo foram apreciadas como ma- nifestações artísticas, onde o sonho e a exaltação dos sentidos eram refl exo dessa procura. No realismo do início do século XIX, o aspecto técnico foi enfatizado em detrito de elementos criativos. A infl uencia tecnológica tornou-os pouco credíveis.
Obras de arte tinham ser provenientes de matéria prima directa da natureza e não podia ser tocada por instrumentos artifi ciais. Na mente de muitas pessoas a mecanização levou ao declínio de valores culturais. O século que se seguiu foi fundamental para a reformulação dos processos artísticos.
2.1. O audiovisual no inicio do século XX
A história da electrónica audiovisual é longa e complicada. Demasiado longa para ser explorada em grande detalhe, mas demasiado importante para não ser referenciada. O que se segue são algumas tradições que nos conduziram ao es- tado actual das práticas artísticas. A velocidade como o século XX se processou trouxe para o campo da artes a inclusão de temas e objectos artísticos do dia a dia para uma arena artísticas bastante restrita, no que toca a temas e objectos.
A obra de Duchamp10 abriu portas para que através de qualquer meio possível,
8A primeira fotografi a reconhecida é uma imagem produzida em 1822 pelo francês Joseph Nicéphore Ni- épce, numa placa de estanho coberta com um derivado de petróleo chamado Betume da Judéia.
9Os irmão Lumière, Auguste Marie Louis Nicolas (1862 -1954) e Louis Jean (1864- 1948).
10Marcel Duchamp (Franco- Americano, 1887- 1968) foi um dos artistas mais infl uentes da arte do século XX, É um dos precursores da arte conceptual e introduziu a ideia de ready made como objecto de arte.
o artista tivesse liberdade de se expressar artisticamente. No início do séc. XX, cientistas, artistas e músicos revelaram grande interesse em pôr em prática esta re- lação directa entre o som e imagem. As pinturas de Kandisky11 foram consideradas parte do movimento, e os teóricos James Michelson e William Huntington Wright sugerem que nasce uma nova corrente artística, a “color art”, onde a dimensão física do objecto passa única e exclusivamente pelo uso da cor. Kandisky usou a cor através de uma teorização e associação de tom com timbre, o brilho com vi- bração e a saturação com o volume do som. A associação é de tal forma presente na sua obra, que vários autores sugerem que o Kandisky via cor ao ouvir música.
DABROWSKI, MAGDALENA ;1997
A componente performativa como manifestação de sentidos esteve desde sempre presente na música e nas artes visuais, “este encontro já está antecipado na fórmula que se ocupa da pintura gestual e seu registo documental dentro do paradigma do audiovisual – Pollock”. O pintor encontrou na acção o elemento expressivo fundamental à pintura que realizava. “Nele, a combinação já designa o conceito operacional da performance e o modo como esta contaminação perfor- mance-audiovisual será decisiva para a determinação da marca da contempora- neidade e suas possibilidades emergentes em relação às artes do corpo (o gestual encadeado em performance, action painting / live art / action artist) e em relação às artes audiovisuais (do imaterial ao virtual).” NORONHA, MARCIO PIZARRO ;2006
Também o carácter de análise temporal das obras que os happenings, as per- formances, instalações e mesmo os vídeos contêm é importante para uma análi- se e compreensão da relação da imagem e movimento em tempo real. A noção de tempo e espaço ganha novos contornos na entrada do século XX, através das artes plásticas e de obras de pintura como a “Dynamism of a Dog on a Leash”
de Giacomo Balla12, em 1912, revelam a presença no registo visual da imagem em
FIGURA 4: Thomas Wilfred e o instrumento visual Clavilux, e composições provenientes deste instrumento.
11Wassily Kandisnky, (Françês, 1866 -1944) foi um artista russo, professor da Bauhaus e introdutor da abstração no campo das artes visuais
movimento: os frames. Os futuristas exploraram também este aspecto na pintura, como é o caso por exemplo da obra de Duchamp “Nude Descending a Staircase, Nº2”, de 1912. RUSH,MICHAEL;2001
Os vanguardistas trouxeram grandes avanços para as performances visuais, principalmente teóricas, e o desenvolvimento tecnológico foi fundamental para uma aplicação prática destes conceitos em formatos audiovisuais. A procura de sintetização de som com luz, através da automatização de processos físicos, com pressupostos matemáticos, físicos, electrónica e teoria da comunicação. Tecnolo- gias de som óptico, como é denominado algumas dessas experiências, foram de- senvolvidas desde o inicio do século, em particular por artistas Russos Boris Yanko- vsky, Evgeny Scholpo,Vladimir Baranoff Rossiné e o piano Opthonic, sistema que gerava sons e projectava padrões de luz através de discos.
Em 1922, Thomas Wilfred apresentou a público o famoso instrumento Clavi- lux, composto por 6 projectores regulados por um teclado ligado a um banco de slides, e começa a construir argumentos sobre a sua nova forma de manipulação óptica, a Lumia.
Lumia pode ser descrita como uma forma de arte que na sua concepção per-
12Giacomo Balla (Itália, 1871- 1958), pintor Futurista, com
obras picturais representa- tivas da luz, movimento e
velocidade
FIGURA 5: Catálogo de órgãos de cor (electronic audio color organs), objectos que foram comercializados e acessíveis ao grande público
formativa vai em paralelo com a música, pelo método como é processada. Os ar- tistas começaram a fazer imagens moverem-se como a música, e ligá-las directa- mente à musica.
Os enunciados de Wilfred das modalidades sensoriais aponta também para outras questões além do ritmo, como o problema da semelhança física directa, en- tre o visual e o sonoro. A imagem “é produto de um estímulo luminoso (frequência electromagnética), e o som produto de vibrações mecânicas que se propagam num meio material, sendo muito diferentes em essência.” CIT. BRUNI,PAOLO; S/D
Também Charles Dockum desenvolveu esta forma de arte. Estas teorias são inovadoras em relação às teorias de correspondência directa entre luz e som que vigorava nas apresentações com órgãos de cor nos séculos passados. Remonta a sistemas utilizados actualmente em plataformas digitais, a interfaces computa- dorizadas de “samplagem”, e em geral, as tendências de novos experimentos ci- nestésicos que seguiam a linha de pensamento que um elemento da obra, como o ritmo, regularia todas as instâncias de relações de códigos de um determinado sistema artístico.
A produção artística do século XX traz um novo conceito operacional na His- tória da Arte: a performance, “experimento que traz uma nova confi guração para a separação/unidade das artes, no trânsito das imagens visuais e da plasticidade entre o corpo, o som e o audiovisual, na forma do paradigma do cinema para as relações inter-artes”. NORONHA, MARCIO PIZARRO ;2006
Um dos autores fundamentais para a análise destas relações dos meios com a sociedade e as artes é GeneYoungblood, através de enunciados teóricos sobre a expansão do formato audiovisual dinâmico e os formatos establecidos.
2.1.1. O cinema
As vanguardas cinematográfi cas tiveram um impacto profundo nos novos me- dia do século XX.
O cinema (ou cinematografi a), abreviação de cinematógrafo, é a técnica de projectar fotogramas (quadros) de forma rápida e sucessiva para criar a impressão de movimento, bem como a arte de se produzir obras estéticas, narrativas ou não, com esta técnica. Ele é simultaneamente arte, técnica e indústria.WIKIPEDIA
Apesar da patente cinematográfi ca remontar ao fi nal do século anterior, ape- nas nos fi nais dos anos 20 se introduz o elemento sonoro no cinema devido à inexistência de tecnologia para tornar isso possível. o termo “cinema mudo” não traduz na realidade os elementos físicos que constituem a apresentação deste fi l- mes, uma vez que eram acompanhados em tempo real por um piano ou órgão em improviso. Com adesão do público ao cinema e em teatros de maior dimen- são, recrutavam-se orquestras inteiras para preencher o fi lme com sons, estabele- cendo-se uma relação mais rígida, do som ao serviço da imagem.
A complementaridade da imagem e som, embebidos num mesmo formato, obrigava a várias refl exões sobre a importância dos sentidos e da narrativa.
O audiovisual, segundo as palavras de Marc-Henri Piault, ainda não era enten- dido como “mais que um instrumento sofi sticado intervindo no simples domínio
13Gene Youngblood (Estados Unidos, 1942), teórico de artes e tecnolo-
gia, e política. O livro que editou em 1970, “Expanded Cinema” foi a primeira obra a considerar o vídeo como uma forma de arte
da comunicação”. CIT. PIAULT, MARC, 1995 Sem dúvida, já caracterizava um sistema diferente de apreensão, de elaboração e de comunicação, abrindo perspectivas de observação da realidade nunca antes vislumbradas, o que a apresentava como múltipla e não mais única. Porém, as interpretações que proporcionava adequa- vam-se apenas a alguns parâmetros da sociedade que iniciava sua experimenta- ção. SANTOS; ANDREA; S/D
O realizador Francês George Melies14 é considerado o primeiro artista a explo- rar a técnica e estética cinematográfi ca, através de fi lmes como a Cinderella (1899), e The Dreyfus Aff air(1898).
É atribuído ao mágico ilusionista Georges Méliès o primeiro grande produtor de fi lmes de fi cção, com narrativas, voltados para o entretenimento. Através de métodos experimentais, o mágico descobriu vários truques que resultaram nos primeiros efeitos especiais da história do cinema. Em 1903, Edwin S. Porter através dos laboratórios Edison´s produziu “The Great Train Robbery”, que explora técnicas de edição usadas pela primeira vez para estabelecer continuidade e tensão através da narrativa.
Hollywood domina o campo cinematográfi co a partir de 1920, a indústria mas- sifi cou-se e criaram-se formatos defi nidos de géneros, padrões de comunicação, narrativa e estética, direccionados para a industria do entretenimento.
Oskar Fischinger15 cria o conceito de visual música visual, nos inícios do anos 20. Num sentido mais vasto e actual, esta terminologia refere-se a metodologias e aparelhos que podem transcrever sons e músicas para uma representação visual, através de técnicas como a pintura, vídeo e cinema. As ideias deste artista plástico e animador experimental alemão giravam em torno da busca de um “ritmo abso- luto” e universal ordenando fi lmes que fossem a perfeita união entre o movimento das imagens e a música. “Fischinger fazia fi lmes mudos inspirados em música (jazz ou erudita, sincronizados em performances ao vivo), até aos anos 30, quando foi possível sonorizar directamente sobre a película. Os fi lmes da visual music eram a epítome das rupturas de linguagem artística pregadas pelas vanguardas moder- nistas, onde a obra se libertava cada vez mais da obrigação fi gurativa de represen- tar algo fora da própria linguagem”. BRUMI, PAULO; S/D.
As obras de animação experimental produzidas por Fischinger exploravam as qualidades plásticas e sensoriais de referentes visuais em termos de cor, volume, movimento e tempo. “A proposta da visual music não era apenas construir obras plásticas em sincronia com a música, mas construir a dimensão absoluta da ima- gem e da música na sua mais universal acepção.” BRUMI, PAULO; S/D.
Contemporâneos de Fischinger procuravam analogias musicais semelhantes para explicar o método de produção cinematográfi co. Para Kuleshov16, “o que dis- tingue o cinema de outras artes é a capacidade da montagem para organizar frag- mentos dispersos em uma sequência rítmica e com sentido”. CIT. BRUMI, PAULO; S/D.
Os desenvolvimentos iniciais do cinema ‘não objectivo’, abstracto ou ‘absoluto’
contribuem assim para a expansão da linguagem e vocabulário da forma visual dinâmica, essencialmente durante a década de 1920, através de trabalhosas expe- riências técnicas, numa altura em que a linguagem da montagem cinematográfi ca estava ainda em defi nição. RIBAS, LUÍSA;2007
14Marie George Jean Meliés(
França, 1861-1938), reali- zador de cinema famoso pela inovação técnica e narrativa que introduziu nos principios do cinema, em particular também pelo uso de efeitos especiais
15Oskar Fishinger ( Estados Unidos, 1900-1967). Anima- dor abstracto, realizador de cinema e pintor.
16Lev Vladimirovich Kuleshov (Russia, 1899- 1970 ) reali- zador e crítico de cinema, fundador da primeira escola de cinema (The Moscow fi lm School)
Muitos artistas ligados à área de animação criaram vídeos musicais, com conte- údos abstractos cinestésicos, ainda no início dos anos 30.
O cinema exprimental encontrou princípios técnicos e “rascunhos” de articu- lação audiovisual em produções de desenhos animados e produção de sons para estes fi lmes. “Embora hoje o termo seja bastante abrangente, durante todo o pe- ríodo anterior aos anos 60, o cinema experimental foi um género específi co cuja proposição era dar ênfase especifi camente à qualidade visual, criando uma linha narrativa absolutamente poética e abstracta”. SALLES; FILIPE; 2002
Algumas referências sobre este género descrevem-no como “imagens geomé- tricas e não objectivas.”
A introdução do áudio no cinema levou a que realizadores como Eisens- tein, Pudovkin e Alexandrov escrevessem um manifesto com as suas preocupações quanto à inclusão de um novo suporte na linguagem que já estava em desenvol- vimento. Havia receios de que as imagens perderiam sua força e (pela primeira vez) decretou-se a morte do cinema. No entanto, o pensamento foi no sentido de traçar um percurso de inclusão do novo elemento na linguagem cinematográfi ca.
A partir deste primeira crise com a chegada da nova linguagem, cineastas como o próprio Eisenstein e Friz Lang foram compreendendo as relações signifi cativas
FIGURA 6: Len Lye, um dos pioneiros s criar “vídeos musi- cais”, inseridos no movimento da visual music
FIGURA 7: Exemplos de frames da obra de Fishinger
dos sons com as imagens. Estas relações podem ser expressas em dois níveis: um primeiro que entende o som associado a uma imagem como parte da narrativa, e uma segunda, mais aprofundada, que compreende não apenas a relação, mas o som como parte de um todo indissociável do fi lme. Já não é mais uma parte, mas algo intrínseco à narrativa cinematográfi ca, como sugere Filipe Salles. 2002
Os exercícios experimentais produzidos por John e James Whitney entre 1943 e 1944 apresentam “ desenvolvimentos notáveis baseados na teoria de composi- ção modernista, com permutações cuidadosamente variadas de formas. Nestes fi lmes conseguem efeitos inéditos de coincidência entre as percepções auditivas e visuais, bem como um reforço da dimensão espacial sugerida pelo som e imagem.
RIBAS, LUÍSA;2007
A exploração da película como meio riscador, levou artistas como Harry Smith e Hy Hirsh a procurar articulação de valores rítmicos e tácteis, a partir de elementos musicais e rítmicos, como o Jazz. Assim, “através de uma espécie de
‘inscrição automática’ na película por raspagem e da associação a uma música com valores rítmicos e de textura análogos defi ne-se uma afi nidade, que não é estabelecida por sincronia mas pela afi nidade semântica desses mesmos valores”.
RIBAS, LUÍSA;2007
A procura de um efeito sensorial e perceptivo na construção técnica audiovisu- al vai ser desenvolvida “em torno do aparto cinematográfi co ao longo da década de 1960”. RIBAS, LUÍSA;2007
Estas experiências de associação audiovisual remetem já para uma componen- te performativa e de improvisação em tempo real do meio visual.
Um dos movimentos que mais questionou e refl ectiu sobre as potencialidades
FIGURA 8: Norman Mclaren, 1955. Retirado da pelí- cula “Blinkity Blank”
