Primeiros Experimentos em Síntese Granular Audiovisual

Em um momento inicial de nossa prática criativa, utilizamos os sistemas Granular Streamer e Granular Drawer, em conjunto com o Pure Data, para criar uma instalação na qual diversos objetos granulares audiovisuais são disparados automaticamente. Este trabalho foi exibido no evento Concertos na Casa do Lago (Casa do Lago – UNICAMP, Campinas, 10/10/2011), como parte dos eventos comemorativos dos 50 anos da UNICAMP. A projeção foi realizada em uma tela de cinema e em sistema estereofônico durante duas horas. A partir da análise posterior deste trabalho, demos continuidade à nossa pesquisa, tanto no plano teórico e tecnológico, como também no artístico com a criação de obras de Música Visual. Um vídeo deste trabalho pode ser acessado em:

https://www.youtube.com/watch?v=qEU0XFpPWNY.

Para realizar os Primeiros Experimentos em Síntese Granular Visual, projetamos no Pure Data quatro tipos de processos de transformação baseados na Espectromorfologia de Dennis Smalley (1997). Estes processos são especificados por alguns valores de entrada, um comportamento, uma duração total e uma saída. Quando são disparados, a saída do processo é atualizada em tempo real e é utilizada para formar mensagens OSC do tipo “Fluxo” enviadas para o Granular Streamer para controlar determinado parâmetro de um fluxo de grãos. Os quatro processos são:

 Processo linear: este processo é especificado pelas entradas valor inicial, valor final e duração do processo. Quando é disparado, a saída tem um comportamento linear, isto é, progride linearmente do valor inicial até o valor final;

 Processo parabólico: este processo é especificado pelas entradas valor inicial, um parâmetro 𝛿 (delta), que pode ser positivo ou negativo, e duração. Quando é disparado, a saída parte do valor inicial, sobe (ou desce) até o valor inicial somado ao delta, e retorna ao valor inicial apresentando um comportamento parabólico;

 Processo circular: este processo é especificado pelas entradas valor inicial 𝑖, raio 𝑟, número de ciclos e duração. Quando é disparado, a saída parte do valor inicial, progride até o valor inicial mais o raio, em seguida, até o valor inicial

menos o raio, ou seja, o processo fica oscilando em um intervalo (𝑖 − 𝑟, 𝑖 + 𝑟) de uma maneira circular até se completar o número de ciclos especificado;

 Processo espiral: muito semelhante ao processo circular, este processo é especificado pelas entradas, valor inicial, raio inicial, raio final, número de ciclos e duração. Quando é disparado, a saída parte do valor inicial, progride até o valor inicial mais raio inicial, em seguida, até o valor inicial menos raio inicial, de maneira circular de acordo com número de ciclos. Conforme o processo avança o valor do raio é alterado, a partir do raio inicial até o raio final, resultando em um comportamento em espiral para dentro ou para fora.

Em seguida, criamos diversas associações entre estes processos e os parâmetros de controle de cinco fluxos granulares com certo grau de aleatoriedade nos valores de entrada dos processos e programamos cada processo para ser disparado automaticamente em intervalos de tempo irregulares de forma que, em alguns momentos, poucos processos aconteciam, enquanto que, em outros, uma grande quantidade de processos ocorriam concomitantemente.

9.2.1 Círculos com cores opacas e deslocamento para cima

Nossa primeira implementação da Síntese Granular Audiovisual utiliza grãos sonoros com envoltória de amplitude gaussiana e forma de onda senoidal e círculos de cores opacas como grãos visuais que são desenhados na parte inferior da projeção e se deslocam lentamente para cima em um movimento de scroll. O mapeamento entre os domínios sonoro e visual é bastante evidente, seguindo uma estratégia de um para um em uma Correspondência Sintática Granular na qual a frequência está associada à cor, duração ao diâmetro e posição no campo estereofônico à posição esquerda/direita (Figura 29).

Neste experimento foi possível observar que para certas distribuições espaciais e de tamanho dos grãos visuais ocorre a sobreposição dos mesmos. Devido ao uso de cores opacas, os grãos atuais são desenhados sobre os grãos anteriores, de certa forma, escondendo parcial ou inteiramente o grão mais antigo. Com isto apaga-se da imagem a informação do grão anterior e se perde parte das possibilidades da fusão de dois ou mais grãos, com diferentes formas e cores, em único objeto visual mais complexo.

Figura 29: Círculos opacos e deslocamento para cima.

Também verificamos que esta forma de representação visual ainda estava muito vinculada ao conceito de partituras gráficas na quais o aspecto artístico das imagens fica em segundo plano pois, neste caso, a função principal do mapeamento utilizado é a representação visual fiel dos processos sonoros.

9.2.2 Círculos com cores transparentes e deslocamento para cima

No segundo experimento, realizamos uma simples inclusão no mapeamento, que passa a considerar a amplitude dos grãos sonoros associando-a visualmente à transparência dos círculos (Figura 30). Com esta pequena modificação obtivemos um resultado que, embora ainda mantenha o aspecto de partitura gráfica, caminha na direção da criação de texturas visuais mais complexas e artísticas por meio da combinação das formas e tonalidades dos grãos.

Figura 30: Círculos transparentes e deslocamento para cima.

Ao utilizar objetos visuais transparentes percebemos que o efeito de deslocamento para cima também era um resquício da estratégia de mapeamento que tornava a visualização uma partitura gráfica animada, porém ao invés de movimentar-se horizontalmente da esquerda para a direita, o movimento escolhido foi vertical. Desta forma, estávamos representando a dimensão do tempo musical no espaço visual, sendo que os objetos presentes na parte superior da imagem são aqueles que foram desenhados antes dos objetos na parte inferior. Mais uma vez, consideramos que a finalidade desta escolha era mais analítica do que artística.

9.2.3 Círculos com cores transparentes e esvanecimento

Em nosso terceiro experimento, eliminamos o uso do deslocamento e transferimos a representação do tempo musical para o tempo visual, isto é, a dimensão do tempo da música passou a ser representada na dimensão do tempo do vídeo. Concretamente, a maneira que escolhemos para fazer isto foi que neste experimento os grãos visuais passaram a ser desenhados em qualquer local da projeção, não apenas na parte inferior, e ao invés de deslocar os grãos para cima, substituímos o scroll por um efeito de esvanecimento fazendo com que a imagem desaparecesse gradualmente (Figura 31).

Figura 31: Círculos transparentes e esvanecimento.

Nesta implementação pode-se notar claramente a mudança para o eixo do tempo visual, que agora está ortogonal à tela de projeção, evidenciando pontualmente o momento atual da síntese sonora. Experimentamos diferentes intensidades para o efeito de esvanecimento, ou seja, diferentes durações que um grão visual pode levar para desaparecer completamente da tela, entre os extremos que consistem em sempre apagar completamente o quadro anterior (cada grão de imagem é exibido em apenas um quadro) ou nunca apagar nenhum quadro, somando todos os grãos da composição.

9.2.4 Linhas em um processo acumulativo

A partir dos resultados anteriores, decidimos criar um processo acumulativo no qual os grãos visuais nunca são apagados da tela de projeção, mas podem ser sobrepostos por grãos mais recentes. Neste experimento, os grãos visuais são linhas retas cuja cor correspondente à frequência do grão sonoro e comprimento à duração. A primeira linha, ou seja, o primeiro grão visual, é sempre desenhado a partir do centro da imagem para cima, o segmento seguinte tem origem no ponto onde o segmento anterior terminou, e o ângulo entre estes dois segmentos é calculado conforme o parâmetro posição do grão sonoro, isto é, se o grão sonoro se localiza no lado esquerdo do campo estereofônico, então a linha vai fazer uma curva para a esquerda, sendo o mesmo para o lado direito. Nesta implementação nós mantivemos um controle independente das linhas desenhadas para cada fluxo de grãos do Granular Streamer, ou seja, cada fluxo sonoro está associado a um fluxo de linhas contínuas.

Conforme descrevemos na seção 6.3, mesmo uma imagem estática pode comunicar a sensação de movimento, tempo e ritmo, conforme a distribuição espacial das formas e cores. Neste resultado podemos perceber como, a partir de desenhos realizados com regras bastantes simples, conforme os processos sonoros avançam, texturas visuais complexas começam a emergir, e cada processo espectromorfológico planejado tem um objeto granular visual característico. Com os experimentos descritos acima podemos perceber como as estratégias de mapeamento foram gradualmente se afastando do conceito analítico das partituras gráficas ou de um sistema de feedback visual e aproximando-se de escolhas orientadas à arte visual. Um resultado visual desta técnica pode ser visto na figura 32.

Figura 32: Linhas em um processo acumulativo.

9.2.5 Experimentos em altas densidades

Ainda em nossos experimentos iniciais, verificamos que em altas densidades de grãos por segundo, o custo de processamento visual se tornava mais alto que o sonoro e, portanto, a estratégia de mapear todos os grãos do domínio sonoro para o visual por meio de uma Correspondência Sintática Granular é um gargalo em nosso sistema. Em busca de uma solução criamos a possibilidade da Correspondência Sintática Estrutural. Neste sentido, utilizamos três fluxos com altas densidades e organizados em nuvens. A partir de um conjunto

reduzido de parâmetros tais como densidade do fluxo, frequência mínima, frequência máxima e área de distribuição espacial dos grãos, são ativados alguns pixels com cores específicas e dentro de áreas retangulares (Figura 33). Assim, poucos parâmetros controlam a estrutura (textura) de áreas específicas.

Figura 33: Representações visuais a partir de Correspondências Sintáticas Estruturais.

Com este experimento encontramos uma solução para a questão da performance audiovisual evitando travamento do sistema devido ao gargalo do processamento visual. Além disto, a Correspondência Sintática Estrutural abre uma nova possibilidade de integração entre os domínios de forma complementar à Correspondência Sintática Granular.

9.2.6 Experimentos com fotografias

Finalmente, decidimos investigar a possibilidade de utilizar fotografias como fonte para o material visual da mesma forma que podemos utilizar gravações de áudio como fonte do material sonoro. Sendo assim, utilizamos os mesmos objetos granulares do experimento anterior, porém substituindo a forma de onda dos grãos por gravações de áudio. Também utilizamos a mesma estratégia de mapeamento do experimento anterior, porém ao invés de iluminar (ou ativar) o pixel, o seu valor é copiado de uma imagem digital armazenada em um diretório específico (Figura 34). Ou seja, tanto no domínio sonoro como visual estamos fragmentando informações, possivelmente concretas, registradas em arquivos digitais.

Com este experimento estabelecemos uma forma de correspondência entre os domínios do som e da imagem, denominada Correspondência Semântica, complementar às

Correspondências Sintáticas, visto que pelo menos parte do conteúdo semântico da imagem é passado ao usuário do sistema. Enquanto que, nos exemplos anteriores, a ligação entre os domínios é feita exclusivamente por um mapeamento arbitrário de parâmetros e, consequentemente, das formas geométricas, neste exemplo é acrescentada a possibilidade da interpretação (semântica) como justificativa poética para a escolha de determinado material fotográfico.

Figura 34: Representações visuais a partir de Correspondências Semânticas.