S´ıntese granular de som

S´ıntese granular de som

Antonio Goulart

Grupo de Computa¸c˜ao Musical Instituto de Matem´atica e Estat´ıstica

Universidade de S˜ao Paulo

Artigos cl´assicos em computa¸c˜ao musical Curtis Roads, 1978, CMJ - Granular synthesis of sound

20/03/2013

Gr˜ aos

Uma forma de onda modulada por um envelope curto (10 a 60ms) A id´eia ´e juntar v´arios gr˜aos de som para formar eventos ac´usticos maiores

Analogia com dualidade part´ıcula-onda da luz

Constela¸c˜oes de unidades elementares de energia, limitadas no tempo e na frequˆencia

Combina informa¸c˜ao no dom´ınio do tempo com informa¸c˜ao no dom´ınio da frequˆencia

I In´ıcio, dura¸c˜ao, envelope, forma de onda

I Per´ıodo da onda no gr˜ao, espectro da mesma

Oposi¸c˜ao as representa¸c˜oes no n´ıvel da amostra, sem info no dom´ınio da frequˆencia

Beekman, 1616 / Gabor, 1947

Objetos vibrando cortam o fluido ao redor em corp´usculos que s˜ao projetados em todas as dire¸c˜oes

Quantum de som

Qualquer som pode ser representado granularmente

Helmholtz: audi¸c˜ao bem representada por an´alise de Fourier

Gabor: “Fourier analysis is a timeless description in terms of exactly periodic waves of infine duration. On the other hand it is our most elementary experience that sound has a time pattern as well as a frequency pattern... A mathematical description is wanted which ab ovo takes acount of this duality.”

A nova representa¸c˜ ao de Gabor

Relaciona um sinal no dom´ınio do tempo com um sinal no dom´ınio da frequˆencia

Quantum ac´ustico obtido mapeando energia de ∆t em ∆f Princ´ıpio da incerteza

Ele nota que isso vai de acordo com os limites da audi¸c˜ao do humano, que n˜ao ´e cont´ınua, mas limitada por limiares de percep¸c˜ao

Sugere que em uma janela curta no tempo (10-21 ms) a audi¸c˜ao ´e capaz de registrar apenas uma “sensa¸c˜ao” (um evento numa frequˆencia espec´ıfica)

Wiener concorda com Gabor...

... e ambos discordam de Leibniz (XVIII), que dizia que tempo, espa¸co e mat´eria s˜ao infinatamente subdivis´ıveis

Ele cita Planck : “In light as in matter, there is a granular rather than a continuous texture.”

E observa que a f´ısica determin´ıstica de Newton vinha sendo suplantada pela mecˆanica estat´ıstica de Gibbs

Mudan¸ca de paradigma ocorrendo pois “as leis das magnitudes comuns n˜ao valem no intervalo das magnitudes muito pequenas.”

Moles, informa¸c˜ ao e percep¸c˜ ao

Interessado em segmentar o espa¸co aud´ıvel em pequenas unidades com o prop´osito de medir o conte´udo informacional de uma mensagem sonora

Sistema auditivo divide pitch e loudness em quanta

Ent˜ao cada elemento sonoro pode ser representado por um quadrado elementar

Estimou o poder do sistema em discernir pequenas diferen¸cas em frequˆencia e amplitude

“Because tresholds quantize the continua of pitch and loudness, the repertoire is limited to some 340000 elements”

Moles, informa¸c˜ ao e percep¸c˜ ao

Elementos menores e mais densos no centro do dom´ınio sonoro (audi¸c˜ao mais precisa [accute])

S´ımbolos em uma mensagem sonora s˜ao combina¸c˜oes desses quadradinhos

Xenakis, gr˜ aos e composi¸c˜ ao

Foi o primeiro a explicar uma teoria composicional para gr˜aos sonoros Todo som ´e uma integra¸c˜ao de gr˜aos

Todo som, inclusive varia¸c˜ao musical cont´ınua, ´e concebido a partir de uma montagem com uma quantidade maior de sons elementares adequadamente dispostos no tempo (sucessivos, sobrepostos) No ataque, corpo e decaimento de um som complexo, milhares de sons puros aparecem em curtos intervalos de tempo ∆t

Se considerarmos ∆t bem pequeno por´em invari´avel, podemos nos preocupar apenas com frequˆencia e intensidade e ignorar todo o resto

Xenakis, screens e books

Screens gerados e depois trabalhados via teoria de conjuntos Gr˜aos s˜ao sen´oides com dura¸c˜ao de 40ms e envelope retangular

Xenakis, 1959

“Analogique A et B for string orchestra and tape”

Utilizou geradores anal´ogicos e tape-splicing .

A implementa¸c˜ ao de Roads

1974, UCSD

Primeira implementa¸c˜ao computacional Burroughs 6700

Music V 1981, MIT Ojetivos:

I Desenvolver c´odigo e trabalhar com um sistema de s´ıntese granular

I Ajustar parˆametros de s´ıntese para obter qualidade e flexibilidade no som

I Desenvolver controle em alto-n´ıvel para a s´ıntese

I Experimentar aplica¸c˜oes da t´ecnica em composi¸c˜oes

A implementa¸c˜ ao de Roads

N˜ao tinha inten¸c˜ao de comprovar experimentalmente as teorias de Gabor e Wiener

Gr˜aos com dura¸c˜ao e amplitude fixas

A teoria de SG sugeria gr˜aos de 10ms a 60 ms

Green (1971) dizia que acuidade auditiva chegava a 2 ms para transientes/picos

Depois de experimentos colocou um limite superior de 20ms Observou que 10ms era uma boa escolha (quanto menor a dura¸c˜ao mais gr˜aos precisam ser computados)

Para preservar conte´udo semˆantico, 50ms (no m´ınimo o per´ıodo da waveform no gr˜ao; 5s ainda se percebe pitch, difuso)

A implementa¸c˜ ao de Roads

Envelope ´e um parˆametro important´ıssimo para a s´ıntese

O envelope gaussiano proposto por Gabor n˜ao proporcionava uma amplitude efetiva

O envelope retangular proposto por Xenakis produzia artefatos sonoros question´aveis

Em busca de ataque e decaimento suaves, e um bom sustain: Janela de Tukey

A implementa¸c˜ ao de Roads

A implementa¸c˜ ao de Roads

A implementa¸c˜ ao de Roads . Klang-1

Eventos: organiza¸c˜ao dos gr˜aos em alto n´ıvel

GS com densidade moderada requer quantidade enorme de dados Imposs´ıvel compor determinando cada parˆametro

Composi¸c˜ao baseada em eventos

I In´ıcio e dura¸c˜ao

I Forma de onda inicial e como ela muda

I Banda inicial e ...

I Densidade inicial e ...

I Amplitude inicial e ...

Eventos

Waveform evoluindo

Outro exemplo: modula¸c˜ao; tendˆencia ficar noisy

A implementa¸c˜ ao de Roads . Prototype (Automated GS)

Aplica¸c˜ oes musicais

SG possibilita a especifica¸c˜ao precisa de eventos com timbre complexo

I Espectro pode variar desde um pitch ´unico at´e nuvens complexas por todas as frequˆencias

I Toda essa diversidade manipulando poucos parˆametros

SG possibilita a realiza¸c˜ao do sonho de Var`ese:

I Movimento das massas sonoras

I Planos que se alternam

I “in the moving masses you would be conscious of their transmutation when they pass over certain layers, when they penetrate certain opacities, or are dilated into certain rarefactions”

Representa¸c˜ao dos sons produzidos com SG por nota¸c˜ao gr´afica .StudieII (partitura no pr´oximo slide)

Stockhausen - Studie II

Possibilidades de extens˜ ao da s´ıntese granular

Granularizar arquivos de ´audio

I Caixa e pratos

I Saxofone Efeitos

I Fazer um timbre evaporar.

F Densidade inicial de 600 g/s, diminuindo at´e 1 g/s

F Banda inicial de 40 Hz a 13 KHz; centraliza em 200 Hz

I Construir um timbre (coalescˆencia)

I Muta¸c˜oes entre timbres

I Time-stretching

I Pitch-shifting

Conclus˜ oes

GS adiciona novas ferramentas na paleta musical (eletrˆonica adicionou cores)

Interfaces em alto n´ıvel baseadas em eventos possibilitam a realiza¸c˜ao de sons complexos controlando poucos parˆametros

Possibilidade da realiza¸c˜ao precisa de v´arios gestos represent´aveis por partituras gr´aficas

M´etodo granular come¸ca como t´ecnica para realiza¸c˜ao de sons puramente sintetizados e evolui para t´ecnica de transforma¸c˜ao de som tamb´em

Referˆ encias bibliogr´ aficas

Curtis Roads - Granular synthesis of sounds (1978) Curtis Roads - Assynchronous granular synthesis (1991)

Dennis Gabor - Acoustical quanta and the theory of hearing (1947) Norbert Wiener - Spatial-temporal continuity, quantum theory and music (1975)

Abrahan Moles - Information theory and esthetic perception (1968) David Green - Temporal auditory acuity (1981)

Iannis Xenakis - Formalized music (1971) Edgard Var`ese - The liberation of sound (1966)

FIM

Obrigado!

D´uvidas?

ag@ime.usp.br

Computa¸c˜ao Musical - IME/USP compmus.ime.usp.br