Controlo do fluxo de uma animação 3D através do som

Universidade de Trás-os-Montes e Alto Douro

Controlo do fluxo de uma Animação 3D através do Som

Dissertação de Mestrado em Comunicação e Multimédia

Por

Victor Manuel Gonçalves Martins

Orientador: Doutor Luís Gonzaga Mendes Magalhães

Co-orientador: Doutor Salviano Filipe Silva Pinto Soares

Universidade de Trás-os-Montes e Alto Douro

Controlo do fluxo de uma Animação 3D através do Som

Dissertação de Mestrado em Comunicação e Multimédia

Por

Victor Manuel Gonçalves Martins

Orientador: Doutor Luís Gonzaga Mendes Magalhães

Co-orientador: Doutor Salviano Filipe Silva Pinto Soares

i

Orientação Científica:

Luís Gonzaga Mendes Magalhães

Professor Auxiliar com Agregação do

Departamento de Sistemas de Informação

Universidade do Minho

Salviano Filipe Silva Pinto Soares

Professor Auxiliar do

Departamento de Engenharias da Escola de Ciências e Tecnologia

iii

"Todos os sonhos podem tornar-se realidade, se tivermos a coragem de os perseguir". Walt Disney

v

Agradecimentos

A realização desta dissertação apenas foi possível graças ao auxílio e apoio prestado por diversas pessoas. Gostava de aqui deixar os meus sinceros agradecimentos a todas elas porque direta ou indiretamente, contribuíram para a conclusão deste trabalho que marca o fim de uma importante etapa da minha vida. A todas as pessoas que me motivaram, que me ajudaram a ultrapassar todas as dificuldades encontradas ao longo deste percurso, que me incentivaram a concluir mais esta importante etapa da minha vida. Agradeço então:

À UTAD, a mui nobre academia que me acolheu ao longo destes anos e que me disponibilizou todas as condições para a minha formação académica.

Aos meus orientadores, o professor Luís Magalhães e o Professor Salviano, pela orientação que me deram, pela dedicação e disponibilidade que sempre demonstraram, por sempre me terem apoiado, principalmente nas alturas mais críticas. Sem eles não teria sido possível concluir esta dissertação.

À minha família, aos meus pais, a minha irmã e ao Luís, o meu cunhado, que sempre me apoiaram, e incentivaram. Ao Afonso, o meu afilhado, que me acompanhou nestes últimos meses, enquanto eu estava ao lado a trabalhar. Sempre que olhava para mim com aquele seu sorriso tão belo, motivava-me muito mais. Aos outros demais familiares, avós, padrinhos tios, primos.

À minha “família” de Vila Real, especialmente aos membros Meo House: Nuno Ribeiro, Nuno Severino, José Rego, Daniel Coelho, Nádia Pimenta, Miguel Pereira, Tiago Rodrigues, Susana Lavrador, Samuel Neto e Margarida Sousa, pelos momentos tão bons que passámos. São amigos que quero ter para sempre na vida! Quero também lembrar aqui o Davide Borges, o Telmo Adão, o Martinho Gonçalves, o Miguel Melo, o Ruben Craveiro, o Lopo Rego, o Pedro Bessa, Rui Cardoso, o Tiago Costa e o Ricardo Rodrigues.

Aos jogadores e treinadores da equipa masculina de Futsal da AAUTAD, onde tive o prazer de jogar durante dois anos.

vi

A todos os meus amigos de Mondim de Basto, que comigo cresceram, ao João Pedro, ao To-Zé, ao Zé Carlos, ao Manuel Luís, ao Patrick, ao Armando, ao Luís Miguel, ao Bruno Alexandre, ao Frederico, ao João Loureiro, ao Joel, ao Gijo, à Ana Teresa (companheira de vários dias de luta na Biblioteca), à Inês, à Ana Rita Ramos. A todos os Pedras Vivas, que são uma família para mim. Aos que me viram e ajudaram a crescer, que também não esqueço: Manuel Machado, Luís Jales de Oliveira e Luísa Lemos.

Por fim, a todos aqueles que direta ou indiretamente permitiram que esta dissertação fosse possível.

A todos, um muito obrigado!

vii

Resumo

Cada vez mais a questão da interatividade assume um papel de relevo no campo das tecnologias multimédia. A animação digital está presente em importantes mercados como por exemplo o cinema, os jogos e a televisão. Com o desenvolvimento da animação interativa, esta alarga-se a outras áreas artísticas e científicas como por exemplo o teatro, a dança, a música e a educação.

Usualmente, um filme de animação contém um argumento linear e cujo ritmo foi definido à partida pela equipa que produziu o filme. Isso significa que todas as visualizações desse filme são sempre iguais. Seria interessante introduzir algum aspeto de aleatoriedade e de personalização que permita obter visualizações potencialmente diferentes. Assim, nesta dissertação será realizado um estudo sobre a forma de controlar o fluxo de uma animação com base no ritmo de um determinado som. A ideia será o utilizador, antes de iniciar a visualização, selecionar um determinado som de base e, mediante o ritmo desse som, processar o fluxo e o ritmo da animação.

Neste trabalho fez-se o planeamento de um sistema que permita ao utilizador escolher uma música, e em seguida visualizar uma animação, cuja velocidade e fluxo de reprodução seja influenciada pelo ritmo dessa música. O sistema é constituído por um bloco de análise musical, por um outro bloco com a tarefa de gerir e aplicar os dados rítmicos na animação Tridimensional (3D), e um último que permite a interação e a visualização da animação final ao utilizador. Com base nesta arquitetura foi desenvolvido o sistema proposto, e para o testar foi criado um protótipo de uma aplicação que cumprisse os objetivos atrás delineados. Ou seja, onde o utilizador pudesse escolher uma música, e em seguida a aplicação mostrar a animação ao som dessa mesma música, e o fluxo de reprodução dessa animação fosse influenciada pelo ritmo dessa música. Deste trabalho resultou a conceção e o desenvolvimento do sistema aqui referido e foi implementado e testado um protótipo desse mesmo sistema.

Palavras-chave – Animação Interativa, Rastreamento de Batidas, Marsyas –

ix

Abstract

Interactivity is a subject that takes a more active role in the multimedia technologies field with each passing day. Digital animation is used in important markets like cinema, videogames and television. With the development of interactive animation, it spreads into other artistic and scientific fields like theatre, dance, music and education.

Usually, an animated film contains a linear script and its pace is probably defined by the production team. This means that every time the movie is viewed, it will look the same. It would be interesting to introduce some feature of randomness or customization that allows to obtain potentially different views. With this in mind, on this dissertation it will be conducted a study about how to control an animation flow, based on the rhythm of a certain sound. Before starting the movie, the idea is to have the user select a certain sound and depending on that sound’s rhythm, it will process the animations flow and rhythm.

This work was made by planning a system that allows the user to choose a song, and after that it allows him to view an animation, whose reproduction speed and flow will be influenced by that music’s rhythm. The system is built by a musical analysis block, by another block with the task to manage and apply rhythmic data into the tridimensional animation (3D), and a last one that allows the interaction and viewing of the final animation by the user. With this architecture in mind the suggested system was developed, and to test it, a prototype of an application was made. It allows for the previous goals to be achieved, which means the user could pick a song, and then that app could show the animation by the sound of that song, and the reproduction’s flow for that animation could be influenced by that song’s rhythm. From this work resulted the conception and the development of the system here mentioned and a prototype was implemented and tested of that same system.

Palavras-chave – Interactive Animation, Beat Tracking, Marsyas – IBT,

xi

Índice

Índice de Tabelas ... xiii

Índice de Figuras ... xv

Glossário, acrónimos e abreviaturas ... xvii

1- Introdução... 1 2- Estado da Arte ... 5 2.1- História da Animação ... 5 2.1.1- Animação Digital ... 13 2.1.2- Animação 2D e Animação 3D ... 14 2.1.3 Motion Capture ... 15

2.2- Processo de Produção de uma Animação ... 16

2.3- Tipos de Animação ... 18

2.4- Análise Musical ... 19

2.4.1- Processo de Análise Musical – Rastreamento de batidas ... 20

2.4.2- Sistemas e Aplicações de Rastreamento de Batidas ... 22

2.5- Trabalhos Relacionados ... 25

2.5.1- MIDIJam ... 25

2.5.2- Animusic ... 26

2.5.3- Audio Analysis ... 28

2.5.4- SMC Group- INESC Porto... 29

3- Proposta de um sistema de controlo do fluxo de uma Animação 3D através do Som 33 3.1- Arquitetura do Sistema ... 33

3.1.1- Componente de visualização e interação do sistema ... 34

3.1.2 - Componente de controlo da Animação 3D ... 35

3.1.3- Componente de análise musical ... 36

3.2- Protótipo ... 37

xii

3.2.2- Bloco funcional de controlo da Animação 3D ... 43

3.2.3- Bloco funcional de análise musical... 45

4- Protótipo Final ... 47

4.1 – Testes e Resultados ... 50

4.1.1- Problemas encontrados ... 51

5- Conclusões e Trabalho Futuro ... 53

5.1- Trabalho Futuro ... 54

xiii

Índice de Tabelas

xv

Índice de Figuras

Figura 1- “O Homem Vitruviano”, de Leonardo Da Vinci (Lester, 2012) …...………...6

Figura 2- Lanterna Mágica (Nogueira, 2008)………...… 7

Figura 3- Taumatrópio (Adaptado de (Carusella,2008))……….. 7

Figura 4- Fenacistoscópio (Destherrense, 2014)………...8

Figura 5- Zootropio (Waldrop, 2013) ………...9

Figura 6- Folioscópio (Basin, 2010)………..………9

Figura 7- Praxinoscópio (Ferreira, 2012)………... 10

Figura 8- Cinetoscópio (Schulz, 2012)..……….……… 10

Figura 9- Motion Capture (House of Moves, 2011) ………….………..16

Figura 10- Exemplo de um Storyboard (High, 2008)……… 17

Figura 11- Modelação de um objeto (Grassi, 2012)……….18

Figura 12- Ataque, Transitório e Início numa nota musical (Bello, 2005) ….………. 21

Figura 13- Screenshot do programa Abyssmedia BPM Counter em funcionamento….22 Figura 14- Resultados do Rastreamento de Batidas à música “Do I Wanna Know” dos Artic Monkeys, efetuado pelo IBT.……….24

Figura 15- Screenshot do programa Auftakt V3 em funcionamento.………. 25

Figura 16- Screenshot da Aplicação MIDIJam (Haag, 2006)……….26

Figura 17- Screenshot da animação Pipe Dream (Animusic, 2001)………...27

Figura 18- Screenshot do Audio Analysis em execução ………….…….……….. 28

Figura 19- Arquitetura para visualização de sistema ………....……….…… 31

Figura 20- Componente de visualização e interação do sistema ………... 33

Figura 21- Componente de controlo da animação 3D ………….……….……….34

Figura 22- Componente de análise musical ………35

xvi

Figura 24- Screenshot do protótipo nº2………...38

Figura 25- Menu inicial da aplicação ……… 39

Figura 26- Visualização do menu de seleção da música.……….….………. 40

Figura 27- Visualização de screenshoot da animação final ……….. 40

Figura 28- Excerto da análise musical da música “Für Elise” de Beethoven….…...… 42

Figura 29- Exemplo do algoritmo que define o comportamento do objeto……….43

Figura 30- Hierarquia da aplicação………...……….……….45

xvii

Glossário, acrónimos e abreviaturas

Lista de acrónimos

BPM Beats per Minute

INESC Porto Instituto de Engenharia e Sistemas de Computadores (Porto)

MIDI Music Instrumental Digital Interface

MIR Music Information Retrieval

1

1- Introdução

Neste capítulo serão abordados os principais conceitos tecnológicos em que se baseou esta dissertação, assim como a motivação deste trabalho e os seus respetivos objetivos. Por fim, será explicada a organização da dissertação.

Animação é um termo que deriva do Latim: Animare, Dar vida, movimento, coragem, entusiasmo, alma, são algumas palavras que ajudam a explicar este conceito. Este interesse em retratar o movimento confunde-se já com a história do Homem, desde os seus primórdios, pois já em pinturas rupestres paleolíticas era possível observar, por exemplo, animais com vários pares de pernas em posições sobrepostas. Muito provavelmente, estas foram as primeiras tentativas para transmitir o movimento (Thomas, 1958). Norman McLaren refere que a animação não é uma arte de desenhos que se movem, mas antes uma arte de movimentos que são desenhados. Para o autor, o que acontece entre cada frame, é mais importante do que aquilo o que acontece na própria frame (McLaren apud Wells, 1998). Henri Lind, por seu lado, defende que existem três técnicas principais de animar: Cel Animation, Stop Motion e Computer Animation (Lind,2011). Pratik Gulati explica-nos que a linha de produção de uma típica curta de animação ou um filme pode ser dividido em três etapas: pré-produção, produção e pós-produção (Gulati, 2010). Alguns dos estúdios de animação, procedem na fase de pré-produção, à gravação dos diálogos das personagens, pois defendem que deste modo, na fase da animação das personagens, eles podem desenhar os movimentos da boca, e expressões corporais, para corresponder precisamente com o diálogo das personagens. Deste modo, o comportamento do filme de animação, tal como sucede com outros tipos de filmes, é definido durante o processo da sua criação, o que faz com que a sua visualização seja sempre igual.

Ülo Pikkov e Eva Näripea afirmam que quando alguém ouve uma música, esta transmitirá ao ouvinte algumas sensações (Pikkov & Näripea, 2010). Les Pardew afirma que o som é um aspeto importante em qualquer tipo de animação. Segundo este autor, a música tem um impacto muito significativo sobre os espectadores, embora estes, na sua maioria, não percebam isso.

2

Do ponto de vista da cognição humana, a tarefa de rastreamento de batidas de uma música é um processo natural e simples. Mesmo pessoas com pouca experiência musical são capazes de identificar ritmos e padrões de batidas, contudo, o nível de precisão desse processo de análise musical, varia de pessoa para pessoa. No entanto, para se efetuar esta mesma tarefa num programa de computador, a facilidade de identificação não é tão linear. O acompanhamento computacional de batidas é um pré-requisito para a perceção do ritmo de uma música, e ao mesmo tempo um fundamento para as diversas aplicações MIR (Music Information Retrieval). Beats Per Minute (BPM) é uma unidade utilizada para medir o ritmo, geralmente de uma música, ou de batimentos cardíacos. O período ou a duração de um batimento representa o intervalo de tempo entre dois batimentos sucessivos. O rastreamento de batidas é então uma análise aprofundada da música, apoiando-se em métodos de deteção dos tempos de início/ataque de cada nota musical. Juan Pablo Bello et al, explicam este processo, esclarecendo três conceitos: ataques, transitórios e inícios (Bello et al, 2005).

Usualmente, um filme de animação contém um argumento linear cujo ritmo foi definido à partida pela equipa que produziu o filme. Isso significa que todas as visualizações desse filme são sempre iguais. Seria interessante introduzir algum aspeto de aleatoriedade e de personalização que permita obter visualizações potencialmente diferentes. Assim, nesta dissertação será realizado um estudo sobre a forma como controlar o fluxo de uma animação com base no ritmo de um determinado som. A ideia será o utilizador, antes de iniciar a visualização, selecionar um determinado som de base e mediante o ritmo desse som, assim se processar o fluxo e o ritmo da animação. Desta forma, o objetivo deste trabalho é a criação de um sistema que interligue estas tecnologias: Animação 3D e Rastreamento de Batidas. Em primeiro lugar pretende-se utilizar uma aplicação MIR, que permita obter detalhes de uma música, nomeadamente medir o seu ritmo. Depois, será necessário desenvolver numa ferramenta de modelação e animação, mais vocacionada para a criação de jogos e/ou aplicações, uma aplicação que permita reproduzir determinada animação, e ao mesmo tempo permitir ao utilizador a escolha de uma música para tocar com essa animação, fazer com que a velocidade da animação seja influenciada pelo ritmo dessa música. Conforme o ritmo da música seja mais rápido ou mais lento, assim também será a velocidade da animação, em função da música que a acompanhará.

3

Para que este trabalho seja desenvolvido com sucesso, foram estabelecidas algumas metas:

 Revisão do estado da arte relativo às tecnologias e ferramentas disponíveis para a criação de aplicações deste género;

 Estudo de aplicações/projetos que tenham como objeto de estudo a influência dos ritmos musicais numa animação;

 Conceber e desenvolver um sistema e implementar um protótipo que permita ao utilizador escolher uma música, e em seguida visualizar uma animação, cuja velocidade de reprodução seja influenciada pelo ritmo dessa música;

 Realização de testes para avaliar o funcionamento do protótipo desenvolvido.

Esta dissertação encontra-se organizada em cinco capítulos. Além deste capítulo introdutório, no capítulo 2 é feito um levantamento do estado da arte relativo às tecnologias e ferramentas existentes em relação à Animação 3D e à Análise Musical, onde são analisados e descritos os principais conceitos de cada um destes temas, assim como as suas vantagens e desvantagens, de forma a perceber as melhores opções para a conceção, especificação e desenvolvimento do sistema pretendido neste trabalho.

No capítulo 3 é planeado o sistema, assim como a especificação dos blocos funcionais que o definem. São também apresentados os detalhes da sua implementação.

No capítulo 4 são explicadas todas as funcionalidades do protótipo, sendo também apresentados alguns testes à aplicação, assim como a exemplificação das suas funcionalidades.

No capítulo 5 são apresentadas as conclusões deste trabalho, bem como a justificação da utilização ou não utilização de algumas tecnologias estudadas e por fim algumas considerações para um trabalho futuro.

4

5

2- Estado da Arte

Neste capítulo é efetuada uma revisão bibliográfica de algumas tecnologias, de forma a obtermos uma visão geral sobre o estudo realizado até ao momento nas áreas da Animação e Rastreamento de Batidas de uma música. Para este efeito, serão abordados neste capítulo temas como Animação, Rastreamento de Batidas, e a análise de algumas aplicações em que a forma como decorre a animação depende do ficheiro áudio usado.

2.1- História da Animação

Para Andrew Chong, o princípio básico da animação pode ser definido como um processo que cria a ilusão de movimento, para um público através da apresentação de imagens sequenciais, em rápida sucessão (Chong, 2011).

Este interesse em retratar o movimento confunde-se já com a história do Homem, desde os seus primórdios, pois já em pinturas rupestres paleolíticas era possível observar, por exemplo, animais com vários pares de pernas em posições sobrepostas. Muito provavelmente, estas foram as primeiras tentativas para transmitir a ideia do movimento (Thomas, 1958).

Outros exemplos, que comprovam a antiguidade deste desejo de retratar o movimento, são por exemplo uma tigela de barro, com cerca de 5200 anos, encontrada no Irão (Ball, 2008), ou as pinturas Egípcias, que contam já com 4000 anos (Junior, 2002).

Mais tarde, por volta de 1492, com Leonardo Da Vinci, encontramos mais um marco na representação do movimento, quando o artista desenhou o “Homem Vitruviano” (Mattos, 2013), um dos seus trabalhos mais famosos. Tal como podemos observar na Figura 1, é representada uma figura masculina com duas posições sobrepostas.

6

Figura 1- “O Homem Vitruviano”, de Leonardo Da Vinci (Lester, 2012)

Embora estes exemplos possam indiciar a ambição de retratar o movimento, a falta de meios para mostrar esse mesmo movimento, fazem com que fiquem longe de serem considerados uma verdadeira animação.

A invenção da Lanterna Mágica, embora não exista um documento que possa corroborar a data precisa em que este aparelho foi inventado, foi um marco revolucionador, pois trata-se do primeiro aparelho destinado a projeções coletivas. A primeira descrição conhecida desta invenção deve-se ao sacerdote jesuíta Athanasius Kircher em 1645 (Burns, 1998), tendo sido posteriormente o dinamarquês Thomas Walgenstein o primeiro a atribuir-lhe o nome de Lanterna Mágica (Bermúdez, 2007). Na Figura 2 é apresentada uma representação da Lanterna Mágica, que projeta imagens sobre vidro, estando estas pintadas com cores translúcidas. Para funcionar, este aparelho necessitava de uma fonte de luz, como uma vela ou um candeeiro a petróleo, um refletor, um condensador e uma objetiva.

7

Figura 2- Lanterna Mágica (Nogueira, 2008)

Mais tarde surgiu o Taumatrópio, um instrumento criado no século XIX. O seu intuito é criar a sensação ilusória do movimento. Um disco em cartão, com uma imagem em cada face, e duas pontas de um cordão em cada lado desse cartão, de forma a girar rapidamente esse mesmo disco, vai criar a ilusão de que ambas as imagens são uma só. Na figura 3 pode-se observar o funcionamento do Taumotrópio:

8

Em 1829 surge o Fenacistoscópio, inventado por Joseph Plateau. Trata-se de um instrumento que cria uma ilusão ótica de movimento, baseada na persistência da imagem na retina. O seu funcionamento consiste na criação de vários desenhos de um objeto, em posições diferentes, e distribuídos numa placa circular lisa. Ao girar esta mesma placa em frente a um espelho, e espreitando por uma ranhura que permita visualizar apenas parte dessa placa, cria-se a ilusão de uma imagem em movimento.

Figura 4- Fenacistoscópio (Destherrense, 2014)

O Zootrópio é uma invenção que surge poucos anos depois, em 1834 por William George Horner. Composta por um tambor circular com pequenas ranhuras recortadas, o espectador olha para desenhos dispostos em tiras. Ao girar, o tambor irá criar uma ilusão de movimento aparente.

9

Figura 5- Zootropio (Waldrop, 2013)

Patenteado por John Barnes Linnett, em 1868 surge o Folioscópio, ou Flip Book. O Folioscópio é uma coleção de imagens organizadas de forma sequencial, em geral no formato de um caderno, para que ao ser folheado possa dar a ilusão de movimento, criando assim uma sequência animada sem a ajuda de uma máquina.

10

O Praxinoscópio é um aparelho que projeta numa tela imagens desenhadas sobre películas transparentes. Inventado pelo francês Émile Reynaud em 1877, este aparelho era composto por uma caixa de biscoitos e um único espelho. O Praxinoscópio foi aperfeiçoado com um sistema complexo de espelhos que permite variados efeitos. A multiplicação das figuras desenhadas e a adaptação de uma lanterna de projeção possibilitam assim, deste modo, a realização de truques que dão a ilusão de movimento.

Figura 7- Praxinoscópio (Ferreira, 2012)

Mais tarde, em 1891, surge o Cinetoscópio, inventado por William Dickson, engenheiro na empresa Edison Loboratories, e pelo seu patrão, Thomas Edison (Parent, 2002). O Cinetoscópio trata-se de um projetor, que possuí um visor individual através do qual se pode assistir, mediante a inserção de uma moeda, à exibição de um filme de curta duração em looping, na qual apareciam imagens em movimento.

11

Como destaca Lucena, a história da animação até o século XX é principalmente o registo do progresso científico e tecnológico (Lucena, 2005). Ainda na primeira década do século XX, o artista plástico e ilustrador James Stuart Blackton realizou o primeiro filme de desenhos animados da história: Humorous Phases of Funny Faces, em 1906. Trata-se também do primeiro filme realizado frame a frame, utilizando a técnica do Stop Motion.

Mais tarde, um estúdio cinematográfico mostrou interesse na realização de filmes baseados nas bandas desenhadas criadas pelo francês Emile Cohl. Em 1908, foi então produzido por Cohl o primeiro filme de animação realizado frame a frame,: o Fantasmagorie (Athayde, 2013).

O norte-americano Winsor McCay, introduziu novos conceitos fundamentais para a animação, como “Comprimir e Esticar”, “Aceleração e Desaceleração”, “Temporização e “Personalidade”, mais tarde sistematizados pelos estúdios de Walt Disney (Cruz, 2006).

No estilo da animação clássica da Disney, os movimentos são criados de forma não linear, ou seja, desenham-se os momentos-chave de uma determinada deslocação, que normalmente se definem pela pose inicial e pela pose final (Luz, 2013). Além de todas as inovações técnicas, a revolução promovida pelos estúdios da Disney inclui também o desenvolvimento de uma inovadora estratégia de produção, à qual se viria a dar o nome de “12 princípios fundamentais da animação” (Thomas & Johnston, 1981), que são os seguintes:

 Comprimir e Esticar (Squash and Stretch)

Considerada a descoberta mais importante. Este princípio é aplicado a partir da convicção de que com o movimento, o formato do corpo/rosto de um ser vivo sofre deformações. O maior êxito desta descoberta, no entanto, diz respeito ao destaque que é dado ao movimento.

 Antecipação (Anticipation)

Consiste em antecipar a ação que a personagem está prestes a desempenhar. Nenhum movimento surge de forma instantânea. Partindo deste princípio, o animador

12

deve valorizar esses pequenos movimentos que preparam a ação, deixando claras as intenções da sua personagem.

 Encenação (Staging)

A encenação é o princípio mais geral de todos, e pode ser aludida à composição de determinada cena. É no âmbito da encenação que são definidos o enquadramento, o tipo de plano, o ângulo da imagem, a definição e o posicionamento de todos os elementos necessários à composição do quadro.

 Animação direta ou posição-chave (Straight-Ahead vs. Pose-to-Pose)

Constituem as duas formas principais de animar. Na animação direta (Straight-Ahead), o animador desenha / posiciona a figura frame a frame. No modo de animação por posição-chave (Pose-to-Pose), primeiro são criadas as Key Frames dos personagens ao longo de uma determinada sequência, e em seguida, são criados as frames intermédias (in between) que farão a transição entre as Key Frames.

 Continuidade e Sobreposição da ação (Follow-Through and Overlapping Action)

Para realizar uma determinada ação, o corpo executa pequenos movimentos que lhe dão sustentação, impulso e força. Uma vez em movimento, o corpo tende a continuar a sua trajetória (pela inércia). Assim, ao travar, as partes do corpo que receberam menos força, como por exemplo as orelhas e o cabelo, continuarão em movimento, até que o corpo pare completamente. A sobreposição da ação informa ao espectador o que aconteceu, e como tudo terminou.

 Aceleração e desaceleração (Slow In and Slow Out)

A aceleração e a desaceleração desempenham um papel importante para a a animação, uma vez que as ações naturalmente não são executadas num ritmo constante, mas em picos de intensidade.

 Arcos (Arcs)

Este princípio parte da observação de que, a maioria dos seres vivos ao mover-se, efetuam uma trajetória circular, em forma de arco. Só as máquinas é que se movem em linha reta. A ideia é reduzir o aspeto mecânico dos

13

movimentos. Por sua vez, o movimento das câmaras deverá também seguir o mesmo princípio.

 Ações secundárias (Secondary Actions)

São ações que complementam a ação principal. Tem como objetivo adicionar movimento e vida, adicionando riqueza, e suportando a ação principal.

 Temporização (Timing)

A temporização é um dos aspetos mais determinantes do filme, ao definir o tempo certo para a ação. Cada ação não deve demorar demasiado tempo, nem poderá ser demasiado rápida.

 Exagero (Exaggeration)

Na animação realista, cada caracterização, personalidade, ação ou sentimento de uma personagem deve ser representada claramente, sem deixar dúvidas quanto às intenções sobre o estado de espírito que o animador pretende dar à personagem.

 Desenho com volume (Solid Drawing)

O animador deve ser capaz de posicionar o desenho em todas as posições possíveis, partindo de diversos ângulos de visão, sem com isso perder a proporcionalidade e a perspetiva do mesmo.

 Design atraente (Appeal)

O Design atraente deve ser trabalhado na caracterização da personagem através da sua personalidade e da sua fisionomia. Deste modo, o animador tem como missão, fascinar o espetador, de forma a mantê-lo atento à narrativa.

2.1.1- Animação Digital

Com a evolução dos conceitos matemáticos e ao mesmo tempo dos meios tecnológicos, surgiu o conceito de Computação Gráfica (CG), que segundo Azevedo, está relacionado com a matemática e a arte. A relação entre a arte e a computação gráfica é simbiótica, interagindo uma com a outra, fazendo com que as duas evoluam de

14

forma conjunta. Isto é, a cada evolução da CG, podem ser abertos novos campos para as artes e vice-versa (Azevedo & Conci, 2003). Este conceito refere-se às imagens criadas a partir de um computador, sejam elas em 2D ou 3D. Assim, este termo pode ser considerado como a aplicação da computação gráfica para a criação de imagens sintéticas que podem ser usadas por exemplo em efeitos especiais, filmes de animação, programas de televisão, publicidade, simuladores, etc. (Linares, 2012).

A animação digital herdou algumas características do stop motion, uma técnica utilizada sobretudo na animação tradicional. Para criar a ilusão de movimento, é utilizado um conjunto de imagens sucessivas, que progressivamente mostram a ação no seu todo (geralmente a uma taxa de 24 ou 30 frames por segundo). Nas animações 3D, os objetos/personagens são modelados, com o recurso a ferramentas vocacionadas para esse efeito. Nas animações 2D, as ilustrações encontram-se em diferentes camadas (layers). Para se proceder à animação de olhos, boca, roupas, etc. das personagens, a posição dos mesmos é alterada nas Keyframes da animação. Deste modo, as frames que dão a ilusão do movimento de determinado objeto/personagem para uma posição diferente, são criadas de forma automática pelo computador, num processo conhecido como interpolação ou morphing.

2.1.2- Animação 2D e Animação 3D

A Animação 2D segue o processo de animação tradicional. Pode ser criada manualmente, ou através de computador. A animação neste contexto apresenta uma imagem plana, que tem movimento e está representada nas dimensões de altura e largura, mas não em profundidade. Hoje em dia, a maioria dos filmes de animação 2D são produzidos por computador, com recurso a softwares como por exemplo o Flash, ou o After Effects, da Adobe, ou o Autodesk Animator.

A Animação 3D difere significativamente da Animação 2D, não só no seu processo de criação, mas também nos resultados que produz. A Animação 3D tem um cariz mais realista, sendo é representada em três dimensões (altura, largura e profundidade). O autor João Neto define três etapas para a criação de um modelo tridimensional: Modelação, Animação e Texturização (Neto, 2009). A modelação passa

15

pela construção de um objeto tridimensional, através de um conjunto de pontos ou vértices ligados por polígonos. O processo da animação é responsável pela aplicação do movimento ao objeto 3D criado. Por fim, a texturização diz respeito à aparência do modelo 3D, isto é, consiste na aplicação de uma textura sobre parte ou totalidade do objeto 3D. A animação 3D poderá ser criada com recurso a ferramentas como por exemplo o 3ds Max, o Blender, o Autodesk Maya, o Cinema 4D ou o Unity3D.

2.1.3 Motion Capture

O Motion Capture, em português captura de movimento, é o processo de gravação do movimento de objetos e/ou pessoas. A sua aplicabilidade possui uma posição de relevo em indústrias importantes, como a cinematográfica, a televisiva, ou a de desenvolvimento de jogos. No cinema e desenvolvimento de jogos, esta técnica é essencialmente utilizada na gravação das ações de atores humanos, e em seguida, usar essa informação recolhida, de forma a animar os modelos das personagens digitais, sejam elas em 2D ou 3D (Noonan, Mountney, Elson, Darzi, & Guang-Zhong Yang, 2009).

São utilizadas várias camaras, estrategicamente posicionadas, de forma a captar os movimentos no seu todo, isto é, em 360º. Por norma, o propósito da captura de movimento é para gravar apenas os movimentos do ator, e não sua aparência visual. Depois de capturado o movimento, estes dados serão mapeados num modelo 3D, para que o modelo possa executar os movimentos do ator, que foram capturados.

16

Figura 9- Motion Capture (House of Moves, 2011)

Na figura 9 é possível observar a captura de movimento de dois atores, nos estúdios da House of Moves, sendo aplicados em tempo real a dois modelos 3D. Os atores estão vestidos com um fato especial, que contém sensores um pouco por todo o corpo, para que durante os movimentos,estes dispositivos possam determinar a posição ou a orientação de uma parte do corpo do ator. Uma vez determinada a posição de cada um desses sensores, ao longo dos movimentos, em tempo real, esses dados recolhidos são aplicados nos modelos 3D, que copiam deste modo os movimentos executados pelos atores.

2.2- Processo de Produção de uma Animação

Pratik Gulati explica-nos que a linha de produção de uma típica curta de animação ou um filme pode ser dividido em três etapas: pré-produção, produção e pós-produção (Gulati, 2010).

Pré-produção: Nesta fase começa-se por trabalhar a ideia a partir da qual surge a história. Para Karl Iglesias, citado por Karen Sullivan, Gary Schumer e Kate Alexander,

17

uma boa história centra-se em alguém que quer muito alguma coisa e que tem problemas para a alcançar (Sullivan, Schumer & Alexander, 2014). Em seguida, é também necessário definir as personagens que compõem a história. Um dos componentes que se utiliza nesta fase é o Storyboard, que ajuda a finalizar o desenvolvimento do enredo, e é uma etapa essencial do processo de animação. É composto por desenhos na forma de uma história, parecida com a banda desenhada, e é usado, tanto ajudar a visualizar a animação, como para comunicar ideias com clareza. A figura 10 apresenta um exemplo de um Storyboard. Alguns dos estúdios de animação, sobretudo os Norte Americanos, procedem ainda nesta fase de pré-produção, à gravação dos diálogos das personagens, pois defendem que deste modo, na fase da animação das personagens, eles podem desenhar os movimentos da boca, e expressões corporais, para corresponder precisamente com o diálogo das personagens.

Figura 10- Exemplo de um Storyboard (High, 2008)

Produção: Após a aprovação do Storyboard, o projeto entra na fase de produção. É aqui que o trabalho real pode iniciar, com base nas diretrizes estabelecidas durante a pré-produção. Nesta etapa, procede-se ao desenvolvimento do filme de animação em si, desde a modelação das personagens, cenários e objetos, à texturização e iluminação dos mesmos, bem como da sua animação.

18

Figura 11- Modelação de um objeto (Grassi, 2012)

Pós-produção: Trata-se da terceira e última etapa no processo de criação do filme de animação, e refere-se às tarefas que devem ser concluídas ou executadas após todo o processo de animação das personagens. Nesta fase procede-se à edição do material no seu todo, desde cortar cenas, inserir efeitos de transição ou sincronizar os diálogos das personagens com as falas das mesmas na animação. Estas são algumas das muitas tarefas de pós-produção.

2.3- Tipos de Animação

De acordo com Cristina Bruzzo, há uma diferença entre animação e cinema de animação. De acordo com a autora, animação corresponde ao uso de uma qualquer técnica, com o objetivo de produzir a ilusão de movimento. Por seu lado, o cinema de animação implica o uso das técnicas cinematográficas para produzir o movimento. Considerando as palavras da autora, pode dizer-se que o cinema de animação nasceu com a aplicação das técnicas de desenho no cinema (Bruzzo, 1996).

Henri Lind defende que existem três técnicas principais de animar: Cel Animation, Stop Motion e Computer Animation (Lind, 2011).

19

Segundo o autor, Cel Animation diz respeito à forma mais tradicional de animar, trata-se de conceber um conjunto de imagens desenhadas à mão. No processo de animação, a visualização sucessiva e progressiva destas imagens criarão o efeito de movimento.

O Stop Motion, para Karin Gunn, é uma técnica de animação que cria a ilusão de movimento por parte dos objetos animados. Nesta técnica, cada frame é criada individualmente. Existem várias técnicas de Stop Motion, quer em 2D como em 3D, como por exemplo, Hand Drawing, Cel Animation, Cut-Paper, Sand e Claymotion (Gunn, 2008).

Por seu lado, dentro da Computer Animation, segundo Dave Roos existem dois tipos básicos de animação por computador: Computer Assisted Animation e Computer Generated Animation.

Computer Assisted (Animação Assistida por Computador) é tipicamente Bidimensional (2D). Aqui, o animador desenha objetos e personagens à mão ou com o auxílio de um computador ao passo que Computer Generated Animation (Animação Gerada por Computador) é Tridimensional (3D) (Roos, 2008).

2.4- Análise Musical

O autor Deryck Cooke afirma que a principal característica da música é a de expressar e evocar a emoção (Cooke, 1959). Ülo Pikkov e Eva Näripea, no livro Animasophy: Theoretical Writings on the Animated Film, afirmam que quando alguém ouve uma música, esta transmitirá ao ouvinte algumas sensações. A maioria das pessoas possui a sua música favorita. Por exemplo, se alguém estiver a conduzir, e se na rádio começar a tocar a música favorita dessa pessoa, de forma quase inevitável, a primeira reação será aumentar o volume do rádio (Pikkov & Näripea, 2010).

Les Pardew afirma que o som é um aspeto importante em qualquer tipo de animação. Segundo este autor, a música tem um impacto muito significativo sobre os espectadores, embora estes, na sua maioria, não percebam isso. Por exemplo, ao visualizarmos um filme, se prestarmos atenção, quando uma mudança no filme está prestes a acontecer, ocorrem alterações na música, ou surgem alguns efeitos sonoros,

20

que nos levam a atingir mudanças de humor. Exemplo disto, são por exemplo, músicas ou efeitos que nos induzem a sensação de que algo de mau está para acontecer no filme. (Pardew, 2008).

Masataka Goto distingue duas formas diferentes de agir perante a audição de uma música: passiva e ativa. A abordagem passiva é geralmente efetuada por pessoas que apenas escutam a música, escutando-a apenas, não possuindo conhecimentos técnicos ou específicos. Uma abordagem ativa, para o autor, é atribuída a cantores e/ou compositores, que interagem de forma mais direta com a música em si (Goto, 2007).

2.4.1- Processo de Análise Musical – Rastreamento de batidas

Do ponto de vista da cognição humana, a tarefa de rastreamento de batidas de uma música é um processo natural e simples. Isto indica que o ouvinte é capaz de captar informação acerca da música, e é capaz de prever quando a próxima batida ocorrerá (Klapuri et al, 2006). Neste sentido Juan Pablo Bello et al, afirmam que:

“A música é, em grande medida, um fenómeno baseado em eventos para o intérprete e ouvinte. Nós acenamos com a cabeça ou batemos com os nossos pés ao ritmo de um excerto; a atenção do artista é focada em cada nota sucessiva (Bello, 2005).”

No entanto, para se efetuar esta mesma tarefa num programa de computador, a facilidade de identificação não é tão linear. O acompanhamento computacional de batidas é um pré-requisito para a perceção do ritmo de uma música, e ao mesmo tempo um fundamento para as diversas aplicações MIR (Music Information Retrieval). O objetivo principal destas aplicações foca-se no desenvolvimento de novas estratégias e técnicas para organizar, explorar, aceder e entender os dados de uma música, de forma eficiente (Maio, 2012).

Beats Per Minute (BPM) é uma unidade utilizada para medir o ritmo, geralmente de uma música, ou de batimentos cardíacos. O período ou a duração de um batimento representa o intervalo de tempo entre dois batimentos sucessivos.

21

O termo “batida” pode ser definido como sons que são percebidos como sendo igualmente espaçados no tempo. Isso define um tempo para a música. A “batida”, para uma determinada peça musical, pode ser descrita de acordo com dois atributos (Mulvihill, 2008):

 Período - a duração do tempo entre as batidas sucessivas

 Fase - o momento em que uma batida (ou batidas) ocorre em relação ao início de uma execução musical.

O rastreamento de batidas é então uma análise aprofundada da música, apoiando-se em métodos de deteção dos tempos de início/ataque de cada nota musical. Juan Pablo Bello et al explicam este processo, esclarecendo três conceitos: ataques, transitórios e inícios. Deste modo, segundo os autores, o ataque de uma nota, consiste no intervalo de tempo no qual a variação de amplitude aumenta. Os transitórios são pequenos intervalos durante os quais, o sinal evolui de forma inesperada. Por último, o início geralmente corresponde com o começo do transitório, isto é, é o instante escolhido para marcar a extensão de um transitório (Bello, 2005). Na figura 12 podemos observar com mais detalhe o posicionamento destes três conceitos numa nota musical.

Figura 12- Ataque, Transitório e Início numa nota musical (Bello, 2005)

Este processo é fundamental para a perceção de tempo, processamento, codificação e apreciação de padrões temporais. Além disso, determina a importância relativa das notas, por exemplo, a estrutura melódica e harmónica (Desain & Honing, 1999).

22

2.4.2- Sistemas e Aplicações de Rastreamento de Batidas

Existem inúmeros sistemas e aplicações de Rastreamento de Batidas capazes de analisar ficheiros de som. De entre esses sistemas ou aplicações, destacam-se por exemplo o Abyssmedia BPM Counter, o Auftakt V3 e o IBT.

O Abyssmedia BPM Counter é um software produzido pela Abyss Media Company, e tem como principal função a contagem de BPM de uma ou mais músicas. Trata-se de uma ferramenta open source, capaz detetar valores rítmicos (BPM) em ficheiros do tipo .wav e .mp3. O Abyssmedia BPM Counter possui uma interface bastante intuitiva, como se pode observar na figura 13. Nesta situação, como se pode observar do lado esquerdo da imagem, é possível selecionar a pasta onde se encontram as músicas às quais se pretende medir o ritmo, através da contabilização dos seus BPM. Em poucos segundos, a ferramenta analisa os ficheiros selecionados, e fornece uma estimativa de BPM de cada música, que se pode observar dentro do retângulo vermelho assinalado na imagem. Trata-se de uma ferramenta útil para quem necessita de saber rapidamente o ritmo de uma música, ou de uma playlist inteira (Media,2012).

23

O Marsyas (Music Analysis, Retrieval and Synthesis for Audio Signals) foi desenvolvido por George Tzanetakis, e é utilizado um pouco por todo o mundo, quer em projetos académicos, quer comerciais. É uma ferramenta open source que tem como principal finalidade a experimentação de áudio, bem como a sua síntese e a análise do sinal (Oliveira, 2012).

Integrado no Marsyas, o sistema que trata da análise efetiva de padrões de ritmos denomina-se por IBT, desenvolvido no Instituto de Engenharia de Sistemas e Computadores (INESC Porto) por João Oliveira Lobato, Fabien Gouyon, Luís Gustavo Martins e Luís Paulo Reis. O IBT começa por receber um ficheiro de áudio, e em seguida irá efetuar várias tarefas, como a extração de áudio, a indução e o rastreamento de batidas.

Na figura 14 é possível ver os dois ficheiros de texto exportados pelo IBT após a análise musical efetuada à música “Do I Wanna Know” dos Artic Monkeys. Do lado esquerdo da imagem, encontra-se um ficheiro detalhado, com os instantes de cada batida, como se pode observar nos retângulos vermelhos. No retângulo verde, encontra-se o tempo (em BPMs) entre as duas últimas batidas. Devido ao facto do IBT demorar cerca de 5 segundos para efetuar o Rastreamento de Batidas, os instantes da música analisada que constam no referido ficheiro, iniciam sempre a partir da marca dos 5 segundos. Do lado direito da imagem, é possível observar um screenshot do segundo ficheiro de texto exportado pelo IBT, que inclui o tempo mais representativo da música, também em BPM. Neste caso, o tempo mais representativo da música é de 85 BPM, valor que se encontra no quadrado azul da referida imagem.

24

Figura 14- Resultados do Rastreamento de Batidas à música “Do I Wanna Know” dos Artic Monkeys, efetuado pelo IBT

O Auftakt V3 é também ele um software de Rastreamento de Batidas, tendo sido desenvolvido pela empresa alemã Zplane. O sinal de áudio de entrada é analisado quanto à sua informação de início, através de um algoritmo de deteção de novos componentes de energia e de frequência, pesando-os de acordo com a sua importância percetual. A informação de início é transmitida para um módulo de análise de batida que deteta os instantes de cada batida. Na figura 15, é possível obervar o resultado final da análise musical efetuada à música “Do I Wanna Know” dos Artic Monkeys (ZPlane, 2010).

25

Figura 15- Screenshot do programa Auftakt V3 em funcionamento

Importa ainda referir que os três sistemas/aplicações de Rastreamento de Batidas analisados apresentam o 85BPM como o tempo mais representativo da música “Do I Wanna Know” dos Artic Monkeys.

2.5- Trabalhos Relacionados

O MIDI (Musical Instrument Digital Interface) é um protocolo criado com o intuito de garantir que o som gerado por diferentes sintetizadores corresponda exatamente às mesmas notas dos instrumentos. Na prática, a reprodução de determinada música codificada num arquivo MIDI, será sempre igual, porque este padrão estipula, por exemplo que, um Dó de um piano será sempre um Dó. Os arquivos MIDI, por sua vez, representam as notas que devem ser tocadas para a reprodução da música, assim como a sua ordem e sincronia. É possível introduzir no ficheiro várias notas ao mesmo tempo, sendo possível, por exemplo simular uma orquestra inteira a tocar ao mesmo tempo (Morimoto, 2005).

O MIDIJam é uma aplicação criada por Scott Haag, que permite ao utilizador, enquanto escuta uma música, visualizar uma animação feita em tempo real (Haag, 2006).

26

Na figura 16 podemos observar um screnshot da aplicação em funcionamento. A aplicação possui cerca de 92 instrumentos musicais animados. Ao importar um ficheiro do tipo MIDI para a aplicação, esta irá ler esse ficheiro, que contém informações sobre as notas da música, bem como os instrumentos que a mesma necessita para ser reproduzida, como se de uma pauta musical se tratasse. Em seguida, iniciará o processo de animação dessa mesma música. A aplicação vai então saber qual a sequência das notas musicais, e a qual instrumento correspondem. Os instrumentos musicais utilizados nessa mesma música, aparecerão na imagem, e conforme as notas musicais que compõem a música vão sendo tocadas, os instrumentos executam a animação correspondente a essas notas real.

Figura 16- Screenshot da Aplicação MIDIJam (Haag, 2006)

2.5.2- Animusic

No início dos anos 80, Wayne Lytle começou a desenvolver um software que permitisse visualizar a animação de uma música. A sua primeira produção, “More Bells and Whistles” surgiu em 1990. Mais tarde, em 1995, fundou a Animusic (originalmente chamada Visual Music). Esta empresa começou por pruduzir algumas pequenas animações, onde os instrumentos musicais continham animações pré-definidas, que

27

correspondiam às demais notas musicais que na realidade reproduzem. São "Instrumentos Virtuais" que executam a música com precisão (Animusic, 2001).

Tanto a aplicação MIDIJam, como os vídeos criados pela Animusic, seguem a mesma linha, isto é, baseiam-se em intrumentos musicais com animações pré-definidas de notas musicais, que serão reproduzidas, por forma a corresponder às informações contidas no ficheiro MIDI. Deste modo, é poupado muito tempo e trabalho ao animador, pois, deste modo, já não necessita de sincronizar as animações com a música, acontecendo exatamente o oposto. No entanto, ao passo que a aplicação MIDIJam é interactiva e possibilita ao utilizador vizualizar qualquer música, desde que cumpra os requisitos para tal, a Animusic dedicou-se mais ao aspeto gráfico das animações, como se pode observar na figura 17, produzindo vídeos de animações de música, tendo sido posteriormente compilados e lançados em DVD para comercialização.

28

2.5.3- Audio Analysis

O Audio Analysis é uma ferramenta que se encontra disponível online, e que reage ao som, isto é, o utilizador poderá importar uma determinada música, em formato mp3, e em seguida, em tempo real, a aplicação irá sincronizar a animação visual com a música selecionada. O resultado final é possível observar na figura 18, no screenshot da aplicação em funcionamento. A aplicação irá analisar o fluxo do áudio selecionado, por forma a retirar os dados musicais da referida música. O Audio Analysis representa visualmente 4 aspetos da música: a amplitude, que é apresentada na barra que se encontra no canto inferior direito e que representa o volume. A Waveform (em português, forma de onda) do som, que é apresentada pela linha branca que surge na imagem. Os Levels (Níveis), que são apresentados pelo gráfico de barras, que indica as amplitudes de frequência dos graves (à esquerda), para os agudos da música (à direta). Por fim, esta ferramenta deteta ainda as batidas da música. Sempre que a barra que está no canto inferior direito da imagem se encontra com a cor branca, significa que foi detetada uma batida.

Figura 18- Screenshot do Audio Analysis em execução

O Audio Analysis utiliza um algoritmo simples para a deteção das batidas. Esse algoritmo, em primeiro lugar analisa o volume máximo que cada tempo musical atinge. Em seguida, durante o tempo real da animação, sempre que o volume se encontrar no

29

pico máximo, dentro de cada tempo musical, significa que esse é o momento da batida, e então a barra ficará com a cor branca, por forma a indicar o momento em que ocorreu a batida.

Importa ainda realçar que, para o funcionamento correto da aplicação, o autor recomenda o uso do Google Chrome (Turner, 2013).

2.5.4- SMC Group- INESC Porto

O SMC Group é um grupo de pesquisa pertencente ao Centro de Telecomunicações e Multimédia, do INESC TEC e à Faculdade de Engenharia da Universidade do Porto, especializado no desenvolvimento de projetos, sobretudo na área do Som e Music Computing. Através da investigação em áreas como processamento de sinais, reconhecimento de padrões, música e interação entre utilizador-computador, surgem vários projetos desenvolvidos pelo SMC Group, destacando-se alguns como por exemplo, o GimmeDaBlues, o Rhythmicator, o Loopalooza, ou o RobotDance.

O GimmeDaBlues é uma aplicação para dispositivos IOS como iPod, iPhone e iPad, que permite a criação de sons do género musical Blues em vários estilos e em tempo real, para um quarteto de Jazz, composto por um piano, um trompete, um contrabaixo e uma bateria. Contrariamente ao habitual, esta aplicação não se comporta como um instrumento virtual tradicional. O GimmeDaBlues implementa uma camada intermédia inteligente entre o utilizador e o produto das suas ações, permitindo uma consequência do foro musical viável, dentro do referido género musical. Enquanto o utilizador toca no teclado e / ou nos instrumentos de solo, a aplicação gera automaticamente peças do baixo e da bateria, respondendo à atividade do utilizador. Através do mapeamento dinâmico das notas e dos acordes disponíveis no interface gráfico, a aplicação fornece de uma forma intuitiva e natural, mantendo uma jogabilidade física que será familiar para os jogadores com experiência a nível musical, proporcionando, por seu lado, uma experiência divertida e desafiadora utilizadores sem essa experiência musical. Tocar um piano ou órgão com dois dedos, debitando acordes na linha do Jazz clássico; aplicar efeitos a um trompete, e fazer apontamentos de “big

30

band” com três dedos, alternar entre estilos, tonalidades e batidas por minuto, ou gravar uma performance e exportá-la para um sequenciador ou editor de partituras, são algumas das funcionalidades da aplicação GimmeDaBlues. O projeto, vencedor na categoria Conteúdos e Aplicações Multimédia da edição de 2011 do Prémio Zon Criatividade em Multimédia, o maior do género em Portugal, foi desenvolvido pela Kinetic, que a partir do Instituto de Engenharia de Sistemas e Computadores do Porto procura criar sistemas dinâmicos de composição musical passíveis de serem aplicados em arte eletrónica ou entretenimento digital.

O Rhythmicator é uma aplicação que permite gerar automaticamente ritmos em tempo real. Os ritmos gerados são "genéricos" na medida em que eles são característicos de cada assinatura de tempo, sem que pertençam a um estilo musical específico. O pedido baseia-se num modelo de cálculo de probabilidades em que os vários aspetos e características do ritmo gerado podem ser controlados de forma intuitiva e em tempo real. Ao utilizar o Rhythmicator, o utilizador pode controlar a densidade dos eventos gerados por barra, a quantidade de variação na geração, a quantidade de síncope, a força métrica, e, o próprio medidor, através de controlos gráficos descritivos e intuitivos.

O Loopalooza é um sistema que estima e manipula estruturas rítmicas de loops de áudio em tempo real, de forma a executar transformações síncopas, que consiste na deslocação da acentuação da parte forte do tempo para a parte fraca. Este sistema possui como principal funcionalidade, uma técnica para a manipulação de síncope em representações simbólicas de ritmo. Por forma a aplicar esta técnica para sinais de áudio, em primeiro lugar deverá ser detetado o primeiro segmento do loop de áudio em eventos musicais, utilizando a deteção precoce. Em seguida, será utilizado o método de transformação síncope simbólico para determinar a forma de modificar a estrutura rítmica, e assim alterar a síncope. Por fim, o sistema deverá reconstruir o circuito de áudio, utilizando um dos dois métodos alternativos, com base em um escalonamento no tempo e o outro de amostragem. O Loopalooza, é implementado como um dispositivo MaxForLive disponível gratuitamente para permitir que músicos, como por exemplo DJs possam manipular a síncope em loops de áudio em tempo real. Deste modo, é possível obter-se um grande número de variações rítmicas de uma única fonte de áudio.

31

O RobotDance foi construído a partir de um simples kit Lego. Este inovador sistema robótico criado por João Lobato Oliveira, permite identificar e dançar diferentes tipos de música de forma inteligente e totalmente autónoma. O Robot dança em tempo real ao ritmo da música, que é escolhida pelo utilizador, e sem possuir um conhecimento prévio da mesma. Trata-se de um robot que aplica algoritmos de perceção rítmica ao nível das notas musicais, tendo integrado um sistema de audição inteligente. Todo o sistema de dança é essencialmente reativo, uma vez que o robot reage em sincronia com diferentes estímulos (quer musicais ou relacionados à cor da pista de dança), expressando movimentos de dança definidos anteriormente pelo utilizador. De referenciar ainda, que o robot interpreta os dados rítmicos recebidos, isto é, conforme a variação rítmica da música, mais calma ou mais rápida, o robot irá dançar também ele, de forma lenta ou rápida, conforme a música assim o ditar.

33

3- Proposta de um sistema de controlo do fluxo

de uma Animação 3D através do Som

Nesta dissertação pretende-se efetuar um estudo sobre a forma de controlar o fluxo de uma animação tendo por base o som. Para esse efeito, o utilizador, antes de iniciar a visualização, deverá selecionar um determinado som de base, e mediante o ritmo desse som, assim se vai processar o fluxo e o ritmo da animação. Para testar a metodologia proposta pretende-se também desenvolver um protótipo que fornecerá informações relevantes sobre a aplicabilidade dessa mesma metodologia.

3.1- Arquitetura do Sistema

34

O sistema é constituído por um bloco de análise musical, de um bloco com a tarefa de gerir e aplicar os dados rítmicos na animação 3D, e um último que permita a visualização final, tal como indicado na figura 19.

De acordo com a arquitetura proposta, o sistema permitirá ao utilizador a visualização e uma interação com a própria aplicação. Deste modo, o utilizador deverá escolher um determinado som de base, gerando-se assim uma interação com o sistema. Depois de o utilizador selecionar o referido som, o componente de visualização e interação será responsável por efetuar um pedido da animação final a um segundo componente de controlo da animação 3D. Este segundo componente é o responsável pela animação 3D, pelo que, fará um pedido do resultado do rastreamento de batidas ao terceiro componente do sistema, o componente de análise Musical. Este último devolverá ao componente de controlo da animação 3D, os dados rítmicos do som escolhido pelo utilizador, e em seguida, processa o fluxo e o ritmo da animação 3D, de acordo com os dados obtidos. Uma vez processada a animação, a mesma será enviada para o componente de visualização e interação, através do qual, o utilizador poderá ver o resultado final.

3.1.1- Componente de visualização e interação do sistema

O componente de visualização e interação do sistema é responsável pela interação com o utilizador na escolha do som de base, e também tem como função mostrar ao utilizador o resultado da animação final. Na figura 20 é possível observar o fluxo de dados deste componente. Assim, inicialmente é pedido ao utilizador que escolha um som de base, a partir do qual e mediante o ritmo desse som, assim se processará o fluxo e o ritmo da animação. Após a seleção da música, o componente de visualização e interação, efetuará o pedido da animação ao componente de controlo da Animação 3D, cujo funcionamento será explicado na secção seguinte. Depois de receber a animação final, proporcionando então ao utilizador a visualização da animação final, processada ao ritmo da música selecionada pelo utilizador.

35

Figura 20- Componente de visualização e interação do sistema

3.1.2 - Componente de controlo da Animação 3D

A principal função do componente de gestão e aplicação dos dados rítmicos na animação é recolher a informação resultante da análise musical realizada pelo componente de análise musical, e aplicá-la à animação. Para a construção do referido componente, poder-se-á recorrer a uma ferramenta vocacionada para o desenvolvimento de jogos como por exemplo o Unity3D.

Como mostra a figura 21, o componente de controlo da animação 3D, funciona, de forma a responder ao pedido efetuado pelo componente de interação e visualização, aquando da seleção do som de base efetuado pelo utilizador, usado para controlar o fluxo e ritmo da animação 3D. Assim, após receber esse pedido, este componente irá efetuar, por sua vez, o pedido dos dados rítmicos do som de base a um terceiro componente de análise musical. Os dados rítmicos são recebidos num ficheiro de texto, onde constam os instantes de cada batida, e o tempo (em BPM) entre as duas últimas batidas. Depois de recebida a análise musical, este componente será então responsável por ler o ficheiro de texto que contém os dados rítmicos da música. Ao longo da reprodução da animação, o tempo da referida animação será constantemente comparado com os valores dos dados rítmicos, isto é, se o tempo da animação e o tempo da música se encontrarem entre os dois valores pré-definidos (instantes), o fluxo e o ritmo da animação serão controlados consoante o valor em BPM do intervalo correspondente.

36

Após a realização desta tarefa, o processo seguirá para o componente de visualização e interação, que será o componente responsável pela tarefa de mostrar ao utilizador o produto final de toda esta operação.

Figura 21- Componente de controlo da animação 3D

3.1.3- Componente de análise musical

O componente de análise musical representa o processo de análise musical da música selecionada pelo utilizador. Para isso, é utilizada uma aplicação MIR, por exemplo o IBT, que se encontra integrado no Marsyas, para que se possam obter dados específicos sobre o ritmo dessa mesma música. Assim, este componente será responsável, como o próprio nome indica, pela análise do som de base, que controlará o fluxo e o ritmo da animação. Como se pode observar nos fluxos de dados da figura 22, este componente irá receber o pedido de análise a um determinado som, e em seguida,

37

após essa análise, o sistema irá enviar os dados rítmicos entretanto recolhidos, num ficheiro de texto, para o componente de controlo da animação 3D.

Figura 22- Componente de análise musical

3.2- Protótipo

No âmbito desta dissertação, e utilizando os componentes funcionais descritos anteriormente, procedeu-se à construção de um protótipo da aplicação. O bloco responsável pela gestão e aplicação dos dados rítmicos na animação, e o bloco de interação e visualização serão desenvolvidos no Unity3D, pois trata-se de uma ferramenta vocacionada para o desenvolvimento de jogos. Rapidamente tornou-se num dos Game Engines mais populares para quem desenvolve este tipo de aplicações. Está disponível para Windows e Mac OS, e é multiplataforma, o que significa que o mesmo código pode ser exportado e executado em diversas plataformas, o que representa uma das vantagens desta ferramenta. O código pode ser implementado em qualquer uma das 3 linguagens disponíveis: JavaScript (JS), C# e também um dialeto de Python chamado Boo. Além da criação de jogos, esta ferramenta possibilita a criação de outros tipos de aplicações, como por exemplo, aplicações de Realidade Aumentada.

38

Por fim, no componente de análise musical, será utilizada uma aplicação MIR: o IBT que se encontra integrado no Marsyas, que irá fazer a análise e rastreamento dos ritmos das músicas escolhidas. O Marsyas (Music Analysis, Retrieval and Synthesis for Audio Signals) foi desenvolvido por George Tzanetakis, e é utilizado um pouco por todo o mundo, quer em projetos académicos, quer comerciais. É uma ferramenta open source que tem como principal finalidade a experimentação de áudio, bem como a sua síntese e a análise do sinal. Integrado no Marsyas, o sistema que trata da análise efetiva de padrões de ritmos denomina-se por IBT, desenvolvido no Instituto de Engenharia de Sistemas e Computadores (INESC Porto) por João Oliveira Lobato, Fabien Gouyon, Luís Gustavo Martins e Luís Paulo Reis. O IBT começa por receber um ficheiro de áudio, e em seguida irá efetuar várias tarefas, como a extração de áudio, a indução e o rastreamento de batidas.

A implementação deste protótipo passou por diversas etapas, até se atingirem os objetivos propostos. Numa primeira fase, foi elaborado um primeiro protótipo que cumprisse um dos requisitos que motiva esta dissertação: que determinado som controlasse o ritmo de uma animação. Deste modo, este primeiro protótipo permitia que, depois de iniciada a aplicação, esta iniciava a animação, e conforme os valores rítmicos desse som, anteriormente recolhidos, o ritmo da animação era determinado pelos mesmos. Na figura 23, pode-se observar a interface deste primeiro protótipo numa fase de teste.