Avaliando Interfaces Gestuais Para a Prática de
Instrumentos virtuais de Percussão
Por
Aluno: Jaziel Vitalino Souza e Silva
Orientador: Geber Ramalho
Dissertação de Mestrado
Universidade Federal de Pernambuco [email protected] www.cin.ufpe.br/~posgraduacao
CENTRO DE INFORMÁTICA
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
JAZIEL VITALINO SOUZA E SILVA
Avaliando Interfaces Gestuais Para Prática de Instrumentos Virtuais
de Percussão
DISSERTAÇÃO APRESENTADA COMO REQUISITO PARCIAL PARA A OBTENÇÃO DO TÍTULO DE MESTRE, PELO PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO DO CENTRO DE INFORMÁTICA DA UNIVERSIDADE FEDERAL DE PERNAMBUCO.
ORIENTADOR: Geber Ramalho, PHD CO-ORIENTADOR: Giordano Cabral, PHD
Catalogação na fonte
Bibliotecária Jane Souto Maior, CRB4-571
Souza e Silva, Jaziel Vitalino
Avaliando interfaces gestuais para a prática de
instrumentos virtuais de percussão. / Jaziel Vitalino Souza e Silva. - Recife: O Autor, 2012.
xii, 76 f., il., fig., tab.
Orientador: Geber Lisboa Ramalho.
Dissertação (mestrado) - Universidade Federal de Pernambuco. CIn, Ciência da Computação, 2012.
Inclui referências.
1. Computação musical. 2. Interação Humano - Computador. I. Ramalho, Geber Lisboa (orientador). II. Título.
II Dissertação de Mestrado apresentada por Jaziel Vitalino Souza e Silva à Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco, sob o título “Avaliando Interfaces Gestuais Para Prática
de Instrumentos Virtuais de percussão”, orientada pelo Prof. Geber Lisboa Ramalho e aprovada pela Banca Examinadora formada pelos professores:
_____________________________________________ Prof. André Luís de Medeiros Santos
Centro de Informática / UFPE
_____________________________________________ Prof. Nelson Cavalcanti de Almeida
Departamento de Música / UFPE
_____________________________________________ Prof. Geber Lisboa Ramalho
Centro de Informática / UFPE
Visto e permitida a impressão Recife, 31 de Agosto de 2012.
_______________________________________________________ Prof. Nelson Souto Rosa
Coordenador da Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco.
III Dedico ao Meu Senhor
IV AGRADECIMENTOS
Primeiramente ao meu Deus, que pela sua misericórdia me permitiu chegar até onde eu estou e nada me deixou faltar.
Aos meus pais que sempre me apoiaram em oração junto a meu irmão e demais familiares.
Aos meus empresários, meu avô, minha tia e meu pai que me ajudaram na compra de equipamentos.
A minha noiva por todo carinho. “Como foi importante!”
Aos amigos Paulo Henrique, Leonardo Cordeiro e Pedro Folha pela força no projeto. Ao amigo Filipe Calegario, que foi uma mão na roda no meu experimento. Sou muito grato.
Ao meu orientador prof. Geber Ramalho, um cara extraordinário! (foi um pai pra mim).
Ao prof. Giordano Cabral, meu coorientador, homem de sabias palavras. Ao pessoal do Departamento de música:
• Prof. Nelson Almeida, por toda força e conselhos.
• Prof. Manassés Bispo, por todas as orações e companheirismo. • Prof. Rodrigo Luna e prof. Antônio Barreto, por todo apoio.
Ao grupo de percussionistas da UFPE e convidados que participaram do experimento contido neste trabalho de pesquisa.
Aos grupos de pesquisa da UFPE:
• MUSTIC por todas as ideias e conversas. • GPMAC pelas trocas de informações.
V
“A coragem cresce com a ocasião.” William Shakespeare
VI
Resumo
Música e tecnologia possuem um relacionamento antigo, constante e indissociável. Desde o início da história da humanidade a música vem nos acompanhando e o seu crescimento foi paralelo ao desenvolvimento do homem. À medida que a tecnologia modificava a cultura social, novas formas de modelar instrumentos e de compor músicas eram criadas, modificando também a interação e a performance musical. A evolução dos computadores e o aumento da capacidade de processamento de dados proporcionou maior interesse em pesquisas e no
desenvolvimento de dispositivos eletrônicos, mais conhecidos como “Digital Musical
Instruments” (DMIs).
Baseados em interfaces gestuais, os DMIs pretendem oferecer novas formas de interagir com o instrumento, aumentando possibilidades e preservando a qualidade sonora; porém, não é com frequência que vemos músicos profissionais se utilizando dessa tecnologia. Este trabalho analisa e avalia a interação de algumas interfaces gestuais, oferecida aos músicos, especificamente os percussionistas, em busca de identificar limitações técnicas existentes e de que forma, estas, explicam a baixa adoção destas tecnologias na prática. Os resultados foram alcançados através de duas etapas: a primeira foi, uma pesquisa bibliográfica sobre anatomia, buscando entender gestos comuns humanos e limitações de algumas interfaces; e a segunda, foi um experimento onde percussionistas de perfis distintos avaliaram a interação oferecida por duas interfaces: o Sensor Microsoft Kinect e o Nintendo Wii remote.
Palavras-chave: música, tecnologia, Interfaces gestuais, Interação, percussão, computação musical
VII ABSTRACT
Music and technology have an old relationship, constant and inseparable. Since the beginning of human history, has been in the music and watching their growth was parallel to the development of man. As technology changed the social culture, new ways of modeling instruments and compose songs were created by modifying also the interaction and musical performance. The evolution of computers and the increased capacity of data processing provided greater interest in research and development of technological devices, better known as "Digital Musical Instruments" (DMIs).
Based on gestural interfaces, the DMIs want to offer new ways to interact with the instrument, increasing opportunities and preserving the sound quality, but it is not often that we see professional musicians are using this technology. This paper analyzes and evaluates the interaction of some gestural interfaces with the musician, percussionist specifically, in order to identify the limitations of existing techniques and how these explain the low adoption of these technologies in practice. The results were achieved through two stages: the first was a literature on human gestures and limitations of some interfaces and the second, an experiment where percussionist’s distinct profiles evaluated the interaction interfaces offered by the Microsoft Kinect Sensor and Nintendo Wii remote.
Keywords: music, technology, gestural interfaces, Interaction, percussion, music computer
VIII
Lista de Figuras
Figura 1: Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin”..5
Figura 2: Interface do Pure Data...8
Figura 3: Controladores MIDI...8
Figura 4: Eigenharp Alpha.....9
Figura 5: Misa Kitara.....10
Figura 6: Interface do Reactable...11
Figura 7: Tenori-on...12
Figura 8: O violão da esquerda é um Folk e o da direita é um tradicional...15
Figura 9: iPad (Tablet da Apple) ...23
Figura 10: iPhone (Smartphone da Apple). ...24
Figura 11: Reactable...25
Figura 12: NumChuck à esquerda e Wii remote à direita com Wii MotionPlus conectado em baixo...26
Figura 13: Alguns gestos que podem ser captados pelo Wii remote...27
Figura 14: Move controller e camera Eye...27
Figura 15: Dispositivo Kinect. ...29
Figura 16: Tipos de articulações...32
Figura 17: Geometria das articulações...34
Figura 18: Articulação do antebraço...36
Figura 19: Articulações do punho......37
Figura 20: Junta esternoclavicular...38
Figura 21: Usuários participando do experimento...49
Figura 22: Percussionista popular usando a Zabumba no Wii Remote...50
Figura 23: Equipamentos (Tripé com Kinect e alguns computadores)...50
IX
Figura 25: Fluxograma do roteiro usado no experimento...54
Figura 26: Mapa-mental baseado no mundo do usuário...65
Lista de Tabelas
Tabela 1: Tabela de articulações...35Tabela 2: Modelo articulado...39
Tabela 3: Limites e direção de propagação de cada DOFs...39
Tabela 4: Tabela descritiva de instrumentos e gestos...42
X SUMÁRIO
AGRADECIMENTOS...IV
RESUMO...VI
ABSTRACT...VII
Lista de Figuras...VIII
Lista de Tabelas...IX
SUMÁRIO...X
1. INTRODUÇÃO...1
1.1. Objetivo...,...2
2. O PAPEL DA TECNOLOGIA NA MÚSICA...3
2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical...4
3. IMPORTÂNCIA DO GESTO MUSICAL DA LUTERIA CONVENCIONAL À DIGITAL...13
3.1. O gesto na luteria...13
4. INTERFACES GESTUAIS EM COMPUTAÇÃO...18
4.1. Interfaces Multi-toque...22 4.1.1. Tablet...22 4.1.2. Smatphone...23 4.1.3. Mesa Multi-toque...24 4.2. Gamepad...25 4.2.1. Wii Remote...26 4.2.2. PlayStation Move...27
4.3.Cameras de Detecção de Profundidade...28
4.3.1. Microsoft Sensor Kinect...28
5. GESTOS PRIMITIVOS E LIMITAÇÕES TÉCNICAS...31
5.1. Anatomia Humana...31
5.1.1. Classificações das Articulações (Juntas) ...31
A. Articulações Sinartroses...32
B. Articulações Anfiartroses...32
C. Articulações Sinoviais ou Diartroses...32
XI 5.1.3. Punho e mão...36 5.1.4. Ombro...37 5.1.5. Mapeamento de Gestos...40 5.2. Gestos Instrumentais...41 5.2.1. Instrumentos de percussão...41 5.3. Análise de captação...44 6. MÉTODO...45 6.1. Coleta de dados...46 6.2. Análise de dados...46 6.2.1. Análise do discurso...46 7. EXPERIMENTO...48 7.1. Design do experimento...48 7.1.1. Etapas do Experimento ...48 7.1.2. Repertório de gestos...48 7.1.3. Usuários...49
7.1.4. Instrumentos de coleta de dados...51
7.2. Descrição do Experimento (Coleta de Dados) ...51
7.2.1 Performance com DMI ...51
7.2.2. Entrevista semi-estruturada...52
7.3. Protocolo de experimento...53
7.3.1. Tópicos abordados na entrevista...53
7.3.2 Fluxograma...54
7.4. Análise de dados do experimento (Analise do discurso) ...55
7.4.1. Transcrição...55
7.4.2. Discriminação...55
7.4.3. Reconstrução do mundo do usuário...56
7.4.4. Examinando o contexto...63
7.4.5. Mapa mental...65
7.5. Análise dos resultados...67
7.5.1. Variação timbrística...67
7.5.2. Variação de dinâmica...68
XII
8. DIAGNÓSTICOS E DIREÇÕES DE PESQUISAS...70
8.1. Diagnósticos...70
8.2. Direções de pesquisas...71
1
1. Introdução
Com a chegada do século XX, a relação entre música e tecnologia aumentou, por causa de fatores como: o acréscimo de conhecimento sobre aspectos físicos e cognitivos do som; a fácil aquisição à energia elétrica barata e aplicação das tecnologias eletrônica e digital na geração sonora artificial (Iazzetta, 1997). Os meios tecnológicos tem nos proporcionado, novas maneiras de interagir com os meios sonoros, tornando-se bastante importante para o músico.
Boulez (1997, apud TRALDI, 2007) nos fala:
A possibilidade de interagir com meios sonoros e computacionais surge no final do século passado e, rapidamente, torna-se uma das principais linhas de composição e interpretação do início deste século. A interação de músicos com a tecnologia foi preconizada por Boulez (1977) que aponta que tais dispositivos não foram inventados para aplicações musicais, mas que sua utilização levaria a mutações que poderiam engendrar soluções inovadoras.
As pesquisas a cerca do desenvolvimento de interfaces digitais tem crescido principalmente nas ultimas décadas. A luteria digital tem avançado e pesquisas nesta área, têm surgido cada vez, com mais intensidade. Instrumentos virtuais que possuem acelerômetros e câmeras com sensores de profundidades, interagem com o usuário através de gestos e emitem som através de síntese sonora.
Apesar de tanta tecnologia empregada na criação de novos instrumentos, por que não é com frequência que vemos músicos profissionais utilizando essas tecnologias em performances musicais? Porque a maioria dos músicos não usam essas novas interfaces? Talvez os estudos e pesquisas nessa área, não estejam desenvolvendo interfaces gestuais para música.
2 1.1. Objetivo
Cientes do crescente avanço em pesquisas, na área de Interfaces gestuais, e do baixo índice de utilização de instrumentos virtuais por músicos profissionais, este trabalho teve como objetivo analisar algumas interfaces gestuais através de pesquisas e experimentos, em busca de reconhecer limitações técnicas de captação de gestos, encontradas na interação das interfaces, que proporcionem aos músicos uma experiência não agradável. As interfaces utilizadas foram o Sensor Kinect da Microsoft e o Wii remote da Nintendo, que simularam instrumentos virtuais de percussão.
3
2. O PAPEL DA TECNOLOGIA NA MÚSICA
Embora não haja documento comprobatório, acredita-se que os homens pré-históricos tinham experiências musicais. As primeiras músicas foram os gritos dos hominídeos do Paleolítico, como sugere Dearling (1996, apud GOHN, 2001). Porém, Candé (2001) defende que os antropoides do terciário utilizavam seus corpos ou construíam bastões para percutir os sons, e já construíam objetos como instrumentos elementares de percussão. Segundo este autor, somente por volta de 9.000 a.C. é que o homem do Neolítico cria primeiros instrumentos de corda e alguns membranofones. Quatro mil anos mais tarde, com o desenvolvimento da metalurgia, é que apareceriam os primeiros instrumentos em bronze, para execuções musicais mais sofisticadas. Mesmo sendo rudes em relação aos instrumentos que encontramos na contemporaneidade, essas construções se imbuem de tecnologia. Para Sancho (1998, p.17) tecnologia é o “conjunto de conhecimentos que permite a nossa
intervenção no mundo”. Como disposto na Wikipédia1,
“Tecnologia (do grego τεχνη — "técnica, arte, ofício" e λογια — "estudo") é um termo que envolve o conhecimento técnico e científico e as ferramentas,
processos e materiais criados e/ou utilizados a partir de tal conhecimento”. Em
se tratando de música e tecnologia, ou melhor, do papel da tecnologia na música, referimo-nos às novas possibilidades de produção musical provenientes do saber adquirido após a compreensão de mecânica, acústica, eletricidade, eletrônica, etc. Neste contexto é natural que o advento do computador tenha permitido novas experiências não só para a educação musical, mas também para a atividade performática da música, sobre a qual está focado o nosso trabalho.
Segundo Zuben (2004),
Durante o século XX, novas estéticas musicais foram criadas como desenvolvimento das tecnologias de gravação sonora, primeiramente analógicas e depois digitais. A música eletroacústica, por exemplo, trabalha a composição diretamente no computador, não mais usando partitura como ________________
1
4
meio de escrita ou de fixação da música. O desenvolvimento de novas tecnologias de gravação sonora também possibilitou novos meios de armazenamento da música, como as fitas, CDs e DVDs, que transformaram a maneira de se produzir, ouvir e consumir a música no século XX (p. 8).
As tecnologias computacionais estão presentes no cotidiano das pessoas: “a televisão, o celular, os recursos tecnológicos aplicados à Medicina, tudo está ao nosso dispor e nos remete a um mundo de possibilidades, um mundo virtual” (SILVA, 2011, p. 13). Enquanto até o século XIX os registros de músicos eram restritos à partitura, atualmente é possível reproduzir e compartilhar músicas pela internet. O século passado nos trouxe grandes avanços nas áreas de computação e eletrônica, fazendo surgir o rádio, o computador, os aparelhos de som (como mesas, amplificadores, etc.). Consequentemente, novos instrumentos musicais surgiram, reafirmando o impacto das tecnologias computacionais no campo da música. Daí, Silva (2010, p. 6) vem afirmar que:
[…] a música traz avanços concorrentes com a ciência, desde os séculos mais remotos, com a concepção pitagórica das frequências que desabrocharam no diatonicismo barroco, até a segunda metade do século XX, com os fenômenos sonoros de Stockhausen, gerados eletronicamente. A estrada que liga esses dois personagens se estende por pelo menos 25 séculos, justificando que a ciência e a música são parceiras antigas.
2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical
A música sofreu grande impacto com o advento da eletricidade. No
começo do século XX, surgiram o Dinamofone “Telharmonium” de Thaddeus
Cahill em 1906, que produzia som a partir de dínamos, e do oscilador a válvula de Lee De Forest em 1915, que representa a base para a geração do som a partir de sinais elétricos. O versátil engenheiro músico e inventor soviético Lev Sergeivitch Termen (Léon Theremin, em francês) criou por volta de 1919, o primeiro instrumento completamente eletrônico, o teremin, o qual foi projetado para dispensar o contato físico para produção de sons. Como visto na fig.1, consiste em uma caixa com duas antenas, uma para controlar a altura, e outra,
5
para controlar a intensidade. Ao redor das antenas, o músico movimenta suas mãos para produzir música.
Figura 1– Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin”. O primeiro
instrumento eletrônico.
Araújo (2002) nos diz que naquela época já havia uma perspectiva de que as fronteiras dos instrumentos seriam aumentadas pelo surgimento de tecnologias com capacidade de manipular sons como atualmente é feito através de computadores.
A chamada “música computacional” surgiu na década de 50 com os
trabalhos de Lejaren A. Hiller químico e compositor, que utilizava modelagem estocástica no processo de composição. E para realizar seus trabalhos usava um computador ILLIAC da Universidade de Illinois.
Pela primeira vez um computador foi utilizado como instrumento musical, por Max Matheus, que desenvolveu o primeiro programa para sintetizar música em 1957. Nos anos posteriores mais avanços foram alcançados com o desenvolvimento de circuitos integrados, microprocessadores e sintetizadores. Mais tarde na década de 80 o surgimento do MIDI (Musical Instrument Digital
Interface) padrão de interligação entre instrumentos eletrônicos tornou possível
a total integração entre computador e música (Araújo, 2002).
Apesar dessas invenções, Gohn (2001) considera que a invenção do telefone, no final do século XIX, seria o marco revolucionário da tecnologia na música:
6
Podemos considerar que a inovação tecnológica de maior destaque para a evolução da eletrônica na música foi o telefone, criado por Alexander Graham Bell, em 1876. Ela comprovou que o som poderia ser transformado em sinais elétricos e vice-versa, estreitando a relação entre tecnologia e arte e abrindo caminhos para a gravação do som e para os meios de comunicação de massa. (p. 3).
Ainda na mesma época, Gohn (2001) salienta que a invenção do
fonógrafo, por Thomas Edison, do grafofone, por Alexander Graham Bell, e
especialmente do gramofone, por Émile Berliner, teve um papel importantíssimo para a gravação de sons. Mais tarde, Graham Bell apresentou as gravações magnéticas, as quais foram utilizadas em grande escala até o
surgimento dos gravadores digitais (Jones, 1992). O fato é que as
revoluções tecnológicas se unem à criatividade musical para conceber estilos inovadores de música ou para ressignificar uma obra antiga. Segundo Gohn (2001), os avanços tecnológicos continuam a interferir no campo da música, inclusive no que concerne à aprendizagem musical e à nossa percepção. Para ele, “o surgimento de novas formas de produzir, preservar e transmitir a música condiciona a nossa percepção, nos deixando distantes das realidades passadas, quando a manipulação do som era restrita e limitada” (p. 11).
O desenvolvimento da eletrônica e da informática possibilitou a geração de sons não convencionais, que fogem do que as pessoas estão acostumadas a ouvir. Os novos timbres procurados pelos compositores podem ser gerados a partir de qualquer gesto, os quais transformados em sinais elétricos podem também controlar sons pré-existentes. O autor acima preconiza que há várias opções de interação musical, como subconjunto da interação homem-máquina (IHM), dentre elas a manipulação instrumental, interação em sistemas
multimídia e a interação em jogos eletrônicos, sendo que não necessariamente
nesses dois últimos tipos de interação a produção de sons seria objetivada. Porém, um dos papeis do som nesse contexto de interação é a expressão artística, haja vista que a performance de alguns instrumentos musicais digitais assemelha-se à execução de instrumentos acústicos. Este é o caso dos instrumentos digitais de percussão prototipados nesta pesquisa.
7
Para Traldi (2007), o desenvolvimento de novos dispositivos e meios eletrônicos nas décadas entre 60 e 80 do século passado, criou possibilidades novas de comunicação entre interpretes musicais e equipamentos eletrônicos trazendo mudanças timbrísticas, visuais (físicas) e performáticas. O uso de
softwares e simuladores de instrumentos na produção de composição musical,
cresceu muito durante os últimos anos e trouxe contribuições relevantes para o desenvolvimento da musica. Ficheman (2002, apud CORRÊA, 2004, p. 2) nos fala que:
A produção musical aliada à tecnologia vem favorecendo, ao longo dos anos, uma abrangência musical cada vez maior. Isto se deve à utilização de novos instrumentos e às novas formas de geração e produção de sons. Na atividade composicional, o computador apresenta-se como uma ferramenta que apoia o compositor na viabilização e explicitação de suas ideias. Através dos aplicativos computacionais o compositor tem acesso a sistemas de representação diversificados, que fornecem feedbacks sonoros e gráficos (partituras, desenhos e diagramas). O uso do computador na atividade musical apresenta possibilidades de criações, capturas e transformações de eventos sonoros (Ficheman, 2002).
Uma das ferramentas computacionais desenvolvidas na década de 1990 para a criação de música foi o Pure Data (PD). Um ambiente de programação gráfica para áudio e vídeo usado como ambiente de composição interativo e como estação de síntese e processamento de áudio. Uma das inovações mais importantes do Pure data, foi à introdução de estrutura de dados gráficos, que pode ser usado de diversas maneiras: Na composição de partitura, sequenciamento de eventos, criação de efeitos visuais, etc. O projeto em código aberto foi desenvolvido primeiramente por Miller Puckette (IRCAM) e conta com grande base de desenvolvedores que trabalham em extensões do programa.
8 Figura 2 – Interface do Pure Data
Atualmente na atividade musical, temos visto o uso de controladores que simulam instrumentos acústicos existentes, como por exemplo: um dispositivo que simula saxofone, sem a geração de som, usando apenas síntese aditiva; ou uma bateria eletrônica, geralmente formada por um conjunto de pads, montados sobre um rack, na mesma disposição de uma bateria convencional, ambos encontram-se na figura 3. Chamamos a esses dispositivos, de instrumentos musicais digitais (IMDs), Interfaces (hardware) que enviam sinais de controle a algoritmos de síntese sonora. Pesquisas sobre o desenvolvimento de IMDs, tiveram um grande aumento nas ultimas décadas e
presente em diversos centros de pesquisa como: STEIM(Studio
for Electro Instrumental Music), (CCRMA) em Stanford University, Sonic Art Research Centre, Ircam, (IDMIL) McGill University, Universidade Católica do
Porto, Tufts University, etc.
9
Outros IMDs têm surgido como, o Eigenharp alpha2, inventado por John
Lambert e lançado em 2009, um dos instrumentos eletrônicos feito pela
Eigenlabs. A primeira vista a criação pode confundir com a mistura de
instrumentos como bateria, saxofone e teclado, porém sua versatilidade pode simular perfeitamente os mais diversos efeitos sonoros. Trata-se de um controlador bastante flexível e portátil.
Possui 133 teclas totais (120 no painel principal, 12 para efeitos de percussão e 1 para acionar a função mudo), o Eigenharp funciona a partir de
samples pré-programados e permite a utilização de até 2000 samples por
minuto, de forma simultânea. Todas as teclas são sensíveis à pressão e possibilitam três ajustes diferentes, para controles de intensidade e timbre sonoro.
Figura 4 - Eigenharp Alpha
Este instrumento também possui a capacidade de alterar a afinação ou a intensidade de um sample, incorporando tecnologia tátil. O seu bocal, permite que através de um assopro possa adicionar diversos efeitos às notas reproduzidas.
________________ 2
Disponível em: <http://www.eigenlabs.com/product/alpha/>. Acesso em: 17 ago. 2012.
10
Semelhantemente, a Misa Kitara3 é um controlador midi digital. Ela foi o
primeiro instrumento a utilizar uma tela multi-toque de 8 polegadas e botões de toque para simular cordas e trastes. O controlador possui forma de guitarra elétrica e 24 trastes e seu visor permite que o músico reproduza uma grande variedade de efeitos baseando-se nos movimentos dos dedos sobre a tela.
A Kitara possui um sintetizador interno wavetable com efeitos para geração de sons. A tela multi-toque traz bastante facilidade e simplicidade à troca de efeitos simultâneos.
Figura 5 - Misa Kitara
Sem a pretensão de tomar o lugar da guitarra convencional, a Misa
Kitara tem como objetivo ampliar as possibilidades de efeitos sonoros.
________________ 3
11
________________ 4
Disponível em: <http://mtg.upf.edu/project/reactable>. Acesso em: 17 ago. 2012.
(MIRANDA e WANDERLEY, 2006, p. 19) Dentre os IMDs, existem modelos de “dispositivos de entrada alternativos”. Esses não são criados, baseando-se em instrumentos acústicos existentes, e por tanto não possuem nenhuma
semelhança, nem seguem regras físicas ou sonoras.
Observamos como exemplo o Reactable4, criado e desenvolvido em
2003 pelo Grupo de Tecnologia Musical da Universidade Pompeu Fabra, Espanha, o instrumento tem despertado interesse em músicos e leigos devido ao seu poder de interação e criação. A interface também pode ser utilizado de forma colaborativa. Possui formato de mesa redonda translúcida e sua interface apresenta-se com uma superfície multi-toque, como demostrada na figura 6. Uma câmera situada na parte de baixo da mesa, analisa continuamente as posições dos objetos que controlam a síntese sonora.
Figura 6 – Interface do Reactable
O Reactable é considerado um tipo de interface tangível, ou seja, uma interface em que a pessoa interage com a informação digital, através da física ambiente. Os objetos são parte integrante da mesa e possuem diferentes funções na sua execução musical.
Demostrado pela primeira vez em 2005, o Tenori-on5 é um instrumento
12
japonês Toshio Iwai, um artista da mídia japonesa, músico e inventor, que colaborou com Yu Nishibori d a Yamaha Center for Advanced Sound
Technology no seu desenvolvimento. O instrumento trata-se de uma tela de
mão constituída de uma matriz 16x16 feita de LEDs sensores, mantidos dentro de uma armação de magnésio de 8 polegadas. Os 256 botões luminosos, são pontos de entrada de dados que determinam a altura e permitem de forma intuitiva que o usuário crie batidas em loops, sincronizando-as segundo a sua própria vontade.
Um ponto bastante positivo do Tenori-on, é que qualquer pessoa pode conseguir um bom resultado sonoro no dispositivo, mesmo sem possuir conhecimento musical teórico. O aparelho permite também a importação de sons e batidas, oferecendo um enorme leque de combinação sonora e rítmica.
Figura 7 – Tenori-on
________________ 5
Disponível em: <http://www.emusician.com/gear/0769/review-yamaha-tenori-on/140649>. Acesso em: 15 Out. 2012.
13
3. Importância do gesto musical: da luteria convencional à
digital
O emprego de tecnologia na criação de instrumentos musicais (sejam eles acústicos, elétricos ou digitais) sempre teve duas preocupações. A primeira está relacionada a questões ergonômicas ou gestuais, percebendo a facilidade ou dificuldade com que os músicos interagem com os instrumentos; A segunda diz respeito à questão sonora, preocupando-se com a síntese do som gerada, com a qualidade sonora obtida ao se tocar o instrumento. Nesta seção, trataremos da primeira, para entendermos que a importância dada, a captura dos gestos dos músicos sempre esteve no centro da tecnologia musical.
3.1. O gesto na luteria
O gesto é um elemento essencial na execução musical, já que os músicos “tocam” instrumentos por meio de gestos. Podem ser dinâmicos ou estáticos, pois o gesto de segurar uma tecla de um piano com um dedo ou pisar no seu pedal, mesmo parado, pode fazer soar uma nota por mais tempo. De fato, são os dedos do violonista que excitam as cordas do violão, provocando ondas sonoras que são amplificadas pelo corpo (caixa acústica) do instrumento, para eventualmente serem depois captadas por microfones ou outros sensores e amplificadas eletronicamente. O mesmo pode ser dito para o piano, o violino, o trombone, o tambor, a flauta. É por meio de gestos de mãos, dedos, braços, pernas, rostos, boca, que o músico interage com seu instrumento.
Analisando algumas definições sobre gesto podemos dizer que é uma maneira de comunicação não verbal, em que as ações corporais visíveis, informam mensagens específicas. Podendo ser incluído o movimento das mãos, rosto ou outras partes do corpo. Wanderley (2006) nos fala que, os gestos podem ser executados não necessariamente com as mãos, como por exemplo: o sopro de um flautista. Esse seria chamado de gesto corporal
instrumental; já Cadoz (1988) diz que ações físicas como a manipulação de
14
________________ 6
Disponível em: < http://www.kerstenpianos.com/historia.php>. Acesso em: 23 nov. 2012.
ultimo, um gesto que acompanha os instrumentos enquanto são executados, é chamado de gesto acompanhador (Delalande, 1988).
Na luteria tradicional há diversos nomes de luthiers, mas o mais notável da história foi o italiano Antonio Stradivari, responsável pela fabricação do
violino mais caro do mundo o “Stradivarius”. Considerado o expoente máximo
dessa arte, a produção de Stradivari, resultou em mais de mil instrumentos, entre eles estão: violinos, violas e violoncelos. A importância que é dada a ele, está além da sua enorme habilidade manual e de escolha de madeiras, mas nas modificações realizadas por ele no design dos instrumentos, Unicef (1976, apud GOHN, 2001).
Desde tempos antigos a tecnologia já era empregada no design de instrumentos musicais, com a intenção de obter melhores resultados na interação musical. Um bom exemplo dessa afirmação é o piano, que foi inventado por um italiano chamado Bartolomeo Cristofori, no início do século 18, mas só veio firmar-se no final do mesmo século. Teve como precursor o cravo, que possuía uma serie de limitações sonoras, dentre elas, não oferecia controle de dinâmica e em contrapartida, o piano que tinha uma tecnologia mais avançada, produzia suas notas através de martelos que percutiam as cordas, inovando a forma de interagir dos músicos daquela época, permitindo que as notas pudessem ter maior ou menor intensidade. O seu nome Piano ou Pianoforte6 como foi conhecido em 1709, enfatiza o potencial do piano em produzir fortes ou leves sonoridades, dependendo somente de como as suas teclas são tocadas.
Na prática de um instrumento musical, existem diversas variáveis que cooperam para que o músico extraia uma melhor sonoridade e a técnica instrumental, está entre elas. Sabemos que toda a técnica instrumental é realizada através da utilização de gestos que se baseiam na configuração do instrumento tocado.
Iazzeta (1997) nos diz que:
Por um lado há o universo concreto, visível e mecânico dos instrumentos tradicionais, onde os corpos (do instrumento e de quem o toca) envolvidos e seus movimentos estão
15
intrinsecamente relacionados ao resultado sonoro obtido: as cordas tensas e curtas de um violino vibram mais rápido, porém com menos energia que as cordas mais longas e flácidas de um contrabaixo, que exigem a aplicação de mais força do instrumentista.
Por tanto, dependendo do material envolvido na construção ou do design do instrumento, os gestos usados na prática do mesmo, deverão exercer maior desgaste físico, para se obter uma sonoridade mais agradável.
Também os luthiers de violão, pensando em proporcionar mais facilidade aos gestos dos violonistas, mudaram o design do violão tradicional adicionando um “cutaway”7
ao corpo do instrumento, com a pretensão de gerar maior alcance a área inferior do braço mais próxima da boca. Essa área do braço no violão tradicional, normalmente é fechada e fazer arranjos nela exige do músico bastante técnica, pela dificuldade encontrada na localização das notas. O tipo de violão que possui esse cutaway é chamado de “Folk” e normalmente possui cordas de aço.
Figura 8 – O violão da esquerda é um Folk e o da direita é um tradicional.
O interesse por gestos na luteria está relacionado também a questões ergonômicas, pois os mesmos são ações que controlam os instrumentos musicais, com gestos naturais, trazendo mais facilidade e conforto para o músico. Um instrumento que ofereça maior conforto vai proporcionar uma experiência prática mais agradável, permitindo melhor interação e menor cansaço físico.
Esta preocupação acontece não só na criação de instrumentos acústicos, mas principalmente na luteria digital. Enquanto os instrumentos acústicos tentam evoluir em qualidade física e timbrística, os instrumentos digitais vêm ganhando espaço, evoluindo com a tecnologia e procurando recriar instrumentos acústicos pré-existentes, aperfeiçoando a maneira de
________________ 7
Cutaway – Abertura feita no corpo do instrumento, a partir do 12ª traste visando dar maior acesso, às ultimas casas do braço. É geralmente encontrado em guitarras ou violões folk.
16
interagir com eles ou criando modelos alternativos que busquem novas formas de controle de sínteses.
Em se tratando de simuladores de instrumentos, na luteria digital, eles recebem um tratamento diferente com relação aos gestos, pois herdam características sonoras dos instrumentos convencionais e automaticamente os gestos usados na sua manipulação. Por tanto, é necessário obter um grande repertório de gestos instrumentais, que sejam utilizados pelos músicos na prática dos instrumentos acústicos, a fim de ajuda-los a se adaptarem ao novo paradigma desses IMDs. Como comentado anteriormente, existem também os IMDs que não simulam instrumentos, mas manipulam síntese sonora e trazem em si um símbolo de inovação futurista. A maneira como o mapeamento de gesto é realizado, não possui regras pré-estabelecidas, já que é um instrumento novo, mas geralmente procuram-se estabelecer a partir de muitos experimentos, comandos intuitivos que possibilitem a fácil memorização.
Os IMDs não possuem padrão de tamanho físico ou forma, podendo ser desenvolvido para funcionar em iPads e Smartphones, softwares e sintetizadores que simulam teclados virtuais, violões, guitarras, contrabaixos e até mesmo bateria virtual. Eles utilizam sensores que interpretam comandos dados, permitindo novos tipos de interações. Nos computadores as possibilidades de criação de IMDs são inúmeras, visto a enorme capacidade de desempenho hoje encontrada nas maquinas, que são mais potentes do que muitos outros dispositivos. Com o uso dos computadores, os IMDs podem ser mais flexivelmente modificados através de samples, filtros e controles que geralmente possuem configurações ajustáveis. O seu uso no desenvolvimento de IMDs tem sido cada vez maior, inclusive criando interfaces que dispensem o uso do mouse ou teclado, visto não proporcionar uma interação tão agradável em IMDs. Muitos desses softwares são configuráveis para usá-los em conexão com sintetizadores ou controladores, tornando mais prático o acesso ao conteúdo sonoro na performance musical.
A partir desta analise, pode-se concluir que há muita tecnologia sendo empregada na criação de instrumentos digitais e essas tecnologias trazem novidades e recursos diversos que propõe ultrapassar limites encontrados nos
17
instrumentos convencionais acústicos, criando novas possibilidades, tanto de sonoridade, quanto de portabilidade do instrumento. Há instrumentos convencionais que são complicados de se transportar, por serem delicados ou de tamanho muito extenso, porém não necessariamente, um instrumento virtual, tem que parecer com o modelo do corpo de um acústico. JORDÀ (2005, apud WANDERLEY, 2010) nos fala que, com relação à interface de controle, esta pode, mas não precisa ser semelhante a instrumentos acústicos existentes.
18
4. Interfaces gestuais em computação
Baseando-se em interação humano-computador (IHC), Wanderley (2006) preconiza que sistemas de geração sonora controlados por gestos podem ser utilizados em vários contextos da interação musical; porém, o nosso trabalho se contextualiza na “manipulação instrumental”, que usa uma interface gestual para controlar parâmetros musicais em tempo real, similar ao que acontece na prática do instrumento convencional acústico ou elétrico.
Desenvolvedores de sistemas computacionais tem dado cada vez mais importância a estudos relacionados a gestos e movimentos do corpo (Corrêa et al, 2005). A motivação para isto é poder “herdar” um grande repertório de gestos que os seres humanos desenvolveram ao longo dos séculos fazendo com que a interação deles com o computador seja mais natural.
Pensando em como utilizar geração sonora no computador e levando em consideração que a performance de um músico é bastante relevante para a execução musical, necessitou-se criar dispositivos a base de sensores, que controlassem a geração sonora, conectados a computadores. Podemos chama-lo de “gestural controlers” termo que traduzido chama-se interfaces ou controladores gestuais. Zuffo (2001) nos diz que meios eletrônicos interativos são “O acervo tecnológico orientado ao relacionamento sensitivo (audição, visão e tato) entre o usuário e uma infraestrutura computacional”.
Conexões de interfaces gestuais, usadas em computadores viabilizando controle de processos musicais tiveram seu desenvolvimento iniciado nos anos 60, porém o conceito de instrumentos musicais eletrônicos, baseados em interfaces gestuais é bastante antigo (Wanderley, 2006). Tais conceitos abrangem instrumentos virtuais, técnicas de captura gestual, estratégia de mapeamento gestual, resposta sensitiva, etc.
Como já falado no capítulo 1, Leon Theremin criou um instrumento que apenas com o mover das mãos em torno de uma antena controlava a emissão sonora, exigindo muita técnica por parte do intérprete, no que se trata de precisão gestual. Assim aproximou o instrumentista do conceito de gesto sonoro e da nova relação com o instrumento.
19
A tecnologia que vem sendo empregada em interfaces gestuais tem nos dado possibilidades de interagir de diversas formas, permitindo a criação de cenários de uso cada vez mais sofisticados. Jordá (2005, apud PATRICIO, 2010) nos diz que:
Do ponto de vista da entrada, a cada vez mais ampla e crescente disponibilidade de tecnologias de detecção permite que virtualmente qualquer tipo de gesto físico ou parâmetro externo possa ser monitorado e digitalizado em um computador. [...] Nós ainda podemos golpear, atingir, pinçar, esfregar ou tocar com um arco, embora o performer não seja mais diretamente responsável pela transferência da energia necessária para o instrumento soar. Nós também podemos, obviamente, clicar, clicar duas vezes, digitar, apontar, arrastar, girar ou arrastar e soltar, mas podemos tentar fazer outras coisas também. (JORDÀ, 2005b, p. 25).
Os recursos disponíveis atualmente nos dão diversas possibilidades de projetos de uso de interfaces gestuais, por tanto, em nossos planejamentos devemos escolher objetivos funcionais e estéticos em cada projeto.
Em Wanderley (2010) vemos algumas interfaces manipuladas através de gestos, que podem ser consideradas instrumentos musicais virtuais ou podem servir para experimentos médicos. Como exemplo vemos a Hands, desenvolvida por Michel Waisvisz, que assemelha-se a uma luva de madeira, podendo manipular o som através de sintetizador ou modulador de frequência; O Continuum, desenvolvido por Lippold Haken, é uma interface sensível ao toque que controla processos musicais.
Além dessas interfaces, outros dispositivos foram desenvolvidos pelo
laboratório Input Devices and Music Interaction – IDMI da Universidade McGill
canadense: Gyrotyre baseado em uma roda de bicicleta é manipulado a partir de um manete acoplado a ela; Rulers feito com varias réguas metálicas pode ser tocado percutindo ou modulando as hastes para cima e para baixo; T-Stick uma interface em forma de bastão sensível ao toque em toda sua superfície;
T-Box a interface utiliza sensores de ultrassom para medir a distância das mãos
do músico. Todas as interfaces citadas à cima utilizam sensores e mostram algumas das muitas possibilidades em que interfaces gestuais podem ser utilizadas.
20
Dentre os centros de pesquisas brasileiros, na criação de instrumentos musicais digitais destacam-se o NICS (Núcleo Interdisciplinar de Comunicação Sonora) da Unicamp, que através do LIGA (laboratório de interfaces gestuais) estuda instrumentos eletrônicos e o desenvolvimento de interfaces que usam a dinâmica do corpo no espaço para produzir eventos acústicos e visuais. Um dos exemplos de interface gestual desenvolvida pelo LIGA é o tapete interativo, que ao ser tocado com os pés gera uma sequência (Mialichi e Manzolli, 2002) sonora; e o LSI (Laboratório de Sistemas Integráveis) da Escola Politécnica da USP, estuda trabalhos colaborativos e educação apoiada por computador. Um exemplo de interface desenvolvida por eles é o teclado virtual, que rastreia movimentos que são feitos a partir das mãos em uma folha de papel sulfite (Pansa, Augusto e Neto, 2004).
(Wanderley, 2010) Fatores ambientais podem afetar os instrumentos acústicos, mas quando se trata de interfaces digitais a possibilidade de interferências é maior, uma vez que a maioria dos sensores utilizados são infravermelhos e dispositivos eletromagnéticos, além de câmeras para captura de imagem.
De fato, um dos mais importantes passos na criação de um IMD [instrumento musical digital] é a passagem de um protótipo de laboratório a um instrumento que pode ser utilizado profissionalmente em vários ambientes externos ao laboratório onde este foi concebido. Esta questão é de vital importância em laboratórios têm-se normalmente ambientes controlados (luz, temperatura, ruído, etc.) O uso de um IMD fora do laboratório vai expô-lo a propriedades de ambientes que podem afetar seu funcionamento (WANDERLEY, 2010, p. 86).
A observação acima é fundamental para se evitar interferências nos sensores. Luzes e flashes de câmeras podem prejudicar o trabalho que se utilize de sensores de infravermelho, por exemplo; da mesma forma, interfaces com sensores magnéticos podem ser prejudicadas pela presença imprevisível de metais no ambiente. Entre esses detalhes, Wanderley (2010) conclui que os desenvolvedores de interfaces gestuais devem atentar para a flexibilidade, a ergonomia e as limitações de um instrumento virtual; ele ainda ressalta que:
[…] é necessário muito trabalho e dedicação para desenvolver novos instrumentos e técnicas de interpretação que
21
possibilitem a músicos explorar de forma satisfatória as infinitas possibilidades musicais oferecidas pela tecnologia digital (Wanderley, 2010, p. 93).
Algumas interfaces são desenvolvidas para entretenimento em games tentando criar um ambiente que cause maior imersão no contexto do jogo. Atualmente os controles joysticks estão perdendo espaço no mercado para interfaces que são controladas por gestos do usuário. Essas mesmas interfaces, apesar de terem sido criadas com a finalidade de controlar jogos, tem chamado a atenção de desenvolvedores que procuram utilizar os recursos oferecidos pelos hardwares, das maneiras mais criativas para a criação de Instrumentos musicais digitais (IMDs).
...osciladores, amplificadores e computadores não foram inventados para criar música; entretanto, e particularmente no caso dos computadores, suas funções são tão facilmente generalizadas, tão eminentemente transformáveis, que tem havido uma intenção de direcionar diferentes objetivos dos preestabelecidos: uma conjunção acidental criará uma mutação (Boulez, 1977).
Com as possibilidades que tais interfaces têm oferecido, o limite que se podem alcançar na produção musical é a imaginação, pois se o controle de uma interface é baseado em gestos humanos, serão enumeras as alternativas de controle.
Na área da computação, temos visto surgir uma certa tendência em pesquisas sobre interfaces gestuais e essas interfaces vêm sendo utilizadas para desenvolver projetos em diversas áreas. Apesar de terem sido criadas com outra finalidade, desenvolvedores têm feito uso delas em projetos de criação de IMDs, com tudo, temos percebido que os projetos desenvolvidos são utilizados apenas como amostras em sites de compartilhamento de vídeos, tais como o youtube8 e o Vimeo9. Dentre estás interfaces gestuais citaremos algumas das quais possuem maior relevância na área de desenvolvimento de aplicativos musicais.
________________ 8
<http://www.youtube.com/watch?v=uhr_0dm6Rp4> Acesso em: 20 Nov. 2012. 9
22 4.1. Interfaces Multi-toque
A tela multi-toque10 é uma tecnologia de interação que reconhece
múltiplos contatos simultaneamente e possibilita a manipulação de sistemas através do toque de algum objeto ou dos dedos. Essa tecnologia iniciou-se no ano de 1982 quando um grupo de pesquisa da Universidade de Toronto desenvolveu o primeiro sistema multi-toque. Mas o primeiro produto lançado com tal tecnologia foi um controlador MIDI de nome Lemur da JazzMutant.
Ao contrário de um teclado ou de um dispositivo de entrada de um único ponto como um mouse ou um touchpad tradicional, a tecnologia multi-toque permite aos usuários movimentos de pinças para zoom, rotações e outras ações que permitem uma interação mais rica, mais imediata com o conteúdo digital e dependendo da aplicação, também pode ser usada de forma colaborativa. Alguns dispositivos também reconhecem diferenças de pressão e temperatura. A tecnologia anteriormente encontrada nos touchpads proporciona hoje ao usuário a manipulação de ícones e outros conteúdos de forma direta.
Marinho (2010) afirma que interfaces “toque”, (do inglês
multi-touch) têm ganhado bastante popularidade no mercado. Devido ao grande
crescimento dessa tecnologia é comum encontra-la em dispositivos moveis. Seu crescimento também é atribuído aos aparelhos da Apple: iPhones e tablets
iPads. Porém atualmente ha muitos outros tablets e smartphones que utilizam
essa tecnologia. A aceitação do multi-toque no mercado de forma tão acelerada, apresenta-se como um desafio para indústria de software, que necessita adaptar-se a uma nova maneira de interagir, porém preservando características de usabilidade.
Abaixo seguem alguns dos mais relevantes modelos de interfaces multi-toque utilizados no desenvolvimento de aplicações musicais:
4.1.1. Tablet
Dispositivo em formato de prancheta, que possibilita visualização de imagens, textos, vídeos, áudios, web e entretenimentos com jogos. Incialmente apareceram no mercado com sistemas semelhantes aos de computadores
________________ 10
Disponível em:<http://pt.wikipedia.org/wiki/Ecrã_multitáctil>. Acesso em: 15 Nov. 2012.
23
pessoais (PCs), eram usados com o toque de uma caneta especial, mas só foram popularizados com o lançamento do Ipad da Apple.
Normalmente tem como dispositivo de entrada principal a tela sensível ao toque e é muitas vezes comparado a um computador, mas possui configuração inferior e as tarefas executadas são mais simples, apesar de ambos possuírem as mesmas funções. Os mais conhecidos tablets trazem em sua configuração sensores acelerômetros, conexões bluetooth, Wi-fi, GPS e memoria flash. Exemplo na figura 9:
Figura 9 – iPad (Tablet da Apple) 4.1.2. Smartphone
É um telemóvel com funções avançadas e tem como principais características: conexão com redes de dados para acessar a web, sincronização de dados com um computador pessoal e agenda de contatos ilimitada. O aparelho de ultima geração pode ter um espaço superior a 64 gigas e entre suas aplicações encontramos: filmadora, câmera digital, editores de texto, planilhas eletrônicas, acesso a redes sociais e centenas de outros aplicativos. Assim como os tablets alguns smartphones também trazem em sua configuração de hardware, sensores acelerômetros, conexões bluetooth, Wi-fi e GPS que são integrados a aplicativos instalados no dispositivo.
Assemelha-se muito a um tablete, pois além de sua grande capacidade, também possui como dispositivo principal de entrada uma tela touch. Seu uso no dia-a-dia é bastante conveniente, pois se integra com rapidez as atividades, profissionais e recreativas, tornando-o um acessório indispensável. O
24
smartphone é portátil e sua bateria pode ultrapassar a de um notebook ou até mesmo de um tablet.
As distribuições de sistemas operacionais mais utilizadas nos smartphones são: Android (Google), iPhone (Apple) e Windows Phone (Microsoft). Exemplo na figura 10:
Figura 10 – iPhone (Smartphone da Apple)
4.1.3 Mesa Multi-toque
A mesa multi-toque é um computador em forma de mesa, capaz de interagir com dispositivos colocados em sua superfície e com tela sensível ao toque. Utiliza um sistema de detecção de gestos e movimentos através de câmeras infravermelho. Algumas câmeras captam os comandos, que são interpretados e a imagem é mostrada na tela através de um sistema de projeção.
As mesas mais conhecidas são: a mesa Surface da Microsoft, que oferece uma tela de 30 polegadas sob uma tampa de plástico resistente. Permite que as pessoas toquem e movam objetos na tela para as mais diversas tarefas, de desenho digital a montar quebra-cabeças virtuais, passando por pedidos de comida no cardápio online de um restaurante ou um grupo de pessoas sentadas em torno da mesa poderá olhar as fotos armazenadas em uma câmera digital; e a Reactable, que como já citada anteriormente, é uma mesa redonda translucida com interface tangível. Utiliza vários blocos que combinam diferentes elementos como sintetizadores, efeitos
25
e loops, a fim de criar composições flexíveis. Vemos o exemplo de mesa multi-toque na figura 11:
Figura 11 - Reactable
A Reactable diferentemente das outras mesas multi-toque, foi feita exclusivamente para uso em atividades musicais.
4.2. Gamepad
É um tipo de controlador de jogos para videogames que é segurado com as mãos e utiliza os polegares para pressionar os botões de comando. Tradicionalmente possui do lado esquerdo um direcional de quatro posições
(D-pad) ou um direcional analógico, usado nos gamepads11 mais modernos, e
do lado direito ficam os botões de comando. Com o passar dos tempos os controles foram ganhando mais botões de comando, botões superiores (shoulder buttons), gatilhos (triggers) e outros mais, visto o aumento na complexidade dos jogos.
Percebemos que os jogos têm chegado ao mercado com gráficos cada vez mais sofisticados, trazendo novas possibilidades de interação para o usuário, na pretensão de tornar os jogos ainda mais realisticos, e para isso, os
gamepads também vão sendo modificados e as a interfaces gestuais vão
transformando o modo tradicional de jogar, inserindo gestos naturais no repertório de comandos dos jogos.
Dentre os gamepads citamos alguns dos mais utilizados no desenvolvimeto de aplicações músicais.
________________ 11
26 4.2.1. Wii Remote
Lançado pela Nintendo no fim de 2006, seu formato diferente lembra um controle remoto comum, principalmente pela maneira que é manejado na posição vertical. O controle possui 8 botões dentre eles um power e um Trigger
button, além do directional pad. Não há opção de Wii Remote com fio, sua
conexão é feita através de bluetooth e é alimentado por duas pilhas comuns.
Outros acessórios podem ser conectados ao Wii remote, um deles é o NumChuck, desenhado para caber perfeitamente na mão do usuário e possui dois botões sendo um deles Trigger button, além de um direcional analógico. Os dois controles possuem sensores acelerômetros que medem aceleração e inclinação em uma ou mais dimensão, reconhecendo movimentos em três eixos X, Y e Z. Traz a possibilidade de uso com IR (Infravermelho), caso o usuário adquira um sensor bar. Um outro acessório é o Wii MotionPlus, que garante maior desempenho ao hardware tornando os comandos em tempo real. O dispositivo aumenta a precisão dos movimentos e o jogador pode utilizar um giroscópio, além dos acelerômetros já existentes, tornando a reprodução dos movimentos mais fieis.
O Wii Remote é o coração do Wii e é nele que se encontra todo o discurso da Nintendo que fala sobre o jeito revolucionário de jogar. Possui um sistema de vibração e um pequeno autofalante que ajuda na interação com alguns movimentos que provocam ruídos, como o choque entre espadas.
Figura 12 - NumChuck à esquerda e Wii remote à direita com Wii MotionPlus conectado em
27 Figura 13 - Alguns gestos que podem ser captados pelo Wii remote.
4.2.2. PlayStation Move
Fabricado pela Sony Computer Entertainment e lançado em 2010, é um controle para PlayStation 3 baseado em gestos. Quando comparado ao wii, que possui muito mais tempo no mercado, ele é mais preciso nos movimentos e na orientação.
A grande novidade deste acessório está na esfera luminosa e sua função principal é fornecer a posição do acessório num espaço tridimensional. O controle possui um sistema que é capaz de mudar a esfera em uma grande variedade de cores, de acordo com o ambiente utilizado, criando contraste para melhor distinção. Seu funcionamento se da em conjunto com uma câmera “Playstation Eye” (evolução da EyeToy) mostrada na figura abaixo, que reconhece a esfera e determina a distância em que ela se encontra da câmera em função de seu tamanho relativo.
28
O dispositivo possui em seu interior sensores inerciais do tipo acelerômetro e de velocidade que são utilizados para controlar movimento rotação e movimento global. Possui ainda um magnetômetro que serve para calibrar a orientação contra o campo magnético da terra, ajudando a corrigir erros dos sensores inerciais. Os sensores de inércia são utilizados também para cálculo de posição, quando a câmera não for suficiente.
Assim como o Wii Remote, o Move possui um controle suplementar
chamado de “PlayStation Move Controlador de Navegação” e é usado para
auxiliar em alguns tipos de jogos.
4.3. Câmeras de Detecção de profundidade
Entre as tecnologias que vem sendo utilizadas no desenvolvimento de interfaces gestuais, as câmeras de detecção de profundidade têm sido utilizadas na criação de diversas aplicações, desde instrumentos musicais, até salas de cirurgia, criando novas maneiras de executar tarefas dispensando a necessidade de contato físico com o instrumento de trabalho.
Para a detecção de profundidade podem ser utilizadas algumas combinações de equipamentos diferentes, como: câmera e sensores de profundidade, câmera e sistema de captura de imagens digitais ou ainda câmeras 3d. Entre as câmeras de detecção de profundidade citamos a interface que mais vem sendo utilizada em aplicações musicais.
4.3.1. Microsoft Sensor Kinect
A mais diferente das interfaces de controle para jogos, desenvolvida para console de videogame de 7ª geração, não possui características de um gamepad tradicional e trouxe mudanças de paradigmas na interação, que faz o usuário imergir literalmente no cenário do jogo.
Desenvolvida pela empresa de tecnologia Microsoft, a interface é um
dispositivo de entrada usado primeiramente no Xbox 36012. Um sensor de
movimento que permite ao usuário manipular parâmetros sem precisar de controles. Foi anunciado pela primeira vez no fim do primeiro semestre de 2009 sob o codinome "Project Natal". Possui por volta de 23 centímetros de
________________ 12
29
comprimento e vem equipado com: câmera RGB (Red, Green e Blue) que permite o reconhecimento da face; sensor de profundidade, que permite o escaneamento do ambiente em 3 dimensões; microfone embutido, que consegue captar vozes e diferenciar ruídos externos; processador e software próprio; e pode detectar 48 pontos de articulação do nosso corpo. Suporta aplicativos criados com C + +, C # ou Visual Basic
No ano de 2011 foi lançado o SDK (software development kit) para Windows 7, que incluía em seus recursos: fluxos de sensores raw, rastreamento esquelético, recursos avançados de áudio e exemplos de código
e documentação13.
Figura 15 - Dispositivo Kinect
No segundo semestre de 2012 foi lançado um novo SDK14 do Kinect para Windows que trouxe ferramentas e varias melhorias, dentre elas estão: o fluxo de infravermelho está agora exposto na API (Application Programming
Interface), o que fornece aos desenvolvedores um espectro mais amplo de
cenários de testes; aumento da distância necessária para leitura de dados para além de 4 metros; as configurações de cor da câmera agora podem ser
otimizadas para o seu ambiente;os dados do acelerômetro do sensor também
estão expostos na API, isto permite a detecção da orientação do sensor; novo pacote de idioma para reconhecimento de voz; e novas APIs para converter dados entre espaços de coordenadas: cor, profundidade, esqueleto.
________________ 13
Disponível em: <http://en.wikipedia.org/wiki/Kinect> - Acesso em: 05 ago. 2012. 14
Disponível em:<http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspx> - Acesso em: 15 Nov. 2012.
30
Apesar de tanta tecnologia empregada no desenvolvimento de interfaces gestuais e na criação de novos instrumentos musicais, por que não é com frequência que vemos músicos profissionais utilizando essas tecnologias em performances musicais? Por que a maioria dos músicos não usam essas novas interfaces? Talvez a tecnologia de interfaces gestuais que vem sendo desenvolvida, seja apenas supostamente ligada à música. Mas porque não é ligada a música?
Há diversas questões que podem ser discutidas em relação às limitações encontradas no uso de interfaces gestuais para IMDs, mas não iremos tratar esse problema de forma muito ampla, pois esta pesquisa não é na área de antropologia. Vamos analisar apenas os problemas técnicos. A análise será feita identificando o que são limitações de hardwares e limitações de algoritmos.
31
5. Gestos Primitivos e Limitações Técnicas
Para entendermos como e quais gestos são utilizados na prática dos instrumentos musical, analisaremos cientificamente como se dá o processo de articulação de movimentos baseando-se na anatomia humana.
5.1. Anatomia Humana
Podemos Definir o Corpo humano como uma composição de esqueletos, músculos, gordura e pele. E o esqueleto possui cerca de 200 ossos conectados por articulações, constituindo a base de toda forma da superfície do corpo Korein (1982, apud MACIEL, 2001). Uma articulação é a união entre dois ou mais ossos e permite sua movimentação, porém nem todas as articulações são moveis. Nas que são moveis a movimentação acontece entre um ou mais eixos ou ainda em um plano entre os ossos Sheepers (1996, apud MACIEL, 2001).
5.1.1. Classificações das Articulações (Juntas)
As articulações fazem conexões entre estruturas e os seus segmentos movimentam-se conforme a articulação lhe permite. Silva (1998, apud JUNIOR, 2004) nos diz que:
Uma estrutura articulada consiste de um conjunto de segmentos conectados por articulações (juntas) que irão formar um vínculo geométrico entre segmentos consecutivos. Nestas estruturas, cada segmento pode girar em torno de sua respectiva articulação segundo uma direção de rotação ou translação permitida pela mesma, sendo que a estes movimentos denominamos graus de liberdade (DOFs –
Degrees of Freedom).
Conforme Maciel (2001) As articulações humanas podem ser divididas de acordo com sua mobilidade em:
32 Figura 16 – Tipos de articulações
A. Articulações Sinartroses
Apesar de serem consideradas imóveis, são muito importantes porque elas têm a capacidade de responder a forças aplicadas, dessa forma podendo absolver choques.
B. Articulações Anfiartroses
Tem movimento bastante limitado, mas são excelentes para absorção de choques, pois sua camada cartilaginosa fornece um bom amortecimento separando ou aproximando os ossos.
C. Articulações Sinoviais ou Diartroses
Dentre os tipos de articulações, as Diartroses são as que interessam a essa pesquisa, pois representam o tipo de articulação mais comum encontrado nos estudos de movimentos humanos.
33
Elas podem ser classificadas em:
Simples – Possui duas superfícies articulantes. Exp.: Quadril, Tornozelo
Composta – Com três ou mais superfícies articulantes. Exp.:
Pulso
Complexa – Com mais de duas superfícies articulantes e disco cartilaginoso (joelho) ou fibrocartilagem (clavícula).
Além destas, podemos também classifica-las de acordo com forma e tipo de movimento:
Deslizante, Planar ou Artródia – Esses tipos de Juntas permitem o uso de movimentos de translação e rotação moderados de osso contra osso. As superfícies articulares são geralmente planas e pequenas e deslizam umas sobre as outras. São permitidos seis graus de liberdade de movimento, porém, todos com muito pouca amplitude. Exemplos de articulações planares estão entre os ossos do carpo (na mão), do tarso e do metatarso (no pé).
Uniaxial – As juntas deste tipo são caracterizadas pela presença de apenas um eixo de rotação no movimento (um grau de liberdade). Dois subtipos podem ser considerados:
Pivô – Apresenta movimento angular em torno do eixo dado pelo
comprimento de um, permitindo que um osso gire em relação ao outro osso onde o eixo é paralelo aos ossos (antebraço).
Dobradiça ou Ginglímo – uma junta deste tipo permite rotação em
torno de um eixo perpendicular ao comprimento dos ossos envolvidos. É limitada à flexão e extensão (cotovelo).
Biaxial – Permite movimentação em torno de dois eixos, o que caracteriza a presença de dois graus de liberdade no movimento.
Conforme sua geometria de encaixe pode ser dividida em três subgrupos: