Uma ferramenta para a educação musical dos surdos

Faculdade de Engenharia Elétrica e de Computação

ERIVAN GONÇALVES DUARTE

UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

CAMPINAS 2017

UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

Dissertação apresentada à Faculdade de Engenharia Elétrica e de

Computação da Universidade Estadual de Campinas como parte dos requisitos exigidos para a obtenção do título de Mestre em Engenharia Elétrica, na área de Engenharia de Computação.

Supervisor/Orientador: TIAGO FERNANDES TAVARES Co-supervisor/Co-orientador: ALFONSO MEAVE ÁVILA

ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DISSERTAÇÃO DEFENDIDA PELO ALUNO ERIVAN GONÇALVES DUARTE, E ORIENTADA PELO PROF. DR. TIAGO FERNANDES TAVARES

CAMPINAS 2017

Candidato: Erivan Gonçalves Duarte RA: 070741

Data da Defesa: 22 de novembro de 2017

Título da Tese: UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

Prof. Dr. Tiago Fernandes Tavares (Presidente, Faculdade de Engenharia Elétrica e Computação/UNICAMP)

Profa. Dra. Lucia Helena Reily (Faculdade de Ciências Médicas/UNICAMP) Profa. Dra Paula Dornhofer Paro Costa (Faculdade de Engenharia Elétrica e Computação/UNICAMP)

A ata de defesa, com as respectivas assinaturas dos membros da Comissão Julgadora, encontra-se no processo de vida acadêmica do aluno.

Esta investigação me proporcionou conhecer um mundo novo. Um mundo repleto de novas ideias e também de pessoas que fizeram dessas descobertas algo especial.

Agradeço imensamente meus pais por sempre me apoiarem e me incentivarem ao aprendizado. A Ediane, David e Davi, bem como toda minha família.

Meus melhores amigos: Toso, Tatu, Diego e Robim. Uma alegria ter essa amizade. Aos amigos Gerson Abdala e Márcia Nepomuceno pela ajuda e experiências compartilhadas nesse processo.

Meu amigo e professor de sempre Alexandre Santos, sempre me indicando por onde ir.

Meus orientadores: Tiago Tavares, obrigado por essa disposição e alegria em fazer as coisas. Alfonso Meave Àvila, obrigado pela recepção, dedicação e por me mostrar novos rumos.

Aos professores Felipe Orduña Bustamante, Jônatas Manzolli, Romis Ribeiro de Faissol Attux e Suzel Ana Reily por me apresentar novos caminhos.

A todas as pessoas com quem convivi e trabalhei no Cepre (Centro de Estudos e Pesquisas em Reabilitação “Prof. Dr. Gabriel O. S. Porto” Unicamp). Agradeço todos os funcionários e professores do Cepre. Em especial a Prof.ª Lucia Reily, obrigado por todo esse aprendizado e por me receber tão bem. Agradeço às interpretes Andrea Rosa, Rosemeire Desidério e Sonia Cristina Bianchi que realizaram um trabalho fundamental para o desenvolvimento dessa pesquisa. Agradeço a todos os alunos que contribuíram para a realização desta pesquisa.

A Prof.ª Paula Dornhofer Paro Costa, por aceitar participar da minha banca, pela dedicação em participar e opinar.

Ao IEEE Women Engineering South Brazil Section (IEEE WIE Unicamp) por apoiar a pesquisa de campo realizada nesta pesquisa.

A Rede de Macro Universidades da América Latina e do Caribe e a Universidade Nacional Autônoma do México por permitir ampliar os horizontes deste trabalho.

Por fim, agradeço a todos os amigos e pessoas que estiveram comigo e muito contribuíram durante esse tempo de investigação.

As pessoas surdas têm sido excluídas da educação musical. Isso acontece devido ao fato de as atividades musicais serem focadas no desenvolvimento do sentido da audição. Como consequência, eles não podem participar em atividades musicais, que promovem coordenação motora, desenvolvimento emocional e sociabilidade. No entanto, a participação nessas atividades pode se basear em sentidos diferentes da audição, como visão e toque. Neste trabalho, nós propomos e avaliamos o uso de elementos hápticos e visuais para educação musical. Esses elementos são gerados a partir de um mapeamento em tempo real de características de áudio extraídas de um microfone. O uso de mapeamento em tempo real permite interações musicais entre surdos e ouvintes. Esses mapeamentos foram incorporados em um aplicativo e usados em oficinas de música oferecidas a um grupo de crianças e adolescentes surdos. Como resultado, os participantes dessas oficinas desenvolveram habilidades de perceber e produzir ritmos, tocar instrumentos virtuais e participar em práticas musicais coletivas. Dessa forma nossa proposta é um potencial auxílio na promoção da educação musical para pessoas surdas.

Deaf people are often neglected in music education. This happens because musical activities are often focused on the development of the sense of hearing. As consequence, they do not participate in musical activities which also foster motor coordination, emotional growth and sociability. However, the participation in such activities can rely on senses other than hearing, like sight and touch. In this study we propose and evaluate the use of visual and haptic cues for music education. These cues are generated from the real-time mapping of audio features extracted from a microphone stream. The real-time aspect of the mapping allows musical interactions between deaf and non deaf people. These mappings were incorporated into a mobile app and used in music lessons offered to a group of deaf children and adolescents. As a result of these lessons, participants developed perception of sound and produced rhythms, playing virtual instruments and participating in a collective musical practice. Therefore our proposal is a potential aid on the promotion of music education for hearing impaired people.

INTRODUÇÃO

CAPÍTULO 1: CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃO MUSICAL E SURDEZ

1.1 Música não é feita somente de sons …...………...……..………. 1

1.2 Música é uma capacitação humana ...……….….……..……….. 5

1.3 Valores da educação musical ………...….………...………... 8

1.4 A relação entre as pessoas surdas e a música …….…….………..… 11

CAPÍTULO 2: TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS DE PESSOAS SURDAS 2.1 Música como uma experiência multissensorial ………...………..….…. 15

2.2 Representações multimodais para música ……..…………....……...……….…... 18

2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados às pessoas surdas .20 CAPÍTULO 3: DESENVOLVIMENTO TECNOLÓGICO PROPOSTO 3.1 Proposta de criação de dispositivo tecnológico direcionado às pessoas surdas …21 3.2 Desenvolvimento do aplicativo ………....………...……….. 23

3.2.1 Análise: definição de usuário, requisitos e necessidades …………..…. 23

3.2.2 Desenho ………..……… 25

3.2.3 Descrição da interface ……….………...……….…..………. 33

3.3.4 Descrição do funcionamento do aplicativo ………...…………...…….. 42

CAPÍTULO 4: USO E AVALIAÇÃO DO APLICATIVO 4.1 Oficinas de música com o uso do aplicativo ……..……….………..……... 44

4.3 Avaliação do aplicativo em oficinas de música com participantes surdos ………47

4.3.1 Aplicação e análise do questionário ……...…..…..………….………... 47

4.3.2 Oficina 1 ………..……….……….…. 49

4.3.3 Oficina 2 ………..………...…..……….……. 51

4.3.4 Oficina 3 ………..………….……….…. 53

4.3.5 Oficina 4 ………..……….……….…. 54

4.3.6 Oficina 5 ………...………..………..……….. 54

4.3.7 Conclusões a respeito do uso do aplicativo nas oficinas ……...…….… 55

4.4 Avaliação do aplicativo por estudantes de música ….……..………. 56

4.4.1 Questionário ………..………...……..………. 56

4.4.2 Análise dos questionários ………..………. 59

CAPÍTULO 5.CONCLUSÃO ……….………..………...………….…………. 66

REFERÊNCIAS BIBLIOGRÁFICAS ……….……...…… 70

APÊNDICES Apêndice A - Questionário aplicado aos participantes das oficinas ……...……..………….. 73

Apêndice B - Planejamento das oficinas ……….……….75

Apêndice C - Descrição/roteiro da avaliação realizada com estudantes de música …….…... 83

Apêndice E - Questionário aplicado aos estudantes de música ……….…... 86

ANEXO Perfil dos participantes das oficinas ………..………..… 92

INTRODUÇÃO

Hoje em dia, muitas pessoas acreditam que a musicalização de pessoas surdas é impossível. Essa impossibilidade é percebida porque há uma sobrevalorização do aspecto auditivo da música. Como consequência dessa percepção, pessoas surdas são usualmente excluídas de ambientes de educação musical, o que as leva à exclusão em atividades que proporcionam o desenvolvimento da coordenação motora, integração social e realização pessoal.

Neste trabalho, desenvolvemos um dispositivo tecnológico visando a proposição de uma experiência musical às pessoas surdas. Esse dispositivo foi aprimorado em oficinas de música junto a crianças e adolescentes surdos. Nessas oficinas, trabalhamos elementos básicos dentro da educação musical, como o ritmo, a melodia e a prática musical em conjunto. Essa proposta se baseia em um estudo interdisciplinar envolvendo computação, neurociência, etnomusicologia, música e educação musical. A Figura 1 apresenta a divisão dos tópicos abordados no trabalho.

Figura 1: Divisão dos tópicos abordados neste trabalho.

A Seção 1.1 nos apresenta uma discussão interpretando música como um fenômeno que vai além do som. A argumentação mostra que características musicais básicas como ritmo e melodia não estão ligados a conceitos intrínsecos ao som, como tempo e frequência; em vez disso, estão ligados à interpretação de quem os recebe ou da intenção de quem os produz.

A Seção 1.2 conduz uma reflexão etnomusicológica a respeito da importância da música na vida do homem, mostrando sua importância no desenvolvimento e integração

social. Essa reflexão permite concluir que implementar ferramentas que propiciem o contato das pessoas surdas com a música é de grande importância na inclusão, bem-estar e desenvolvimento dessas pessoas. Nessa seção, também apresentamos questionamentos a respeito da musicalidade do homem e como isso nos influenciou ao pensar a musicalidade das pessoas surdas.

A Seção 1.3 apresenta os valores da educação musical que são referência para o desenvolvimento e avaliação das oficinas de música.

A Seção 1.4 discute o papel da música na vida das pessoas surdas, mostrando que há pessoas surdas interessadas em música. Essas pessoas têm criado uma cultura musical surda que se caracteriza pelo uso da língua de sinais para comunicar suas experiências, além do uso de imagens e vibrações como elemento de interação com o som. Aponta também aspectos relacionados à educação musical de surdos, mostrando que atualmente a educação musical tem evoluído no sentido de inclusão do aluno surdo a partir de formas alternativas de percepção e o desenvolvimento de ferramentas tecnológicas que facilitem essa percepção.

A Seção 2.1 mostra que não há impedimentos neurológicos para a experiência musical de pessoas surdas, já que ela está ligada também a outros modos de percepção. Desta forma, as pessoas surdas podem ter acesso à música a partir de outras características inerentes ao som, como a vibração e a imagem.

A Seção 2.2 discute iniciativas artísticas envolvendo mapeamentos entre som, imagem e vibração, mostrando que é possível criar significados artísticos e culturais por meio de manifestações multimodais.

A Seção 2.3 apresenta dispositivos tecnológicos direcionados especificamente a proporcionar experiências musicais aos surdos e as seções 3.1 e 3.2 apresentam nossa proposta de desenvolvimento de um dispositivo tecnológico portátil direcionado às pessoas surdas e sua forma de utilização. Nas seções do Capítulo 4 descrevemos o uso do aplicativo e as atividades trabalhadas nas oficinas de música com pessoas surdas, bem como os resultados e análises dos processos de avaliação do dispositivo. Por fim, o Capítulo 5 apresenta nossas conclusões delineando possíveis trabalhos futuros.

CAPÍTULO 1. CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃO MUSICAL E SURDEZ

1.1 Música não é feita somente de sons

Kania [1] afirma que comumente consideramos música aquilo que nos é familiar e expandimos nosso conceito a partir do contato com novas peças musicais ou peças de culturas ou tradições que não nos são familiares. Segundo o autor, não existe um consenso universal sobre o que é música. O autor afirma que sons são necessários, mas não são uma condição suficiente para música, uma vez que sons ocorrem ao redor do mundo o tempo todo e poucos deles são música.

Kania [1] adota uma postura filosófica que pretende estabelecer condições necessárias e suficientes para chegar a uma definição de música. Essa definição não é necessariamente igual, por exemplo, às definições da teoria musical.

O autor propõe reflexões a respeito de estratégias que poderiam ser uma base para se definir música. Uma estratégia possível seria recorrer às propriedades intrínsecas do som, no entanto, em música mesmo conceitos físicos como frequência e tempo estão ligados a notas e ritmos que são elementos variáveis e que podem apresentar uma ampla gama de definições e interpretações. Poderíamos também recorrer à subjetividade, indicando que qualquer som percebido por um ouvinte como música, o é independente de suas propriedades intrínsecas. Essa definição apresenta a exigência de um observador para que a música exista e com isso pode excluir certas manifestações culturais do universo musical devido a julgamentos de determinados ouvintes. Outra estratégia possível é recorrer à intencionalidade que sugere que o traço definidor da música está na intenção de quem a produz. Dessa forma, podemos considerar tanto uma gravação quanto uma apresentação musical ao vivo como elementos musicais igualmente válidos, no entanto pode trazer problemas no que se refere ao conceito de intencionalidade ao se considerar, por exemplo, a “música” feita por animais ou computadores.

A princípio cada uma das estratégias isoladas poderia ser usada para criar uma definição, no entanto, cada uma delas apresenta pontos desfavoráveis. Isso leva o autor a considerar os elementos em conjunto para chegar a uma definição mais ampla de música.

Kania [1] aponta que em muitas definições o som é um elemento central, no entanto há muitos elementos extrassonoros em jogo, como, por exemplo, instrumentos musicais, partituras, performances e até mesmo o silêncio. Aponta a existência de um conceito central (um evento musical) a partir do qual podemos definir outros conceitos. Um instrumento musical, por exemplo, pode ser uma ferramenta cuja função é produzir eventos musicais. Também aponta que o tratamento mais promissor é adotar uma definição intencional em que a música está ligada a intenção da pessoa que é responsável pelo fazer musical. Assim o que distingue os sons musicais dos outros é que eles são musicais por intenção de alguém.

Dessa forma, o autor passa por definições provisórias antes de chegar a uma definição final para música. Em sua primeira definição provisória aponta que: Música é (1) som (2) intencionalmente produzido ou organizado, (3) tendo no mínimo uma característica musical básica, tal como altura ou ritmo. No entanto, é possível encontrar músicas que não apresentam nenhuma dessas características básicas ou que podem ser contestadas com relação a intencionalidade de sua produção como, por exemplo, Williams Mix (1952) de John Cage ou Yoko Ono’s Toilet Piece/Unknown (1971). De outro lado temos sons com características musicais inegáveis, mas produzidos sem a intenção que essas características sejam atendidas, tais como “Muzak” ou “Don Juan wake-up call”.

Dessa forma sua segunda definição provisória, considera que música é (1) som, (2) intencionalmente produzido ou organizado (3) quer (a) tenha alguma característica musical básica, como altura ou ritmo, ou (b) para ser escutado a partir de tais recursos. Assim se considera a escuta como uma forma de interpretação, ou seja, o ouvinte escuta características que não estão explícitas na peça.

A partir da consideração do uso do silêncio em música o autor substitui “som” por alguma coisa intencionada a ser escutada. Dessa forma sua definição final aparece da seguinte

forma: música é (1) algum evento intencionalmente produzido ou organizado (2) para ser escutado (3) quer (a) tenha alguma característica musical básica, como altura ou ritmo, ou (b) para ser escutado a partir de tais recursos.

A definição final de Kania [1] nos mostra a importância da intenção na produção musical e da escuta na percepção, além da flexibilidade com relação ao emprego das características musicais básicas. Como veremos nos tópicos posteriores a definição nos permite guiar nas questões de que elementos musicais devem ser incluídos na prática musical e consequentemente no desenvolvimento tecnológico que estamos considerando. Além disso nos faz pensar no papel da escuta e sua subjetividade, na importância da intencionalidade, além de mostrar que, além do som, música está permeada por muitos outros elementos, muitos deles com caráter extrassonoro.

Neste trabalho, elementos como imagens e vibrações são usados para comunicar significados musicais. Eles permitem gerar elementos intencionalmente produzidos para ser escutados, como mencionado na definição final de Kania [1]. Consideramos que esses elementos podem representar características musicais básicas como ritmo e altura. Um ritmo, por exemplo, pode ser percebido a partir de uma sequência de imagens apresentadas em intervalos de tempo. Uma melodia, por sua vez, pode ser identificada a partir de um conjunto de vibrações que se organizam em intervalos de tempo variáveis. Portanto, esses elementos físicos permitem a comunicação de significados musicais e, assim, a possibilidade de interpretação musical e interação com outras pessoas.

1.2 Música é uma capacitação humana

A música está presente na maioria das situações da vida, proporciona troca entre diferentes culturas, revoluciona costumes, permite a comunicação entre as pessoas e pode suscitar emoções e alterações de humor.

De acordo com Turino [2], a música se refere a distintos tipos de atividades que satisfazem diferentes necessidades do ser humano. Ele argumenta que a participação e experiência musical são valiosos para o processo de integração pessoal e social que nos torna completos. Blacking [3] aponta que a música está em tantas partes do mundo que seria

razoável supor que, assim como linguagem e religião, é uma espécie de traço do homem, produto do comportamento de grupos humanos.

Turino [2] argumenta que a participação e experiência musicais são valiosos para o processo de integração do sujeito à sociedade ou comunidade. Ele aponta que as artes são centrais à evolução e sobrevivência humana; práticas culturais públicas como música e dança são uma forma primária de as pessoas articularem identidades coletivas, elementos fundamentais na formação e sustentação de grupos sociais que são, por sua vez, básicos à sobrevivência. O autor afirma que as performances artísticas são frequentemente sustentáculos de identidade, permitindo às pessoas se sentirem parte da comunidade por meio da realização de um conhecimento cultural compartilhado e do ato de participarem juntos na performance. Turino recorre às ideias do cientista e antropólogo Gregory Bateson para apresentar o potencial evolutivo da arte. Para Bateson a arte é uma forma diferente de comunicação que tem uma função integrativa – integrando e unindo membros de grupos sociais, mas também integrando sujeitos individualmente e com o mundo. Ele sugere que artistas se comunicam por meio da apresentação de formas e padrões que servem como mapas integradores de sensações, imaginação e experiências e que é por meio destes padrões que nós estamos mais profundamente conectados ao mundo natural.

Atualmente é muito comum as pessoas encararem a música como um objeto ou um produto que pode ser de propriedade de seus criadores por meio de direitos autorais e comprada por consumidores. Turino [2] argumenta que no processo de industrialização da música observamos uma mudança gradual de pensamento de música como um fazer social para a música como objeto. No entanto, ainda encontramos muitas atividades em que a música está ligada ao fazer e à interação social, como dançar, cantar na igreja ou tocar com os amigos apenas por diversão. Muitas dessas atividades podem ser definidas como performances musicais participativas, isto é, um tipo de performance com alto potencial para a interação entre as pessoas e no qual não há distinção entre audiência e artista. Na performance participativa, somente participantes e potenciais participantes desempenham papéis e o objetivo é envolver o maior número de pessoas em algum papel. A ideia de participação é pensada no restrito sentido de contribuição ativa a um evento musical através de palmas, dança, canto e tocar um instrumento musical, cada uma destas atividades é considerada integral à performance, ressaltando que sons e movimentos estilizados são conceitualmente importantes como intensificadores da interação social.

Esse conceito contrapõe a ideia de atividade musical em que uma pessoa se apresenta enquanto as outras observam. Na atividade musical participativa, todos têm um papel na produção da música. A ideia de que somente quem tem um dom musical pode produzir música ou tocar um instrumento é deixada de lado. Todos contribuem, cada um à sua maneira, para formar o todo. A atividade participativa permite a participação e integração de pessoas com diversos níveis de conhecimento, e, frequentemente, a união de várias participações simples leva a resultados sonoros bastante intrincados.

No fazer musical participativo, a atenção principal recai sobre a atividade, sobre o fazer e sobre os outros participantes, opondo-se ao foco sobre o produto final que resulta da atividade que acontece na performance clássica. No entanto, a qualidade do som e movimento é muito importante para o sucesso da performance, por que inspira grande participação entre aqueles presentes. Qualidade é também aferida por como os participantes se sentem durante a atividade. O resultado é que música participativa leva à concentração das pessoas umas sobre as outras e na atividade em si.

Turino [2] aponta elementos necessários para que uma atividade possa gerar o envolvimento dos participantes. Esses elementos foram considerados no processo de desenvolvimento e uso da ferramenta que estamos propondo:

 Como o nível de habilidade do sujeito aumenta, o desafio deve aumentar para que o balanço seja mantido.

 A atividade deve ter uma constante possibilidade de expansão dos seus desafios.

 A atividade precisa conter o potencial para imediato feedback sobre a forma como está sendo feita, que, novamente, mantém a mente focada sobre a atividade realizada.

 A atividade deveria claramente ser delimitada por tempo e lugar de modo que os participantes possam se concentrar inteiramente naquilo que estão fazendo

 Objetivos bem estabelecidos são alcançados com espaço e tempo limitados e em relação ao balanço entre habilidades e desafio.

Podemos pensar também nos elementos que são utilizados para fazer música e como se dá a avaliação de uma atividade musical ou o desempenho musical de uma pessoa. Blacking [3] considera música como o som humanamente organizado, numa relação entre padrões de organização humana e padrões de sons produzidos como resultado da interação humana. Esta ordem pode ser criada como resultado de processos extramusicais, tais como a seleção de buracos em uma flauta ou trastes em um instrumento de corda. Com relação à avaliação da musicalidade do homem, Blacking [3] aponta que devemos conhecer quais sons e que tipo de comportamento determinada sociedade escolhe chamar de musical. A música deve ser recebida por sujeitos que compartilhem, ou possam compartilhar de alguma forma das mesmas experiências culturais e individuais de seus criadores. Dessa forma podemos pensar, por exemplo, que testes de habilidade musical (tais como exames de canto lírico) são relevantes somente em culturas cujo sistema musical é representado pelo teste. Por consequência, um músico de sucesso formado dentro da cultura e paradigma da música ocidental erudita clássica pode não ter sucesso dentro da prática musical de tribos xamânicas. Essas questões nos levaram a propor um trabalho de desenvolvimento tecnológico que esteja em constante contato com o público-alvo para conhecer suas práticas culturais e formas de interação musical.

Assim a prática musical é de grande importância ao homem. Ela se baseia na organização humana dos sons, ressaltando o papel das interações humanas e influência da estrutura psíquica de cada indivíduo. Diferentes sociedades apresentam práticas culturais características, que servem como elemento agregador da vida em sociedade, além de contribuir também para o desenvolvimento interno do sujeito. Mesmo dentro de um mesmo país, cidade ou bairro podemos encontrar diversas formas de prática musical. Isso nos leva a pensar se as pessoas surdas poderiam construir sua própria forma de prática musical, serem incluídos em práticas musicais já existentes ou aulas de educação musical. Nesse caso, quais seriam os elementos importantes na sua manifestação musical ou inclusão? Como eles articulariam estes elementos em atividades musicais? A exploração de processos extramusicais pode ser um caminho para sua prática musical? Quais seriam esses processos?

A adoção de uma performance participativa poderia ajudar no desenvolvimento da sua prática musical?

Como vimos a música tem um papel importante na vida do homem; isso nos leva a pensar na importância em se incluir as pessoas surdas em atividades musicais e como a música pode se tornar um elemento de integração pessoal e de integração social para pessoas ou grupos de pessoas surdas. Poderiam utilizar a música para compartilhar suas experiências pessoais e sociais, além de permitir maior integração junto a cultura dos ouvintes que nos dias atuais está permeada por música.

1.3 Valores da Educação Musical

Neste trabalho, procuramos pensar em atividades musicais direcionadas às pessoas surdas, bem como o papel do uso de um dispositivo tecnológico nessas atividades. Estamos pensando atividades educacionais que consideram música como uma atividade multifacetada, uma forma de comunicação com um discurso constituído de metáforas. Dessa forma adotamos como referencial teórico o livro “Teaching Music Musically” de Keith Swanwick [4]. O livro é destinado a educadores musicais. A partir da psicologia e sociologia ressalta valores e funções da música e sua importância para educadores musicais. A partir da análise de exemplos práticos dentro da educação musical mostra as camadas da experiência musical e aponta princípios fundamentais para educadores musicais seja qual for o contexto de ensino de música. Acreditamos que esse referencial nos permite pensar uma forma de educação que considera e respeita particularidades do indivíduo e permite encontrar caminhos em que educação musical pode se adaptar a contextos de ensino como o que abordamos na presente pesquisa.

Swanwick [4] chama atenção para as características que a música compartilha com outras

formas de discurso. Segundo o autorSwanwick [4] tons se tornam melodias por meio de um processo psicológico pelo qual nós tendemos a agrupar sons únicos em linhas e frases, ouvindo-os como gestos.

Swanwick [4] aponta três maneiras a partir das quais a música funciona metaforicamente.

2. Transformação dessas melodias, desses gestos em estruturas

3. Transformação dessas estruturas simbólicas em experiência significante

O autor indica que esse processo pode se dar a partir de elementos extramusicais uma vez, por exemplo, que da mesma forma tendemos a ver luzes alternadas de painéis publicitários ou expositores de vitrines como linhas contínuas em vez de lâmpadas. Dessa forma o autor expõe o caráter multimodal para o conceito de gesto. Conforme indica o trabalho de Gunther e O'Modhrain [5] também podemos adotar uma postura musical diante de sensações vibráteis. Os autores apresentam indicações de equivalências entre elementos musicais e táteis, isso permite uma linguagem de comunicação expressiva a partir do toque, ou seja, a pele pode compreender e apreciar uma linguagem expressiva para o toque, análoga à linguagem sonora da música.

Como mostra a Seção 2.1, é possível encontrar, em elementos visuais e vibráteis, aspectos que se assemelham àqueles que são usualmente encontrados em elementos musicais como ritmo e melodia. Esses elementos podem ser apresentados de forma a representar as mesmas características que o autor aponta permitir ouvir tons como música: uma ilusão de movimento, uma sensação de peso, espaço e tempo; permitindo, assim, a identificação desses elementos como gestos. A seção 2.1 também descreve como se dá interpretação psíquica dos elementos visuais e hápticos, bem como os elementos relevantes para pensá-los como elementos musicais.

Com relação à construção de um discurso metafórico, Swanwick [4] afirma que somente quando tons tornam-se gestos e estes gestos envolvem formas de interlocução, a música pode relatar e informar formas e padrões de nossas experiências de vida. Ele indica que uma educação em música pressupõe que os alunos tenham a possibilidade de acesso a todos as três transformações metafóricas. O surdo pode ter acesso a vibrações e imagens, elementos equivalentes aos tons. Dessa forma, seu processo de educação musical pode ser pensado a partir do acesso as três transformações a partir da percepção tátil e visual dos tons, seguido pelos processos de integração e interpretação dessas entradas.

Swanwick [4] aponta que as três transformações metafóricas são observáveis através das camadas de elementos musicais observáveis a que dão origem. Essas camadas são chamadas Materiais, Expressão, Forma e Valor.

 Materiais

◦ Nível 1: Reconhece (explora) sonoridades, por exemplo, níveis de sonoridade, diferenças de afinação ampla, mudanças bem definidas de cor de tom e textura. ◦ Nível 2: Identifica (controla) sons instrumentais e vocais específicos - como tipos

de instrumento, conjunto ou tom de cor.

 Expressão

◦ Nível 3: Comunica caráter expressivo na música - atmosfera e gesto - ou pode interpretar em palavras, imagens visuais ou movimento.

◦ Nível 4: Analisa (produz) efeitos expressivos pela atenção ao timbre, altura, duração, ritmo, sonoridade, textura e silêncio.

 Forma

◦ Nível 5: Percebe (demonstra) relações estruturais - o que é incomum ou inesperado, se as mudanças são graduais ou súbitas.

◦ Nível 6: Faz ou pode colocar música dentro de um contexto estilístico particular e mostra a consciência de dispositivos idiomáticos e processos estilísticos.

 Valor

◦ Nível 7: Revela evidências de comprometimento pessoal por meio do engajamento contínuo com peças particulares, artistas ou compositores.

◦ Nível 8: Desenvolve sistematicamente (novas músicas) ideias críticas e analíticas sobre a música.

Conforme Swanwick [4] uma educação comprometida com a qualidade da experiência musical é consciente de que os alunos se movem entre as quatro camadas de discurso musical. O autor aponta também que estes critérios gerais servem muito bem à avaliação, embora tenham de ser aplicados em contextos musicais específicos.

Swanwick [4] também aponta que a música surge em um contexto social, no entanto seu caráter metafórico permite que ela seja interpretada e produzida criativamente. A partir disso aponta três princípios para educadores musicais:

1. O cuidado da música como discurso, como conversa significativa com diversas possibilidades interpretativas.

2. O cuidado com o discurso musical dos alunos. Considera discurso como conversa musical que por definição não pode ser um monólogo.

3. O cuidado com a fluência musical. Se a música é uma forma de discurso, então ela é, em alguns aspectos, análoga, embora não idêntica, à linguagem. O autor estabelece uma relação entre aquisição de fluência em linguagem e música apontando que a sequência processual mais eficaz é muitas vezes: escutar, articular, depois ler e escrever.

Empregamos os conceitos apresentados por Swanwick [4] tendo em vista a educação musical de pessoas surdas a partir do uso de ferramentas tecnológicas. Conforme afirma o autor a pluralidade contemporânea de “músicas” exige uma redefinição da relação entre a produção de música na comunidade e a educação musical formal no estúdio e na sala de aula. No caso das pessoas surdas podemos pensar como essa pluralidade pode ser um fator de inclusão a partir da sua participação em determinada manifestação cultural musical ou sua produção e escuta musical a partir de instrumentos tecnológicos como o que está sendo proposto nesta pesquisa.

1.4 A relação entre os surdos e a música

A relação entre música e surdez é considerada paradoxal por muitas pessoas e acadêmicos. De acordo com Maler [6], músicos e compositores são geralmente presumidos possuir “audição normal”. A autora argumenta que essa suposição tem levado estudiosos a

imaginar a surdez como a mais profunda antítese para música. Dessa forma uma pessoa surda é considerada incapacitada para música, isso promove o distanciamento entre essas pessoas e a música e consequentemente dos benefícios que a música pode trazer. Esse tipo de concepção geralmente está embasada em uma visão muito limitada de música. Como vimos na Seção 1.1, música envolve muitos elementos além do som, além disso, como veremos na seção seguinte, a experiência musical não está limitada somente ao sentido da audição. Destacamos também que a principal questão que esse tipo de postura desconsidera é que há relatos de pessoas surdas interessadas em música, inclusive músicos amadores e profissionais. Como exemplo podemos citar o músico surdo Bob Hiltermann [7] que relata que ele, assim como muitas pessoas surdas, amam música. Essas pessoas estão ajudando a construir novos olhares a respeito de música e da relação entre música e surdez.

Os relatos das experiências musicais de pessoas surdas interessadas em música, permite pensar a relação dessas pessoas com a música e conhecer as diferentes formas de experiência musical a partir das suas práticas musicais. Jones [7] nos desafia a pensar em uma experiência musical além dos ouvidos, pensar nos modos alternativos de escuta que a experiência musical surda oferece. Mostra que os músicos surdos interagem com o som a partir da sensação proporcionada pelas vibrações, além de fazerem uso de imagens. Jones [7], examinou biografias, repertórios, espaços de performances e audiência dos músicos Surdos1 dentro de um contexto maior de História e Cultura Surdas2_{. Dessa forma argumenta que a} forma de fazer e escutar música específica dos Surdos é uma forma de expressão que permite que as pessoas conheçam sua realidade como minoria cultural dentro um mundo ouvinte, permitindo que compartilhem suas histórias e diferenças linguísticas.

1 Jones [7] aponta que é convencional o uso do termo “Deaf” (com a primeira letra em maiúsculo) em referência a cultura, comunidade e identidade Surdos. Ao passo que o termo “deaf”(com a primeira letra em minúsculo) é usado para se referir à condição física de surdez ou o grupo de pessoas com perda auditiva que não estão associados com a cultura Surda. No nosso trabalho empregamos os termos em português, ou seja, “Surdo” e “surdo”. A autora ressalta ainda que o uso do termo “deficiente auditivo” é visto como problemático pela comunidade Surda.

2 Jones [7] faz alguns apontamentos a respeito de história e cultura Surdas, mostrando que a língua de sinais é a definitiva característica da cultura Surda. Essas pessoas compartilham histórias e experiências em comum, participam de escolas e clubes Surdos que ajudam a formar um forte sentido de identidade Surda.

Jones [7] mostra que a língua de sinais é um forte elemento de afirmação artística e política para músicos Surdos. Como exemplo a autora apresenta o trabalho da banda Beethoven's Nightmare3 _{e dos rappers Sean Forbes}4 _{e SignMark}5 _{que fazem da língua de} sinais uma parte chave do seu repertório. Jones [7] argumenta que os músicos fazem música que é culturalmente Surda uma vez que suas canções falam de suas experiências únicas como Surdos e eles estão se comunicando por meio da língua de sinais.

Darrow e Heller [8] descrevem o primeiro caso de educação musical que se tem registro. No artigo "Music Among the Deaf and Dumb" de 1848, William Wolcott Turner e David Ely Bartlett, relatam a experiência de ensino de música a Augusta Avery of Syracuse, uma jovem surda que desejava aprender piano. Turner afirma que música pode ser percebida pelas pessoas surdas e ensinada a eles, podem obter uma ideia de ritmo musical, relações tonais, qualidades expressivas e forma por meio do uso da visão e do toque. Para dar suporte aos seus argumentos ele cita o caso da jovem pianista que impressionava a audiência com seu domínio sobre o piano. Darrow and Heller [8] ressaltam o fato de que o interesse em aprender o instrumento partiu da própria jovem, mostrando, mais uma vez, um exemplo de interesse de pessoas surdas por música.

Desde a publicação do trabalho de Tunner e Barlet, podemos encontrar alguns trabalhos a respeito da educação musical de surdos. Finck [9] relata que esses trabalhos aparecem basicamente de três maneiras: como um meio de reabilitação, de consciência cultural e como propósito de reabilitação da fala. Finck [9] ressalta que em muitos casos a música tem um papel funcional, como apoio a outras áreas do conhecimento, mas não com

3 Beethoven's Nightmare é uma banda de rock formada por músicos Surdos. Sua experiência musical envolve a sensação de vibrações e comunicação expressiva por meio da língua de sinais. Trabalham em colaboração com intérpretes que gesticulam a canção de acordo com o pulso da música. Os integrantes da banda têm mostrado à audiência Surda como “sentir” e “ver” música.

4 Sean Forbes é um rapper Surdo. Vídeos são parte integral do seu trabalho. Cada faixa de áudio inclui um vídeo em que há músicas em inglês falado (Forbes fala inglês muito bem), performances em língua de sinais ou vídeos com imagens figurativas que contam a narrativa da história. Jones [7] indica que Sean é um artista proeminente dos Estados Unidos. A autora indica que o artista proclama sua identidade Surda a partir da música. O artista tem se apresentado por todo país e sua popularidade tem crescido entre os jovens surdos e ouvintes americanos.

5 Segundo Jones [7] o trabalho do rapper Surdo SignMark alcançou dimensões globais, sendo o primeiro artista Surdo a conseguir um contrato com o selo internacional Warner Music. Ele produz músicas cantadas e sinalizadas em vídeo. As músicas refletem questões da cultura e história Surdas.

fins diretamente musicais, poucos trazem a discussão a respeito do fazer musical das pessoas surdas ou a respeito da construção de uma cultura musical Surda. Destaca ainda que em algumas perspectivas, música e treinamento auditivo são confundidos em um mesmo objetivo, melhorar aspectos perceptuais auditivos.

Finck [9] indica que a música pode deixar de ser uma fonte de prazer quando distanciada das emoções e prazer estético e colocada apenas como uma forma de tratamento, para melhorar a fala ou favorecer o aproveitamento de resíduos de audição. A autora indica que proporcionar experiências musicais de forma lúdica e prazerosa na infância pode ser de fundamental importância para a formação da pessoa surda como ser musical. Além disso um elemento importante para a sua formação e o desenvolvimento da sensibilidade.

No Brasil, a obrigatoriedade do ensino de música nas escolas de educação básica a partir da Lei nº 11. 768 de 18 de Agosto de 2008 [10] trouxe um novo desafio aos educadores musicais: a inclusão de alunos com limitações, principalmente no que se refere aos surdos6_. Segundo Reily [12], quando uma criança apresenta limitações que afetam a percepção de sensações ou a sua resposta motora a elas, é preciso valorizar outras vias de acesso sensorial. No momento atual a educação musical tem evoluído no sentido de inclusão do aluno surdo, a partir de experiências em que se valorizam, principalmente, “experiências” que envolvem sensações vibráteis, expressão corporal e a relação entre som e imagem. Tais experiências podem ser facilitadas a partir do uso de ferramentas tecnológicas. Como aponta Pereira [13], para os Surdos, os recursos tecnológicos podem se caracterizar como uma nova via de acesso à música, abrindo nova dimensão nas possibilidades de comunicação e contribuindo para que sejam mais participativos na sociedade.

O uso de recurso tecnológicos acompanhado de considerações a respeito da cultura Surda pode proporcionar a inclusão dentro da educação musical, bem como permitir a 6 Na legislação Federal o termo empregado para dirigir-se à pessoa surda é deficiência auditiva. O Decreto

3.298 de 20/12/99 [11] em seu Art.4, define deficiência auditiva como sendo a perda parcial ou total das possibilidades auditivas sonoras, variando de graus e níveis nas seguintes formas:

a) de 25 a 40 decibéis (dB) - surdez leve; b) de 41 a 55 dB - surdez moderada; c) de 56 a 70 dB - surdez acentuada; d) de 71 a 90 dB - surdez severa; e) acima de 91 dB - surdez profunda.

participação em atividades culturais que por sua vez podem promover o desenvolvimento e integração social. Como afirma Finck [9] é comum encontrar relatos de como a música pode facilitar ao aluno aprender as coisas, tais como correr, alimentar-se, brincar, comunicar-se, entre outras. A autora indica que as experiências musicais são valiosas para a maturação emocional e desenvolvimento de qualquer criança, especialmente para a criança especial cujas experiências são, algumas vezes mais limitadas. A ideia é reforçada por Luiz [14] que afirma que o desenvolvimento rítmico por parte da criança surda tem ligação com o desenvolvimento das ações motoras e também implicações na fala. Assim levar música para vida deste indivíduo é habitá-lo a se comunicar e conectá-lo com o mundo.

Como vimos, existem pessoas surdas interessadas em música. Atualmente existem músicos Surdos produzindo música e construindo uma cultura musical Surda. Esses movimentos são recentes se consideramos o primeiro artigo a respeito da educação musical de pessoas surdas. Como vimos desde a publicação do artigo até os dias atuais a educação musical ou relação do surdo com a música passou por muitas situações em que não se considerava a música como um fim principal, excluindo a possibilidade de prazer estético e afirmação cultural a partir da atividade musical. No entanto, acreditamos que o novo olhar que algumas pessoas Surdas e acadêmicos estão atribuindo à música e seu papel na vida dessas pessoas pode gerar uma ressignificação dessa atividade. Isso pode permitir a consolidação de uma cultura musical Surda. A atual disponibilidade e acesso a recursos tecnológicos pode acelerar esse processo. Um exemplo disso, os músicos Surdos Sean Forbes e SignMark que se utilizam de vídeos e internet para divulgar seu trabalho musical. Isso também nos leva a pensar a respeito da educação musical para pessoas surdas, suas ferramentas e os instrumentos dedicados à prática musical.

CAPÍTULO 2. TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS DE PESSOAS SURDAS

2.1 A música como uma experiência multissensorial

O som age em todo corpo humano, não apenas nos ouvidos, num processo que desempenha um papel importante na percepção de eventos sonoros para todas as pessoas, em particular para os surdos. Jones [7] afirma que na experiência musical surda o corpo todo é um receptor para o som, pessoas surdas podem sentir as vibrações sonoras. Afirma também que essa percepção corporal pode ser mediada através de uma compreensão cultural do significado daquela experiência. Além disso, também podemos associar sons a imagens, ao notarmos os gestos faciais e movimentos de uma pessoa ou observarmos objetos se movendo ou vibrando.

Glennie [15], musicista surda, afirma que o som é simplesmente o ar vibrando, cuja vibração o ouvido recebe e transforma em sinais elétricos. Segundo ela, a audição não é o único sentido que pode proporcionar a percepção disso: o toque também pode fazê-lo, ou seja, mesmo um surdo profundo pode interagir com o som a partir das vibrações. Glennie [15] também afirma que o cérebro pode criar sons correspondentes a partir de coisas que se movem, como ao ver as folhas de uma árvore se movendo ao vento ou objetos vibrando. Segundo ela a pessoa ouvinte usa três sentidos para escutar, a visão, o tato e a audição; o surdo, por sua vez, utiliza apenas dois desses sentidos: o tato e a visão. Para esse trabalho, é importante a distinção entre os verbos ouvir e escutar. O verbo '‘escutar’', em sua raiz semântica, engloba três ações: o ouvir o sentir e o ver. Já o verbo ouvir envolve apenas a ação orgânica específica do aparelho auditivo. Dessa forma caracterizamos a música como uma experiência multissensorial possibilitando caminhos para otimizar uma experiência musical para pessoas surdas.

Para entender a integração de sentidos dentro da experiência musical devemos ter em mente que nosso cérebro combina informações de diferentes sentidos para formar uma percepção coerente do ambiente. A interação entre duas ou mais modalidades sensórias é

conhecida como interação intermodal. Os olhos e ouvidos, usados no primeiro estágio da percepção humana são organizados pelo cérebro em duas regiões diferentes (Figura 2). Como aponta Nanayakkara [16], comumente, considera-se a audição como sendo processada no lobo temporal, enquanto o lobo occipital é responsável pelo sentido da visão.

Figura 2: Divisão do córtex cerebral em áreas denominadas lóbulos cerebrais (Figura extraída de: GOSS, C. M. Gray Anatomia. 39a ed. London. Elsevier, 2005).

Apesar de Nanayakkara [16] apontar a existência de uma área cerebral destinada ao processamento acústico, as informações musicais são armazenadas de uma forma complexa agregando várias partes do córtex [17], uma vez que fazer música ou participar de atividades culturais musicais envolve diversos processos periféricos ao processamento de áudio.

Becker [17] utiliza a Teoria de Seleção de Grupos Neuronais para ajudar a entender o funcionamento do processo de cognição musical. Sua tese central mantém que percepções/ações estimulam o cérebro por meio de atividade de agrupamentos de neurônios em uma unidade operacional. Os neurônios se juntam em agrupamentos neuronais, chamados “mapas”. Estes “mapas” se encontram em regiões específicas do cérebro e tornam-se ligados por meio do comportamento passado. Mapas separados são massivamente conectados por circuitos neuronais. A partir de comportamento repetido, certas ligações são habituadas até a

estimulação de um mapa. A percepção de uma peça de música particular quase sempre estimula outros mapas. O cérebro desenvolve uma “classificação acoplada”, isto é, diferentes grupos de neurônios tendem a ser ativados juntos dado o mesmo estímulo. A emoção da performance musical ativa múltiplos pacotes de neurônios que nos levam a um estado de excitação que nos faz sentir bem. A conexão entre esses pacotes não é permanente. O cérebro continuamente reconfigura suas conexões de acordo com suas interações com o mundo externo e suas interações dentro de sua própria estrutura interna. Se uma entrada ativa múltiplos pacotes do mapeamento global, o indivíduo pode associar a entrada, por exemplo um som, com um complexo conjunto de memórias, emoções e assim por diante. Assim a escuta de uma peça musical, não ativa somente áreas acusticamente especializadas no lobo temporal, mas áreas do tronco cerebral e sistema límbico, evocando pensamentos, memórias e sentimentos que são intrínsecos ao sinal musical.

A integração de informação auditiva e visual pode ser observada quando estamos em uma conversa face a face, assistimos filmes, apresentações musicais ao vivo e em efeitos de ilusão sensorial como o efeito McGurk [18] e a sinestesia [19]. No primeiro efeito a percepção de uma sílaba pode ser alterada pela visualização dos lábios do emissor. O segundo efeito está relacionado a “ver” cores enquanto se escuta um som. Taylor [20] sugere que o “perirhinal cortex” ajuda a ligar os principais aspectos de características audiovisuais para fornecer representações multimodais capazes de transmitir significados. Shibata [21] expõe a relação entre som e imagem em estudos sobre adaptabilidade e flexibilidade do cérebro de pessoas surdas mostrando que porções do lobo temporal geralmente envolvidos no processo de audição são muito mais ativos durante certas respostas visuais na pessoa surda. Isso indica que a exploração do modo visual pode ser um dos caminhos para compensar a falta da informação auditiva. Esse processo de adaptação no desenvolvimento cerebral do indivíduo com surdez, ajuda a explicar como os surdos podem sentir a música, apreciar concertos e outros eventos musicais. Shibata [21] sugere que pode ser útil expor a criança surda a música no início da vida de modo a estimular os “centros musicais”.

As sensações táteis também têm um papel importante na percepção musical. Segundo Kaiser et al. [22], sensações táteis estimulam porções do córtice auditório. Shibata [21] aponta que pessoas surdas sentem vibrações na mesma região do cérebro que pessoas sem essa deficiência utilizam para ouvir, indicando que a percepção das vibrações musicais

pelos surdos é tão real quanto seu equivalente sonoro por serem ambos processados na mesma região do cérebro.

Os trabalhos apresentados nesta seção mostram que a escuta vai além da audição. Ocorrem interações entre as modalidades sensórias, permitindo a integração entre informação auditiva, visual e tátil. Dessa forma argumentamos que é possível estabelecer um significado musical para imagens e vibrações. Esses elementos servem como forma de acesso às atividades musicais para as pessoas surdas. Por meio dessas atividades são agregados pensamentos, memórias e sentimentos a esses elementos.

2.2 Representações multimodais para música

Como vimos a representação multimodal pode ser uma possibilidade para a representação musical. Neste tópico mostramos trabalhos que propõe representações para a música a partir de imagens e vibrações com a intenção de buscar propostas e ideias de mapeamentos que possam ser usados no desenvolvimento tecnológico da nossa pesquisa .

A ideia de representação visual para música tem sido proposta por diversos pensadores e tem sido base para diversos trabalhos dentro da computação. Jewansk [23] aponta alguns autores e suas propostas de mapeamento entre som e cores. Indica que os Gregos foram os primeiros a construir escalas de cores divididas em sete, como analogia às sete notas musicais. Também, cita que em 1646 Athanasius Kircher desenvolveu um sistema com correspondência entre intervalos musicais e cores. A coletânea de Jewansk também indica que no trabalho “An Hypotesis Explaining the Properties of Light”, de 1675, Sir Issac Newton traçou um paralelo do espectro de cores e notas da música ocidental. Ainda, Jewansk [23] aponta que, após 1725, Louis Castel desenvolveu o “light-keyboard” que deveria simultaneamente produzir som e o que ele acreditava ser a cor correta associada àquela nota.

Glasow [24] expõe as relações entre música e cor propostas por Alexander Scriabim, compositor do século XIX que desenvolveu o “Colour Piano” e “Colour Light Music”, proposta musical sinestésica em que cores são pensadas como elementos musicais em contraponto com o som. Scriabim propôs um mapeamento em que cores dispostas em ordem cromática estão relacionadas ao ciclo das quintas, uma relação tonal de atração entre notas musicais. Jones and Neville [25] sugeriram que mapear vozes musicais individuais de uma composição para elementos gráficos individuais resultaria em uma experiência visual com sentido musical. Smith [26] desenvolveu um sistema visual gerado por música produzida em

uma interface digital que mapeia dados musicais a figuras 3D. Volume, timbre e altura são representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.

Existem também trabalhos que propõem usar computadores para gerar automaticamente representações visuais para elementos musicais. Mitroo, Herman e Badler [27] propuseram utilizar elementos musicais simbólicos (notas, acordes e intensidade) para criar composições de cores e objetos em movimento. Nanayakarra [16] descreve o trabalho de Smith & Williams que desenvolveram um sistema visual que mapeia elementos musicais simbólicos a figuras tridimensionais. Nessa proposta, intensidade, timbre e altura são representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente. Trabalho similar foi feito por McLeod e Wyvill [27], porém usando sinais de áudio digitalizados (em vez de dados simbólicos) como entrada em tempo real.

Também, alguns trabalhos exploram a relação entre música e sensações táteis. Nanayakarra [16] descreve o “EmotiChair”, um dispositivo que representa informação de áudio como estímulo tátil. Nele, o som é processado de acordo com transformações pré definidas de forma a produzir uma saída tátil.

Russ Palmer [29] desenvolveu uma teoria que permite mapear frequências de vibração para a percepção humana em diferentes partes do corpo. O autor trabalha com uma ideia chamada “Feeling the music philosophy” em que as pessoas podem sentir a música a partir de vibrações e não por meio do ouvido.

Gunther e O'Modhrain [5] desenvolveram trabalho em que exploram a resolução vibrotátil da pele, analisando parâmetros que incluem frequência de estímulo vibratório, localização dos estímulos no corpo e idade do observador. Introduzem o conceito de “composição tátil” baseado em um sistema composto de treze transdutores usados contra o corpo com o objetivo de criar música tátil.

Gunther e O'Modhrain [5] apresentam dados com relação a alguns valores psicofísicos e indicações com relação ao uso de vibrações para representar música. Com relação à discriminação de frequências temos que a extensão de resposta vibrotátil da pele está entre 20 e 1000 Hz com máxima sensibilidade ocorrendo em torno 250 Hz. Apontam também que a pele é relativamente pobre na discriminação de frequências e que dependendo do paradigma experimental é possível encontrar diferentes valores para a habilidade de discriminação. Os valores dependem da faixa de frequência a ser representada. Os autores apresentam dois resultados. O primeiro indica que de 3 a 5 valores de vibrações podem ser

distinguidas entre 2 e 300 pulsos por segundo, já o segundo indica que é possível de 8 a 10 distinções entre 70 e 800 Hz.

Gunter e O'Modhrain [5] também apresentam valores com relação à percepção temporal de vibrações. A mínima separação temporal entre dois cliques táteis depende da intensidade dos cliques, assim a mínima separação apresentada é de 10 ms, mas pode chegar até 5 ms dependendo da intensidade dos cliques.

Os trabalhos apresentados nos mostram propostas de correspondência entre elementos musicais e elementos visuais ou táteis. Além disso, apontam para concepções teóricas e elementos tecnológicos para se pensar o mapeamento entre som e imagem ou entre som e vibração. No desenvolvimento tecnológico desta pesquisa temos esses trabalhos como referência para estabelecer nossos mapeamentos envolvendo elementos musicais, vibrações e imagens.

2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados a pessoas surdas

Podemos citar alguns trabalhos que utilizam mapeamento música-vibração e música-imagem para criar dispositivos que fornecem uma experiência musical aos surdos.

Kerwins [30] desenvolveu um dispositivo chamado Vibrato que proporciona vibrações musicais nos dedos das mãos do usuário e permite identificar diferença entre ritmos, notas e combinações de instrumentos.

Podemos citar o uso de software de resposta háptica e visual em trabalho sobre desenvolvimento rítmico dos Surdos [14]. O aplicativo BPM Counter emite resposta visual para velocidade em que uma música é executada. Enquanto o aplicativo VPM Counter captura o som repassado pelo usuário através do microfone e processa os dados para executar a vibração a partir de uma biblioteca genérica disponível na tecnologia para desenvolvimento móvel. Os dois aplicativos necessitam de uma pessoa ouvinte para realizar o ajuste manual da sincronia entre os instrumentos e a música ambiente.

Nanayakkara [16] propõe a criação de uma cadeira háptica para fornecer uma experiência musical a pessoas com deficiência auditiva, o sistema recebe dados MIDI (“Musical Instrument Digital Interface”) e produz vibrações com frequências específicas direcionadas a diferentes partes do corpo como pés, braços e tronco. O sistema dispõe também de um display visual para representar a informação musical a partir de formas geométricas 3D e animações que remetem a movimentos corporais.

O projeto “Model Human Cochlea” (MHC) [31] apresenta um dispositivo que transforma informação auditiva em estímulo vibrotátil ao longo do corpo, utilizando-se de uma cadeira com canais vibrotáteis.

O trabalho de Jack et al [32] apresenta pesquisa a respeito da criação de poltronas que proporcionam vibrações por todo corpo e podem ser usadas em situações de concerto. O dispositivo fornece representações vibráteis para algumas características musicais de sinais processados em tempo real.

O aplicativo para sistema operacional IOS Ludwig [33], feito por desenvolvedores de Campinas, utiliza uma pulseira vibrátil e um display visual para representar músicas armazenadas. Os autores do projeto não comentam os detalhes técnicos da criação do dispositivo.

CAPÍTULO 3. DESENVOLVIMENTO TECNOLÓGICO PROPOSTO

3.1 Proposta de Criação de dispositivo tecnológico portátil direcionado às pessoas surdas

Nossa proposta consiste da construção de um aplicativo para celular que se utiliza de tratamento digital da onda sonora para identificar elementos rítmicos e melódicos a partir de métodos automáticos de detecção de eventos musicais, mapeando esses elementos a manifestações ligadas à percepção tátil e visual.

A escolha do celular deve-se, principalmente, ao fácil acesso a esse tipo de aparelho. Segundo Luiz [14] a maioria da população brasileira com algum grau de deficiência auditiva possui celular. O dispositivo pode proporcionar uma experiência musical aos surdos, possibilitando mobilidade e possibilidade de interações com o som como dançar ou participar de atividades musicais em grupo, trazendo potenciais ganhos para essas pessoas. Com essa escolha temos que trabalhar nosso desenvolvimento utilizando os recursos de processamento, imagem, som e vibração oferecidos por um dispositivo móvel

Segundo Nanayakkara [16] ainda existem poucos trabalhos direcionados ao desenvolvimento de dispositivos que proporcionem uma experiência musical aos surdos. Ao analisarmos alguns desses dispositivos observamos que a maior parte dos sistemas reproduz apenas músicas contidas no sistema [16 e 33], reduzem a mobilidade do usuário [16, 31 e 32] ou necessitam de ajuda de um ouvinte para ajustes de funcionamento [14].

Como adição aos trabalhos já realizados, enfatizamos a necessidade de construção de um dispositivo em que os surdos tenham o acesso à música da mesma forma que o ouvinte, ou seja, a partir de som mecânico; também é necessário que se permita a mobilidade para que o surdo possa se movimentar livremente, dançar ou interagir com outras pessoas por meio da informação musical fornecida pelo dispositivo, além de independência em relação aos ouvintes, no que se refere à ajustes ao se utilizar o dispositivo. Outro fator de grande importância não abordado em outras pesquisas refere-se ao contexto de uso do dispositivo. Ressaltamos que é de fundamental importância o acompanhamento e desenvolvimento de atividades para o uso do dispositivo, devemos ter em mente que a inclusão dos surdos na educação musical requer acompanhamento especializado para que seja possível o entendimento dos conceitos musicais, funcionamento do dispositivo, bem como indicações e condução das atividades em que o dispositivo é utilizado. Diferentemente de outras trabalhos, essa ferramenta foi desenvolvida em um processo de interação constante com pessoas surdas

considerando suas concepções a respeito de música e verificando o impacto da tecnologia junto a essas pessoas para promover melhorias e modificações à ferramenta, Além disso, outro ponto inovador desse projeto é o fato de se tratar de uma ferramenta direcionada à educação musical para pessoas surdas. Por isso a ferramenta foi criada e avaliada considerando seu uso em atividades de educação musical direcionada às pessoas surdas.

Como os estudos etnomusicológicos nos mostram existem inúmeras práticas musicais dentre as diversas sociedades e inúmeros elementos de capacidade humana ao se considerar a questão da musicalidade do homem. Esta pesquisa pretende investigar, a partir de recursos da educação musical, possibilidades de práticas musicais que possam gerar o envolvimento das pessoas surdas. Assim nosso aplicativo foi desenvolvido em constante contato com pessoas surdas. Todas as funcionalidades do aplicativo e aperfeiçoamentos foram realizados de acordo com a observação do seu uso em oficinas de música por crianças e adolescentes surdos. O processo de desenvolvimento do aplicativo se deu em uma série de passos, primeiramente completamos uma versão simplificada do programa que representava o conjunto completo, mas não incluía detalhes. Para avaliar o uso do aplicativo por crianças surdas, realizamos filmagem de cada oficina, essas oficinas foram analisadas considerando as camadas musicais e princípios expostos na Seção 3.

Após o término das oficinas e análise do uso do aplicativo nessas oficinas, partimos para o desenvolvimento da versão final do aplicativo. Essa versão do aplicativo foi avaliada por estudantes universitários de música. Para realizar a avaliação os estudantes realizaram atividades musicais valendo-se apenas das respostas visuais e hápticas do aplicativo. Nessas atividades trabalhamos a percepção e realização de ritmos e melodias e práticas musicais em conjunto. As atividades foram realizadas sem a utilização de recursos sonoros, os estudantes utilizaram apenas os recursos hápticos e visuais do aplicativo e a partir disso expressaram sua opinião com relação a efetividade e eficácia do uso dos recursos do aplicativo para desenvolver atividades musicais.

3.2 Desenvolvimento do aplicativo

Esta seção discute o desenvolvimento do aplicativo que foi usado durante as oficinas de educação musical. Está organizada da seguinte forma. A Seção 9.1 mostra uma análise de requisitos do aplicativo. A Seção 9.2 descreve as interações humano-computador

relacionadas a cada uma das funcionalidades. Por fim, a Seção 9.3 mostra as telas usadas para cada uma das interfaces.

3.2.1 Análise: definição de usuário, requisitos e necessidades

Definição do usuário – Programa desenhado para aulas de música para pessoas

surdas. Seus usuários são pessoas com impedimentos auditivos, em aulas de música guiadas por um professor de música. O programa permite a interação musical entre pessoas surdas e entre pessoas surdas e ouvintes.

Definição das necessidades – Atualmente professores de música requerem

ferramentas para aulas de música para pessoas surdas ou a inclusão de alunos surdos em aulas de música. A ferramenta tecnológica aqui proposta pode ajudar nessas aulas a partir da possibilidade de acesso a elementos musicais como ritmo e melodia a partir da correspondência entre esses elementos e elementos hápticos e visuais. A ferramenta também permite ao usuário tocar instrumentos virtuais que emitem respostas hápticas e visuais em relação à produção sonora, além de contar com um metrônomo háptico e visual.

Definição dos requisitos – A aplicação deve ser capaz de fornecer imagens e

vibrações que permitam identificar ou produzir gestos musicais. Apresenta cinco funcionalidades:

A. Metrônomo háptico/visual – O metrônomo emite resposta háptica, visual e sonora

para cada bit. Permite ao usuário tocar um instrumento e manter a uniformidade dos tempos musicais a partir da sua sincronização com a resposta háptica ou visual do metrônomo. Permite também a prática em conjunto uma vez que uma pessoa pode se guiar pela informação vibracional enquanto outra se guia pela informação visual ou sonora. A resposta sonora está ligada à possibilidade de realização de atividades que permitem a integração entre surdos e ouvintes.

B. Identificador de intensidades sonoras – Permite diferenciar as intensidades

sonoras em diferentes níveis. A diferenciação ocorre por meio das respostas háptica e visual para a intensidade do som captado pelo identificador.

C. Identificador de notas – Permite ao usuário identificar notas e padrões melódicos.

A identificação ocorre a partir das respostas háptica e visual que o aplicativo fornece para cada nota. Cada nota da escala musical tem uma vibração e imagem característicos.

D. Bateria háptica/visual – Cada peça da bateria fornece uma resposta háptica, visual

e sonora como resposta a produção musical do usuário. Dessa forma o usuário pode diferenciar cada parte da bateria a partir de sua resposta tátil ou visual. Apresenta também um metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A resposta sonora da bateria está ligada a possibilidade de realização de atividades em conjunto entre pessoas surdas e ouvintes.

E. Teclado háptico/visual - Cada tecla do teclado fornece uma resposta háptica,

visual e sonora como resposta a produção musical do usuário. Apresenta também um metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A resposta sonora do teclado está ligada a possibilidade de realização de atividades em conjunto entre surdos e ouvintes.

A Tabela 1 relaciona as funcionalidades do aplicativo e os aspectos que ele deve fornecer ao usuário:

Aspectos fornecidos ao usuário Funcionalidades

A B C D E

1 Permitir sincronizar uma atividade musical. X X X

2 Classificar sons de intensidades sonoras

diferentes X

3 Perceber padrões rítmicos X X

4 Perceber notas e melodias X X

5 Executar padrões rítmicos X X X

6 Executar melodias X X

7 Desenvolver atividades musicais em grupo X X X X X

8 Desenvolver a composição musical X X X X

Tabela 1: Aspectos que o aplicativo deve fornecer ao usuário.

Definição de métodos – Para desenvolver a aplicação partimos de uma versão simples

do programa, para continuar com a implementação subsequente de funções avançadas. Essas versões simples foram desenvolvidas durante o processo de aplicação das oficinas de música com pessoas surdas. Após a avaliação do seu uso nestas oficinas, o processo de desenvolvimento do aplicativo continuou. Dessa forma, chegamos a uma versão final do aplicativo, como segue.

3.2.2 Desenho

A. Metrônomo Háptico/Visual

Como mostrado na Figura 3, para o metrônomo temos como entrada o toque do usuário. Ele seleciona o andamento em batimentos por minuto (bpm) e a fórmula de compasso que deseja. A partir do mapeamento proposto o usuário tem como saída a emissão das respostas sonora, háptica e visual a partir do alto-falante, motor e tela do dispositivo.

B. Identificador de Intensidades

Como mostrado na Figura 4, o Identificador de intensidades sonoras tem como entrada o toque do usuário para seleção de sensibilidade e um sinal de áudio que será analisado com relação à sua intensidade.

Figura 3: Desenho metrônomo háptico/visual.