Resultados - Simula¸c˜ oes - Redução de dimensionalidade usando Isomap aplicada ao áudio espaci

3.4 Simula¸c˜ oes

3.4.1 Resultados

A Figura 3.10 mostra a distor¸cão espectral média tanto para o Isomap quanto para o PCA. Note que a abordagem proposta usando o Isomap como técnica de redu¸cão de dimensionalidade fornece melhores resultados do que o PCA. Além disso, o Isomap gera menos distor¸cão inclusive com menos dimensões do que o PCA. É importante mencionar que no caso do Isomap a distor¸cão espectral ao longo de todas dire¸cões fica em torno de 5 dB. No caso do PCA, os melhores resultados ocorrem na frente (i.e. azimute zero graus) e a distor¸cão espectral incrementa-se em dire¸cões laterais e atrás do ouvinte. Este resultado é importante porque demostra que o fato de incorporar o conhecimento prévio na constru¸cão do grafo (especificamente a primeira regra referente à similaridade das HRTFs ao longo de certa dire¸cão e ouvido) consegue manter a distor¸cão espectral estável ao longo das dire¸cões.

Na Tabela 3.1 mostra-se o intervalo de confian¸ca (±2σ, 95%) para algumas dire¸cões, onde observa-se que o Isomap apresenta menos variabilidade do que o PCA. No Isomap, a variabilidade fica em torno de 1 dB enquanto no PCA atinge até 3.7 dB. A baixa variabilidade do método ´

e importante porque demostra que o Isomap é robusto ao ru´ıdo nos dados. Lembre que as HRTFs medidas experimentais já apresentam um n´ıvel de ru´ıdo devido às não linearidades dos equipamentos como alto-falantes e microfones usados na medi¸cão cuja resposta em frequência é limitada.

Por outro lado, como em outros estudos [69], a distor¸cão espectral aumenta em altas frequências devido à complexidade do pavilhão da orelha (veja a Figura 3.11). Em geral, normalmente é mais dif´ıcil simular altas frequências no áudio espacial. Note que as HRTFs apresentam picos e notches a partir de 6 KHz que variam amplamente entre sujeitos. No entanto, na nossa abordagem a distor¸cão fica, grosso modo, abaixo de 5 dB.

Cap´ıtulo 3. Personaliza¸c˜ao de HRTFs usando Isomap no plano horizontal 38

Outro motivo do aumento da distor¸cão espectral é devido à pouca quantidade de fun¸cões de transferência relacionadas à cabe¸ca utilizadas (apenas 3000 HRTFs). Com uma quantidade maior de HRTFs a distor¸cão espectral com certeza pode diminuir. Um ponto que vale a pena mencionar é que a variabilidade da distor¸cão espectral no Isomap é pequena embora a pouca quantidade de dados. Porém, observe que ao utilizar mais HRTFs, a complexidade de calcular a variedade também aumenta porque seria necessário calcular os caminhos m´ınimos entre todos os vértices do grafo. Nesse caso, seria necessário utilizar a aproxima¸cão de Nystrom [87] para gerar a variedade apenas para um número reduzido de vértices e depois projetar os pontos restantes no espa¸co de baixa dimensionalidade.

Por outro lado, note que nós não aplicamos nenhum tipo de suavizado espectral (spectral smoothing) nas HRTFs. O suavizado espectral também pode contribuir na diminui¸cão da distor¸cão espectral. De fato, em experimentos psicacústicos conduzidos por Kistler et al. [62] demostrou-se que HRTFs nas quais foram aplicadas métodos de suavizado espectral não apresentam diferen¸cas notáveis na percep¸cão psicoacústica. Como neste trabalho nós focamos principalmente na parte matemática e de engenharia das HRTFs, achamos melhor trabalhar diretamente nas HRTFs sem utilizar tal suavizado espectral.

Tabela 3.1: Intervalo de confian¸ca (±2σ, 95%) da distor¸cão espectral média para vários azimutes.

Azimute Distor¸c˜ao Espectral M´edia (dB) Isomap

Distor¸c˜ao Espectral M´edia (dB) PCA -180 4.5 ± 1.1 6.7 ± 1.4 -100 4.7 ± 0.7 5.7 ± 3.2 0 5.0 ± 1.0 5.7 ± 3.0 100 4.9 ± 1.0 6.3 ± 3.7 145 4.7 ± 1.1 6.0 ± 2.3

Cap´ıtulo 3. Personaliza¸c˜ao de HRTFs usando Isomap no plano horizontal 39 x₁ x₂ x₃ x₄ d₁ d₂ d4 d₃ x1: Largura da cabeça x2: Profundidade da cabeça x3: Largura do pescoço x4: Largura dos ombros

d1: Largura do pavilhão da orelha d2: Altura do pavilhão da orelha d3: Largura da cavum concha d4: Altura da cavum concha

Cap´ıtulo 3. Personaliza¸c˜ao de HRTFs usando Isomap no plano horizontal 40 −150° −100° −50° 0° 50° 100° 150° 4. 5 5 5. 5 6 6 .5 7 7 .5 Azimute D ist o rçã o Esp e ct ra l Mé d ia (d B) ISOMAP PCA

Figura 3.10: Distor¸cão espectral média em fun¸cão do azimute.

4 6 o Esp e ct ra l (d B) ISOMAP PCA

Cap´ıtulo

4

Conclus˜oes e Perspectivas

No Cap´ıtulo 1, evidenciou-se que o problema do áudio 3D envolve parâmetros tanto de engenharia quanto psicoacústicos. Assim, estudou-se os fatores de percep¸cão de dire¸cão (i.e. fatores binaurais, espectrais e dinâmicos), de distância e cognitivos, sendo os fatores de percep¸cão de dire¸cão o foco nesta disserta¸cão. Quanto aos fatores binaurais, mostrou-se que a ITD é a principal caracter´ısticas para baixas frequências enquanto que a IID é o fator dominante em altas frequências. ITD e IID muito próximas para dois locais diferentes (i.e. no cone da confusão) causam ambiguidades que provocam reversões frente-trás e acima-embaixo. Tais ambiguidades podem ser resolvidas pelos fatores dinâmicos (i.e. movimentos da cabe¸ca) ou pelos fatores espectrais descritos pelas HRTFs. Observou-se também que a precisão do ouvido humano para estimar dire¸cão é maior do que para estimar a distância de uma fonte sonora. Ainda mais, o ouvido humano é capaz de estimar melhor a dire¸cão de uma fonte no plano horizontal do que no plano mediano. Por outro lado, analisou-se as vantagens e desvantagens dos dois métodos de reprodu¸cão de áudio virtual: através de fones de ouvido e através de alto-falantes. É importante ressaltar que ambos os métodos precisam de um sistema de rastreamento da orienta¸cão e posi¸cão da cabe¸ca. No Cap´ıtulo 2 analisou-se as caracter´ısticas temporais e espectrais das HRTFs. Mostrou-se que a ITD pode ser obtida de várias formas através da análise em tempo das HRIRs.

Observou-se também que a magnitude das HRTFs são fun¸cões que variam pouco em baixas frequências. Já em altas frequências a IID torna-se mais evidente e a partir de 6 KHz a magnitude das HRTFs variam de uma maneira complexa apresentando picos e notches. O primeiro destes notches é considerado um fator essencial para a localiza¸cão vertical. Em geral, considera-se que em frequências acima de 3 KHz, quando o tamanho do pavilhão da orelha é comparável com o comprimento de onda da fonte, seus efeitos tornam-se relevantes na resolu¸cão de confusões frente-trás e na localiza¸cão de fontes.

Para simplificar a análise de HRTFs, demonstrou-se que pode ser utilizada a aproxima¸cão de fase m´ınima das HRTFs, na qual uma HRTF é aproximada pela sua fun¸cão de fase m´ınima em cascata com um atraso puro. Esta aproxima¸cão é importante porque permite processar a HRTF utilizando apenas a sua magnitude.

Por outro lado, as complexas caracter´ısticas das HRTFs variam amplamente entre indiv´ıduos. Por conseguinte, é necessário personalizar as HRTFs. Conforme estudado na Se¸cão 2.3, a medi¸cão

Cap´ıtulo 4. Conclus˜oes e Perspectivas 42

de HRTFs é um processo demorado e dif´ıcil pelo que vários estudos tem proposto métodos de personaliza¸cão de HRTFs baseados em modelos teóricos.

Com esse intuito, no Cap´ıtulo 3, propôs-se um novo método para personalizar HRTFs no plano horizontal a partir de caracter´ısticas antropométricas. Além de usar o Isomap como método de redu¸cão de dimensionalidade não linear, a principal contribui¸cão deste trabalho é uma nova técnica para construir o grafo do Isomap que incorpora informa¸cão prévia importante sobre as HRTFs. Conforme mostrado nos resultados, o fato de incorporar conhecimento prévio na sele¸cão dos vizinhos no Isomap pode levar a uma melhor representa¸cão da variedade (i.e. manifold ) das HRTFs. Além disso, as simula¸cões mostram que a abordagem proposta tem um desempenho melhor do que o PCA e confirmam que o Isomap é uma técnica de redu¸cão promissora para análise e s´ıntese de HRTFs, capaz de descobrir as rela¸cões não lineares subjacentes da percep¸cão auditiva.

Em pesquisas anteriores, com o intuito de ressaltar a individualidade das HRTFs ao longo das dire¸cões e ouvidos, aplicaram-se métodos de redu¸cão de dimensionalidade como PCA separadamente para cada dire¸cão e ouvido. A desvantagem de aplicar métodos de redu¸cão de dimensionalidade da forma mencionada, é que se perdem as rela¸cões existentes ao longo das diferentes dire¸cões e ouvidos. Assim, é importante ressaltar que na abordagem proposta nesta disserta¸cão, para preservar essas rela¸cões, aplicou-se o método de redu¸cão de dimensionalidade uma vez sobre todo o conjunto de dados de HRTFs para todos os indiv´ıduos, dire¸cões e ouvidos no plano horizontal.

Finalmente, esta disserta¸cão pode ser utilizada como ponto de partida para futuras pesquisas que envolvam áudio 3D e suas aplica¸cões. Especificamente, os conceitos explicados nos dois primeiros cap´ıtulos deste texto estão sendo utilizado para o desenvolvimento de uma interface auditiva no contexto do projeto Microsoft Fapesp “Visão para o Cego: Traduzindo Conceitos Visuais 3D em Informa¸cões de 3D de Áudio” (processo 2012/50468-6). Aqui é importante discutir algumas considera¸cões técnicas do áudio espacial que nós achamos úteis para quem precisa implementar áudio 3D na prática.

A ideia do projeto da interface auditiva é usar áudio 3D para mapear a dire¸cão de um objeto em rela¸cão ao usuário. A distância do objeto é mapeada modificando a frequência (e.g. maior frequência representa uma distância menor). Note que não utilizamos técnicas de áudio 3D (i.e. técnicas psicoacústicas) para representar distância. Isto é porque, como estudado no primeiro cap´ıtulo, a percep¸cão de distância é muito complexa de simular pois, envolve fatores como a

Cap´ıtulo 4. Conclus˜oes e Perspectivas 43

IIR. O jeito mais simples de implementar é usando um filtro FIR já que todos os coeficientes das HRIRS são conhecidos. No entanto, se fosse necessário um filtro mais eficiente (i.e. menor ordem) para implementar em plataformas de hardware limitado (e.g. DSP, FPGA, smartphones), recomenda-se projetar um filtro IIR a partir da HRIR.

Finalmente, o tipo de fone de ouvido afeta a percep¸cão do áudio espacial. Do ponto de vista da resposta em frequência, é necessário equalizar a resposta dos fones de ouvido como mencionado no primeiro cap´ıtulo. Por outro lado, em nosso caso, o usuário é uma pessoa com deficiência visual pelo que é importante transmitir informa¸cões de áudio 3D sem interferir com o som do ambiente externo. Os fones de ouvido de condu¸cão óssea conseguem fazer isso pois, eles não cobrem o ouvido externo.

4.1 Perspectivas

O método de personaliza¸cão de HRTFs proposto nesta disserta¸cão precisa ser avaliado mediante experimentos psicoacústicos. Estes experimentos deverão analisar o desempenho da nossa abordagem na redu¸cão de reversões frente-trás e acima-abaixo assim como o erro de localiza¸cão.

Outro aspecto relevante para futuras pesquisas é estender a abordagem proposta de personaliza¸cão de HRTFs além do plano horizontal. Conforme estudado no Cap´ıtulo 1, o ouvido humano ´

e capaz de estimar melhor a dire¸cão de uma fonte no plano horizontal do que no plano mediano. Em geral, nossa precisão na localiza¸cão de fontes sonoras fora do plano horizontal diminui. Em virtude disso, um aspecto importante para futuros trabalhos será procurar incorporar informa¸cões relevantes da nossa percep¸cão vertical na constru¸cão do grafo do Isomap.

Como qualquer outra técnica de redu¸cão de dimensionalidade, o Isomap tem as suas desvantagens. Uma desvantagem do Isomap, ao contrário do PCA, é que ele gera um espa¸co de baixa dimensionalidade sem gerar uma fun¸cão de mapeamento expl´ıcito. Assim, torna-se necessário usar algum tipo de aproxima¸cão como a reconstru¸cão baseada na vizinhan¸ca para reconstruir as amostras no espa¸co de alta dimensionalidade. Além disso, a falta de uma fun¸cão de mapeamento expl´ıcito faz com que seja poss´ıvel projetar novas amostras (i.e. amostras fora da base de dados) no espa¸co de baixa dimensionalidade apenas através de aproxima¸cões (e.g. a aproxima¸cão de Nystrom [87]). No caso da abordagem proposta nesta disserta¸cão, a aproxima¸cão de Nystrom não foi capaz de projetar novas amostras de maneira adequada. Por conseguinte, um estudo futuro poderia realizar experimentos com técnicas de redu¸cão de dimensionalidade que forne¸cam uma fun¸cão de mapeamento expl´ıcita como, e.g., autoencoders.

Uma outra limita¸cão da abordagem proposta é que a constru¸cão do grafo do Isomap não leva em conta o conhecimento prévio das caracter´ısticas em frequência das HRTFs. Esse fato, juntamente com a dificuldade de predizer as caracter´ısticas do pavilhão da orelha, explica o incremento da distor¸cão espectral em altas frequências. Conforme estudado nos dois primeiros cap´ıtulos, sabe-se que os fatores que determinam a nossa percep¸cão auditiva (e.g. IID, ITD, fatores espectrais) trabalham em diferentes faixas de frequência. Por exemplo, a ITD é relevante para f<1.5 kHz, a IID para f>1.5 kHz, o pavilhão da orelha para f>3 kHz, a simetria esquerda/direita ´

Cap´ıtulo 4. Conclus˜oes e Perspectivas 44

usando um conjunto de filtros passa-faixa sobrepostos [88, 89]. Portanto, fica para um trabalho futuro encontrar uma representa¸cão que incorpore esse conhecimento prévio do comportamento espectral das HRTFs usando um banco de filtros como a decomposi¸cão wavelet.

Um dos inconvenientes na s´ıntese de áudio espacial é que, devido à dificuldade de medir as HRTFs, a quantidade dispon´ıvel de HRTFs medidas para indiv´ıduos diferentes é pouca. Além disso, a resolu¸cão e as condi¸cões de medi¸cão variam ao longo das diferentes bases de dados de HRTFs. Por exemplo, a baixa resolu¸cão espacial em dire¸cões laterais da base de dados de HRTFs CIPIC afetou a constru¸cão da variedade na abordagem proposta (i.e. os agrupamentos de HRTFs não estão uniformemente distribu´ıdos na variedade da Figura 3.6b). Como trabalho futuro, seria interessante estudar a possibilidade de fazer a fusão de várias bases de dados de HRTFs que foram medidas sob diferentes condi¸cões e resolu¸cão espacial.

Por outro lado, o método de regressão usando redes neurais demonstrou ser capaz de predizer de forma correta as caracter´ısticas espectrais das HRTF a partir dos parâmetros antropométricos. Porém, ainda é necessário diminuir a distor¸cão espectral nas HRTFs preditas pela rede neural. Portanto, fica para um futuro estudo a análise de outras técnicas de aprendizado de máquina como as redes neurais convolucionais. As redes neuronais convolucionais fazem parte do conjunto de técnicas do aprendizado profundo (i.e. deep learning [90]). Atualmente as técnicas do aprendizado profundo são consideradas o estado da arte para muitos problemas na área de visão computacional [91] e estão sendo muito utilizado no processamento de áudio em aplica¸cões como reconhecimento de gênero musical [92]. Em geral, o aprendizado profundo está sendo aplicado com sucesso na área de processamento de sinais pelo que sua aplica¸cão em áudio espacial é promissora.

Outro trabalho futuro poderia analisar a constru¸cão da variedade das HRTFs de campo próximo (i.e. HRTFs que dependem da dire¸cão e da distância) usando Isomap com o intuito de determinar se o Isomap é capaz de identificar os fatores de percep¸cão de distância. Nesse caso, o desafio seria introduzir o conhecimento prévio da nossa percep¸cão de distância na constru¸cão do grafo do Isomap.

Por outro lado, no primeiro cap´ıtulo estudamos brevemente a reverbera¸cão. Na implementa¸cão de áudio 3D, a reverbera¸cão é um fator muito importante para a sensa¸cão de imersão dentro de um ambiente de realidade virtual. Sem reverbera¸cão, perde-se a naturalidade do áudio 3D. Como a reverbera¸cão é o principal fator de percep¸cão de distância, um trabalho futuro poderia analisar todos os conceitos relacionados a reverbera¸cão e suas implica¸cões na implementa¸cão da percep¸cão de distância.

Cap´ıtulo 4. Conclus˜oes e Perspectivas 45

Publica¸c˜oes

Felipe Grijalva, Luiz Martini, Siome Goldenstein, and Dinei Florencio. Anthropometric based customization of Head-Related Transfer Functions using Isomap in the horizontal plane. In 2014 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pages 4493-4497, Florence, Italy, May 2014.

Bibliografia

[1] R Preibisch-Effenberger, Die Schallokalisationsf¨ahigkeit des Menschen und ihre audiome- trische Verwendung zur klinischen Diagnostik [The human faculty of sound localization and its audiometric application to clinical diagnostics], Ph.D. thesis, Dissertation, Technische Universit¨at, Dresden, 1966.

[2] Haustein and Schirmer, “Messeinrichtung zur Untersuchung des Richtungslokalisationsver- mogens,” Hochfrequenztech und Elektroakustik, , no. 79, pp. 96–101, 1970.

[3] Jens Blauert, Spatial hearing: the psychophysics of human sound localization, MIT press, revised edition, 1997.

[4] P. Damaske and B. Wagener, “Richtungshorversuche uber einen nachgebildeten Kopf,” Acustica, vol. 21, no. 30, pp. 118, 1969.

[5] Pavel Zahorik, “Auditory display of sound source distance,” in Proc. Int. Conf. Audit. Disp., 2002, pp. 2–5.

[6] Wahidin Wahab and Dadang Gunawan, “Enhanced Individualization of Head-Related Impulse Response Model in Horizontal Plane Based on Multiple Regression Analysis,” in Int. Conf. Comput. Eng. Appl. 2010, vol. 2, pp. 226–230, IEEE.

[7] V Algazi, R Duda, D Thompson, and C Avendano, “The CIPIC HRTF database,” in Work. Appl. Signal Process. to Audio Acoust., New Platz, NY, USA, 2001, pp. 99–102, IEEE.

Bibliografia 47

[11] C Frauenberger and M Noisternig, “3D audio interfaces for the blind,” in Proc. 2003 Int. Conf. Audit. Disp., 2003, pp. 1–4.

[12] Amandine Afonso, Brian F G Katz, Alan Blum, Christian Jacquemin, and Michel Denis, “A study of spatial cognition in an immersive virtual audio environment: Comparing blind

and blindfolded individuals,” in Proc. 10th Meet. Int. Conf. Audit. Disp., 2005, pp. 1–8. [13] Gareth R. White, Geraldine Fitzpatrick, and Graham McAllister, “Toward accessible 3D

virtual environments for the blind and visually impaired,” in Proc. 3rd Int. Conf. Digit. Interact. Media Entertain. Arts - DIMEA ’08, New York, USA, Sept. 2008, p. 134, ACM Press.

[14] Patrick Roth, Lori Petrucci, Thierry Pun, and Andr´e Assimacopoulos, “Auditory browser for blind and visually impaired users,” in CHI ’99 Ext. Abstr. Hum. factors Comput. Syst., New York, New York, USA, 1999, pp. 218–219, ACM Press.

[15] Stuart Goose and C M¨oller, “A 3D audio only interactive Web browser: using spatialization to convey hypermedia document structure,” in Proc. 7th ACM Int. Conf. Multimed. (Part 1), 1999, pp. 363–371.

[16] Jack M Loomis, Reginald G Golledge, and Roberta L Klatzky, “Navigation system for the blind: Auditory display modes and guidance,” Presence Teleoperators Virtual Environ., vol. 7, no. 2, pp. 193–203, 1998.

[17] Anatole Lécuyer, Pascal Mobuchon, Christine Mégard, Jérôme Perret, Claude Andriot, and J-P Colinot, “HOMERE: a multimodal system for visually impaired people to explore virtual environments,” in Virtual Reality, 2003. Proceedings. IEEE. IEEE, 2003, pp. 251–258, IEEE Comput. Soc.

[18] Yoshihiro Kawai and Fumiaki Tomita, “A Support System for Visually Impaired Persons Using Acoustic Interface–Recognition of 3-D Spatial Information–,” in Proc. 16th Intl. Conf. Pattern Recognit., 2001, pp. 974–977.

[19] Shraga Shoval, Iwan Ulrich, and Johann Borenstein, “NavBelt and the Guide-Cane [obstacle- avoidance systems for the blind and visually impaired],” Robot. Autom. Mag. IEEE, vol. 10, no. 1, pp. 9–20, 2003.

[20] Brian F. G. Katz, Slim Kammoun, Ga¨etan Parseihian, Olivier Gutierrez, Adrien Brilhault, Malika Auvray, Philippe Truillet, Michel Denis, Simon Thorpe, and Christophe Jouffrais, “NAVIG: augmented reality guidance system for the visually impaired,” Virtual Real., vol.

16, no. 4, pp. 253–269, June 2012.

[21] Zhengyou Zhang, “Microsoft Kinect Sensor and Its Effect,” IEEE Multimed., vol. 19, no. 2, pp. 4–10, Feb. 2012.

[22] Durand R. Begault, 3D Sound for Virtual Reality and Multimedia, AP Professional, Cambridge, 1994.

Bibliografia 48

[23] Donald Mershon and L King, “Intensity and reverberation as factors in the auditory perception of egocentric distance,” Attention, Perception, Psychophys., vol. 18, no. 6, pp. 409–415, 1975.

[24] Lord Rayleigh, “On our perception of sound direction,” Philos. Mag. Ser. 6, vol. 13, no. 74, pp. 214–232, Feb. 1907.

[25] George F. Kuhn, “Model for the interaural time differences in the azimuthal plane,” J. Acoust. Soc. Am., vol. 62, no. 1, pp. 157, July 1977.

[26] B. McA. Sayers, “Acoustic-Image Lateralization Judgments with Binaural Tones,” J. Acoust. Soc. Am., vol. 36, no. 5, pp. 923, May 1964.

[27] S S Stevens and E B Newman, “The Localization of Actual Sources of Sound,” Am. J.

No documento Redução de dimensionalidade usando Isomap aplicada ao áudio espacial (páginas 61-76)