As contribuições deste trabalho para o Simpatico foram materializadas na implementação das técnicas de estimação BeamScan e Root-MVDR para uma única fonte, bem como na adaptação de todas as técnicas descritas no Capítulo 3 para múltiplas fontes e no arcabouço teórico que resultou na função gaussian_mixture_model.
Capítulo 5
Resultados e Discussão
Os primeiros resultados mostrados neste capítulo validam o subconjunto de trabalhos mostrados nas Tabelas 1.2 e 1.3 como forma de atestar a confiabilidade dos resultados produzidos com o SimPatico. Na sequência, são apresentados as análises comparativas de desempenho entre as técnicas descritas no Capítulo 3, tanto para ruído AWGN, como para ruído impulsivo.
5.1
Validação de trabalhos da literatura com o SimPatico
Como forma de validar resultados da literatura e realizar uma espécie de benchmarking, foi feito uma pesquisa de trabalhos de referência e a configuração do SimPatico para realizar simulações específicas de reprodução de resultados já publicados. Essa etapa é uma contribuição importante desta dissertação e foi fundamental para identificar que a maioria dos trabalhos ocultam informações crucias que dificultam sua reprodução. Outro fato corriqueiro é a não disponibilização do código que gera os resultados das publicações. Em relação aos parâmetros não divulgados nas publicações sobre DoA, se destacam: o tipo de sinal emitido pela fonte, a resolução do grid para técnicas que necessitam gerar pseudo-espectro para estimação do DoA e o cálculo da relação sinal ruído (SNR) em cenários sujeitos a ruído impulsivo.
5.1.1
Cenário sujeito ao Ruído AWGN
As Figuras 5.1 e 5.2 mostram resultados de −10 · log10(MSE) e de MSE1vs SNR para
os algoritmos ESPRIT e Root-MUSIC. As curvas com legenda identificada com o termo “Artigo” foram extraídas de (Rao & Hari 1989), para o algoritmo ESPRIT e Root-MUSIC, e de (Johnson et al. 2008), para o algoritmo MUSIC. As demais curvas foram construídas com o simulador SimPatico.
1A MSE é a Equação 4.1 (RMSE) elevada ao quadrado. Decidiu-se mostrar o MSE ao invés do RMSE
CAPÍTULO 5. RESULTADOS E DISCUSSÃO 42
Figura 5.1: Validação de resultados da literatura com o SimPatico para as técnicas Root-MUSIC e ESPRIT. 0 2 4 6 8 10 12 14 16 18 20 SNR [dB] 15 20 25 30 35 40 45 50 -10*LOG10(MSE)
-10*LOG10(MSE) vs. SNR para 2 fontes
Root-MUSIC - SimPatico ESPRIT - SimPatico Root-MUSIC - Artigo ESPRIT - Artigo
Fonte: Adaptado de (Rao & Hari 1989).
É possível notar um excelente convergência dos resultados das curvas dos artigos com as obtidas pelo SimPatico, validando os resultados da literatura e evidenciando confiabilidade nos resultados do simulador SimPatico. Já tabela Tabela 5.1 mostra os resultados de validação do MVDR baseados em (Akbari et al. 2010). Um experimento similar ao mostrado em (Akbari et al. 2010) foi realizado no SimPatico com D = 2 (duas fontes), M = 15 (15 sensores), N = 1000 (1000 amostras coletadas em cada sensor) e SNR = 20 dB. A tabela mostra os ângulos médios estimados em todos os MC = 1000 experimentos. A diferença de resultado entre o SimPatico e o trabalho (Akbari et al. 2010) pode ser atribuída a aleatoriedade do ruído dos experimentos (são sementes e geradores aleatórios diferentes). Ainda assim é possível observar que os resultados de estimação são praticamente idênticos na segunda casa decimal.
CAPÍTULO 5. RESULTADOS E DISCUSSÃO 43
Figura 5.2: Validação de resultados da literatura com o SimPatico para a técnica MUSIC.
-15 -10 -5 0 5 10 15 20 25 SNR [dB] 10-3 10-2 10-1 100 101 102 103 104 MSE
MSE vs. SNR para 4 fontes
MUSIC - SimPatico MUSIC - Artigo
Fonte: Adaptado de (Johnson et al. 2008).
Tabela 5.1: Resultados de validação do MVDR baseados em (Akbari et al. 2010).
Média dos ângulos estimados (Graus) Desvio em relação ao valor esperado (%)
Artigo SimPatico Artigo SimPatico
θ θθ1= 70◦◦◦ 70,0679◦ 70,0660◦ 0,10% 0,09% θ θθ2= 87◦◦◦ 86,6356◦ 86,6339◦ -0,42% -0,42% θ θθ1= 71◦◦◦ 71,0977◦ 71,0980◦ 0,14% 0,14% θ θθ2= 87◦◦◦ 86,4832◦ 86,4908◦ -0,59% -0,59% θ θθ1= 72◦◦◦ 72,1410◦ 72,1413◦ 0,20% 0,20% θ θθ2= 87◦◦◦ 86,2558◦ 86,2503◦ -0,86% -0,86% θ θθ1= 73◦◦◦ 73,2236◦ 73,2220◦ 0,31% 0,30% θ θθ2= 87◦◦◦ 86,0641◦ 85,9241◦ -1,08% -1,24%
Fontes: Adaptado de (Akbari et al. 2010) e autoria própria.
Em relação ao BeamScan, os resultados validaram o pseudo-espectro (Equação 3.1) apresentado em (Chung et al. 2014), pois os autores do trabalho não disponibilizam as curvas de Pd vs SNR ou de RMSE vs SNR. Assim, a Figura 5.3 foi elaborada para
ilustrar o pseudo-espectro reproduzido no SimPatico (Figura 5.3a) e compará-lo com o apresentado em (Chung et al. 2014) (Figura 5.3b). Na Figura 5.3b, a legenda CBF (Convetional Beamforming) se refere ao algoritmo BeamScan.
Por fim, o Root-MVDR não foi validado por falta de referências que tivesse informações suficientes para sua reprodutibilidade. Contudo, levando em consideração que as implementações do Root-MVDR e Root-MUSIC se diferenciam apenas pela composição da matriz C (CRoot−MUSIC= En· EHn e CRoot−MV DR= ˆR−1), foi considerado
CAPÍTULO 5. RESULTADOS E DISCUSSÃO 44
Figura 5.3: Resultados de validação do BeamScan baseados em (Chung et al. 2014).
0 5 10 15 20 25 30 35 40 Direção de Chegada 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Pseudo-Espectro (P BeamScan ( )) BeamScan MVDR MUSIC
(a) SimPatico. (b) Referência (Chung et al. 2014).
Fonte: Autoria Própria.
que a implementação do Root-MVDR está validada implicitamente quando se verifica o resultados do Root-MUSIC da Figura 5.1.
5.1.2
Cenário sujeito ao Ruído Impulsivo
Além das dificuldades já citadas na Seção 5.1 quanto a reprodutibilidade dos resultados, o levantamento de trabalhos de DoA que tratam de cenários com ruído impulsivo modelado por GMM se mostrou bem mais restritivo em termos quantitativos que os trabalhos com AWGN. A primeira evidência desse fato é o resultando de apenas quatro referências comparáveis ao trabalho desta dissertação, conforme a Tabela 1.3.
O trabalho Maximum-likelihood array processing in non-Gaussian noise with Gaussian (Kozick & Sadler 2000) apresenta um estudo do processamento de arranjos para técnica baseada em Máxima Verossimilhança (do Inglês, Maximum Likelihood) em ruídos não gaussianos. Das técnicas citadas no Capítulo 3, apenas o MUSIC é escolhido como técnica clássica para ser comparada com as demais, as quais são mais bem sucedidas em termos de RMSE e Pd. Contudo, não foi possível utilizar o
SimPatico para reproduzir os resultados de (Kozick & Sadler 2000) devido as diferenças de modelagem. Por exemplo, diferente do SimPatico, um range de SNR é obtido por meio da variação da potência do sinal em função de variância que regula a impulsividade das amostras. Adicionalmente, os autores não indicam como o sinal da fonte foi modelado, nem a resolução do pseudo-espectro para busca do máximo (DoA), informações muito importantes para reprodutibilidade dos resultados. Por fim, o desempenho é mostrado por meio de uma métrica de desempenho incomum, o NMSE (do Inglês, Normalized Mean-Square Error).
Já os trabalhos Maximum Likelihood Parameter Estimation Under Impulsive Conditions, a sub-Gaussian Signal Approach (Georgiou & Kyriakakis 2006) e Robust direction-of-arrival estimation for FM sources in the presence of impulsive noise(Sharif et al. 2010) apresentam análise de desempenho na presença de ruído impulsivo, mas
CAPÍTULO 5. RESULTADOS E DISCUSSÃO 45
infelizmente não incluem nenhuma das técnicas clássicas de DoA modeladas nesta dissertação.
Por fim, o trabalho `p-MUSIC: Robust Direction-of-Arrival Estimator for Impulsive
Noise Environments(Zeng et al. 2013) é dedicado a avaliar o MUSIC e seus derivados (ROC-MUSIC e FLOM-MUSIC) para cenários sujeitos a ruído AWGN e a ruído impulsivo modelado por distribuições α-stable e GMM. Os resultados para os casos com GMM e AWGN tradicional tem desempenho muito similares, chegando ao ponto do caso AWGN apresentar desempenho mais pobre do que para mistura de gaussianas. Caso não tenha nenhum problema de implementação, isso certamente se deve a maneira de configurar os parâmetros do GMM, algo que será discutido na Seção 5.3.
Assim, esta dissertação cumpre seu papel no intuito de disponibilizar uma análise de desempenho unificada, incluindo ambientes com ruído AWGN e com ruído impulsivo, podendo servir de benchmarking para outros trabalhos da área.