O M´etodo de Newton e o Algoritmo ARCM

Partindo das equa¸c˜oes originais do algoritmo ARCM, equa¸c˜oes (2.18), considere-se o erro quadr´atico a priori como fun¸c˜ao custo. Com isto verificamos que o algoritmo ARCM pode ser colocado na forma da equa¸c˜ao (2.35), utilizando aproxima¸c˜oes para a inversa da matriz Hessiana e para o vetor gradiente. Para se chegar a esta conclus˜ao basta combinar as express˜oes (2.18c) e (2.18d). Assim obt´em-se

p[n] = p[n − 1] + α(G[n])−1

{q[n − 1] − αM1x[n]ea[n]}

= p[n − 1] − (G[n])−1{α2

M1x[n]ea[n] − (p[n − 1] − p[n − 2])} .

(2.36)

Comparando (2.36) com (2.35) pode-se concluir imediatamente que o algoritmo ARCM faz uso das seguintes estimativas:

c

∇f (n, pn−1) = β(α2M1ea[n]x[n] − p[n − 1] + p[n − 2]) (2.37)

b

F (n, pn−1) = βG[n], (2.38)

2.5. Rela¸c˜ao do algoritmo ARCM com o M´etodo de Newton 37

M1 = m1I e β = γ/(α + γ) resultam express˜oes mais familiares:

ρn = α α + γ (2.39) c ∇f (n, pn−1) = ea[n]x[n] − 1 α2_m 1 (p[n − 1] − p[n − 2]) (2.40) b F (n, pn−1) = 1 αγm1 I + x[n]x[n]T_{. (2.41)}

A express˜ao (2.40) ´e uma estimativa instantˆanea do vetor gradiente E{ea[n]x[n]}

“corrigida” por um termo proporcional ao incremento do coeficiente anterior, e (2.41) ´e uma estimativa instantˆanea regularizada da matriz Hessiana Rx = E



x[n]xT_{[n] . ´E}

ilustrativo observar que para o algoritmo LMS vale ρn = µ (o passo de adapta¸c˜ao),

c

∇f (n, pn−1) = ea[n]x[n] e bF (n, pn−1) = I, e que para o algoritmo NLMS (ver Apˆendice

B) vale ρn= µn, c∇f (n, pn−1) = ea[n]x[n] e bF (n, pn−1) = ǫI + x[n]xT[n] (Sayed, 2003).

Pode-se observar que a estimativa de bF do algoritmo ǫ−NLMS ´e igual `a do algoritmo acelerador se

ǫ = 1

αγm1

. (2.42)

O fato de que a estimativa do gradiente do algoritmo acelerador ´e modificada pelos dois valores anteriores do parˆametro p, pode determinar uma vantagem para o algoritmo acelerador no sentido de que isto pode influenciar na dire¸c˜ao em que os coeficientes se movem dentro do espa¸co de parˆametros, como veremos em um exemplo a seguir.

Experimentalmente pode-se verificar atrav´es de um gr´afico o comportamento dos coeficientes dos algoritmos LMS, NLMS, Acelerador vers˜ao γ e de Newton no espa¸co de parˆametros. Para conseguir isto implementou-se o sistema de um filtro preditor de dois coeficientes apresentado na Figura 2.2, e como base de compara¸c˜ao considerou-se que o desvio padr˜ao dos coeficientes na regi˜ao de convergˆencia seja semelhante para todos os algoritmos. A Tabela 2.2 apresenta as condi¸c˜oes empregadas na experiˆencia tais como os sinais, os valores dos parˆametros usados por cada um dos algoritmos e os seus respectivos desvios-padr˜ao.

2.5. Rela¸c˜ao do algoritmo ARCM com o M´etodo de Newton 38

Figura 2.2: Sistema de filtro preditor implementado para an´alise de convergˆencia no espa¸co de parˆametros.

Sinal de entrada sen

 5π 128n + 0, 4π  σ2 ru´ıdo branco v[n] ₁₀−4 Coeficientes iniciais [−1.5 −1.7] Coeficientes ´otimos [2 −1] No. de amostras _{1.8 x 10}5

No. de amostras usadas para calculo do EQM _{ultimas 8 x 10´} 4

No. de experiˆencias ₂₀

Parˆametros:

ARγγγ 1 ARγγγ 2 NLMS 1 NLMS 2 Newton LMS

α = 0.125 α = 1.25 ǫ = 5.9259 ǫ = 0.0127 ρ = 0.05 µ = 0.08

m1 = 0.09 m1 = 0.009 µn = 0.525 µn= 0.0056

γ = 15 γ = 7000

Desvio resultante:

σ = 0.002 σ = 0.0022 σ = 0.0019 σ = 0.002 σ = 0.002

Tabela 2.2: Condi¸c˜oes para a an´alise da convergˆencia no espa¸co de parˆametros e desvio padr˜ao dos coeficientes dos algoritmos ARγ, NLMS, Newton e LMS.

2.5. Rela¸c˜ao do algoritmo ARCM com o M´etodo de Newton 39

Para as condi¸c˜oes em (AR1, NLMS1) e (AR2, NLMS2) a condi¸c˜ao (2.42) ´e satisfeita, ou seja, as regulariza¸c˜oes empregadas pelo AR e pelo NLMS s˜ao iguais. As diferen¸cas dos algoritmos ser˜ao portanto devidas ao termo adicional −p[n − 1] + p[n − 2] aplicado ao gradiente.

Como o algoritmo acelerador regressivo vers˜ao γ ´e um caso especial do algoritmo acelerador convencional matricial, os resultados aqui expressos podem ser considerados v´alidos tamb´em para este algoritmo.

A Figura 2.3 apresenta as trajet´orias no plano dos coeficientes onde tamb´em est˜ao representadas as curvas de contorno da fun¸c˜ao custo. Dois comportamentos diferentes do algoritmo acelerador s˜ao mostrados, um deles similar aos dos algoritmos LMS e NLMS (ARγ 1) e outro similar ao algoritmo de Newton (ARγ 2). Neste ´ultimo caso, con- siderando o espa¸co dos coeficientes, a convergˆencia ocorre aproximadamente sobre uma reta ligando os coeficientes iniciais aos coeficientes ´otimos. Fica assim evidenciado que, dependendo do valor dos parˆametros α, m1 e γ, o algoritmo acelerador pode apresentar

comportamentos bastante diversos, algo que n˜ao acontece com o algoritmo NLMS. O fato de que os valores dos parˆametros de ajuste foram definidos para cumprir com a equa¸c˜ao (2.42), permite determinar que o fator adicional na estimativa do gradiente do algoritmo acelerador ´e quem determina a dire¸c˜ao em que se movimentam os coeficientes. Pode causar uma certa surpresa que quando o algoritmo acelerador apresenta um com- portamento como o algoritmo de Newton, a velocidade de convergˆencia seja menor do que quando o comportamento ´e semelhante ao algoritmo LMS, ver Figura 2.4. Neste trabalho n˜ao se chegou a realizar um estudo aprofundado desta observa¸c˜ao.

Nos pr´oximos cap´ıtulos, ser˜ao apresentadas as an´alises te´oricas dos algoritmos APCM e ARγ com experiˆencias que permitem comprovar a validade destas an´alises.

2.5. Rela¸c˜ao do algoritmo ARCM com o M´etodo de Newton 40 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.5 −2.5 −2 −1.5 −1 −0.5 0 0.5 1 1.5 w 0 w 1 LMS≈NLMS 1 NLMS 2 ARγ 1 ARγ 2 Newton

Figura 2.3: Ilustra¸c˜ao dos algoritmos LMS, NLMS, ARγ, e Newton, para dois coefi- cientes. 0 2000 4000 6000 8000 10000 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.5 n p LMS ARγ 1 ARγ 2 NLMS 1 NLMS 2

Cap´ıtulo 3

AN ´ALISE DO ALGORITMO

ACELERADOR PROGRESSIVO

O algoritmo acelerador progressivo convencional matricial (APCM) ´e um dos algorit- mos mais simples obtidos na discretiza¸c˜ao do algoritmo acelerador de tempo cont´ınuo. Apesar de ter sido mostrado no trabalho de Jojoa (1999) que ele n˜ao ´e sempre est´avel, ´e analisado neste cap´ıtulo dado que ´e um algoritmo que apresenta baixa complexidade computacional. Como base de compara¸c˜ao para determinar as vantagens ou desvanta- gens deste algoritmo foi utilizado o algoritmo LMS, tendo em conta a sua simplicidade e que pode ser obtido do algoritmo do gradiente de tempo cont´ınuo pelo m´etodo de Euler progressivo. Neste cap´ıtulo ´e inicialmente apresentada uma an´alise do algoritmo LMS que vai servir de base de compara¸c˜ao, e posteriormente ´e apresentada a an´alise dos momentos de primeira e segunda ordens realizada sobre o algoritmo acelerador APCM, encontrando condi¸c˜oes para estabilidade na m´edia e na m´edia quadr´atica, e aproxima¸c˜oes para o erro em regime do algoritmo.

3.1

O algoritmo LMS

Um dos algoritmos mais importantes da fam´ılia dos algoritmos de gradiente estoc´astico ´e o algoritmo LMS, o qual foi desenvolvido por Widrow e Hoff nos anos sessenta. A principal caracter´ıstica deste algoritmo, e que faz dele o algoritmo a ser considerado como base de compara¸c˜ao, ´e a sua simplicidade. As equa¸c˜oes que definem este algoritmo

3.1. O algoritmo LMS 42

s˜ao as seguintes (Solo; Kong, 1995):

e[n] = xT_{[n]p[n − 1] − d[n]}

p[n] = p[n − 1] − µx[n]e[n], com o modelo

d[n] = xT_[n]p

0+ η[n],

em que x[n] corresponde ao sinal de entrada (regressor) e η[n] ao ru´ıdo de medida. Sejam consideradas as seguintes hip´oteses:

• x[n] ´e um vetor gaussiano, de m´edia zero com matriz de covariˆancia Rx = E{x[n]xT[n]}.

• O sinal de ru´ıdo de medida, η[n], ´e gaussiano de m´edia zero e variˆancia σ2 η.

• x[n] e η[n] s˜ao estatisticamente independentes.

De acordo com (Solo; Kong, 1995), tendo-se em conta as anteriores considera¸c˜oes a an´alise dos momentos de primeira ordem determina que para o algoritmo LMS,

E{δp[n]} = (I − µRx)E{δp[n − 1]}

em que δp[n] = p[n] − po, sendo po os parˆametros ´otimos e, a an´alise dos momentos de

segunda ordem que para PPP[n] = E{δp[n]δpT_[n]},

P P

P[n] = PPP[n − 1] − µ (PPP[n − 1]Rx+ RxPPP[n − 1]) + 2µ2RxPPP[n − 1]Rx+

+µ2

tr {PPP[n − 1]Rx} Rx+ µ2ση2Rx,

em que tr{·} corresponde ao tra¸co de uma matriz.

Determina-se que o erro quadr´atico m´edio (EQM) ´e dado por Ee2

[n] = σ2

η + tr{RxPPP[n − 1]}.

3.2. An´alise dos momentos do algoritmo APCM 43