4.2 Rede Neural Evolutiva com Aprendizado Extremo Recursivo
4.2.3 Algoritmo de Aprendizagem da eNNEL
Aprendizado extremo ´e uma abordagem para treinamento de redes neurais feedforward com uma camada intermedi´aria (Huang et al.; 2004). Na rede eNNEL, os valores da camada inter- medi´aria s˜ao escolhidos aleatoriamente e os pesos da camada de sa´ıda determinados por um algoritmo WRLS (Liang et al.; 2006; Bordignon e Gomide; 2014).
Huang, Chen e Siew (2006) provam a capacidade universal de aproxima¸c˜ao das ELM e Huang (2008) mostra que os pesos da camada intermedi´aria podem ser definidos aleat´oriamente, e os pesos da camada de sa´ıda determinados anal´ıticamente.
Os pesos da eNNEL s˜ao escolhidos de maneira n˜ao supervisionada no intervalo [-1,1] e mantidos fixo para toda a aplica¸c˜ao. O algoritmo de aprendizagem, semelhante `as equa¸c˜oes (3.33)-(3.35), atualizam os pesos de sa´ıda, R.
O Algoritmo 4.3 resume a aprendizagem da rede neural evolutiva com aprendizado extremo recursivo.
Conforme o Algoritmo 4.3, o primeiro dado define a primeira nuvem e a estrutura da rede ´
e iniciada. Com uma nuvem, a rede possui somente um neurˆonio na camada intermedi´aria e seus respectivos pesos, w1 = [w11, w21, . . . , wn+m]T, onde n ´e o n´umero componentes do dado de
entrada e m ´e o n´umero componentes do dado de sa´ıda, e r1 = [r11, r21, . . . , rm1]T. Os pesos da
camada intermedi´aria, w1, s˜ao definido aleatoriamente no intervalo [-1,1]. Os pesos de sa´ıda,
4.2. Rede Neural Evolutiva com Aprendizado Extremo Recursivo 49
Algoritmo 4.3 Algoritmo de aprendizagem da eNNEL e eNNELv.
ler o primeiro dado z1
inicializar a primeira nuvem segundo z1
inicializar a estrutura da rede e os parˆametros Lt= 1
escolher os pesos da camada intermedi´aria aleatoriamente while existirem entradas do
ler o novo dado xt
calcular a densidade local e global (4.5) e (4.4) if Γt> Γfl ∀l, l = 1, . . . , Lt then
criar uma nova nuvem
adicionar um neurˆonio na camada intermedi´aria e seus respectivos pesos escolher aleatoriamente os valores dos pesos da camada intermedi´aria else
associar o novo dado `a N uvemI segundo (4.7)
atualizar a N uvemI
calcular a nova densidade local da N uvemI (4.5)
if γt I > γ f Iand Γt> Γ f I then
atualizar o ponto focal end if
end if
calcular a sa´ıda dos neurˆonios intermedi´arios (4.13) estimar a sa´ıda ˆyt
ler a sa´ıda desejada yt
if U titl < 1 ∀l, l = 1, . . . , Lt then
excluir a nuvem l e o neurˆonio corresponde, assim como seus pesos da camada interme- di´aria e de sa´ıda
end if
atualizar os pesos R utilizando (3.33)-(3.35) end while
50 Cap´ıtulo 4. Redes Neurais com Aprendizado Extremo Recursivo
locais e globais segundo o que foi apresentado na sub se¸c˜ao 3.1.2.
Ap´os a fase de inicializa¸c˜ao, enquanto houver entrada de dados, o algoritmo segue calculando recursivamente as densidades locais e globais segundo (4.5) e (4.4) respectivamente.
Se a condi¸c˜ao (4.6) for satisfeita, uma nova nuvem ´e criada, Lt ´e incrementado, assim como
um novo neurˆonio na camada intermedi´aria e seus respectivos pesos, wt
L = [w1Lt, w2Lt, . . . , wn+mLt]T
e rLt = [r1Lt, r2Lt, . . . , rmLt]T. A matriz de pesos intermedi´arios ganha uma nova coluna,
W = [W, wLt] e a matriz de pesos da camada de sa´ıda ganha uma nova coluna contendo o
novo vetor de pesos, R = [R, rLt]. Os valores iniciais dos pesos intermedi´arios s˜ao definidos
como anteriormente.
Se a condi¸c˜ao (4.6) n˜ao for satisfeita, o novo dado ser´a associado a N uvemI, com I definido
em (4.7). Os parˆametros da N uvemI s˜ao atualizados, assim como sua densidade local segundo
(4.5) e, se satisfeita a condi¸c˜ao (4.8), seu ponto focal.
Por fim, calcula-se a sa´ıda dos neurˆonios intermedi´arios conforme (4.13). A sa´ıda da rede, ˆ
yt, ´e estimada segundo (4.14).
Para a rede eNNELv, se a condi¸c˜ao (4.10) for satisfeita, deve-se excluir a nuvem l que satisfez
a condi¸c˜ao. Todos os parˆametros da nuvem l s˜ao exclu´ıdos, assim como o neurˆonio associado `a essa nuvem, seus pesos da camada intermedi´aria e de sa´ıda.
O valor desejado de sa´ıda, yt, torna-se dispon´ıvel e ele ´e utilizado para atualizar os pesos da camada de sa´ıda, R, segundo (3.33)-(3.35).
4.3
Resumo
Este cap´ıtulo apresentou as duas redes neurais com aprendizado extremo recursivo propostas neste trabalho. Foi apresentada a estrutura da rede neural nebulosa h´ıbrida evolutiva, o algo- ritmo de parti¸c˜ao e representa¸c˜ao do espa¸co de entrada-sa´ıda e o aprendizado extremo recursivo. A rede neural evolutiva com aprendizado extremo recursivo compartilha semelhan¸ca na es- trutura e no processo de aprendizagem da rede anterior. Por´em, o procedimento de parti¸c˜ao e representa¸c˜ao do espa¸co de entrada-sa´ıda ´e usado aqui para determinar o n´umero de neurˆonios na camada intermedi´aria
O pr´oximo cap´ıtulo trata de experimentos computacionais realizado para avaliar o desem- penho das redes neurais propostas. As redes ser˜ao comparadas com os principais algoritmos e m´etodos evolutivos de modelagem propostos na literatura.
Cap´ıtulo
5
Resultados Computacionais
Este cap´ıtulo apresenta os resultados das redes neurais com aprendizado extremo recursivo, da rede neural nebulosa h´ıbrida evolutiva, da rede neural evolutiva com aprendizado extremo recursivo e da OS-ELMn. O desempenho das redes ´e comparado com algoritmos que s˜ao o estado da arte em modelagem evolutiva e os algoritmos que foram utilizados para a formula¸c˜ao das redes. S˜ao eles o DENFIS (Kasabov e Song; 2002), ANYA (Angelov e Yager; 2011a), OS-ELM (Liang et al.; 2006) e ELM cl´assico (Huang et al.; 2004).
5.1
Introdu¸c˜ao
As redes s˜ao testadas em duas aplica¸c˜oes, identifica¸c˜ao de sistemas e previs˜ao de s´eries temporais. Para a identifica¸c˜ao de sistemas utiliza-se o conjunto de dados Box-Jenkins e para a previs˜ao de s´eries temporais utiliza-se o sistema ca´otico Mackey-Glass e uma s´erie temporal n˜ao linear com dados sint´eticos. Para cada aplica¸c˜ao foram calculados os desempenhos de todos os modelos.
O desempenho ´e calculado com a raiz quadrada do erro quadrado m´edio (RMSE, Root Mean Square Error). O modelo com menor valor desse crit´erio ´e o modelo que menos errou na aplica¸c˜ao. Al´em do RMSE, o teste estat´ıstico Diebold-Mariano (Diebold e Mariano; 1995) ´
e utilizado. Esse teste estat´ıstico compara a acur´acia preditiva de dois modelos, com hip´otese nula de mesma acur´acia preditiva.
Sistemas como o DENFIS e ANYA s˜ao determin´ısticos, ou seja, conforme um conjunto de entrada, a resposta sempre ser´a a mesma. Nos outros modelos testados, um mesmo conjunto de entrada pode gerar diferentes valores de sa´ıda devido `a determina¸c˜ao aleat´oria dos pesos da camada intermedi´aria. Portanto, cada experimento foi realizado 100 vezes.
52 Cap´ıtulo 5. Resultados Computacionais
Os valores de m´ınimo, m´aximo, m´edia, desvio padr˜ao, mediana e amplitude interquartil (IQR) dos 100 valores de RMSE s˜ao apresentados. Os modelos ser˜ao comparados a partir dos valores m´edios de RMSE, e da m´edia de erros, para o teste estat´ıstico. O tempo de processa- mento dos modelos ´e a m´edia para as 100 repeti¸c˜oes.
O tempo de processamento para os diversos modelos ´e apresentado nas tabelas de resul- tado. Os algoritmos foram escritos e implementados no software matem´atico MatLab R em um
computador com 8 GB de mem´oria RAM, e um processador Intel R i7 com 3,40GHz.
Todos os dados s˜ao normalizados no intervalo [0.1, 0.9] utilizando a fun¸c˜ao mapminmax do software matem´atico MatLab R. O valor do fator de esquecimento para o WRLS, se¸c˜ao 3.2.1, ´e
ψ = 0, 9 para as redes propostas.