XII Simpósio Brasileiro de Automação Inteligente (SBAI) Natal RN, 25 a 28 de outubro de 2015

(1)

UMA AVALIA ¸C ÃO EMPÍRICA DE MODELOS DE PROCESSOS GAUSSIANOS PARA IDENTIFICA ¸C ÃO ROBUSTA DE SISTEMAS DIN ÂMICOS

C´esar Lincoln C. Mattos∗_{, Jos´}_{e Daniel A. Santos}†_{, Guilherme A. Barreto}∗ ∗_{Universidade Federal do Cear´}_{a, Departamento de Engenharia de Teleinform´}_atica,

Centro de Tecnologia, Campus do Pici, Fortaleza, Cear´a, Brasil

†_{Instituto Federal de Educa¸c˜}_{ao, Ciˆencia e Tecnologia do Cear´}_a,

Departamento de Indústria, Maracanaú, Ceará, Brasil

Emails: cesarlincoln@terra.com.br, jdalencars@gmail.com, gbarreto@ufc.br

Abstract— System identification comprises a number of linear and nonlinear tools for black-box modeling of dynamical systems, with applications in several areas of engineering, control, biology and economy. However, the usual Gaussian noise assumption is not always satisfied, specially if data is corrupted by impulsive noise or outliers. Bearing this in mind, the present paper aims at evaluating how Gaussian Process (GP) models perform in system identification tasks in the presence of outliers. More specifically, we compare the performances of two existing robust GP-based regression models in experiments involving five benchmarking datasets with controlled outlier inclusion. The results indicate that, although still sensitive in some degree to the presence of outliers, the robust models are indeed able to achieve lower prediction errors in corrupted scenarios when compared to conventional GP-based approach.

Keywords— Robust system identification, Gaussian process, Approximate Bayesian inference, Adaptive and learning systems.

Resumo— Identifica¸cão de sistemas consiste em diversas ferramentas lineares e não-lineares para modelagem do tipo “caixa-preta” de sistemas dinâmicos, com aplica¸cões em diversas áreas, como engenharia, controle, biologia e economia. Entretanto, a suposi¸cão convencional de ru´ıdo Gaussiano não é sempre satisfeita, especialmente se os dados estão corrompidos por ru´ıdo impulsivo ou outliers. Nesse contexto, o presente trabalho visa avaliar o desempenho de modelos de Processos Gaussianos (PGs) em tarefas de identifica¸cão de sistemas na presen¸ca de outliers. Mais especificamente, o desempenho de dois modelos de regressão robusta baseados em PG já existentes são comparados em experimentos envolvendo cinco conjunto de dados artificiais com inclusão controlada de outliers. Os resultados indicam que, apesar de ainda sens´ıveis em certo n´ıvel à presen¸ca de outliers, os modelos robustos são capazes de obter menores erros de predi¸cão nos cenários com contamina¸cão quando comparados com a abordagem convencional de PG.

Palavras-chave— Identifica¸c˜ao robusta de sistemas, Processos Gaussianos, Inferˆencia Bayesiana aproximada, Sistemas adaptativos e de aprendizagem.

1 Introdu¸c˜ao

Processos Gaussianos (PGs) fornecem um arca-bou¸co probabil´ıstico prático para o aprendizado de sistemas de aprendizagem (Rasmussen and Williams, 2006). Devido sua versatilidade, mo-delos de PG têm recebido considerável aten¸cão da comunidade de aprendizagem de máquina, levando a aplica¸cões bem sucedidas nas áreas de classifica¸cão e regressão (Williams and Bar-ber, 1998), visualiza¸cão de dados de alta dimensi-onalidade (Lawrence, 2004) e identifica¸cão de sis-temas (Kocijan, 2005), para citar algumas.

Neste trabalho é de particular interesse a apli-ca¸cão de modelos de PG em problemas de identi-fica¸cão de sistemas dinâmicos, tarefa em que fer-ramentas lineares e não-lineares são usadas para modelagem do tipo “caixa-preta”, na qual a iden-tifica¸cão é feita somente a partir dos dados de en-trada e sa´ıda do sistema, sem conhecimento de detalhes sobre seu funcionamento. Entre as pri-meiras contribui¸cões de modelos de PG na área de identifica¸cão de sistemas, destaca-se o trabalho (Murray-Smith et al., 1999), que aplica tais mo-delos em dados referentes à dinâmica de ve´ıculos.

Desde então, várias abordagens interessantes têm surgido na literatura, como modelos de PG com observa¸cões derivativas (Solak et al., 2003), mo-delos locais de PG (Aˇzman and Kocijan, 2011), modelos evolutivos de PG (Petelin et al., 2013), e modelos de PG baseados em espa¸co de estados (Frigola et al., 2014).

As abordagens mencionadas têm adotado uma verossimilhan¸ca Gaussiana para o modelo de ru´ıdo. No entanto, por se tratar de uma distri-bui¸cão de caudas leves, a verossimilhan¸ca Gaus-siana não é capaz de lidar adequadamente com ru´ıdo impulsivo (um poss´ıvel tipo de outlier ). Quando tais outliers são encontrados nos dados usados pelo modelo para estimar seus hiperparˆ a-metros, os mesmos não são determinados correta-mente. Além disso, por ser uma abordagem não-paramétrica1_{, um modelo de PG leva consigo os}

dados de estima¸cão quando usado para predi¸cão, i.e., as amostras de estima¸cão contendo outliers, assim como os hiperparâmetros erroneamente es-1_{Modelos n˜}_ao-param´_{etricos permitem que sua}

comple-xidade aumente com a quantidade de dados observados, não possuindo um número limitado de parâmetros, ao con-trário de modelos paramétricos.

(2)

timados, serão usados na etapa de predi¸cão. Essa caracter´ıstica pode comprometer a capacidade de generaliza¸cão do modelo a novos dados.

Nesse contexto, distribui¸cões de caudas pesa-das tendem a ser mais apropriapesa-das para mode-lar o ru´ıdo de observa¸cão quando outliers estão presentes. Tais distribui¸cões são capazes de con-siderar, ou justificar, valores extremos, pois estes possuem maior probabilidade que em distribui¸cões de caudas leves. Essa capacidade reduz o efeito de outliers presentes nos dados na etapa de estima-¸cão. Entretanto, enquanto a inferência em mode-los de PG com verossimilhan¸ca Gaussiana é anali-ticamente tratável, modelos com verossimilhan¸ca não-Gaussiana não o são, requerendo o uso de téc-nicas de aproxima¸cão, como o método Variational Bayes (VB) (Jordan et al., 1999) e o algoritmo Expectation Propagation (EP) (Minka, 2001).

Modelos de PG para regressão robusta têm recentemente atra´ıdo a aten¸cão da comunidade de aprendizagem de máquina. Em (Faul and Tip-ping, 2001), o ru´ıdo impulsivo é modelado como sendo gerado por uma segunda distribui¸cão Gaus-siana com maior variância, resultando em uma mistura de Gaussianas como modelo de ru´ıdo. A inferência é feita via VB. Em (Kuss et al., 2005), o mesmo modelo de ru´ıdo é escolhido, mas a in-ferência segue o algoritmo EP. Em (Tipping and Lawrence, 2005), modelos de PG com verossimi-lhan¸ca t de Student são aplicados no contexto de inferência variacional. A mesma verossimilhan¸ca é usada em (Jylänki et al., 2011), mas dessa vez segue uma abordagem via aproxima¸cão de La-place. A mesma abordagem é usada em (Berger and Rauscher, 2012) para calibrar motores a die-sel a partir de dados contaminados com outliers. Na tese de doutorado (Kuss, 2006), além de ser feita a revisão de diversos modelos de PG para re-gressão robusta, um modelo de ru´ıdo baseado na verossimilhan¸ca de Laplace é detalhado, seguindo uma inferência via EP.

A partir do exposto, o objetivo do presente trabalho consiste em avaliar alguns dos modelos robustos de PG mencionados na tarefa de identi-fica¸cão de sistemas dinâmicos não-lineares na pre-sen¸ca de outliers. Mais especificamente, será apli-cado um modelo baseado em verossimilhan¸ca de t de Student e inferência via VB, como em (Tipping and Lawrence, 2005), e um modelo com verossimi-lhan¸ca de Laplace e inferência via EP, de acordo com (Kuss, 2006). Tais algoritmos, inicialmente propostos para regressão robusta, terão seu de-sempenho avaliado em cenários de identifica¸cão de sistemas dinâmicos contaminados com outliers e comparados com modelos convencionais de PG (i.e. não-robustos) que têm sido usados até então pela literatura de identifica¸cão de sistemas.

O restante deste artigo encontra-se organi-zado da seguinte maneira: na Se¸cão 2 é descrito o problema de identifica¸cão de sistemas dinâmicos

não-lineares via modelos de PG convencionais e as duas variantes robustas mencionadas. Na Se¸cão 3 são reportados os resultados referentes à avalia¸cão desses modelos em cinco conjuntos de dados arti-ficiais com diferentes n´ıveis de contamina¸cão com outliers. O trabalho é conclu´ıdo na Se¸cão 4.

2 PG para Identifica¸cão de Sistemas Dinâmicos Não-lineares

Dado um modelo não linear de sistema dinâmico auto-regressivo com entradas exógenas (NARX, sigla em inglês), cuja i-ésima entrada vetorial xi ∈ RD é composta por Ly sa´ıdas passadas

ob-servadas yi∈ R e Lu entradas ex´ogenas passadas

ui∈ R, tem-se (Kocijan, 2005):

yi = ti+ i, (1)

ti = f (xi), i∼ N (i|0, σ2n),

xi = [yi−1,· · · , yi−Ly, ui−1,· · · , ui−Lu]

T_,

em que i é o instante de observa¸cão, ti ∈ R é a

sa´ıda real sem ru´ıdo, f (_{·) é uma fun¸cão não-linear} desconhecida e ié um ru´ıdo de observa¸cão

Gaus-siano. Depois de N instantes, tem-se o conjunto de dadosD = (xi, yi)|Ni=1 = (X, y), em que a

ma-triz X ∈ RN×D _{´e chamada matriz de regressores}

e y∈ RN_.

Após a estima¸cão do modelo, o mesmo pode ser usado para simular a sa´ıda do sistema identi-ficado. Neste trabalho utiliza-se uma abordagem iterativa em que sa´ıdas estimadas anteriores são usadas como regressores para predi¸cões futuras. Esse procedimento é chamado de simula¸cão livre ou predi¸cão de infinitos passos a frente.

2.1 Modelagem convencional de PG

No contexto de modelos de PG, considera-se para a fun¸cão não-linear f (_{·) uma distribui¸cão a priori} Gaussiana multivariada t = f (X)_{∼ PG(t|0, K),} em que um vetor de zeros foi considerado como média e K _{∈ R}N×N_{, K}

ij = k(xi, xj), ´e a

ma-triz de covariância, obtida através da fun¸cão de kernel k(_{·, ·), que deve gerar uma matriz} semide-finida positiva para constituir uma matriz de co-variância válida. A fun¸cão a seguir é uma esco-lha comum e será usada ao longo deste trabalho (Rasmussen, 1996): k(xi, xj) = σf2exp " −1₂ D X d=1 w2 d(xid− xjd)2 # + σl2xTi xj+ σ2c, (2) em que o vetor θ = [σ2 f, w21, . . . , w2D, σ2l, σc2]T reúne

os hiperparâmetros que caracterizam a covariância do modelo. Diversas outras fun¸cões de kernel são detalhadas em (Rasmussen and Williams, 2006).

Considerando uma verossimilhan¸ca Gaussi-ana multivariada p(y_{|t) = N (y|t, σ}2

(3)

I é a matriz identidade de dimensão N × N, a distribui¸cão a posteriori p(t|y, X) pode ser calcu-lada analiticamente. A distribui¸cão de uma nova sa´ıda t∗, dada uma nova entrada x∗, também pode

ser obtida analiticamente

p(t∗|y, X, x∗) = N (t∗|µ∗, σi2), (3) µ∗ = k∗N(K + σn2I)−1y, σ2_∗ = k∗∗− k∗N(K + σn2I)−1kN∗, em que k∗N = [k(x∗, x1),· · · , k(x∗, xN)], kN∗ = kT ∗N e k∗∗ = k(x∗, x∗). A distribui¸c˜ao preditiva

de y∗´e similar `a apresentada na Eq. (3), mas com

a variˆancia adicionada de σ2 n.

O vetor de hiperparâmetros θ pode ser es-tendido para incluir a variância do ru´ıdo de ob-serva¸cão σ2

n. Dessa maneira, todos os hiperparˆ

a-metros podem ser determinados simultaneamente pela maximiza¸cão da log-verossimilhan¸ca margi-nal ln p(y_{|X, θ) dos dados observados, também} chamada de evidência do modelo:

θ_∗ = arg max −1₂ln_{|K + σ}2 nI|− (4) 1 2y T_{(K + σ}2 nI)−1y− N 2 ln(2π) . O procedimento de otimiza¸cão pode ser guiado pelos gradientes da log-verossimilhan¸ca marginal com rela¸cão a cada componente do vetor θ. É inte-ressante ressaltar que a otimiza¸cão dos hiperparˆ a-metros pode ser vista como uma etapa de sele¸cão de modelos a partir dos dados de estima¸cão. 2.2 Modelos Robustos de PG com

verossimi-lhan¸ca n˜ao-Gaussiana

O modelo de PG com verossimilhan¸ca Gaussiana descrito anteriormente n˜ao e robusto a outliers, devido suas caudas leves. Uma alternativa con-siste em considerar um verossimilhan¸ca de caudas pesadas, como as distribui¸c˜oes de Laplace e de t de Student, respectivamente dadas por

pLap(y|t) = N Y i=1 1 2sexp −|yi− t_s i| , (5) pStu(y|t) = N Y i=1 ( Γ((ν + 1)/2) Γ(ν/2)√πνσ2· (6) 1 + 1 ν (yi− ti)2 σ2 −(ν+1)/2) ,

em que s, ν e σ2 _s˜_{ao hiperparˆ}_{ametros das}

dis-tribui¸cões de verossimilhan¸ca e Γ(_{·) é a fun¸cão} gamma.

Entretanto, quando uma verossimilhan¸ca n˜ ao-Gaussiana é escolhida, várias das expressões do modelo de PG deixam de serem anal´ıticas. Em tais casos, uma estratégia consiste em aproximar as integrais encontradas nos cálculos através de

algoritmos de amostragem, como Markov Chain Monte Carlo (MCMC) (Neal, 1997). No entanto, essa abordagem n˜ao ser´a considerada neste traba-lho.

A alternativa escolhida neste artigo envolve o uso de métodos de inferência Bayesiana aproxi-mada para superar expressões não anal´ıticas dos modelos de PG. Mais especificamente, optou-se pelos algoritmos Variational Bayes (VB) e Expec-tation Propagation (EP), brevemente descritos a seguir.

2.2.1 Variational Bayes (VB)

Considerando-se a aplica¸cão do método VB ao caso da verossimilhan¸ca t de Student, a distri-bui¸cão deverá ser reescrita da seguinte maneira (Kuss, 2006):

p(y_{|t, σ}2) = _{N (y|t, diag(σ}2)), (7) p(σ2_{|α, β) =} N Y i=1 InvΓ(σ2i|αi, βi), (8) em que t, σ2

∈ RN _s˜_{ao vari´}_{aveis latentes (n˜}

ao-observadas), diag(_{·) ´e uma fun¸c˜ao que cria uma} matriz diagonal a partir de um vetor e σ2

i tem

distribui¸c˜ao a priori gamma invertida com parˆ a-metros αi e βi.

A distribui¸c˜ao conjunta a posteriori de t e σ2

ser´a considerada da forma fatorada a seguir p(t, σ2 |y, X) ≈ q(t)q(σ2₎ ₍₉₎ =_{N (t|m, A)}QN_i=1InvΓ(σ2 i| ˜αi, ˜βi) , em que m _{∈ R}N_{, A} ∈ RN×N _{e ˜}_{α, ˜}_β _{∈ R}N _s˜_ao

parˆametros variacionais desconhecidos.

Em seguida, um limite inferior _L(q(t)q(σ2₎₎

para a verossimilhan¸ca marginal pode ser calcu-lado a partir da rela¸c˜ao desta com a distribui¸c˜ao a posteriori fatorada q(t)q(σ2_{) (Tipping and}

La-wrence, 2005):

ln p(y|X, θ) = L(q(t)q(σ2_{)) +} ₍₁₀₎

KL(q(t)q(σ2)_{||p(t, σ}2_{|y, X)),} em que o último termo é a divergência de Kullback-Leibler (KL) entre a distribui¸cão apro-ximada e a verdadeira distribui¸cão a posteriori. A maximiza¸cão do limite_L(q(t)q(σ2₎₎

simultane-amente minimiza o termo referente à divergência de KL, melhorando a aproxima¸cão (Tipping and Lawrence, 2005).

A otimiza¸cão dos hiperparâmetros e das va-riáveis latentes pode ser feita de maneira simi-lar ao algoritmo Expectation-Maximization (EM), conforme detalhado em (Kuss, 2006). Em se-guida, os momentos da distribui¸cão preditiva p(t∗|y, X, x∗) =N (t∗|µ∗, σ2∗) para uma nova

en-trada x∗ ser˜ao dados por

µ∗ = k∗N(K + Σ)−1y, (11)

(4)

em que Σ = diag( ˜β/ ˜α). Embora o cálculo da distribui¸cão preditiva de y∗não seja anal´ıtico, sua

m´edia ´e igual ao valor µ∗ calculado na Eq. (11).

2.2.2 Expectation Propagation (EP) O algoritmo EP consiste em aproximar uma dis-tribui¸c˜ao a posteriori por uma Gaussiana a par-tir da seguinte estrutura fatorada (Minka, 2001; Kuss, 2006): p(t|y, X) ≈ N (t|0, K)_q(y |X) N Y i=1 c(ti, µi, σ2i, Zi) = q(t_{|y, X) = N (t|m, A),} (13) em que c(ti, µi, σi2, Zi) = ZiN (ti|µi, σi2) s˜ao

cha-madas de fun¸cões locais (site functions, em in-glês). O vetor de médias m_{∈ R}N _{e a matriz de}

co-variˆancia A_{∈ R}N×N da distribui¸c˜ao aproximada podem ser calculados por m = AΣ−1µ e A = (K−1+ Σ−1)−1, em que Σ = diag(σ2

1,· · · , σN2) e

µ = [µ1,· · · , µN]T.

Os momentos da distribui¸c˜ao preditiva p(t∗|y, X, x∗) = N (t∗|µ∗, σ2∗) referente a uma

nova entrada x∗ ser˜ao dados por

µ∗= k∗NK−1m, (14)

σ2

∗= k∗∗− k∗N(K−1− K−1AK−1)kN∗.(15)

Embora os cálculos necessários para obter a dis-tribui¸cão de y_∗ não sejam anal´ıticos, sua média também é calculada pela Eq. (14).

As vari´aveis µi, σi2 e Zi s˜ao obtidas via

casa-mento iterativo de mocasa-mentos, procedicasa-mento que simultaneamente minimiza a divergência reversa de Kullback-Leibler entre a verdadeira distribui-¸cão a posteriori e a distribui¸cão aproximada. A convergência do algoritmo não é garantida, mas reporta-se na literatura que o método de EP fun-ciona bem com modelos de PG (Rasmussen and Williams, 2006). O algoritmo completo, adaptado para uma verossimilhan¸ca que segue uma distri-bui¸cão de Laplace, é detalhado em (Kuss, 2006).

3 Experimentos

O desempenho dos modelos descritos anterior-mente será verificado empiricamente na tarefa de identifica¸cão de sistemas não-lineares na presen¸ca de outliers. Os experimentos computacionais se-rão realizados com cinco conjuntos de dados arti-ficiais, detalhados na Tab. 1. Os primeiros quatro conjuntos foram descritos no trabalho pioneiro de (Narendra and Parthasarathy, 1990). O quinto conjunto foi gerado de acordo com as instru¸cões apresentadas em (Kocijan, 2005).

Além do ru´ıdo Gaussiano, indicado na última coluna da Tab. 1, os dados de estima¸cão de to-dos os conjuntos também foram incrementalmente contaminados com um número de outliers igual a

2,5%, 5% e 10% da quantidade de amostras de es-tima¸cão. Cada amostra aleatoriamente escolhida foi adicionada de um valor uniformemente distri-bu´ıdo U(−My, +My), em que My é o máximo

valor absoluto da sa´ıda. É importante enfatizar que somente os valores de sa´ıda foram corrompi-dos nessa etapa. Essa metodologia de contami-na¸cão é similar àquela realizada em (Majhi and Panda, 2011). As ordens Lu e Ly escolhidas para

os regressores seguiram os maiores atrasos apre-sentados na segundo coluna da Tab. 1.

O desempenho dos seguintes modelos foram comparados: PG convencional, PG com verossi-milhan¸ca t de Student e inferência via VB (PG-tVB) e PG com verossimilhan¸ca de Laplace e infe-rência via EP (PG-LEP). Os valores obtidos para a raiz dos erros quadráticos médios (RMSE, sigla em inglês) estão apresentados na Tab. 2.

Em quase todos os cenários com outliers am-bas as variantes robustas apresentaram melhor desempenho que o modelo de PG convencional. Apenas em um caso, conjunto Artificial 3 com 10% de contamina¸cão, o modelo de PG teve me-lhor desempenho que um dos métodos robustos (PG-tVB). Nos cenários sem outliers, i.e., somente com ru´ıdo Gaussiano, o modelo de PG alcan¸cou o melhor valor de RMSE para os conjuntos Arti-ficial 1 e 4, mas seu desempenho foi próximo dos modelos robustos nos demais conjuntos sem con-tamina¸cão.

Uma boa resistência a outliers foi obtida nos conjuntos Artificial 1 e 2, em que os modelos PG-tVB e PG-LEP sendo pouco afetados nos casos com contamina¸cão. O desempenho mais relevante foi aquele obtido pelo modelo PG-tVB nos cen´ a-rios referentes ao conjunto Artificial 2, em que houve pouca degrada¸cão no valor de RMSE.

No conjunto Artificial 3, apenas o modelo PG-tVB com 2,5% de outliers obteve erro próximo do cenário sem outliers. Nos demais casos, ambas va-riantes, embora superiores ao modelo de PG con-vencional, apresentaram maiores valores de RMSE que seus resultados sem contamina¸cão.

De maneira semelhante, nos experimentos com os conjuntos Artificial 4 e 5 também observou-se que todos os modelos foram afeta-dos pela contamina¸cão dos dados de estima¸cão, mesmo para quantidades menores de outliers. No entanto, é importante enfatizar que ambos os mo-delos PG-tVB e PG-LEP obtiveram melhores va-lores de RMSE que o modelo de PG convencional, frequentemente por uma ampla margem, como ob-servado no conjunto Artificial 4 para o modelo PG-tVB. Nesses casos, as variantes robustas po-dem ser consideradas uma melhoria válida sobre o modelo de PG convencional.

Finalmente, deve ser mencionado que du-rante os experimentos computacionais a aborda-gem variacional do modelo PG-tVB mostrou-se mais est´avel que o algoritmo EP usado no

(5)

mo-Tabela 1: Detalhes dos cinco conjuntos de dados artificiais usados nos experimentos computacionais. O ru´ıdo indicado na última coluna é adicionado apenas à sa´ıda dos dados de estima¸cão. Note que U(A, B) é um número aleatório uniformemente distribu´ıdo entre A e B.

Entrada/Amostras

# Sa´ıda Estima¸c˜ao Teste Ru´ıdo

1 yi= yi−1_1+yyi−22 (yi−1+2.5) i−1+y2i−2 + ui−1 ui = U(−2, 2) ui = sen(2πi/25) N (0, 0.29) 300 amostras 100 amostras 2 yi= _1+yyi−12 i−1 + u 3 i−1 ui = U(−2, 2) ui= sen(2πi/25)+ N (0, 0.65) sen(2πi/10) 300 amostras 100 amostras 3 yi= 0.8yi−1+ ui = U(−1, 1) ui = sen(2πi/25) _{N (0, 0.07)}

(ui−1− 0.8)ui−1(ui−1+ 0.5) 300 amostras 100 amostras

4 y_{0.3 sen(3πu}i= 0.3yi−1+ 0.6yi−2+ ui= U (−1, 1) ui= sen(2πi/250) N (0, 0.18) i−1) + 0.1 sen(5πui−1) 500 amostras 500 amostras

5 yi= yi−1− 0.5 tanh(yi−1+ u3i−1)

ui=N (ui|0, 1) ui =N (ui|0, 1)

N (0, 0.0025) −1 ≤ ui≤ 1 −1 ≤ ui≤ 1

150 amostras 150 amostras

Tabela 2: Sum´ario dos valores de RMSE obtidos nas simula¸c˜oes com e sem outliers.

Artificial 1 Artificial 2 % de outliers 0% 2,5% 5% 10% 0% 2,5% 5% 10% PG 0.2134 0.3499 0.3874 0.4877 0.3312 0.3724 0.5266 0.4410 PG-tVB 0.2455 0.3037 0.2995 0.2868 0.3189 0.3247 0.3284 0.3306 PG-LEP 0.2453 0.2724 0.2720 0.3101 0.3450 0.3352 0.3471 0.3963 Artificial 3 Artificial 4 PG 0.1106 0.4411 0.7022 0.6032 0.6384 2.1584 2.2935 2.4640 PG-tVB 0.1097 0.1040 0.3344 0.8691 0.6402 0.7462 2.2220 2.1951 PG-LEP 0.0825 0.3527 0.4481 0.5738 0.9188 1.1297 2.1742 2.3762 Artificial 5 PG 0.0256 0.0751 0.1479 0.1578 PG-tVB 0.0216 0.0542 0.0568 0.1006 PG-LEP 0.0345 0.0499 0.0747 0.1222

delo PG-LEP, mesmo com sua implementa¸cão tendo seguido as recomenda¸cões para maior esta-bilidade numérica feitas em (Rasmussen and Wil-liams, 2006) e (Kuss, 2006). Essa observa¸cão pode ser um fator decisivo na escolha do modelo a ser aplicado para identifica¸cão de sistemas.

4 Conclus˜ao

Neste trabalho foram avaliados modelos robustos de PG na tarefa de identifica¸cão de sistemas di-nâmicos não-lineares na presen¸ca de outliers. Os experimentos com cinco conjuntos de dados artifi-ciais foram realizados com um modelo de PG com verossimilhan¸ca t de Student e inferência variaci-onal (PG-tVB) e um modelo com verossimilhan¸ca de Laplace com inferência via algoritmo EP, além do modelo de PG convencional, com verossimi-lhan¸ca Gaussiana.

Embora as variantes robustas tenham

apre-sentado desempenho superior nos cenários com outliers, não se pode afirmar categoricamente que as mesmas foram insens´ıveis à contamina¸cão dos dados, pois ambos os modelos PG-tVB e PG-LEP obtiveram RMSE consideravelmente piores em al-guns casos com outliers, com valores duas ou mais vezes maiores que nos casos sem outliers. Depen-dendo da tarefa em análise, tal degrada¸cão pode ou não ser tolerada. Esse argumento, assim como as instabilidades numéricas encontradas no algo-ritmo EP, encoraja a pesquisa por modelos alter-nativos baseados em PG que sejam mais apropri-ados para a identifica¸cão robusta de sistemas.

Agradecimentos

Os autores agradecem o suporte financeiro da FUNCAP, IFCE, NUTEC e CNPq (concess˜ao no. 309841/2012-7).

(6)

Referˆencias

Aˇzman, K. and Kocijan, J. (2011). Dynamical systems identification using Gaussian process models with incorporated local models, Eng Appl Artif Intel 24(2): 398–408.

Berger, B. and Rauscher, F. (2012). Robust Gaussian process modelling for engine cali-bration, Proceedings of the 7th Vienna Inter-national Conference on Mathematical Model-ling (MATHMOD’2012), pp. 159–164. Faul, A. C. and Tipping, M. E. (2001). A

varia-tional approach to robust regression, Artifi-cial Neural Networks (ICANN)’2001, Sprin-ger, pp. 95–102.

Frigola, R., Chen, Y. and Rasmussen, C. (2014). Variational Gaussian process state-space mo-dels, Advances in Neural Information Proces-sing Systems 27 (NIPS), pp. 3680–3688. Jordan, M. I., Ghahramani, Z., Jaakkola, T. S.

and Saul, L. K. (1999). An introduction to variational methods for graphical models, Machine learning 37(2): 183–233.

Jyl¨anki, P., Vanhatalo, J. and Vehtari, A. (2011). Robust gaussian process regression with a Student-t likelihood, Journal of Machine Le-arning Research 12: 3227–3257.

Kocijan, Juˇs; Girard, A. B. B. M.-S. R. (2005). Dynamic systems identification with Gaus-sian processes, Math Comp Model Dyn 11(4): 411–424.

Kuss, M. (2006). Gaussian process models for ro-bust regression, classification, and reinforce-ment learning, PhD thesis, TU Darmstadt. Kuss, M., Pfingsten, T., Csat´o, L. and

Rasmus-sen, C. E. (2005). Approximate inference for robust Gaussian process regression, Max Planck Inst. Biological Cybern., Tubingen, GermanyTech. Rep 136.

Lawrence, N. D. (2004). Gaussian process latent variable models for visualisation of high di-mensional data, Advances in Neural Informa-tion Processing Systems, pp. 329–336. Majhi, B. and Panda, G. (2011). Robust

identi-fication of nonlinear complex systems using low complexity ANN and particle swarm optimization technique, Expert Syst Appl 38(1): 321–333.

Minka, T. P. (2001). Expectation propagation for approximate Bayesian inference, Proceedings of the 17th Conference on Uncertainty in Ar-tificial Intelligence (UAI’01), Morgan Kauf-mann, pp. 362–369.

Murray-Smith, R., Johansen, T. A. and Shor-ten, R. (1999). On transient dynamics, off-equilibrium behaviour and identification in blended multiple model structures, Euro-pean Control Conference (ECC’99), Karls-ruhe, BA-14, Springer.

Narendra, K. S. and Parthasarathy, K. (1990). Identification and control of dynamical sys-tems using neural networks, IEEE T Neural Networ 1(1): 4–27.

Neal, R. M. (1997). Monte carlo implementa-tion of Gaussian process models for bayesian regression and classification, arXiv preprint physics/9701026 .

Petelin, D., Grancharova, A. and Kocijan, J. (2013). Evolving Gaussian process models for prediction of ozone concentration in the air, Simul Model Pract Th 33: 68–80. Rasmussen, C. E. (1996). Evaluation of Gaussian

processes and other methods for non-linear regression, PhD thesis, University of Toronto, Toronto, Canada.

Rasmussen, C. and Williams, C. (2006). Gaussian Processes for Machine Learning, 1 edn, MIT Press.

Solak, E., Murray-Smith, R., Leithead, W. E., Leith, D. J. and Rasmussen, C. E. (2003). Derivative observations in Gaussian process models of dynamic systems, Advances in Neural Information Processing Systems 16. Tipping, M. E. and Lawrence, N. D. (2005).

Varia-tional inference for student-t models: Robust bayesian interpolation and generalised com-ponent analysis, Neurocomputing 69(1): 123– 141.

Williams, C. K. I. and Barber, D. (1998). Bayesian classification with Gaussian processes, IEEE T Pattern Anal 20(12): 1342–1351.