Derivadas de primeira e segunda ordem do custo de T estágios para atulização simultânea de dois ganhos no controle de sistemas com saltos markovianos

(1)

Derivadas de primeira e segunda ordem do custo de T est´

agios

para atuliza¸

c˜

ao simultˆ

anea de dois ganhos no controle de

sistemas com saltos markovianos

∗

Eduardo F. Costa,

Larissa T. Oliveira,

Depto. de Matemática Aplicada e Estat´ıstica, ICMC, USP, Av. Trabalhador são-carlense, 400, Centro, CEP: 13566-590, São Carlos, SP

E-mail: efcosta@icmc.usp.br, ltdo@icmc.usp.br,

Resumo: Atualmente o problema de controle linear quadrático com saltos de T estágios têm sido am-plamente estudado na literatura e alguns métodos têm sido propostos, ainda não havendo um método considerado totalmente satisfatório para o problema. Entre estes, ressaltamos o método variacional que atualiza, a cada estágio, apenas um ganho do controlador. Neste artigo, visando a futura implementa¸cão de uma versão deste método onde se atualize dois ganhos por estágio, apresentamos as derivadas de primeira e segunda ordem da fun¸cão custo de T estágio. Estes resultados são importantes e se fazem necessários para a implementa¸cão computacional do método empregando, em cada estágio, métodos de dire¸cão de descida, como, por exemplo, o método de Newton e o método de gradiente, a fim de compa-rarmos os resultados com outros encontrados na literatura.

Palavras-chave: Sistemas Lineares com Saltos Markovianos, método variacional, atualiza¸cão simultânea de ganhos

1 Introdu¸

c˜

ao

Os Sistemas Lineares com Saltos Markovianos (SLSM) são considerados uma importante classe de siste-mas, pois além de serem semelhantes a sistemas lineares determin´ısticos clássicos, podem ser utilizados para modelar sistemas cuja dinâmica muda de forma abrupta em determinados momentos. Entre algumas das aplica¸cões dos SLSMs podemos citar: modelos macroeconômicos em [4], carteiras de investimentos em [9], sistemas robóticos em [11], sistemas aeronáuticos em [14], receptores térmicos solares em [15], além de muitas publica¸cões na área, como: [2]; [3]; [5]; [6]; [16] e recentemente [1] e [12]. Outros exemplos são citados em [10] e [13].

Problemas de controle com custo quadrático (com salto) para os SLSMs podem ser divididos em três casos, segundo a observa¸cão da variável de estado θ(k): caso com observa¸cão completa, cuja solu¸cão ´

otima é facilmente obtida através da resolu¸cão de uma Equa¸cão Algébrica de Riccati Acoplada; e casos com observa¸cão parcial e sem observa¸cão. Estes últimos não possuem, até o momento, um método geral que obtenha de forma satisfatória o ganho ótimo para todos os casos. Um dos métodos dispon´ıveis na literatura é o chamado método variacional, que consiste em praticar pequenas varia¸cões em alguns dos parâmetros da fun¸cão que se quer minimizar utilizando o princ´ıpio variacional. É poss´ıvel encontrar na literatura alguns algoritmos baseados no princ´ıpio variacional, sendo os principais: o algoritmo para SLSM sem ru´ıdo, desenvolvido por [4]; a sua extensão para problemas com ru´ıdo aditivo, desenvolvido em [17]; e para sistemas com ru´ıdo multiplicativo desenvolvido por [7].

Almejando implementar computacionalmente uma adapta¸cão do método variacional para SLSM sem observa¸cão da variável θ(k) utilizando a estratégia de atualiza¸cão simultânea de dois ganhos consecutivos a cada itera¸cão variacional, apresentamos as derivadas de primeira e segunda ordem da fun¸cão custo de T estágios.

O artigo está organizado da seguinte maneira: na Se¸cão 2 são apresentados os conceitos preliminares e na Se¸cão 3 as derivadas de primeira e segunda ordem da fun¸cão custo de T estágios. Conclusões e perspectivas de trabalhos futuros encontram-se na Se¸cão 4.

(2)

2 Conceitos preliminares

Seja N um inteiro positivo, Mm,n _(Mn_{) o espa¸co de todas as matrizes reais com dimens˜}_{ao m x n (n x} n) e Sm,n(Sn) o espa¸co de todas as N-sequências de matrizes reais com dimensão m x n (n x n). Temos que um SLSM possui a seguinte formula¸cão:

( x(k + 1) = Aθ(k)x(k) + Bθ(k)u(k) + Gθ(k)w(k), y (k) = x (k)0Cθ(k)x (k) + u (k) 0 Dθ(k)u (k) , (1)

onde o par (x, θ) determina o estado do sistema, y(k) é o chamado custo por estágio, u(k) é o con-trole e w(k) é um vetor aleatório, independente, com média zero e covariância fixada. Assumimos co-nhecidos A = {A1, A2, . . . , AN} ∈ Sn, B = {B1, B2, . . . , BN} ∈ Sn,m, C = {C1, C2, . . . , CN} ∈ Sn, D = {D1, D2, . . . , DN} ∈ Sm e G = {G1, G2, . . . , GN} ∈ Sm,n, sendo Ci simétrica e semi-definida posi-tiva e Di simétrica e definida positiva, para i ∈ N . Quando θ(k) = i, Aθ(k) = Ai ∈ Mn e similarmente para as demais matrizes em (1).

Definiremos K como sendo o espa¸co de parâmetros; N = {1, 2, · · · , N } um conjunto finito, como o espa¸co de estado da variável θ(k), onde θ(k) = i, com i ∈ N e k ∈ K; e Θ = {θ(k), k ∈ K}, como o espa¸co de estado. Definiremos também θ(k) como sendo a variável de estado da cadeia de Markov; P = [pij], onde i, j ∈ N , sua matriz de probabilidade de transi¸cão de i para j, com pij = P r{θ(t + 1) = j|θ(t) = i} e

PN

j=1pij= 1; e π(k) = [π1(k), · · · , πN(k)], com πi(k) = P r{θ(k) = i}, i ∈ N , o vetor de distribui¸cão de probabilidade após k-passos, que pode ser determinado plea equa¸cão de Chapman-Kolmogorov: π(k) = π(0)Pk.

Defini¸c˜ao 1 Para quaisquer V, U ∈ Sr, com U formado por matrizes semi-definidas positivas, definimos os operadores lineares E , LV e τV e a sequˆencia de matrizes Σ(k) da seguinte maneira:

Ei(U ) = N X j=1 pijUj, LV,i(U ) = Vi0Ei(U )Vi, τV,i(U ) = N X j=1 pijVjUjVj0, Σi(k) = N X j=1 pijπj(k)GjG0j, (2) e, também, τ0 V(U ) = U e τ (t) V (U ) = τV(τ (t−1) V (U )) para t ≥ 1. Defini¸cão 2 Seja Xi(k) = E{x(k)x0(k)1θ(k)=i}, para i ∈ N , em que k ∈ K, e 1{ξ} é a fun¸cão indicadora do conjunto ξ.

O resultado a seguir ´e bem conhecido; veja, por exemplo, [17], e fundamental para o desenvolvimento do m´etodo variacional encontrado na literatura.

Lema 1 Dada uma sequˆencia de matrizes semi-definidas positivas C ∈ Sr_{, temos que vale a seguinte} regra: E{x0(k)Cθ(k)x(k)} = N X i=1 tr{CiXi(k)} = hX(k), Ci, ∀k ∈ K. (3)

Sendo a variável de salto θ(k) não observada, consideraremos que o controle não será fun¸cão desta variável. Além disso, assumiremos também a realimenta¸cão linear de estado da seguinte forma: u(k) = g(k)x(k), onde g(k) é denominada matriz de ganho, para k ≥ 0. Denotando A + Bg(k) = {(A1+ B1g(k)), . . . , (AN+ BNg(k))}, temos a seguinte proposi¸cão, apresentada em [2], que facilita o cálculo de X(k).

Proposi¸c˜ao 1 Considere V (k) ∈ Sr_{, um conjunto de matrizes semi-definidas positivas, definido como:} (

Vi(k + 1) = τA+Bg(k)(Vi(k)) + Σi(k) k ≥ 0, Vi(0) = V ∈ Sr.

Ent˜ao, fazendo Vi(0) = πi(0)x(0)x0(0), i ∈ N , temos: Vi(k) = Xi(k), k ≥ 0. Neste trabalho consideramos o custo de T est´agios dado por:

JT = T −1 X

k=0

(3)

Utilizando (3) temos, ∀k ∈ K: JT = T −1 X k=0 hX(k), C + g0(k)Dg(k)i. (5)

A partir de todos esses resultados obtemos o nosso problema de otimiza¸c˜ao formulado da seguinte maneira: min g JT = T −1 X k=0 hX(k), C + g0(k)Dg(k)i. s.a : ( X(k) = τA+Bg(k)(X(k − 1)) + Σ(k − 1), X(0) = π(0)x(0)x0(0), (6)

que consiste em encontrar uma sequˆencia de matriz de ganhos g = {g(0), g(1), ..., g(T − 2)}, minimizando o ´ındice de desempenho.

Proposi¸c˜ao 2 Para E , L apresentadas em (2), definem-se L(k) ∈ Sr _{e w(k) ∈ S}1 _como:

Li(k) = Ci+ g0(k)Dig(k) + LA+Bg(k)(L(k + 1)), (7)

wi(k) = E (w(k + 1)) + T r{E (L(k + 1))GiG0i}, (8)

sendo Li(T ) = 0 e wi(T ) = 0, i ∈ N . Com isso, temos a seguinte identidade: T −1

X

k=k0

E{yk} = hL(k0), X(k0)i + π(k0)0w(k0). (9)

3 Resultados

Pretendemos, como já mencionamos, propor uma adapta¸cão do método variacional em que passamos a calcular dois ganhos simultaneamente, ao invés de calcula-los separadamente como no método já existente na literatura. Mais detalhadamente, temos que o método inicia com uma sequência de ganhos g = {g(0), ..., g(T − 2)}, e em cada itera¸cão atualiza-se toda esta sequência, através de sub-itera¸cões nas quais mantém-se fixos todos os ganhos exceto g(k) e g(k + 1), os quais são calculados por:

{g∗_{(k), g}∗_{(k + 1)} = argmin}

g(k),g(k+1)JT.

Teorema 1 {g∗(k), g∗(k + 1)} = argming(k),g(k+1)hX(k), L(k)i, sendo que L(k) pode ser calculado por (7) em fun¸c˜ao de g(k), g(k + 1) e L(k + 2).

Demonstra¸c˜ao: Por defini¸c˜ao temos que JT = P T −1

k=0hX(k), C + g0(k)Dg(k)i, dado pela Equa¸c˜ao (5), logo: JT = k−1 X m=0 hX(m), C + g0(m)Dg(m)i + hX(k), C + g0(k)Dg(k)i+ hX(k + 1), C + g0(k + 1)Dg(k + 1)i + T −1 X m=k+2 hX(m), C + g0(m)Dg(m)i.

Utilizando (9), onde π(k0)0w(k0) = V (k0) = hΣ(k0), L(k0+ 1)i + V (k0+ 1), X(k) = X0(k) e L(k) = L0(k) temos: JT = k−1 X m=0 hX(m), C + g0(m)Dg(m)i + hX(k), C + g0(k)Dg(k)i+ hX(k + 1), C + g0(k + 1)Dg(k + 1)i + hX(k + 2), L(k + 2)i + V (k + 2).

Sabendo que hX(k + 1), L(k + 1)i = hX(k), L(L(k + 1))i + hΣ(k), L(k + 1)i e que L(k + 2) e Σ(k) s˜ao dados; utilizando a Equa¸c˜ao (7) e somando os termos conhecidos chegamos a:

JT = hX(k), L(k)i + ˜V (k), sendo ˜V (k) =Pk−1

m=0hX(m), C + g0(m)Dg(m)i + V (k). Portanto, minimizar JT ´e equivalente a minimizar hX(k), L(k)i.

(4)

Para a implementa¸cão computacional desta proposta pretendemos utilizar métodos de dire¸cão de descida, como o método de Newton e o método de gradiente. Para isso desenvolvemos o cálculo do gradiente e da hessiana da fun¸cão custo de T estágios, apresentados a seguir.

Teorema 2 A derivada do custo de T est´agios, JT, em rela¸c˜ao aos ganhos, ∇JT = ∂JT ∂g(k), ∂JT ∂g(k + 1)

pode ser calculada por: ∂JT ∂g(k) = N X i=1 N X j=1 pij(Bi0Ei(C)Ai+ Bi0A0jEj(L)AjAi+ Dig(k) + Bi0Ei(C)Big(k)+ B0_ig0(k + 1)Djg(k + 1)Ai+ Bi0g 0_{(k + 1)B}0 jEj(L)AjAi+ Bi0A 0 jEj(L)Bjg(k + 1)Ai+ B0_ig0(k + 1)B0_jEj(L)Bjg(k + 1)Ai+ Bi0g0(k + 1)Djg(k + 1)Big(k) + Bi0A0jEj(L)AjBig(k)+ B0iA0jEj(L)Bjg(k + 1)Big(k) + B0ig0(k + 1)Bj0Ej(L)AjBig(k)+ B0_ig0(k + 1)B0_jEj(L)Bjg(k + 1)Big(k))Xi(k), (10) ∂JT ∂g(k + 1) = N X i=1 N X j=1 pij(Djg(k + 1)AiXi(k)A0i+ B 0

jEj(L)AjAiXi(k)Ai0+ Djg(k + 1)Big(k)Xi(k)A0i+

B_j0Ej(L)Bjg(k + 1)AiXi(k)A0i+ B 0

jEj(L)AjBig(k)Xi(k)A0i+ Djg(k + 1)AiXi(k)g0(k)Bi0+ B_j0Ej(L)Bjg(k + 1)Big(k)Xi(k)A0i+ B 0 jEj(L)AjAiXi(k)g0(k)B0i+ B_j0Ej(L)AjBig(k)Xi(k)g0(k)Bi0+ Bj0Ej(L)Bjg(k + 1)AiXi(k)g0(k)Bi0+ Djg(k + 1)Big(k)Xi(k)g0(k)Bi0+ B0jEj(L)Bjg(k + 1)Big(k)Xi(k)g0(k)Bi0), (11) sendo L = L(k + 2) ´e conhecido.

Demonstra¸cão: Pelo Teorema 1 temos que minimizar JT é equivalente a minimizar hX(k), L(k)i, portanto nossa prova se resumirá em desenvolver hX(k), L(k)i a fim de obtermos apenas termos conhecidos e as incógnitas do problema, g(k) e g(k + 1). Para isso utilizaremos E , L apresentadas em (2) e a Equa¸cão (7). hX(k),L(k)i = N X i=1 T r{Xi(k)Li(k)} = N X i=1 T r{Xi(k)[Ci+ g0(k)Dig(k) + Li(L(k + 1))]} = N X i=1 T r{Xi(k)[Ci+ g0(k)Dig(k) + (Ai+ Big(k))0Ei(L(k + 1))(Ai+ Big(k))]} = N X i=1 T r{Xi(k)[Ci+ g0(k)Dig(k) + (Ai+ Big(k))0Ei(C + g0(k + 1)Dg(k + 1)+ L(L(k + 2)))(Ai+ Big(k))]} = N X i=1 T r{Xi(k)[Ci+ g0(k)Dig(k)+ (Ai+ Big(k))0Ei(C + g0(k + 1)Dg(k + 1)+

(A + Bg(k + 1))0E(L(k + 2))(A + Bg(k + 1)))(Ai+ Big(k))]}.

(12)

Note que há uma variável de interesse dentro operador Ei, logo é necessário expandir esse termo seguindo a equa¸cão de E apresentadas em (2). Por fim, depois de realizadas todas as distributivas existentes na

(5)

Equa¸c˜ao (12), obtemos a seguinte forma equivalente: N X i=1 N X j=1 T r{Xi(k)[Ci+ g0(k)Dig(k) + A0iEi(C)Ai+ A0iEi(C)Big(k) + g0(k)Bi0Ei(C)Ai+ g0(k)B_i0Ei(C)Big(k) + A0ig0(k + 1)Djg(k + 1)Ai+ A0ig0(k + 1)Djg(k + 1)Big(k)+ A0iA0jEj(L)AjAi+ A0iA0jEj(L)Bjg(k + 1)Ai+ A0ig0(k + 1)Bj0Ej(L)AjAi+

A0_ig0(k + 1)B_j0Ej(L)Bjg(k + 1)Ai+ A0iA 0 jEj(L)AjBig(k) + A0iA 0 jEj(L)Bjg(k + 1)Big(k)+ A0_ig0(k + 1)B_j0Ej(L)AjBig(k) + A0ig 0_{(k + 1)B}0 jEj(L)Bjg(k + 1)Big(k)+ g0(k)B_i0g0(k + 1)Djg(k + 1)Ai+ g0(k)B0ig0(k + 1)Djg(k + 1)Big(k)+ g0(k)B_i0A0_jEj(L)AjBig(k) + g0(k)Bi0A 0 jEj(L)Bjg(k + 1)Big(k)+ g0(k)B_i0g0(k + 1)B0_jEj(L)AjBig(k) + g0(k)B0ig 0_{(k + 1)B}0 jEj(L)Bjg(k + 1)Big(k)+ g0(k)B_i0A0_jEj(L)AjAi+ g0(k)Bi0A0jEj(L)Bjg(k + 1)Ai+ g0(k)Bi0g0(k + 1)Bj0Ej(L)AjAi+ g0(k)Bi0g0(k + 1)B0jEj(L)Bjg(k + 1)Ai]},

(13)

onde L = L(k + 2) ´e conhecido.

Note que, o resultados desta fun¸cão é um escalar devido a presen¸ca do operador tra¸co, porém lembre-se que tanto g(k) quanto g(k + 1) são matrizes e por isso necessitamos de algumas regras para a derivada do tra¸co de uma matriz com respeito a uma matriz real. Essas regras, e outras, podem ser encontradas em [8]. ∂T r(M P ) ∂P = M 0_, ∂T r(M P N ) ∂P = M 0_N0_, ∂T r(M P0N ) ∂P = N M, ∂T r(M P0N P ) ∂P = N 0_{P M}0_{+ N P M,} ∂T r(M P0N P O) ∂P = N 0_{P M}0_O0_{+ N P CM.} (14)

Derivando a Equa¸cão (13) em rela¸cão a g(k), utilizando as regras descritas nas Equa¸cões (14), obtemos ∂JT

∂g(k) como em (10) e, da mesma forma, derivando a Equa¸c˜ao (13) em rela¸c˜ao a g(k + 1) obtemos ∂JT

∂g(k + 1) como em (11).

Para a demonstra¸cão do próximo teorema necessitamos de alguns resultados. Estes são regras de deriva¸cão de matriz em rela¸cão a matriz que não encontramos na literatura. Devido a restri¸cão de espa¸co a seguinte demonstra¸cão será omitida.

Lema 2 ∂M P0N ∂P = (N 0_{⊗ M )T,} ∂M P0N P O ∂P = (O 0_P0_N0_{⊗ M )T + (O}0_{⊗ M P}0_{N ),} ∂M P N P0O ∂P = (O 0_{P N}0_{⊗ M ) + (O}0_{⊗ M P N )T,} (15)

onde M , P , N , O e T s˜ao matrizes, e T vec(P ) = vec(P0).

Teorema 3 A matriz hessiana da fun¸cão custo de T estágios, JT, em rela¸cão aos ganhos,

HJT =     ∂2JT ∂2_g(k) ∂2JT ∂g(k + 1)g(k) ∂2_J T ∂g(k)g(k + 1) ∂2_J T ∂2_{g(k + 1)}    

pode ser calculada por:

∂2_J T ∂2_g(k)= N X i=1 N X j=1 pij(Xi⊗ Di+ Xi⊗ B0iEi(C)Bi+ Xi⊗ Bi0g0(k + 1)Djg(k + 1)Bi+ Xi⊗ Bi0A0jEj(L)AjBi+ Xi⊗ Bi0A0jEj(L)Bjg(k + 1)Bi+ Xi⊗ Bi0g0(k + 1)Bj0Ej(L)AjBi+ Xi⊗ Bi0g0(k + 1)B0jEj(L)Bjg(k + 1)Bi),

(6)

∂2JT ∂g(k)g(k + 1) = N X i=1 N X j=1 pij((XiA0ig 0_{(k + 1)D} j⊗ Bi0)Ts,r+ XiA0i⊗ B 0 ig 0_{(k + 1)D} j+ (XiA0iA0jEj(L)Bj⊗ Bi0)Ts,r+ (XiA0ig0(k + 1)Bj0Ej(L)Bj⊗ B0i)Ts,r+ XiA0i⊗ B 0 iA 0 jEj(L)Bj+ XiA0i⊗ B 0 ig 0_{(k + 1)B}0 jEj(L)Bj+ (Xig0(k)B0ig 0_{(k + 1)D} j⊗ Bi0)Ts,r+ Xig0(k)Bi0⊗ B 0 ig 0_{(k + 1)D} j+ Xig0(k)Bi0⊗ Bi0A0jEj(L)Bj+ (Xig0(k)Bi0A0jEj(L)Bj⊗ B0i)Ts,r+ (Xig0(k)B0ig 0_{(k + 1)B}0 jEj(L)Bj⊗ Bi0)Ts,r+ Xig0(k)Bi0⊗ B 0 ig 0_{(k + 1)B}0 jEj(L)Bj), ∂2JT ∂g(k + 1)g(k)= N X i=1 N X j=1 pij(AiXi⊗ Djg(k + 1)Bi+ AiXi⊗ Bj0Ej(L)AjBi+ (Bi⊗ Bj0Ej(L)AjAiXi)Ts,r+ AiXi⊗ Bj0Ej(L)Bjg(k+0)Bi+ (Bi⊗ Djg(k + 1)AiXi)Ts,r+ Big(k)Xi⊗ B0jEj(L)AjBi+ (Bi⊗ B0jEj(L)Bjg(k + 1)AiXi)Ts,r+ (Bi⊗ Djg(k + 1)Big(k)Xi)Ts,r+ (Bi⊗ B0jEj(L)AjBig(k)Xi)Ts,r+ Big(k)Xi⊗ B0jEj(L)Bjg(k + 1)Bi+ (Bi⊗ Bj0Ej(L)Bjg(k + 1)Big(k)Xi)Ts,r), ∂2_J T ∂2_{g(k + 1)} = N X i=1 N X j=1 pij(AiXiAi⊗ Dj+ AiXig0(k)Bi0⊗ Dj+ AiXiA0i⊗ B 0 jEj(L)Bj+ Big(k)XiBi0⊗ Dj+ AiXig0(k)B0i⊗ B 0 jEj(L)Bj+ Big(k)XiAi0⊗ Dj+ Big(k)XiA0i⊗ B 0 jEj(L)Bj+ Big(k)Xig0(k)Bi0⊗ B 0 jEj(L)Bj),

sendo Ts,r tal que Ts,rvec(g) = vec(g0), e L = L(k + 2) conhecido.

Demonstra¸cão: Para essa demonstra¸cão é necessário apenas que apliquemos as regras de deriva¸cão de matrizes em rela¸cão a uma matriz descritas em (15) e ∂M P N

∂P = (N

0 _{⊗ M ), que pode ser facilmente} encontrada na literatura. A cada derivada parcial basta considerar um dos ganhos conhecidos, logo torna-se a derivada de uma matriz em rela¸c˜ao a uma matriz.

4 Conclus˜

oes e trabalhos futuros

Neste artigo apresentamos as derivadas de primeira e segunda ordem da fun¸cão custo de T estágio visando implementar um método variacional em que se atualizam dois ganhos em cada sub-itera¸cão, conforme explicado na Se¸cão 3. Estes resultados se fazem necessários para o andamento da proposta de trabalho que consiste em implementar computacionalmente métodos de dire¸cão de descida, como o método de Newton e o método de gradiente para o cálculo da sub-itera¸cão.

Como trabalho futuro pretendemos implementar os métodos acima citados e realizar uma análise estat´ısticas dos resultados obtidos, comparando-os com outros encontrados na literatura. Também con-sideramos interessante implementar versões h´ıbridas como, por exemplo, usar o método variacional da literatura nas primeiras itera¸cões e finalizar com nosso método (com Newton para o cálculo das sub-itera¸cões).

Referˆ

encias

[1] D. C. BORTOLIN. Métodos numéricos para o controle linear quadrático com saltos e observa¸cão parcial de estado. Master’s thesis, Instituto de Ciências Matemáticas e de Computa¸cão, Universidade de São Paulo, São Carlos, SP, 2012.

[2] O. L. V. COSTA, M. D. FRAGOSO, and R. P. MARQUES. Discrete-time markovian jump linear systems. Springer-Verlag, 2005.

(7)

[3] C. E. DE SOUZA, A. TROFINO, and K. A. BARBOSA. Mode-independent H-infinity filters for markovian jump linear systems. IEEE Transactions on Automatic Control, 51(11):1837 – 1841, 2006. [4] J. DO VAL and T. BASAR. Receding horizon control of jump linear systems and a macroeconomic

policy problem. Journal of Economic Dynamics & Control, 23:1099 – 1131, 1999.

[5] J. B. R. DO VAL and E. F. COSTA. Numerical solution for the linear-quadratic control problem of Markov jump linear systems and a weak detectability concept. Journal of Optimization Theory and Applications, 114(1):69 – 96, 2002.

[6] V. DRAGAN and T. MOROZAN. Exponential stability in mean square for a general class of

discrete-time linear stochastic systems. Journal of Stochastic Analysis and Applications, 26(3):495 – 525, 2008.

[7] W. FURLONI. Controle por horizonte retrocedente finito com restri¸cões de sistemas lineares discre-tos com saldiscre-tos markovianos. Master’s thesis, Faculdade de Engenharia Elétrica e de Computa¸cão, Universidade Estadual de Campinas, Campinas, SP, 2009.

[8] M. JOHO. A systematic approach to adaptive algorithms for multichannel system identification, inverse modeling, and blind identification. PhD thesis, Swiss Federal Institute of Technology, 2000. [9] A. OLIVEIRA. Controle ótimo de sistemas lineares com saltos Markovianos e ru´ıdos multiplicativos sob critério de média variância ao longo do tempo. PhD thesis, Escola Politécnica da Universidade de São Paulo, Departamento de Engenharia de Telecomunica¸cões e Controle, 2011.

[10] J. RAOUF and E. BOUKAS. Stabilization of discontinuous singular systems with markovian swit-ching and saturating inputs. Number 1, pages 2442 – 2447, 2007.

[11] G. N. SARIDIS. Intelligent robotic control. IEEE Transactions on Automatic Control, 28:547 – 557, 1983.

[12] C. A. SILVA. Algoritmos para o custo médio a longo prazo de sistemas com saltos markovianos parci-almente observados. PhD thesis, Instituto de Ciências Matemáticas e de Computa¸cão, Universidade de São Paulo, São Carlos, SP, 2012.

[13] A. A. G. SIQUEIRA and M. H. TERRA. Nonlinear and markovian H∞-controls of underactuated manipulators. IEEE Transactions on Control System Technology, 12:811 – 826, 2004.

[14] B. L. STEVENS and F. L. LEWIS. Aircraft Modeling, Dynamics and Control. Wiley, New York, 1991.

[15] D. D. SWORDER and R. O. ROGERS. An LQ-solution to a control problem associated with a solar thermal central receiver. IEEE Transactions on Automatic Control, 28(10):971 – 978, 1983. [16] M. G. TODOROV and M. D. FRAGOSO. Output feedback H∞ control of continuous-time infinite

markovian jump linear system via LMI methods. SIAM Journal on Control and Optimization,

47(2):950 – 974, 2008.

[17] A. N. VARGAS. Controle por horizonte retrocedente de sistemas lineares com saltos markovianos e ru´ıdo aditivo. Master’s thesis, Faculdade de Engenharia El´etrica e de Computa¸c˜ao, Universidade Estadual de Campinas, SP, 2004.