4.3 Artigo: Bounds for the Finite Horizon Cost of Markov Jump Linear
4.3.12 Coment´arios da se¸c˜ao
A se¸c˜ao apresentou condi¸c˜oes que asseguram que o custo ´otimo de N est´agios J∗
N, dividido pelo n´umero de est´agios, aproxima assintoticamente o custo m´edio
a longo prazo ´otimo J∗, ou seja,
JN∗/N → J∗ as N → ∞.
Este resultado principal est´a enunciado no Teorema 4.1 e seu Corol´ario 4.1. Uma quest˜ao importante relacionada a este problema est´a ainda em aberto, conforme a seguir. Uma tentativa de responder esta quest˜ao est´a sob investiga¸c˜ao.
4.4
Coment´arios
Este cap´ıtulo apresentou resultados de aproxima¸c˜ao de custo m´edio a longo prazo em duas frentes principais de investiga¸c˜ao, correspondendo respectivamente aos artigos nas Se¸c˜oes 4.2 e 4.3.
No primeiro artigo, a principal contribui¸c˜ao foi apresentar condi¸c˜oes nas quais o custo ´otimo de N est´agios (ou seja, J∗
N), dividido pelo n´umero de est´agios,
aproxima assintoticamente o custo m´edio a longo prazo ´otimo J∗, ou seja,
JN∗/N → J∗ quando N → ∞. (4.76)
Alguns pontos permanecem em aberto e carecem de investiga¸c˜ao mais detalhada. Por exemplo, seja ψ∗
N = {f (N ) 0 , . . . , f
(N )
N } a pol´ıtica que realiza o m´ınimo em
J∗
N. Talvez seja poss´ıvel demonstrar que a trajet´oria ´otima de segundo momento
{X(ψN∗)
k }Nk=0 ´e est´avel para todo N suficientemente grande. Se esta afirma¸c˜ao
for v´alida ent˜ao podemos assumir a existˆencia de uma constante c > 0 tal que kX(ψN∗)
N k ≤ ckX0k, logo a condi¸c˜ao limN →∞kX (ψ∗
N)
N k/N = 0 ser´a satisfeita e assim
o Corol´ario 4.1, p.107, assegura a aproxima¸c˜ao em (4.76) e a existˆencia de uma pol´ıtica ´otima estacion´aria.
Outro ponto importante de investiga¸c˜ao ´e em rela¸c˜ao a dependˆencia da pol´ıtica ψ∗
N em rela¸c˜ao ao horizonte N , e um problema relacionado ´e o de garantir a
existˆencia de uma lei de realimenta¸c˜ao f tal que f0(N ) → f quando N → ∞, no qual f realiza uma pol´ıtica ´otima estacion´aria f∗ ={f, f, . . .} para o custo m´edio
a longo prazo (veja Cap´ıtulo 3).
No artigo da Se¸c˜ao 4.3, desenvolvemos condi¸c˜oes de forma a garantir limi- tantes superior e inferior para o custo de N est´agios de sistemas lineares com saltos markovianos, veja Corollary 4.1, p.128. Atrav´es destes limitantes conse- guimos expressar o custo m´edio a longo prazo do sistema supondo realimenta¸c˜ao linear e a¸c˜ao de controle estabilizante. Cabe ressaltar que impomos somente hi- p´otese de periodicidade, mais fraca que ergodicidade, sobre a cadeia de Markov subjacente. Conforme motivado no artigo (veja Se¸c˜ao 4.3.8), este resultado de aproxima¸c˜ao pode ser ´util para caracterizar a solu¸c˜ao do problema de controle quando o controlador n˜ao possui acesso completo aos estados de Markov.
Avalia¸c˜ao num´erica
O cap´ıtulo anterior mostra que o custo ´otimo do problema de N est´agios, dividido por N , aproxima assintoticamente o m´ınimo custo m´edio a longo prazo se algumas hip´oteses forem satisfeitas. Usaremos esta aproxima¸c˜ao no problema de controle de custo m´edio a longo prazo (CMLP) de sistemas lineares com saltos markovianos (SLSM), no caso em que o controlador n˜ao tem acesso ao estado da cadeia de Markov. Combinando o m´etodo de aproxima¸c˜ao e um algoritmo conhecido da literatura, conseguimos determinar numericamente a solu¸c˜ao ´otima do problema se uma conjectura sobre a solu¸c˜ao for v´alida.
5.1
Introdu¸c˜ao
Considere o processo estoc´astico, definido num espa¸co de probabilidade fixado (Ω, F,{Fk}, P ), conforme a seguir:
x(k + 1) = Aθ(k)x(k) + Bθ(k)u(k) + Eθ(k)w(k),
∀k ≥ 0, x(0) = x0 ∈ Rn, θ(0)∼ π(0). (5.1)
O estado do sistema e a vari´avel de controle s˜ao representados, respectivamente, por x(k) ∈ Rn e u(k) ∈ Rm. O processo {w(k); k ≥ 0} ´e iid com m´edia nula e
matriz de covariˆancia igual a matriz identidade para cada k ≥ 0; e Θ := {θ(k); k ≥ 0} representa uma cadeia de Markov homogˆenea, tomando valores conjunto finito N := {1, . . . , nθ}. A matriz estoc´astica P = [pij], i, j = 1, . . . , nθ, ´e associada a Θ, com distribui¸c˜ao de probabilidade dada por πi(k) := Pr(θ(k) = i), sendo π(0)
a distribui¸c˜ao inicial. As matrizes Ai, Bi, e Ei, i = 1, . . . , nθ, s˜ao conhecidas e
possuem dimens˜oes compat´ıveis com as do sistema.
Dado u(0), u(1), . . ., podemos avaliar o custo m´edio a longo prazo associado `a (5.1), conforme a seguir: J = lim sup N →∞ 1 N N −1 X k=0
E[x(k)′Qθ(k)x(k) + u(k)′Rθ(k)u(k)], (5.2)
no qual E[·] denota a esperan¸ca matem´atica e Qi (Ri), i = 1, . . . , nθ, ´e matriz
sim´etrica semidefinida (definida) positiva.
Assumimos uma estrutura de realimenta¸c˜ao linear para o controle, sem obser- va¸c˜ao da cadeia de Markov, dada por
u(k) = g(k)x(k), ∀k ≥ 0, (5.3)
no qual g(k) ´e matriz de dimens˜ao m × n. Aplicando (5.3) em (5.1) e (5.2) obtemos
x(k + 1) = (Aθ(k)+ Bθ(k)g(k))x(k) + Eθ(k)w(k), ∀k ≥ 0, (5.4)
no qual x(0) = x0 ∈ Rn e θ(0)∼ π(0). Denotando por G o conjunto de todas as
sequˆencias admiss´ıveis g = {g(0), g(1), . . .}, podemos agora introduzir o problema de otimiza¸c˜ao no qual estamos interessados em avaliar:
J∗ := min g∈G lim supN →∞ 1 N N −1 X k=0 Ex(k)′(Q θ(k)+ g(k)′Rθ(k)g(k))x(k) ! sujeito a (5.4). (5.5) O problema de controle estoc´astico em (5.5) encontra-se em aberto na litera- tura e n˜ao existe um m´etodo de otimiza¸c˜ao global capaz de determinar o valor J∗, exceto em alguns casos muito particulares. Neste cap´ıtulo apresentamos um
m´etodo de aproxima¸c˜ao para o cˆomputo do valor ´otimo J∗. De fato, considere o
problema de N -est´agios J∗ N = min g∈G N −1 X k=0 Ex(k)′(Q θ(k)+ g(k)′Rθ(k)g(k))x(k) ! sujeito a (5.4). (5.6)
Apresentaremos condi¸c˜oes nas quais vale a aproxima¸c˜ao
JN∗/N → J∗ quando N → ∞, (5.7)
para qualquer condi¸c˜ao inicial x0 e π(0). Note que, se algum algoritmo conse-
gue determinar g∗ = {g∗(0), . . . , g∗(N − 1)} que realiza o m´ınimo global J∗ N em
(5.6), ent˜ao este pode ser usado em (5.7) para determinar J∗. At´e o momento
desconhecemos a existˆencia de algoritmo que assegure g∗, por´em uma poss´ıvel alternativa ´e considerar o algoritmo proposto em (do Val e Ba¸sar, 1999), (Vargas et al., 2004), (Vargas, 2004). Nestes trabalhos, demonstra-se que o algoritmo l´a proposto fornece g = {g(0), . . . , g(N − 1)} que realiza um m´ınimo local do pro- blema em (5.6). Portanto g ´e um candidato a g∗, ou seja, g ´e solu¸c˜ao-candidata
a realizar o m´ınimo global em (5.6). Para ilustrar numericamente a aproxima¸c˜ao em (5.7), conjecturamos que g realiza o m´ınimo global em (5.6), veja Conjectura 5.1.
Coment´ario 5.1 No Cap´ıtulo 4, uma aproxima¸c˜ao semelhante a (5.7) foi de- senvolvida considerando o sistema x(k + 1) = A(g(k))x(k) + Ew(k), no qual A(·) ´e um operador determin´ıstico. Na sequˆencia, estenderemos os resultados de aproxima¸c˜ao do Cap´ıtulo 4 para garantir (5.7), agora considerando o operador estoc´astico (veja (5.4))
Aθ(k)(g(k)) := Aθ(k)+ Bθ(k)g(k), ∀k ≥ 0.
A seguir apresentamos com mais detalhes o SLSM, a descri¸c˜ao formal do pro- blema de otimiza¸c˜ao, condi¸c˜oes para a aproxima¸c˜ao em (5.7) e m´etodo iterativo para cˆomputo de J∗.