Jogos diferenciais estoc´ asticos:

Universidade Federal da Para´ıba

Centro de Ciˆ encias Exatas e da Natureza Programa de P´ os–Gradua¸ c˜ ao em Matem´ atica

Mestrado em Matem´ atica

Jogos diferenciais estoc´ asticos:

controle e parada ´ otimos

Alan Teixeira Nic´ acio de Messias

Jo˜ ao Pessoa – PB

Agosto de 2018

Universidade Federal da Para´ıba Centro de Ciˆ encias Exatas e da Natureza Programa de P´ os–Gradua¸ c˜ ao em Matem´ atica

Mestrado em Matem´ atica

Jogos diferenciais estoc´ asticos:

controle e parada ´ otimos

por

Alan Teixeira Nic´ acio de Messias

sob a orienta¸c˜ao do

Prof. Dr. Alberto Masayoshi Faria Ohashi

Jo˜ ao Pessoa – PB

Agosto de 2018

Voltei-me, e vi debaixo do sol que n˜ ao ´ e dos ligeiros a carreira, nem dos fortes a batalha, nem tampouco dos s´ abios o p˜ ao, nem tam- pouco dos prudentes as ri- quezas, nem tampouco dos entendidos o favor, mas que o tempo e a oportunidade ocorrem a todos.

Eclesiastes 9:11

Agradecimentos

Agrade¸co em primeiro lugar a meu Deus, pela finaliza¸c˜ao bem sucedida de mais uma etapa de minha vida. Agrade¸co muito a meu orientador, pois me orientou n˜ao apenas nessa disserta¸c˜ao mas na vida profissional e carreira acadˆemica; agrade¸co tamb´em pelas conversas, nos fins das reun˜oes, sobre economia brasileira, situa¸c˜ao fiscal do estado brasileiro e a nova crise financeira mundial em curso (suspeito que estes temas tenham me feito parecer meio paran´oico n˜ao s´o `a meu orientador mas ao departamento em geral).

E como menssagem a todos aqueles que querem ser pesquisadores, que querem manter a chama do desejo pela pesquisa acesa eu digo: sempre mantenham em suas mentes perguntas as quais vocˆes queiram realmente obter a resposta.

Resumo

Neste trabalho analisamos um jogo diferencial estoc´astico de soma-zero n˜o Mar- koviano, atrav´es da teoria dos martingales. H´a dois jogadores, chamados controller e stopper, que controlam o jogo atrav´es de controles estoc´asticos, chamadas estrat´egias e tempos de parada respectivamente. Nosso objetivo ´e provar: que para cada instante de tempo o jogo tem um valor e que o jogo tem um ponto de cela. Este trabalho ´e baseado no artigo de Ioannis Karatzas e Ingrid-Mona Zamfirescu [1].

Palavras-chave: ponto de cela, processo de valor do jogo, martingales.

Abstract

In this work, we analyze a zero-sum non-Markovian stochastic differential game via martingale methods. The stochastic game consists of two players, namely the controller and stopper which keep track the game via stochastic controls summarized by strategies and stopping times respectively. Our main goal is to prove the game has a value and it admits a saddle point. Our work is based on Karatzas & Ingrid-Mona Zamfirescu’s paper [1].

Keywords: saddle point, game’s value process, martingales.

Conte´ udo

Introdu¸c˜ao 1

1 O que estudamos 3

1.1 Jogo Diferencial Estoc´astico . . . 3 1.2 O Problema de Otimiza¸c˜ao e a fun¸c˜ao Hamiltoniana . . . 5 1.3 Exemplo de aplica¸c˜ao . . . 6

2 O jogo 8

2.1 O modelo (o “tabuleiro”, as “pe¸cas” e as “regras”) . . . 8 2.2 Como funciona o jogo (como jogar) . . . 10 2.3 Dividir e conquistar . . . 11

3 O valor do jogo 16

3.1 Vamos jogar . . . 16

4 Encontrando os pontos de cela 27

4.1 Caracteriza¸c˜ao . . . 27 4.2 Otimizando o controle . . . 32 4.3 O “equil´ıbrio” do jogo . . . 34

A Resultados Usados 40

Referˆencias Bibliogr´aficas 45

Nota¸ c˜ oes

A seguir, listamos algumas nota¸c˜oes utilizadas neste trabalho.

•Dadot∈Rpara cadaω ∈Ω,lim inf

s↓t J(s, τ) = lim inf

s∈Q,s≥tJ(s, τ). AquiJ(s, τ) ´e como na equa¸c˜ao 2.11.

• a∨b=max{a, b};

• a∧b=min{a, b};

• X =↓_n X_n q.c. significa X ≤X_n q.c. e lim

n→∞X_n=X q.c.;

• SejaD um espa¸co qualquer, B(D) ´e a sigma-´algebra de Borel de D.

Introdu¸ c˜ ao

A pesquisa moderna em teoria dos jogos come¸ca com o artigo de Von Newman de 1928 sobre solu¸c˜oes de jogos de soma zero [17]. O trabalho de Newman com jogos de soma zero culminaria no livro Theory of Games and Economic Behavior [18], escrito em 1944 em parceria com o economista Oskar Morgenstern. At´e o fim dos anos 40 os avan¸cos na teoria haviam focado apenas em jogos de soma zero com dois jogadores, mas em 1950 John Forbes Nash demonstrou em sua tese de doutorado [19] que qualquer jogo, n˜ao necessariamente de soma zero, com uma quantidade finita qualquer de jogadores e com uma matriz de payoffs tem um equil´ıbrio de Nash. Por´em, at´e esse momento os jogos estudados tinham um n´umero finito de estrat´egias para cada jogador, al´em de que todo o ambiente era discreto: estrat´egias,payoffs, o funcionamento do jogo, etc.

As pesquisas em jogos diferenciais tˆem in´ıcio com o trabalho de Rufus Isaacs en- quanto trabalhava para RAND Corporation. Esses primeiros estudos apareceram em memorandos da RAND em 1951 [6]. Os primeiros problemas estudados foram pro- blemas do tipo “perseguidor-evasor”, o interesse na ´epoca era a aplica¸c˜ao no desen- volvimento de sistemas e m´etodos de defesa de m´ısseis. Tamb´em nesse momento a pesquisa em teoria do controle ´otimo estoc´atico estava surgindo com os trabalhos Lev Pontryagin [8] e Richard Bellman [9]

Nos anos 60 come¸cam as pesquisas em teoria dos jogos diferenciais estoc´asticos sendo um dos primeiros trabalhos feito por Yu-Chi Ho em 1966 [7]. O trabalho analisa estrat´egias e manobras de evas˜ao de aeronaves e t´ecnicas de guiamento de m´ısseis. A aplicabilidade dos jogos diferenciais estoc´asticos e da an´alise de controle ´otimo estoc´as- tico alcan¸cou diversas ´areas de pesquisa sendo a ´area deQuantitative Finance uma das que recebeu mais contribui¸c˜oes. Um dos primeiros problemas resolvidos utilizando-se destas teorias foi o problema de otimiza¸c˜ao de portif´oleo de Merton em 1969 [20].

Neste trabalho fazemos uma profunda e detalhada an´alise do artigo [1]. Neste o au- tor constroi um jogo diferencial estoc´astico de soma zero n˜ao-Markoviano, repesentado por seu estado (X_t)_0≤t≤T, a partir de uma equa¸c˜ao diferencial estoc´astica utilisando-se do teorema de Girsanov A.7 no apˆendice. Neste jogo h´a dois jogadores, “controller”

estrat´egias e regras de parada. Da´ı seguimos para dois problemas formulados sobre o processo de valor do jogoV(t), cujas as solu¸c˜oes s˜ao os objetivos do artigo.

Os problemas s˜ao provar que V(t) existe para todo t e que o jogo tem um ponto de cela.

O texto est´a organizado da seguinte maneira:

• Cap´ıtulo 1: ´E apresentado o tipo de problema tratado na teoria dos jogos dife- renciais estoc´asticos;

• Cap´ıtulo 2: ´E apresentado o modelo de jogo sobre o qual desenvolvemos este trabalho;

• Cap´ıtulo 3: ´E feita a an´alise do processo de valor do jogo;

• Cap´ıtulo 4: ´E construido um ponto de cela para o jogo;

• Apˆendice (Resultados Usados): Uma lista de resultados utilizados ao longo do trabalho.

Como pr´e-requisitos para este trabalho recomendamos que o leitor esteja familiari- zado com a teoria das probabilidades e que conhe¸ca um pouco da teoria dos martingales e C´alculo de Itˆo; como referˆencias indicamos [4], [22] e [5].

Cap´ıtulo 1

O que estudamos

Na teoria dos jogos diferenciais n˜ao existem defini¸c˜oes e resultados gerais para todos os modelos de jogos. H´a, no m´aximo, alguns conceitos em comum aos modelos. Por isto, neste cap´ıtulo n˜ao temos a inten¸c˜ao de trazer uma introdu¸c˜ao resumida da teoria, nem apresentar resultados de conte´udos preliminares, mas apenas fornercer ao leitor uma pequena vis˜ao do que ´e feito na teoria: an´alise de modelos de jogos. Devido a isto n˜ao escolhemos para o t´ıtulo do cap´ıtulo termos usuais como “Preliminares”.

Vamos descrever o modelo de jogo apresentado nos cap´ıtulos 3 e 5 de [2], escolhemos este modelo por ser simples e por apresentar v´arios dos conceitos em comum com outros modelos de jogos. Para o leitor interessado em conhecer outros tipos de jogos diferenciais recomendamos [3].

1.1 Jogo Diferencial Estoc´ astico

Considere um movimento Browniano m−dimensional W = (W_t)0≤t≤T, sobre um espa¸co de medida (Ω,F,P), equipado com a filtragemF= (F_t)t≤t≤T gerada pelo movi- mento Browniano. Tome A um espa¸co m´etrico compacto e A sua σ-´algebra de Borel, chamaremos A o conjunto de a¸c˜oes do jogador.

Considere b : [0, T]×Ω×Rⁿ ×A → Rⁿ e σ : [0, T]×Ω×Rⁿ×A → Rⁿ ×R^m sastifazendo as seguintes propriedades:

1. b eσ s˜aoP ×B(R^m)× A−mensur´aveis, onde P ´e a σ-´algebra dos subconjuntos de [0, T]×Ω F-progressivamente mensur´aveis,

2. ∃ C > 0 tal que

||(b, σ)(t, ω, x, α)−(b, σ)(t, ω, x⁰, α)|| ≤ C||x−x⁰||,

1. O que estudamos

3. Para cada x ∈ Rⁿ e α ∈ A, E[RT

0 ||b(t, x, α)||²ds] < ∞ e E[RT

0 ||σ(t, x, α)||²ds]<∞.

O processoσ ´e chamado volatilidade e b“drift”, nas rela¸c˜oes acima consideramosσ um vetor.

As estrat´egias admiss´ıveis s˜ao processos da formaα= (α)0≤t≤T que tomam valores em A e satisfazem:

1. α´e P-mensur´avel, 2. E[RT

0 ||b(t,0, αt)||²dt+||σ(t,0, αt)||²dt]<∞.

O conjunto de estrat´egias admiss´ıveis ser´a denotado porA. Chamaremos de estado do jogo com apenas um jogador ao processo de Itˆo X = (X_t)0≤t≤T, com X_t ∈ Rⁿ, satisfazendo

( dXt=b(t, Xt, αt)dt+σ(t, Xt, αt)dWt,

X₀ =x₀ ∈R^d. (1.1)

Esta equa¸c˜ao diferencial estoc´astica ´e chamada dinˆamica do estado do jogo. Por A.1 no apˆendice, para cada estrat´egia admiss´ıvelαexiste um ´unico processoX= (Xt)0≤t≤T

que satisfaz (1.1).

Suponha agora que h´a k jogadores. Os processos da forma α = (α¹, ...,α^k), onde αⁱ ´e uma estrat´egia admiss´ıvel para o jogador i, s˜ao chamados perfis de estrat´egias admiss´ıveis. Neste caso consideramos A = A¹ ×...×A^k e A = A¹ ×...× A^k. Dado o perfil de estrat´egia α= (α¹, ...,α^k), quando escrevemos (α⁻ⁱ,βⁱ) estamos indicando o mesmo perfil de estrat´egia mas com a i-´esima estrat´egia admiss´ıvel trocada pela estrat´egia admiss´ıvel βⁱ. Analogamente para a k-upla de a¸c˜oes (α¹_t, ..., α^k_t).

Para cada jogador itemos um movimento Browniano Wⁱ = (W_tⁱ)0≤t≤∞ com W_tⁱ ∈ R^mi, um drift bⁱ : [0, T]×R^m ×Aⁱ →R^mi e uma volatilidade σⁱ : [0, T]×R^m×Aⁱ → R^m2i, m = m₁ +...+m_k. Al´em disso o estado do jogo ´e dada pelo processo de Itˆo X = (X¹, ...,X^k), com X0 ∈ R^m, e X0 = (x¹₀, ..., x^k₀), tal que dX_tⁱ = bⁱ(t, Xt, αⁱ_t)ds+ σⁱ(t, X_t, αⁱ_t)dW_tⁱ ´e a dinˆamica do estado do jogo para o jogador i.

Utilizando a nota¸c˜ao de matrizes podemos escrever

X_t=







 X_t¹

... X_t^k









,W_t=







 W_t¹

... W_t^k









, b(t, x, α) =









b¹(t, x, α) ... b^k(t, x, α)







 e

σ(t, x, α) =















σ¹(t, x, α) 0 . . . 0 0 σ²(t, x, α) . . . 0

. .. . .. . .. . ..

0 0 . . . σ^k(t, x, α)















1. O que estudamos

sendo a ´ultima matriz uma matriz de blocos. Da´ı,

dXt=b(t, Xt, α)dt+σ(t, Xt, α)dWt.

1.2 O Problema de Otimiza¸ c˜ ao e a fun¸ c˜ ao Hamil- toniana

Sejamg : Ω×Rⁿ→Rlimitada eF_T×B(Rⁿ)−mensur´avel ef : [0, T]×Ω×Rⁿ×A→ Ruma fun¸c˜ao que satisfaz as mesmas condi¸c˜oes dodrift b. Chamaremosg(X_T) de custo terminal ef de custo corrente.

Para cada α ∈ A, definimos o custo funcional para um jogo de um ´unico jogador como sendo

J(α) =E Z T

0

f(t, X_t, α_t)dt+g(X_T)

. (1.2)

O objetivo do jogador ´e minimizar J. Em um jogo com um ´unico jogador, o pro- blema de minimizar J ´e um problema de controle ´otimo estoc´astico. No caso de k jogadores temos para cada jogador i = 1, ..., k um custo terminal gⁱ(XT), um custo correntefⁱ e um custo funcional Jⁱ(α) =E

hRT

0 fⁱ(t, ω, X_t, α_t)dt+gⁱ(X_T)i .

Defini¸c˜ao 1.1. Um jogo com dois jogadores ´e dito ser de soma zero seJ¹(α) = −J²(α) para todo perfil de estrat´egia α ∈ A. Neste caso escrevemos J := J¹ como o custo funcional do jogo.

Defini¸c˜ao 1.2. Um perfil de estrat´egia α^∗ = (α^∗,1, ...,α^∗,n) ´e dito ser um equil´ıbrio de Nash para o jogo se para todoi e para todo αⁱ ∈Aⁱ Jⁱ(α^∗)≤Jⁱ(α^∗,−i,αⁱ).

Ou seja, um perfil de estrat´egia ´e um equil´ıbrio de Nash se nenhum jogador se beneficia mudando de estrat´egia individualmente.

Defini¸c˜ao 1.3. Dados a volatilidade σ e o drift b do estado (X_t)0≤t≤T de um jogo, podemos definir um tipo de fun¸c˜ao, chamada fun¸c˜ao Hamiltoniana, da seguinte maneira H: [0, T]×Ω×Rⁿ×Rⁿ×R^n×m×A→R dada porH(t, ω, x, y, z, α) = σ(t, ω, x, α)• z+hb(t, ω, x, α), yi+f(t, ω, α).

Onde f ´e o custo corrente, σ e z s˜ao matrizes n ×m, a opera¸c˜ao • ´e dado por tr[σ(t, ω, x, α)^>·z] e a opera¸c˜ao em h,i ´e o produto interno euclidiano de Rⁿ.

No caso particular em que apenas odrift depende das a¸c˜oes do jogador a Hamilto- niana ´e dada por H(t, ω, x, y, α) =b(t, ω, x, α)y+f(t, ω, x, α)

1. O que estudamos

Defini¸c˜ao 1.4. Dado o custo funcionalJ de um jogo de dois jogadores de soma zero, definimos o valor superior e o valor inferior do jogo como sendo respectivamnete.

V = inf

α∈A¹

sup

β∈A²

J(α,β) V = sup

β∈A² α∈infA¹

J(α,β).

1.3 Exemplo de aplica¸ c˜ ao

Quantitative Finance ´e uma ´area de conhecimento onde podemos encontrar uma grande quantidade de problemas cujas solu¸c˜oes provem da teoria de controle estoc´as- tico e da teoria dos jogos. S˜ao v´arios os tipos de problemas: minimiza¸c˜ao de riscos, maximiza¸c˜ao de utilidades, precifica¸c˜ao, constru¸c˜ao de hedge, etc. Apresentaremos, de modo resumido e sem solu¸c˜ao, um problema cl´assico.

O problema de portif´olio de Mertron (Exemplo 3.2 do cap´ıtulo 2 de [10])

Este foi um dos primeiros problemas de finan¸cas solucionado com o emprego de controle estoc´astico. Ele foi apresentado e solucionado em 1969 pelo economista Robert C.

Merton. O problema trata da otimiza¸c˜ao de investimentos emassets.

stock: qualquer posse com valor com a qual o propiet´ario espera obter algum bene- f´ıcio, por exemplo a¸c˜oes de empresas.

Suponha que em um mercado h´a n + 1 assets sendo negociadas no intervalo de tempo [0, T], as assets 1, ..., n s˜ao chamadas stocks, o pre¸co do i-´esimo stock ´e dado pela equa¸c˜ao diferencial estoc´astica seguinte:

( dPi(t) = Pi(t){bi(t)dt+hσi(t), W(t)i},

P_i(t) = P_i(0) >0. t∈[0, T]

Ondeb_i : Ω×[0, T]→R,b_i(t)>0, ´e chamada taxa de aprecia¸c˜ao eσ_i : Ω×[0, T]→ R^m´e a volatilidade dostock eW : Ω×[0, T]→R^m ´e um movimento browniano. Todos estes processos est˜ao definidos em um espa¸co de probabilidade (Ω,F,(F_s)0≤s≤T) e s˜ao adaptados a (F_s)0≤s≤T. A presen¸ca do movimento browniano simboliza a aleatoriedade dos pre¸cos dessasassets e por isso elas s˜ao consideradas arriscadas.

A 0-´esimaasset ´e chamadabond, ela ´e a ´unica que n˜ao traz risco e seu pre¸co ´e dada pela seguinte equa¸c˜ao diferencial estoc´astica:

( dP₀(t) = r(t)P₀(t)dt,

P0(0) = x0 >0 q.c. t∈[0, T].

A cada instantet∈[0, T] um investidor tem uma riquezaX(t) distribuida nasassets e, para cada i, uma quantidade Ni(t) da asset i. Assim X(t) =

n

X

i=0

Ni(t)Pi(t) e sua

1. O que estudamos

riqueza investida na asset i ´e dada por u_i(t) =N_i(t)P_i(t). O portif´olio do investidor ´e o processo vetorial u(t) = (u₀(t), ..., u_n(t)). Suponha que existe uma taxa de retirada, c(t), de recursos desses investimentos para consumo.

Temos ent˜ao o seguinte problema, o investidor deve escolher um portif´olio u(t) e uma taxa de retirada c(t) de modo que X(t)>0 e que

J(u, c) = E Z T

0

exp^−γtφ(c(t))dt+ exp^−γTh(X(T))

.

seja m´axima. Aquiφ(c(t)) ´e a utilidade instatˆanea pelo consumo c(t) e exp^−γTh(x, T)

´e a utilidade descontada.

Cap´ıtulo 2 O jogo

2.1 O modelo (o “tabuleiro”, as “pe¸ cas” e as “re- gras”)

Considere Ω = (C[0, T],Rⁿ), o espa¸co das fun¸c˜oes cont´ınuas de [0, T] em Rⁿ e a medida de probabilidade de Wiener P. Tome ent˜ao sobre o espa¸co (Ω,P) o mo- vimento browniano padr˜ao W = (W_t)0≤t≤T dado por W(t, ω) = ω(t) e a filtragem (F_t^W)0≤t≤T gerada pelo movimento browniano. Escrevemos F = (F_t)0≤t≤T para a fil- tragem P−aumentada de (F_t^W)0≤t≤T e ||ω||^∗_t:= sup

0≤s≤t

|ω(s)|, ω ∈ Ω,0≤ t ≤ T. A.2 no apˆendice garante queWainda ´e movimento browniano sobreF. Aqui,P ´e aσ−´algebra de [0, T]×Ω dos subconjuntos previz´ıveis.

S ser´a o conjunto de aplica¸c˜oes mensur´aveis da forma τ : Ω → [0, T] tais que {τ ≤ t} ∈ F_t,0 ≤t ≤T, chamadas regras de parada. Perceba que se t ∈ [0, T] ent˜ao t ∈ S. Dadas duas regras de parada ν, τ tais que ν ≤ τ q.c. denotamos por S_ν,τ o conjunto de regras de parada ρtais que ν ≤ρ≤τ q.c.

A volatilidade ser´a uma aplica¸c˜ao σ : [0, T]×Ω → M(Rⁿ,Rⁿ), onde M(Rⁿ,Rⁿ) ´e o espa¸co das matrizes n ×n, P−mensur´avel e tal que para todo (t, ω) ∈ [0, T]×Ω σ(t, ω) seja n˜ao-singular. Al´em disso vamos exigir o seguinte:

• ∃C > 0 tal que

|σ_i,j(t, ω)−σ_i,j(t, ω)| ≤ C||ω−ω⁰||^∗_t,

∀t ∈[0, T]; ∀ω, ω⁰ ∈Ω

• ∀(t, ω)∈[0, T]×Ω,||(σ)⁻¹(t, ω)|| ≤ C.

Aqui (σ)⁻¹(t, ω) ´e a inversa de (σ)(t, ω) (aqui tomamos a matriz como um vetor e a norma euclideana). Sob estas hip´oteses e por A.3 no apˆendice existe uma ´unica

2. O jogo

solu¸c˜ao, X= (X_t)0≤t≤T, para a seguinte equa¸c˜ao diferencial estoc´astica, ( dX_t=σ(t, X)dW_t,

X₀ =x₀ ∈Rⁿ

; 0≤t≤T. (2.1)

Al´em disso, a filtragem P−aumentada natural gerada porX coincide com F. O conjunto de estrat´egias admiss´ıveis, as quais chamaremos apenas de estrat´egias,

´e A e as estrat´egias s˜ao processos do tipo α : [0, T]×Ω → A. Onde A ´e um espa¸co m´etrico separ´avel e uni˜ao enumer´avel de subconjuntos n˜ao vazios compactos sobre o qual est´a definida aσ−´algebraA de Borel.

Assumimos que o drift b : [0, T]×Ω×A → Rⁿ ´e P × A−mensur´avel e satisfaz o seguinte:

• ∃K >0 tal que ∀(t, ω, α)∈[0, T]×Ω×A,||b(t, ω, x, α)|| ≤ K(1 +||ω||^∗_t);

• Para cada α∈A, (t, ω)→b(t, ω, α) ´e previz´ıvel.

Pelas hip´oteses assumidas e por A.4 no apˆendice concluimos que, para cadaα∈A, o processo exponencial

Λ^α_t = exp Z t

0

hσ⁻¹(s, X)b(s, X, α_t), dW_si −1 2

Z t 0

||σ⁻¹(s, X)b(s, X, α_s)||²ds

; 0≤t≤T.

(2.2)

´e um martingale. Al´em disso podemos definir uma medida de probabilidade P^α como:

P^α(B) := E[Λ^α_T ·1_B], B ∈ F_T. Portanto, pelo teorema de Girsanov (A.7 no apˆendice),

W_t^α =W_t+ Z t

0

σ⁻¹(s, X)b(s, X, α_s) ; 0≤t≤T. (2.3)

´e um movimento Browniano na medidaP^α adaptado `a F. Portanto, por (2.1) e (2.3) chegamos a

X_t =x₀+ Z t

0

b(s, X, α_s)ds+ Z t

0

σ⁻¹(s, X)dW_s^α 0≤t≤T. (2.4) Este ser´a o nosso processo de estado do jogo. Note que as estrat´egias n˜ao interferem na volatilidade.

2. O jogo

2.2 Como funciona o jogo (como jogar)

Vamos exigir que o custo corrente f : [0, T]×Ω×A → R satisfa¸ca as mesmas propriedades do drift b exceto que |f(t, ω, α)|≤ K. O custo terminal ser´a dado por g :Rⁿ →R limitada e cont´ınua.

O jogo funciona da seguinte maneira: o jogador “controller” escolhe uma estrat´egia admiss´ıvelα e da´ı o jogador “stopper” escolhe uma regra de parada τ, ent˜ao o stopper recebe docontroller uma quantia Y^α(τ)≡Y^α(0, τ), onde

Y^α(t, τ) :=g(X_τ) + Z τ

t

f(s, X, α_s)ds; τ ∈ S_t,T. (2.5) Obs.: quando escrevemos t estamos nos referindo `a uma regra de parada, a qual n˜ao ´e necessariamente determin´ıstica. Por outro lado, quando escrevemos t estamos nos referindo `a um ponto do intervalo [0, T].

Defini¸c˜ao 2.1. O valor superior e o valor inferior do jogo s˜ao, respectivamente:

V := inf

α∈A

sup

τ∈S E^α[Y^α(τ)]. (2.6)

V := sup

τ∈S

α∈infAE^α[Y^α(τ)]. (2.7) Perceba que, por g, f serem limitadas os valores s˜ao finitos. Podemos checar facil- mente, usando redu¸c˜ao ao absurdo por exemplo, que V ≥V. Se V =V ent˜ao dizemos que o jogo tem um valor o qual denotamos porV =V =V.

O objetivo do controller ´e minimizar E^α[Y^α(τ)] enquanto que o stopper quer ma- ximizar. Podemos pensar as regras de parada como sendo um tipo de estrat´egia, definirmos J¹(α, τ) = J(α, τ) = E^α[Y^α(τ)], J²(α, τ) = −J(α, τ) e definirmos J¹ e J² como sendo os custos funcionais do controller e do stopper respectivamente. Dessa forma temos um jogo com dois jogadores e de soma zero semelhante ao apresentado no cap´ıtulo 1.

Defini¸c˜ao 2.2. Um par (α^∗, τ⁰) ´e dito ser ponto de cela seE^α

∗[Y^α∗(τ)]≤E^α

∗[Y^α∗(τ⁰)]≤ E^α[Y^α(τ⁰)] ∀ (α, τ)∈A× S.

Note que os pontos de cela funcionam como equil´ıbrios de Nash, pois se (α^∗, τ⁰) ´e ponto de cela ent˜ao J¹(α^∗, τ⁰) = E^α

∗[Y^α∗(τ⁰)]≤E^α[Y^α(τ⁰)] = J¹(α, τ⁰) e J²(α^∗, τ⁰) = E^α

∗[Y^α∗(τ⁰)]≤E^α

∗[Y^α∗(τ)] =J²(α^∗, τ)

Lema 2.1. Se existe um ponto de cela ent˜ao o jogo tem um valor.

2. O jogo

Demonstra¸c˜ao. Seja (α^∗, τ⁰) ponto de cela, se por absurdo tiv´essemos inf

α∈A

sup

τ∈SE^α[Y^α(τ)]>

sup

τ∈S

α∈infAE^α[Y^α(τ)], ent˜ao para alguma β ∈ A inf

α∈A

sup

τ∈S E^α[Y^α(τ)] > E^β[Y^β(τ⁰)]. Da´ı, para algumτ ∈ S E^α[Y^α(τ)]>E^α[Y^α(τ⁰)], uma contradi¸c˜ao.

No ´ultimo cap´ıtulo mostraremos que, com algumas poucas hip´oteses a mais so- bre o drift e o custo funcional, o jogo tem um ponto de cela. Por A.5 no apˆendice temos E^α[Y^α(t, τ)|F_t] = E[Y^α(t, τ)Λ^α(t)|F_t]

E[Λ^α(t)|F_t] . Ou seja, podemos escrever cada espe- ran¸ca condicional sobre uma ´unica medida de probabilidade (P), portanto faz sentido definirmos o seguinte.

Defini¸c˜ao 2.3. O processo de valor inferior e o processo de valor superior s˜ao definidos, respectivimente, por:

V(t) = ess sup

τ∈St,T

ess inf

α∈A E^α[Y^α(t, τ)|F_t]. (2.8) V(t) = ess inf

α∈A

ess sup

τ∈St,T

E^α[Y^α(t, τ)|F_t]. (2.9) ComoF₀^W ={∅,Ω}e como a diferen¸ca entreF₀^W eF₀ s˜ao subconjuntos de Ω de me- dida de Wiener nula ent˜ao, quase certamente, E^α[Y^α(0, τ)|F0] = E^α[Y^α(0, τ)|F₀^W] = E^α[Y^α(0, τ)]. Portanto, quase certamente,V(0) = V eV(0) =V(0).

Comog(X_t) ´eF_t-mensur´avel ent˜aog(X_t) =E^α[g(X_t)|F_t] q.c. para toda a estrat´e- gia α∈A. Temos tamb´em queg(X_t) =g(X_t) +Rt

t f(s, X,α_s)ds para toda estrat´egia α, logog(X_t) = E^α[g(X_t)+Rt

t f(s, X,α_s)ds|F_t] =E^α[Y^α|F_t] q.c. para toda estrat´egia α ∈ A. Portanto g(Xt) = ess inf

α∈A E^α[Y^α(t,t)|F_t] q.c. e tamb´em g(Xt) ≤ V(t) q.c..

Al´em disso, podemos facilmente verificar que V(t)≤V(t) q.c..

2.3 Dividir e conquistar

Como os pontos de cela s˜ao pontos de otimiza¸c˜ao de um processo que envolve a escolha de estrat´egias e tempos de parada, utilisaremos como metodologia para encon- trarmos um ponto de cela algo semelhante aquilo que na heur´ıstica ´e chamada divide and conquer. Vamos come¸car a tratar o problema a partir de duas perspectivas di- ferentes: controle ´otimo estoc´astico e tempo de parada ´otimo. Ao fim do trabalho o leitor ver´a que o problema original ser´a resumido a um problema de controle ´otimo.

Defini¸c˜ao 2.4. Definimos um intervalo estoc´astico como sendo

2. O jogo

Lembre que sobre o espa¸co [0, T]×Ω estamos considerando aσ-´algebra dos conjuntos P−mensur´aveis. Estamos tamb´em considerando como medida de probabilidade neste espa¸co a medida produto L×P, onde L´e a medida de probabilidade de Lebesgue do intervalo [0, T].

Dada uma regra de parada t ∈ S definimos para cada τ ∈ S_t,T o custo m´ınimo condicional esperado como sendo

J(t, τ) = ess inf

α∈A E^α[Y^α(t, τ)|F_t]. (2.11) Note que V(t) = ess sup

τ∈St,T

J(t, τ).

A Proposi¸c˜ao a seguir ´e um resultado cl´assico, por isso n˜ao vamos prov´a-la aqui.

Por´em, logo a seguir o enunciado faremos uma pequena considera¸c˜ao sobre ela. O leitor interessado pode encontrar a prova original, em [14].

Proposi¸c˜ao 2.2. Para cada α∈Ao processo Ψ(t, τ) := J(t, τ) +

Z t 0

f(s, X, α_s)ds. (2.12)

´e umP^α−submartingale

Dadot∈[0, T] sejaA[t,T]a restri¸c˜ao deAao intervalo [t, T] (estrat´egias admiss´ıveis restritas ao intervalo [t, T]). A aplica¸c˜ao da proposi¸c˜ao acima depende de que para cadat ∈[0, T] a fam´ılia {E^α[Y^α(t, τ)|F_t],α∈A[t,T]} tenha a seguinte propriedade:

Defini¸c˜ao 2.5. Uma fam´ılia (X_i)i∈I tem a propriedade lattice se para todo par de

´ındicesi, j ∈I existe um ´ındice k ∈I tal que X_k ≤X_i∧X_j q.c.

Vamos ent˜ao provar a propriedade lattice.

Proposi¸c˜ao 2.3. Para cada t ∈ [0, T] a fam´ılia {E^α[Y^α(t, τ)|F_t],α ∈ A^[t,T]} tem a propriedadelattice.

Demonstra¸c˜ao. Sejamα,β ∈A[t,T]. Tome ent˜aoB ={ω; E^α[Y^α(t, τ)|F_t]≤E^β[Y^β(t, τ)|F_t]}.

Defina

γ(s, ω) =

( α(s, ω) se ω ∈B, β(s, ω) se ω ∈B^c.

Temos E^γ[Y^γ(t, τ)|F_t]≤E^α[Y^α(t, τ)|F_t]∧E^β[Y^β(t, τ)|F_t].

Para cada estrat´egia α∈ A definimos a recompensa m´axima condicional esperada como sendo

Z^α(t) := ess sup

τ∈St,T

E^α[Y^α(t, τ)|F_t], t∈ S. (2.13)

2. O jogo

que pode ser obtida pelo jogador stopper det em diante.

Bem como o custo acumulado

Q^α(t) :=Z(t) + Z t

0

f(s, ω, α_s)ds. (2.14)

Perceba que V(t) = ess inf

α∈A

Z^α(t) e que Z^α(t) ≥ Y^α(t,t) = g(Xt). Vamos agora proceder para mostrar queV(t) se comporta como um limite.

Defini¸c˜ao 2.6. Dada α ∈ A, como os processos g(X_s)_s, Z(s)_s s˜ao adaptados ent˜ao para cadat ∈ S e >0 definimos a seguinte regra de parada

τ_t^α() := inf{s∈[t, T] :g(X_s)≥Z^α(s)−}, τ_t^α :=τ_t^α(0).

Note que para cada t ∈ S e ω ∈ Ω, T pertence ao conjunto {s ∈ [t, T] : g(X_s) ≥ Z^α(s)−}, >0. Al´em disso, [0, T] ´e limitado ent˜ao estas regras de parada est˜ao bem definidas.

Defini¸c˜ao 2.7. Dado um processo adaptado e cont´ınuo a direita (Z_t)t≥0 que satisfaz Z_t≥0 para todot ≥0 e E[sup_tZ_t]<∞. Seja U_t= ess sup

τ∈S_[t,∞)E[Z_τ|F_t]. O envelope Snell deZ = (Zt)t≥0 ´e a modifica¸c˜ao cont´ınua a direita de U = (Ut)t≥0.

Precisaremos tamb´em dos dois seguintes resultados cl´assicos que podem ser encon- trados em [15] no apˆendice D.

Proposi¸c˜ao 2.4. Para cada α ∈ A o processo (Q^α(s))0≤s≤T ´e P^α−supermartingale, c`adl`ag e o menor supermartingale que majoraY^α(·), ou seja, ´e envelope Snell deY^α(·).

Proposi¸c˜ao 2.5. Para quaisquer regras de parada t, ν, θ com t ≤ ν ≤ θ ≤ τ_t^α temos E^α[Q^α(θ)|F_ν] = Q^α(ν) q.c.; em partircular Q^α(· ∧τ₀^α) ´e P^α−martingale. Al´em disso Z^α(t) =E^α[Y^α(t, τ_t^α)|F_t] q.c.

Um lema que tamb´em nos ser´a muito ´util ´e o seguinte:

Lema 2.6. Suponha que t, θ s˜ao regras de parada tais que 0 ≤ t ≤ θ ≤ T. Dadas α,β∈A

i ) Se α= β em quase todo ponto de [[t, θ]] ent˜ao para qualquer vari´avel aleat´oria Ξ limitada e F_θ-mensur´avel,

E^α[Ξ|F_t] =E^β[Ξ|F_t] q.c.

2. O jogo

ii ) DadoB ∈ F_t, seα=βem quase todo ponto de{(r, ω);t(ω)≤r≤θ(ω), ω ∈B}, ent˜ao a equa¸c˜ao de (i) vale emB.

Demonstra¸c˜ao. i) A partir de (2.2) definimos Λ^α(t, θ) := Λ^α(θ)

Λ^α(t). Sabemos que Q definida por dQ = Λ^α_TdP´e uma medida de probabilidade equivalente a P. Al´em disso Qt definida por dQt = Λ^α_t dP´e a restri¸c˜ao deQ a Ft.

SejaA ∈ F_t, Z

A

E^α[Λ^α(t, θ)|F_t]dQ= Z

A

E^α Λ^α_θ

Λ^α_t |F_t

dQ= Z

A

E^α Λ^α_θ

Λ^α_t |F_t

dQ_t =

= Z

A

Λ^α_θ

Λ^α_t dQt = Z

A

Λ^α_θ

Λ^α_t Λ^α_tdP= Z

A

Λ^α_θdP= Z

A

1dQθ = Z

A

1dQ.

Logo, pela defini¸c˜ao de esperan¸ca condicional E^α[Λ^α(t, θ)|F_t] = 1 q.c. Por A.5 no apˆendice temos:

E^α[Ξ|F_t] = E[Λ^α(θ)Ξ|F_t]

E[Λ^α(θ)|F_t] = Λ^α(t)E[Λ^α(t, θ)Ξ|F_t]

Λ^α(t)E[Λ^α(t, θ)|F_t] =E[Λ^α(t, θ)Ξ|F_t] =

=E[Λ^β(t, θ)Ξ|F_t] = Λ^β(t)E[Λ^β(t, θ)Ξ|F_t]

Λ^β(t)E[Λ^β(t, θ)|F_t] = E[Λ^β(θ)Ξ|F_t]

E[Λ^β(θ)|F_t] =E^β[Ξ|F_t].

A terceira igualdade acima ´e verdadeira por queα=βem quase todo ponto sobre [[t, θ]]. Da´ı concluimos tamb´em que set =θ ent˜aoE^α[Ξ] = E^β[Ξ].

ii) Prova-se de maneira semelhante.

Fixemos ν ∈A e denotemos por V_[0,θ] o conjunto de estrat´egias α tais que ν =α em [[0, θ]]. Observe que por (2.5) e (2.13) Z^α(θ) independe dos valores queαtoma em [[0, θ]]. Logo, dada uma estrat´egia qualquerα∈Apodemos construir uma estrat´egiaβ tal queZ^β(θ) = Z^α(θ) q.c., basta tomarγ ∈ V_[0,θ]qualquer e fazerβ =γ_[[0,θ]]+α_[[θ,T]].

Por isso a seguinte igualdade ´e verdadeira:

V(θ) = ess inf

α∈A Z^α(θ) = ess inf

α∈V_[0,θ]Z^α(θ). (2.15)

Lema 2.7. Para cada θ ∈ S, dadas α,β ∈ V_[0,θ] existe γ ∈ V_[0,θ] tal que Z^γ(θ) = Z^α(θ)∧Z^β(θ).

Demonstra¸c˜ao. Considere o evento A = {Z^α(θ) ≤ Z^β(θ)} ∈ F_θ e defina a estrat´egia α⁰ e a regra de parada τ_θ⁰ como seguem

α⁰ =

( ν(s, ω), se 0≤s≤θ(ω)

α(s, ω)·1A+β(s, ω)·1A^c, se θ(ω)≤s≤T.

2. O jogo

τ_θ⁰ =τ_θ^α·1_A+τ_θ^β·1_A^c. Temos quase certamente o seguinte:

Z^α0(θ) =E^α

0[Y^α0(θ, τ_θ^α0)|Fθ] =E^α[Y^α(θ, τ_θ^α0)|Fθ]·1A+E^β[Y^β(θ, τ_θ^α0)|Fθ]·1A^c ≤

≤Z^α(θ)·1_A+Z^β(θ)·1_A^c =E^α[Y^α(θ, τ_θ^α)|F_θ]·1_A+E^β[Y^β(θ, τ_θ^β)|F_θ]·1_A^c =

=E^α

0[Y^α0(θ, τ_θ^α)|F_θ]·1_A+E^α

0[Y^α0(θ, τ_θ^β)|F_θ]·1_A^c =E^α

0[Y^α0(θ, τ_θ⁰)|F_θ]≤Z^α0(θ).

(2.16) Pela Proposi¸c˜ao 2.5 a primeira igualdade de (2.16) ´e verdadeira. A primeira de- sigualdade de (2.16) segue de (2.13) seguida da aplica¸c˜ao de da Proposi¸c˜ao 2.5. Pelo Lema 2.6 a quarta igualdade de (2.16) ´e verdadeira e a quinta igualdade segue da defini¸c˜ao de τ_θ⁰. Como Z^α(θ)· 1_A +Z^β(θ) ·1_A^c = Z^α(θ)∧ Z^β(θ) q.c. o resultado

segue.

Note que acabamos de provar que para cada θ ∈ S a fam´ılia {Z^α(θ),α ∈ V[0,θ]} tem a propriedade lattice. Por isso o seguinte Lema ´e verdadeiro.

Lema 2.8. Para cada θ∈ S existe uma sequˆencia decrescente (Z^αn(θ))n∈N tal que

V(θ) = ↓_n Z^αn(θ) q.c. (2.17)

A prova deste lema ´e an´aloga `a prova de A.6 no apˆendice, apenas com uma pequena adapta¸c˜ao. A demonstra¸c˜ao ´e bastante simples mas utiliza um outro teorema n˜ao apresentado aqui. Para n˜ao adicionarmos ao trabalho resultados n˜ao essˆenciais n˜ao vamos prov´a-lo.

Cap´ıtulo 3

O valor do jogo

Como a existˆencia de pontos de cela se caracterizam pela iguadade V(0) = V(0) ent˜ao nossos dois objetivos est˜ao relacionados aos processos de valor do jogo. Portanto parece sensato come¸carmos o trabalho a partir deles. Neste cap´ıtulo faremos uma ampla an´alise desses processos, estudaremos suas propriedades e construiremos outras ferramentas e resultados a partir delas os quais nos ajudar˜ao a caracterizar e a encontrar os pontos de cela. O dois primeiros resultados s˜ao os principais do cap´ıtulo.

A grande quantidade de resultados apresentados a seguir pode ser um pouco can- sativa de se analisar, mas isso n˜ao deve desanimar o leitor quanto ao estudo do jogo.

Pois lembre-se que estamos aprendendo como o jogo funciona e, como em todo o jogo com n´ıvel de complexidade consider´avel, ter paciˆencia ´e essencial para aprender a jogar bem.

3.1 Vamos jogar

Nesta se¸c˜ao vamos alcan¸car um dos nossos objetivos: para todoθ∈ S V(θ) =V(θ).

Como visto no cap´ıtulo anterior, para cadaθ∈ S existe uma sequˆencia (Z^αn(θ))n∈N, com (αⁿ)n∈NemV_[0,θ], tal queV(θ) =↓_n Z^αn(θ) q.c. Dadaθ ∈ Sconsidere a sequˆencia de regras de parada (τ_θ^αn)n∈N (como antes, est˜ao bem definidas) dadas por

τ_θ^αn := inf{s ∈[θ, T];g(X_s) =Z^αn(s)}.

Como Z^αm(s) ≥Z^αn(s) q.c., se n ≥ m, ent˜ao por defini¸c˜aoτ_θ^αm ≥τ_θ^αn q.c., da´ı a sequˆencia de regras de parada acima definida ´e decrescente. Logo, est´a bem definida q.c. a seguinte regra de parada emS_[θ,T]:

τ_θ^∗ := ↓_n τ_θ^αn. (3.1)

3. O valor do jogo

Como θ ≤ τ_θ^∗ q.c. ent˜ao, para todo n, τ_θ^αn ≤ inf{s ∈ [τ_θ^∗, T];g(X_s) = Z^αn(s)}

q.c.. Se, por absurdo, τ_θ^αn < inf{s ∈ [τ_θ^∗, T];g(X_s) = Z^αn(s)} em algum B ∈ Ω de medida de Wiener n˜ao nula ent˜ao para cada ω ∈ B existiria r ∈ [τ_θ^∗(ω), T] tal que τ_θ^∗(ω) ≤ τ_θ^αn(ω) < r < inf{s ∈ [τ_θ^∗(ω), T];g(Xs) = Z^αn(s)} com g(Xr) = Z^αn(r), contradi¸c˜ao. Logo τ_θ^αn = inf{s∈[τ_θ^∗, T];g(X_s) = Z^αn(s)} q.c.

Assim, os valores das estrat´egias admiss´ıveis αⁿ sobre o intervalo [[0, τ_θ^∗]] s˜ao irre- levantes para o c´alculo de τ_θ^αn. Ent˜ao, fixado ν ∈A, do mesmo modo que para V_[0,θ], existe uma sequˆencia (α^k)k∈N em V_[0,τ^∗

θ] de estrat´egias admiss´ıveis que coincidem com ν no intervalo [[0, τ_θ^∗]] para a qual (3.1) vale.

Teorema 3.1. Para todo θ ∈ S V(θ) = V(θ) q.c. De um modo mais geral, para todo t∈ S e θ∈ S_t,T temos

ess inf

α∈A ess sup

τ∈S_θ,T E^α[Y^α(t, τ)|F_t] = ess sup

τ∈S_θ,T

ess inf

α∈A E^α[Y^α(t, τ)|F_t] q.c. (3.2) Demonstra¸c˜ao. J´a sabemos queV(θ)≥V(θ) q.c., vamos ent˜ao mostrar a desigualdade inversa. Fixemos ν ∈A e tomemos uma sequˆencia (αⁿ)∈ V_0,τ^∗

θ tal que (3.1) vale.

Pela Proposi¸c˜ao 2.5

Z^αn(θ) = E^α

n[Y^αn(θ, τ_θ^αn)|F_θ] q.c.

da´ı,

V(θ)≤E^α

n[Y^α(θ, τ_θ^αn)|F_θ] =E[Λ^αn(θ, τ_θ^αn)Y^αn(θ, τ_θ^αn)|F_θ] =

=E

"

Λ^ν(θ, τ_θ^∗)Λ^αn(τ_θ^∗, τ_θ^αn){Y^ν(θ, τ_θ^∗) +g(X

ταⁿ_θ

θ

)−g(X_τ^∗

θ) + Z ταⁿ

θ

τ_θ^∗

f(s, X, αⁿ_s)}|F_θ

#

q.c.

(3.3) A primeira igualdade de (3.3) segue da demonstra¸c˜ao do Lema 2.6. Para a segunda igualdade note o seguinte

Λ^ν(θ, τ_θ^∗)Λ^αn(τ_θ^∗, τ_θ^αnθ) = exp

Z τ_θ^∗ θ

hσ⁻¹(s, X, ν_s)b(s, X, ν_s), dW_si −1 2

Z τ_θ^∗ θ

||σ⁻¹(s, X, ν_s)b(s, X, ν_s)||²ds

·

·exp

"

Z ταⁿ

θ

τ_θ^∗

hσ⁻¹(s, X, αⁿ_s)b(s, X, αⁿ_s), dW_si −1 2

Z ταⁿ

θ

τ_θ^∗

||σ⁻¹(s, X, αⁿ_s)b(s, X, αⁿ_s)||²ds

#

q.c.

(3.4) Como αⁿ coincide com ν no intervalo [[θ, τ_θ^∗]] ent˜ao o processo (ν_s)_s no primeiro

3. O valor do jogo

processo exponencial de (3.4) pode ser substituido por (αⁿ_s)_s. Ficamos ent˜ao com Λ^ν(θ, τ_θ^∗)Λ^αn(τ_θ^∗, τ_θ^αn) =

= exp

"

Z ταⁿ

θ

θ

hσ⁻¹(s, X, ν_s)b(s, X, αⁿ_s), dW_si −1 2

Z ταⁿ_θ θ

||σ⁻¹(s, X, ν_s)b(s, X, αⁿ_s)||²ds

#

=

= Λ^αn(θ, τ_θ^αn) q.c.

Como σ⁻¹ ´e limitada, pelo teorema da convergˆencia limitada podemos tomar o limite quandon → ∞em (3.3) e ficamos com

V(θ)≤E[Λ^ν(θ, τ_θ^∗)Y^ν(θ, τ_θ^∗)|F_t] =E^ν[Y^ν(θ, τ_θ^∗)|F_t] q.c. (3.5) Perceba que ν ∈ A foi tomado arbitrariamente, logo podemos tomar o ´ınfimo na

´

ultima igualdade de (3.5) e obtermos:

V(θ)≤ess inf

ν∈A E^ν[Y^ν(θ, τ_θ^∗)|F_t]≤ess sup

τ∈S_[θ,T]

ess inf

ν∈A E^ν[Y^ν(θ, τ)|F_t] =V(θ) q.c.

Portanto V(θ) =V(θ) q.c.. Vamos agora provar (3.2).

ess inf

α∈A

ess sup

τ∈S_θ,T E^α

Y^α(θ, τ) + Z θ

t

f(s, X, α_s)ds|F_t

≤

≤ess sup

τ∈S_θ,T E^α

n

Y^αn(θ, τ) + Z θ

t

f(s, X, αⁿ_s)ds|Ft

≤

≤E^α

n[ess sup

τ∈S_θ,T E^α

n

Y^αn(θ, τ)|F_θ +

Z θ t

f(s, X, α_s)|F_t] =

=E^α

n E^α

n

Y^αn(θ, τ_θ^αn)|F_θ +

Z θ t

f(s, X, αⁿ_s)|F_t

=

=E^α

n

Y^αn(θ, τ_θ^αn) + Z θ

t

f(s, X, αⁿ_s)|F_t

=E^α

n[Y^αn(t, τ_θ^αn)|F_t] q.c.

(3.6)

A segunda desigualdade de (3.6) segue do seguinte, ess sup

τ∈S_θ,T E^α

n

Y^αn(θ, τ)|F_t

= ess sup

τ∈S_[θ,T] E^α

n E^α

n

Y^αn(θ, τ)|F_θ

|F_t

≤

≤E^α

n

"

ess sup

τ∈S_θ,T E^α

n

Y^αn(θ, τ)|F_θ

|F_t

#

q.c.

J´a a primeira igualdade de (3.6) segue da Proposi¸c˜ao 2.5 lembrando de (2.13). Note que E^α

n[Y^αn(t, τ_θ^αn)|F_t] = E^ν[Y^ν(t, τ_θ^αn)|F_t] q.c., por causa da Proposi¸c˜ao 2.6, e da´ı,

3. O valor do jogo

tomando o limite quando n→ ∞ em (3.6) temos:

ess inf

α∈A

ess sup

τ∈S_θ,T E^α

Y^α(θ, τ) + Z θ

t

f(s, X, α_s)ds|F_t

≤E^ν[Y^ν(t, τ_θ^∗)|F_t] q.c.

Como ν ´e arbrit´ario podemos tomar o ´ınfimo essencial sobre ν ∈ A e depois o supremo essencial sobreτ ∈ S_θ,T obtendo:

ess inf

α∈A

ess sup

τ∈S_θ,T E^α

Y^α(θ, τ) + Z θ

t

f(s, X, α_s)ds|F_t

≤ess sup

τ∈S_θ,T

ess inf

ν∈A E^ν[Y^ν(t, τ)|F_t] q.c.

A partir de agora escreveremos V(·) = V(·) = V(·) para o processo de valor do jogo.

Proposi¸c˜ao 3.2. O processo V(·) ´e cont´ınuo a direita

Demonstra¸c˜ao. Como o processo (Z^α(s))0≤s≤T ´e limitado e j´a provamos que a fam´ılia {E^α[Y^α(t, τ)|F_t],α ∈ A[t,T]} tem a propriedade de lattice, ent˜ao n˜ao ´e necess´aria a hip´otese de que para todo s Z^α(s) ≥ 0 q.c. para podermos usar A.8 no apˆendice, o qual nos garante a existˆencia de uma modifica¸c˜ao c`adl`ag de (Z^α(s))_0≤s≤T. Temos ent˜ao que, para cada t ∈ [0, T] lim inf

s↓t V(s) ≤ lim inf

s↓t Z^α(s) = Z^α(t) q.c. Tomando o

´ınfimo sobreA obtemos lim inf

s↓t V(s)≤V(t) q.c..

Sabemos que o processo descrito em (2.12) ´e umP^α−submartingale, ent˜ao, por A.9 no apˆendice, existe e ´e finito q.c. o limite lim

s↓t Ψ(s, τ). A finitude vem do fato de o pr´oprio J(s, τ) ser limitado para todo s, como Rs

0 f(r, X, α_r)dr ´e cont´ınuo em s ent˜ao o limite lim

s↓t J(s, τ) tamb´em existe e ´e finito q.c.

Ent˜ao podemos definir:

J(t+, τ) = lim

s↓t J(s, τ) sobre {t < τ} , J(t+, τ) =g(X(τ)) sobre{t=τ}.

Para qualquer t∈[0, T] e τ ∈ St,T, pela defini¸c˜ao de J em (2.11) temos lim inf

s↓t V(s)≥lim inf

s↓t J(s, s∨τ) = lim inf

s↓t J(s, τ){t<τ}+J(s, s){t=τ} =

= lim

s↓t J(s, τ) + lim inf

s↓t g(X(s)) =J(t+, τ) +g(X(t)) =J(t+, τ) +J(t, t) q.c.

(3.7)

A pen´ultima igualdade em (3.7) ´e verdadeira q.c. porque g(·), X_s s˜ao cont´ınuos.

3. O valor do jogo

Da´ı, sobre{t < τ}, obtemos lim inf

s↓t V(s)≥lim

s↓t J(s, τ) = E^α

lims↓t J(s, τ)|F_t+

=

=E^α

lims↓t J(s, τ) + Z s

t

f(r, X, α_r)dr|F_t

=

= lim

s↓t E^α

J(s, τ) + Z s

t

f(r, X, α_r)dr|F_r

≥J(t, τ) q.c.

(3.8)

A primeira igualdade em (3.8) ´e verdadeira por que o processo lim

s↓t J(t, τ) ´e adaptado aF_t+. A segunda igualdade em (3.8) ´e verdadeira por que a filtragem F ´e cont´ınua a direita (ver A.10 no apˆendice) e para a terceira igualdade de (3.8) usamos o teorema da convergˆencia dominada. A ´ultima desigualdade de (3.8) segue do fato de que o processo Ψ(t, τ) = J(t, τ) +Rt

0 h(s, X, α_s)ds ´e um P^α−submartingale, pois isto tem como consequˆencia

E^α

J(s, τ) + Z s

t

f(r, X, α_r)dr|F_r

≥J(t, τ) q.c.

Portanto, tomando o supremo essencial sobreS_t,T obtemos a desigualdade lim inf

s↓t V(s)≥

V(t). Segue ent˜ao o resultado.

Vamos definir agora mais uma classe de regras de parada.

Defini¸c˜ao 3.1. Para cada t ∈ S e 0< < 1, de maneira an´aloga as outras regras de parada definidas anteriormente, est˜ao bem definidas

%_t() := inf{s∈[t, T];g(X(s))≥V(s)−} ; %_t :=%_t(0) (3.9) Como V(·) ≥ g(X(·)) q.c. ent˜ao, para cada α ∈ A, s˜ao verdadeiras quase certa- mente as seguintes desigualdades:

%_t∨τ_t^α()≤τ_t^α , %_t()≤τ_t^α∧%_t. (3.10) Para cadaα∈A vamos definir o seguinte processo:

R^α(t) :=V(t) + Z t

0

f(s, X, α_s)ds; t∈ S (3.11) Perceba que R^α(t) ≥ g(X(t)) +Rt

0 f(s, X, α_s)ds = Y^α(t) q.c.. R^α(t) ´e o custo cumulativo do controller em usar a estrat´egia α no intervalor [[0,t]] mais o valor do jogo emt.