Jogos diferenciais estocásticos: controle e parada ótimos

(1)

Universidade Federal da Para´ıba

Centro de Ciˆ

encias Exatas e da Natureza

Programa de P´

os–Gradua¸

c˜

ao em Matem´

atica

Mestrado em Matem´

atica

Jogos diferenciais estoc´

asticos:

controle e parada ´

otimos

Alan Teixeira Nic´

acio de Messias

Jo˜

ao Pessoa – PB

(2)

Universidade Federal da Para´ıba

Centro de Ciˆ

encias Exatas e da Natureza

Programa de P´

os–Gradua¸

c˜

ao em Matem´

atica

Mestrado em Matem´

atica

Jogos diferenciais estoc´

asticos:

controle e parada ´

otimos

por

Alan Teixeira Nic´

acio de Messias

sob a orienta¸c˜ao do

Prof. Dr. Alberto Masayoshi Faria Ohashi

Jo˜

ao Pessoa – PB

Agosto de 2018

(3)

(4)

(5)

Voltei-me, e vi debaixo do

sol que n˜

ao ´

e dos ligeiros

a carreira, nem dos fortes

a batalha, nem tampouco

dos s´

abios o p˜

ao, nem

tam-pouco dos prudentes as

ri-quezas, nem tampouco dos

entendidos o favor, mas que

o tempo e a oportunidade

ocorrem a todos.

(6)

Agradecimentos

Agrade¸co em primeiro lugar a meu Deus, pela finaliza¸cão bem sucedida de mais uma etapa de minha vida. Agrade¸co muito a meu orientador, pois me orientou não apenas nessa disserta¸cão mas na vida profissional e carreira acadêmica; agrade¸co também pelas conversas, nos fins das reunões, sobre economia brasileira, situa¸cão fiscal do estado brasileiro e a nova crise financeira mundial em curso (suspeito que estes temas tenham me feito parecer meio paranóico não só à meu orientador mas ao departamento em geral).

E como menssagem a todos aqueles que querem ser pesquisadores, que querem manter a chama do desejo pela pesquisa acesa eu digo: sempre mantenham em suas mentes perguntas as quais vocˆes queiram realmente obter a resposta.

(7)

Resumo

Neste trabalho analisamos um jogo diferencial estocástico de soma-zero nõ Mar-koviano, através da teoria dos martingales. Há dois jogadores, chamados controller e stopper, que controlam o jogo através de controles estocásticos, chamadas estratégias e tempos de parada respectivamente. Nosso objetivo é provar: que para cada instante de tempo o jogo tem um valor e que o jogo tem um ponto de cela. Este trabalho é baseado no artigo de Ioannis Karatzas e Ingrid-Mona Zamfirescu [1].

(8)

Abstract

In this work, we analyze a zero-sum non-Markovian stochastic differential game via martingale methods. The stochastic game consists of two players, namely the controller and stopper which keep track the game via stochastic controls summarized by strategies and stopping times respectively. Our main goal is to prove the game has a value and it admits a saddle point. Our work is based on Karatzas & Ingrid-Mona Zamfirescu’s paper [1].

(9)

Conte´

udo

Introdu¸c˜ao 1

1 O que estudamos 3

1.1 Jogo Diferencial Estocástico . . . 3 1.2 O Problema de Otimiza¸cão e a fun¸cão Hamiltoniana . . . 5 1.3 Exemplo de aplica¸cão . . . 6

2 O jogo 8

2.1 O modelo (o “tabuleiro”, as “pe¸cas” e as “regras”) . . . 8 2.2 Como funciona o jogo (como jogar) . . . 10 2.3 Dividir e conquistar . . . 11

3 O valor do jogo 16

3.1 Vamos jogar . . . 16

4 Encontrando os pontos de cela 27

4.1 Caracteriza¸c˜ao . . . 27 4.2 Otimizando o controle . . . 32 4.3 O “equil´ıbrio” do jogo . . . 34

A Resultados Usados 40

(10)

Nota¸

c˜

oes

A seguir, listamos algumas nota¸c˜oes utilizadas neste trabalho.

• Dado t ∈ R para cada ω ∈ Ω, lim inf

s↓t J (s, τ ) = lim infs∈Q,s≥tJ (s, τ ). Aqui J (s, τ ) ´e como

na equa¸c˜ao 2.11.

• a ∨ b = max{a, b}; • a ∧ b = min{a, b};

• X =↓n Xn q.c. significa X ≤ Xn q.c. e lim

n→∞Xn= X q.c.;

(11)

Introdu¸

c˜

ao

A pesquisa moderna em teoria dos jogos come¸ca com o artigo de Von Newman de 1928 sobre solu¸cões de jogos de soma zero [17]. O trabalho de Newman com jogos de soma zero culminaria no livro Theory of Games and Economic Behavior [18], escrito em 1944 em parceria com o economista Oskar Morgenstern. Até o fim dos anos 40 os avan¸cos na teoria haviam focado apenas em jogos de soma zero com dois jogadores, mas em 1950 John Forbes Nash demonstrou em sua tese de doutorado [19] que qualquer jogo, não necessariamente de soma zero, com uma quantidade finita qualquer de jogadores e com uma matriz de payoffs tem um equil´ıbrio de Nash. Porém, até esse momento os jogos estudados tinham um número finito de estratégias para cada jogador, além de que todo o ambiente era discreto: estratégias, payoffs, o funcionamento do jogo, etc.

As pesquisas em jogos diferenciais têm in´ıcio com o trabalho de Rufus Isaacs en-quanto trabalhava para RAND Corporation. Esses primeiros estudos apareceram em memorandos da RAND em 1951 [6]. Os primeiros problemas estudados foram pro-blemas do tipo “perseguidor-evasor”, o interesse na época era a aplica¸cão no desen-volvimento de sistemas e métodos de defesa de m´ısseis. Também nesse momento a pesquisa em teoria do controle ótimo estocático estava surgindo com os trabalhos Lev Pontryagin [8] e Richard Bellman [9]

Nos anos 60 come¸cam as pesquisas em teoria dos jogos diferenciais estocásticos sendo um dos primeiros trabalhos feito por Yu-Chi Ho em 1966 [7]. O trabalho analisa estratégias e manobras de evasão de aeronaves e técnicas de guiamento de m´ısseis. A aplicabilidade dos jogos diferenciais estocásticos e da análise de controle ótimo estoc´ as-tico alcan¸cou diversas áreas de pesquisa sendo a área de Quantitative Finance uma das que recebeu mais contribui¸cões. Um dos primeiros problemas resolvidos utilizando-se destas teorias foi o problema de otimiza¸cão de portifóleo de Merton em 1969 [20].

Neste trabalho fazemos uma profunda e detalhada análise do artigo [1]. Neste o au-tor constroi um jogo diferencial estocástico de soma zero não-Markoviano, repesentado por seu estado (Xt)0≤t≤T, a partir de uma equa¸cão diferencial estocástica utilisando-se

(12)

estratégias e regras de parada. Da´ı seguimos para dois problemas formulados sobre o processo de valor do jogo V (t), cujas as solu¸cões são os objetivos do artigo.

Os problemas s˜ao provar que V (t) existe para todo t e que o jogo tem um ponto de cela.

O texto est´a organizado da seguinte maneira:

• Cap´ıtulo 1: ´E apresentado o tipo de problema tratado na teoria dos jogos dife-renciais estoc´asticos;

• Cap´ıtulo 2: ´E apresentado o modelo de jogo sobre o qual desenvolvemos este trabalho;

• Cap´ıtulo 3: É feita a análise do processo de valor do jogo; • Cap´ıtulo 4: É construido um ponto de cela para o jogo;

• Apˆendice (Resultados Usados): Uma lista de resultados utilizados ao longo do trabalho.

Como pré-requisitos para este trabalho recomendamos que o leitor esteja familiari-zado com a teoria das probabilidades e que conhe¸ca um pouco da teoria dos martingales e Cálculo de Itô; como referências indicamos [4], [22] e [5].

(13)

Cap´ıtulo 1

O que estudamos

Na teoria dos jogos diferenciais não existem defini¸cões e resultados gerais para todos os modelos de jogos. Há, no máximo, alguns conceitos em comum aos modelos. Por isto, neste cap´ıtulo não temos a inten¸cão de trazer uma introdu¸cão resumida da teoria, nem apresentar resultados de conteúdos preliminares, mas apenas fornercer ao leitor uma pequena visão do que é feito na teoria: análise de modelos de jogos. Devido a isto não escolhemos para o t´ıtulo do cap´ıtulo termos usuais como “Preliminares”. Vamos descrever o modelo de jogo apresentado nos cap´ıtulos 3 e 5 de [2], escolhemos este modelo por ser simples e por apresentar vários dos conceitos em comum com outros modelos de jogos. Para o leitor interessado em conhecer outros tipos de jogos diferenciais recomendamos [3].

1.1 Jogo Diferencial Estoc´

astico

Considere um movimento Browniano m−dimensional W = (Wt)0≤t≤T, sobre um

espa¸co de medida (Ω, F , P), equipado com a filtragem F = (Ft)t≤t≤T gerada pelo

movi-mento Browniano. Tome A um espa¸co métrico compacto e A sua σ-álgebra de Borel, chamaremos A o conjunto de a¸cões do jogador.

Considere b : [0, T ] × Ω × Rn × A → Rn

e σ : [0, T ] × Ω × Rn× A → Rn

× Rm

sastifazendo as seguintes propriedades:

1. b e σ s˜_{ao P × B(R}m_{) × A−mensur´}_{aveis, onde P ´}_{e a σ-´}_{algebra dos subconjuntos}

de [0, T ] × Ω _{F-progressivamente mensur´}aveis, 2. ∃ C > 0 tal que

(14)

1. O que estudamos

3. Para cada x ∈ _Rn _e _α _∈ _A,

E[R0T||b(t, x, α)||

2_ds] _< _∞ _e

E[R₀T||σ(t, x, α)||2ds] < ∞.

O processo σ ´e chamado volatilidade e b “drift ”, nas rela¸c˜oes acima consideramos σ um vetor.

As estrat´egias admiss´ıveis s˜ao processos da forma α = (α)0≤t≤T que tomam valores

em A e satisfazem: 1. α ´e P-mensur´avel, 2. E[R0T||b(t, 0, αt)||

2_{dt + ||σ(t, 0, α}

t)||2dt] < ∞.

O conjunto de estrat´egias admiss´ıveis ser´_{a denotado por A. Chamaremos de estado} do jogo com apenas um jogador ao processo de Itˆo X = (Xt)0≤t≤T, com Xt ∈ Rn,

satisfazendo

(

dXt= b(t, Xt, αt)dt + σ(t, Xt, αt)dWt,

X0 = x0 ∈ Rd.

(1.1)

Esta equa¸cão diferencial estocástica é chamada dinâmica do estado do jogo. Por A.1 no apêndice, para cada estratégia admiss´ıvel α existe um único processo X = (Xt)0≤t≤T

que satisfaz (1.1).

Suponha agora que h´a k jogadores. Os processos da forma α = (α1_{, ..., α}k_{), onde}

αi _´_{e uma estrat´}_{egia admiss´ıvel para o jogador i, s˜}_{ao chamados perfis de estrat´}_egias

admiss´ıveis. Neste caso consideramos A = A1 _{× ... × A}k _{e A = A}1 _{× ... × A}k_{. Dado}

o perfil de estrat´egia α = (α1_{, ..., α}k_{), quando escrevemos (α}−i_{, β}i_{) estamos indicando}

o mesmo perfil de estratégia mas com a i-ésima estratégia admiss´ıvel trocada pela estratégia admiss´ıvel βi. Analogamente para a k-upla de a¸cões (α1_t, ..., αk_t).

Para cada jogador i temos um movimento Browniano Wi = (Wi

t)0≤t≤∞ com Wti ∈

Rmi_{, um drift b}i _{: [0, T ] × R}m × Ai → Rmi _{e uma volatilidade σ}i _{: [0, T ] × R}m× Ai →

Rm2i, m = m₁ + ... + m_k. Além disso o estado do jogo é dada pelo processo de Itô

X = (X1, ..., Xk), com X0 ∈ Rm, e X0 = (x10, ..., xk0), tal que dXti = bi(t, Xt, αit)ds +

σi(t, Xt, αit)dWti ´e a dinˆamica do estado do jogo para o jogador i.

Utilizando a nota¸c˜ao de matrizes podemos escrever

Xt=     X_t1 .. . Xk t     , Wt=     W_t1 .. . Wk t     , b(t, x, α) =     b1(t, x, α) .. . bk_{(t, x, α)}     e σ(t, x, α) =        σ1_{(t, x, α)} ₀ _{. . .} ₀ 0 σ2_{(t, x, α) . . .} ₀ . .. . .. . .. . .. 0 0 . . . σk_{(t, x, α)}       

(15)

1. O que estudamos

sendo a ´ultima matriz uma matriz de blocos. Da´ı,

dXt= b(t, Xt, α)dt + σ(t, Xt, α)dWt.

1.2 O Problema de Otimiza¸

c˜

ao e a fun¸

c˜

ao

Hamil-toniana

Sejam g : Ω×Rn_{→ R limitada e F}

T×B(Rn)−mensur´avel e f : [0, T ]×Ω×Rn×A →

R uma fun¸c˜ao que satisfaz as mesmas condi¸c˜oes do drift b. Chamaremos g(XT) de custo

terminal e f de custo corrente.

Para cada α ∈ A, definimos o custo funcional para um jogo de um ´unico jogador como sendo J(α) = E Z T 0 f (t, Xt, αt)dt + g(XT) . (1.2)

O objetivo do jogador é minimizar J. Em um jogo com um único jogador, o pro-blema de minimizar J é um problema de controle ótimo estocástico. No caso de k jogadores temos para cada jogador i = 1, ..., k um custo terminal gi(XT), um custo

corrente fi e um custo funcional Ji_{(α) = E}hR₀T fi(t, ω, Xt, αt)dt + gi(XT)

i .

Defini¸c˜ao 1.1. Um jogo com dois jogadores ´e dito ser de soma zero se J1(α) = −J2(α) para todo perfil de estrat´_{egia α ∈ A. Neste caso escrevemos J := J}1 como o custo funcional do jogo.

Defini¸cão 1.2. Um perfil de estratégia α∗ = (α∗,1, ..., α∗,n) é dito ser um equil´ıbrio de Nash para o jogo se para todo i e para todo αi _{∈ A}i Ji(α∗) ≤ Ji(α∗,−i, αi).

Ou seja, um perfil de estratégia é um equil´ıbrio de Nash se nenhum jogador se beneficia mudando de estratégia individualmente.

Defini¸c˜ao 1.3. Dados a volatilidade σ e o drift b do estado (Xt)0≤t≤T de um jogo,

podemos definir um tipo de fun¸c˜ao, chamada fun¸c˜ao Hamiltoniana, da seguinte maneira H : [0, T ] × Ω × Rn_{× R}n_{× R}n×m_{× A → R dada por H(t, ω, x, y, z, α) = σ(t, ω, x, α) •}

z + hb(t, ω, x, α), yi + f (t, ω, α).

Onde f é o custo corrente, σ e z são matrizes n × m, a opera¸cão • é dado por tr[σ(t, ω, x, α)>· z] e a opera¸cão em h, i ´_{e o produto interno euclidiano de R}n.

No caso particular em que apenas o drift depende das a¸c˜oes do jogador a Hamilto-niana ´e dada por H(t, ω, x, y, α) = b(t, ω, x, α)y + f (t, ω, x, α)

(16)

1. O que estudamos

Defini¸c˜ao 1.4. Dado o custo funcional J de um jogo de dois jogadores de soma zero, definimos o valor superior e o valor inferior do jogo como sendo respectivamnete.

V = inf α∈A1 sup β∈A2 J(α, β) V = sup β∈A2 inf α∈A1J(α, β).

1.3 Exemplo de aplica¸

c˜

ao

Quantitative Finance é uma área de conhecimento onde podemos encontrar uma grande quantidade de problemas cujas solu¸cões provem da teoria de controle estoc´ as-tico e da teoria dos jogos. São vários os tipos de problemas: minimiza¸cão de riscos, maximiza¸cão de utilidades, precifica¸cão, constru¸cão de hedge, etc. Apresentaremos, de modo resumido e sem solu¸cão, um problema clássico.

O problema de portif´olio de Mertron (Exemplo 3.2 do cap´ıtulo 2 de [10])

Este foi um dos primeiros problemas de finan¸cas solucionado com o emprego de controle estoc´astico. Ele foi apresentado e solucionado em 1969 pelo economista Robert C. Merton. O problema trata da otimiza¸c˜ao de investimentos em assets.

stock : qualquer posse com valor com a qual o propiet´ario espera obter algum bene-f´ıcio, por exemplo a¸c˜oes de empresas.

Suponha que em um mercado há n + 1 assets sendo negociadas no intervalo de tempo [0, T ], as assets 1, ..., n são chamadas stocks, o pre¸co do i-ésimo stock é dado pela equa¸cão diferencial estocástica seguinte:

(

dPi(t) = Pi(t){bi(t)dt + hσi(t), W (t)i},

Pi(t) = Pi(0) > 0.

t ∈ [0, T ]

Onde bi : Ω × [0, T ] → R, bi(t) > 0, ´e chamada taxa de aprecia¸c˜ao e σi : Ω × [0, T ] →

Rmé a volatilidade do stock e W : Ω × [0, T ] → Rm é um movimento browniano. Todos estes processos estão definidos em um espa¸co de probabilidade (Ω, F , (Fs)0≤s≤T) e são

adaptados a (Fs)0≤s≤T. A presen¸ca do movimento browniano simboliza a aleatoriedade

dos pre¸cos dessas assets e por isso elas s˜ao consideradas arriscadas.

A 0-ésima asset é chamada bond, ela é a única que não traz risco e seu pre¸co é dada pela seguinte equa¸cão diferencial estocástica:

(

dP0(t) = r(t)P0(t)dt,

P0(0) = x0 > 0

q.c. t ∈ [0, T ].

A cada instante t ∈ [0, T ] um investidor tem uma riqueza X(t) distribuida nas assets e, para cada i, uma quantidade Ni(t) da asset i. Assim X(t) =

n

X

i=0

(17)

1. O que estudamos

riqueza investida na asset i é dada por ui(t) = Ni(t)Pi(t). O portifólio do investidor é

o processo vetorial u(t) = (u0(t), ..., un(t)). Suponha que existe uma taxa de retirada,

c(t), de recursos desses investimentos para consumo.

Temos ent˜ao o seguinte problema, o investidor deve escolher um portif´olio u(t) e uma taxa de retirada c(t) de modo que X(t) > 0 e que

J (u, c) = E Z T 0 exp−γtφ(c(t))dt + exp−γTh(X(T )) .

seja máxima. Aqui φ(c(t)) é a utilidade instatânea pelo consumo c(t) e exp−γTh(x, T ) é a utilidade descontada.

(18)

Cap´ıtulo 2

O jogo

2.1 O modelo (o “tabuleiro”, as “pe¸

cas” e as

“re-gras”)

Considere Ω = (C[0, T ], Rn_{), o espa¸co das fun¸c˜}_{oes cont´ınuas de [0, T ] em R}n _e

a medida de probabilidade de Wiener P. Tome ent˜ao sobre o espa¸co (Ω, P) o mo-vimento browniano padr˜ao W = (Wt)0≤t≤T dado por W (t, ω) = ω(t) e a filtragem

(FW

t )0≤t≤T gerada pelo movimento browniano. Escrevemos F = (Ft)0≤t≤T para a

fil-tragem P−aumentada de (FW

t )0≤t≤T e ||ω||∗t:= sup 0≤s≤t

|ω(s)|, ω ∈ Ω, 0 ≤ t ≤ T . A.2 no apêndice garante que W ainda ´_{e movimento browniano sobre F. Aqui, P é a σ−álgebra} de [0, T ] × Ω dos subconjuntos previz´ıveis.

S será o conjunto de aplica¸cões mensuráveis da forma τ : Ω → [0, T ] tais que {τ ≤ t} ∈ Ft, 0 ≤ t ≤ T , chamadas regras de parada. Perceba que se t ∈ [0, T ] então

t ∈ S. Dadas duas regras de parada ν, τ tais que ν ≤ τ q.c. denotamos por Sν,τ o

conjunto de regras de parada ρ tais que ν ≤ ρ ≤ τ q.c.

A volatilidade ser´a uma aplica¸c˜_{ao σ : [0, T ] × Ω → M(R}n_{, R}n_{), onde M(R}n_{, R}n_{) ´}_e

o espa¸co das matrizes n × n, P−mensurável e tal que para todo (t, ω) ∈ [0, T ] × Ω σ(t, ω) seja não-singular. Além disso vamos exigir o seguinte:

• ∃ C > 0 tal que

|σi,j(t, ω) − σi,j(t, ω)| ≤ C||ω − ω0||∗t,

∀t ∈ [0, T ]; ∀ω, ω0 _{∈ Ω}

• ∀(t, ω) ∈ [0, T ] × Ω, ||(σ)−1_{(t, ω)|| ≤ C.}

Aqui (σ)−1(t, ω) é a inversa de (σ)(t, ω) (aqui tomamos a matriz como um vetor e a norma euclideana). Sob estas hipóteses e por A.3 no apêndice existe uma única

(19)

2. O jogo

solu¸cão, X = (Xt)0≤t≤T, para a seguinte equa¸cão diferencial estocástica,

(

dXt= σ(t, X)dWt,

X0 = x0 ∈ Rn

; 0 ≤ t ≤ T. (2.1)

Al´_{em disso, a filtragem P−aumentada natural gerada por X coincide com F.} O conjunto de estratégias admiss´ıveis, as quais chamaremos apenas de estratégias, ´_{e A e as estratégias são processos do tipo α : [0, T ] × Ω → A. Onde A é um espa¸co} métrico separável e união enumerável de subconjuntos não vazios compactos sobre o qual está definida a σ−álgebra A de Borel.

Assumimos que o drift b : [0, T ] × Ω × A → Rn ´e P × A−mensur´avel e satisfaz o seguinte:

• ∃ K > 0 tal que ∀ (t, ω, α) ∈ [0, T ] × Ω × A, ||b(t, ω, x, α)|| ≤ K(1 + ||ω||∗ t);

• Para cada α ∈ A, (t, ω) → b(t, ω, α) ´e previz´ıvel.

Pelas hip´oteses assumidas e por A.4 no apˆ_{endice concluimos que, para cada α ∈ A,} o processo exponencial Λα_t = exp Z t 0 hσ−1(s, X)b(s, X, αt), dWsi − 1 2 Z t 0 ||σ−1(s, X)b(s, X, αs)||2ds ; 0 ≤ t ≤ T. (2.2) ´e um martingale. Al´_{em disso podemos definir uma medida de probabilidade P}α como:

Pα(B) := E[ΛαT · 1B], B ∈ FT.

Portanto, pelo teorema de Girsanov (A.7 no apˆendice),

W_tα = Wt+

Z t

0

σ−1(s, X)b(s, X, αs) ; 0 ≤ t ≤ T. (2.3)

´_{e um movimento Browniano na medida P}α _{adaptado `}_{a F.}

Portanto, por (2.1) e (2.3) chegamos a

Xt = x0+ Z t 0 b(s, X, αs)ds + Z t 0 σ−1(s, X)dW_sα 0 ≤ t ≤ T. (2.4)

Este será o nosso processo de estado do jogo. Note que as estratégias não interferem na volatilidade.

(20)

2. O jogo

2.2 Como funciona o jogo (como jogar)

Vamos exigir que o custo corrente f : [0, T ] × Ω × A → R satisfa¸ca as mesmas propriedades do drift b exceto que |f (t, ω, α)|≤ K. O custo terminal ser´a dado por g : Rn → R limitada e cont´ınua.

O jogo funciona da seguinte maneira: o jogador “controller ” escolhe uma estrat´egia admiss´ıvel α e da´ı o jogador “stopper ” escolhe uma regra de parada τ , ent˜ao o stopper recebe do controller uma quantia Yα_{(τ ) ≡ Y}α_{(0, τ ), onde}

Yα(t, τ ) := g(Xτ) +

Z τ

t

f (s, X, αs)ds; τ ∈ St,T. (2.5)

Obs.: quando escrevemos t estamos nos referindo à uma regra de parada, a qual não é necessariamente determin´ıstica. Por outro lado, quando escrevemos t estamos nos referindo à um ponto do intervalo [0, T ].

Defini¸c˜ao 2.1. O valor superior e o valor inferior do jogo s˜ao, respectivamente: V := inf α∈Asupτ ∈S E α [Yα(τ )]. (2.6) V := sup τ ∈S inf α∈AE α_[Yα_{(τ )].} _(2.7)

Perceba que, por g, f serem limitadas os valores são finitos. Podemos checar facil-mente, usando redu¸cão ao absurdo por exemplo, que V ≥ V . Se V = V então dizemos que o jogo tem um valor o qual denotamos por V = V = V .

O objetivo do controller ´_{e minimizar E}α[Yα(τ )] enquanto que o stopper quer ma-ximizar. Podemos pensar as regras de parada como sendo um tipo de estrat´egia, definirmos J1_{(α, τ ) = J(α, τ ) = E}α_[Yα_{(τ )], J}2_{(α, τ ) = −J(α, τ ) e definirmos J}1 _e

J2 como sendo os custos funcionais do controller e do stopper respectivamente. Dessa forma temos um jogo com dois jogadores e de soma zero semelhante ao apresentado no cap´ıtulo 1.

Defini¸c˜ao 2.2. Um par (α∗, τ0) ´_{e dito ser ponto de cela se E}α∗[Yα∗_{(τ )] ≤ E}α∗[Yα∗(τ0)] ≤ Eα[Yα(τ0)] ∀ (α, τ ) ∈ A × S.

Note que os pontos de cela funcionam como equil´ıbrios de Nash, pois se (α∗, τ0) ´e ponto de cela ent˜ao J1(α∗, τ0_{) = E}α∗_[Yα∗_(τ0

)] ≤ Eα_[Yα_(τ0_{)] = J}1_{(α, τ}0_{) e J}2_(α∗_{, τ}0_{) =}

Eα

∗

[Yα∗_(τ0

)] ≤ Eα∗_[Yα∗_{(τ )] = J}2_(α∗_{, τ )}

(21)

2. O jogo

Demonstra¸c˜ao. Seja (α∗, τ0) ponto de cela, se por absurdo tiv´essemos inf

α∈Asup_{τ ∈S}E α_[Yα_{(τ )] >} sup τ ∈S inf α∈AE α_[Yα_{(τ )], ent˜}

ao para alguma β ∈ A inf

α∈Asupτ ∈S E α_[Yα

(τ )] > Eβ[Yβ(τ0)]. Da´ı,

para algum τ ∈ S Eα[Yα_{(τ )] > E}α[Yα(τ0)], uma contradi¸c˜ao.

No último cap´ıtulo mostraremos que, com algumas poucas hipóteses a mais so-bre o drift e o custo funcional, o jogo tem um ponto de cela. Por A.5 no apêndice temos Eα_[Yα_{(t, τ )|F}

t] = E[Y

α_{(t, τ )Λ}α_(t)|F t]

E[Λα(t)|Ft]

. Ou seja, podemos escrever cada espe-ran¸ca condicional sobre uma ´_{unica medida de probabilidade (P), portanto faz sentido} definirmos o seguinte.

Defini¸c˜ao 2.3. O processo de valor inferior e o processo de valor superior s˜ao definidos, respectivimente, por: V (t) = ess sup τ ∈St,T ess inf α∈A E α_[Yα_{(t, τ )|F} t]. (2.8) V (t) = ess inf

α∈A ess sup_{τ ∈St}

,T

Eα[Yα(t, τ )|Ft]. (2.9)

Como FW

0 = {∅, Ω} e como a diferen¸ca entre F0W e F0 s˜ao subconjuntos de Ω de

me-dida de Wiener nula ent˜_{ao, quase certamente, E}α[Yα(0, τ )|F0] = Eα[Yα(0, τ )|F0W] =

Eα[Yα(0, τ )]. Portanto, quase certamente, V (0) = V e V (0) = V (0).

Como g(Xt) é Ft-mensurável então g(Xt) = Eα[g(Xt)|Ft] q.c. para toda a estrat´

e-gia α ∈ A. Temos tamb´em que g(Xt) = g(Xt) +

Rt

t f (s, X, αs)ds para toda estrat´egia

α, logo g(Xt) = Eα[g(Xt)+

Rt

t f (s, X, αs)ds|Ft] = E

α_[Yα_|F

t] q.c. para toda estrat´egia

α ∈ A. Portanto g(Xt) = ess inf α∈A E

α

[Yα(t, t)|Ft] q.c. e tamb´em g(Xt) ≤ V (t) q.c..

Al´em disso, podemos facilmente verificar que V (t) ≤ V (t) q.c..

2.3 Dividir e conquistar

Como os pontos de cela são pontos de otimiza¸cão de um processo que envolve a escolha de estratégias e tempos de parada, utilisaremos como metodologia para encon-trarmos um ponto de cela algo semelhante aquilo que na heur´ıstica é chamada divide and conquer. Vamos come¸car a tratar o problema a partir de duas perspectivas di-ferentes: controle ótimo estocástico e tempo de parada ótimo. Ao fim do trabalho o leitor verá que o problema original será resumido a um problema de controle ótimo. Defini¸cão 2.4. Definimos um intervalo estocástico como sendo

(22)

2. O jogo

Lembre que sobre o espa¸co [0, T ]×Ω estamos considerando a σ-álgebra dos conjuntos P−mensuráveis. Estamos também considerando como medida de probabilidade neste espa¸co a medida produto L × P, onde L é a medida de probabilidade de Lebesgue do intervalo [0, T ].

Dada uma regra de parada t ∈ S definimos para cada τ ∈ St,T o custo m´ınimo

condicional esperado como sendo

J (t, τ ) = ess inf

α∈A E

α_[Yα_{(t, τ )|F}

t]. (2.11)

Note que V (t) = ess sup

τ ∈St,T

J (t, τ ).

A Proposi¸cão a seguir é um resultado clássico, por isso não vamos prová-la aqui. Porém, logo a seguir o enunciado faremos uma pequena considera¸cão sobre ela. O leitor interessado pode encontrar a prova original, em [14].

Proposi¸c˜_{ao 2.2. Para cada α ∈ A o processo}

Ψ(t, τ ) := J (t, τ ) + Z t

0

f (s, X, αs)ds. (2.12)

´_{e um P}α_{−submartingale}

Dado t ∈ [0, T ] seja A[t,T ] a restri¸c˜ao de A ao intervalo [t, T ] (estrat´egias admiss´ıveis

restritas ao intervalo [t, T ]). A aplica¸c˜ao da proposi¸c˜ao acima depende de que para cada t ∈ [0, T ] a fam´ılia {Eα_[Yα_{(t, τ )|F}

t], α ∈ A[t,T ]} tenha a seguinte propriedade:

Defini¸c˜ao 2.5. Uma fam´ılia (Xi)i∈I tem a propriedade lattice se para todo par de

´ındices i, j ∈ I existe um ´ındice k ∈ I tal que Xk ≤ Xi∧ Xj q.c.

Vamos ent˜ao provar a propriedade lattice.

Proposi¸c˜_{ao 2.3. Para cada t ∈ [0, T ] a fam´ılia {E}α_[Yα_{(t, τ )|F}

t], α ∈ A[t,T ]} tem a

propriedade lattice.

Demonstra¸c˜_{ao. Sejam α, β ∈ A}[t,T ]. Tome ent˜ao B = {ω; Eα[Yα(t, τ )|Ft] ≤ Eβ[Yβ(t, τ )|Ft]}.

Defina γ(s, ω) = ( α(s, ω) se ω ∈ B, β(s, ω) se ω ∈ Bc. Temos Eγ_[Yγ_{(t, τ )|F} t] ≤ Eα[Yα(t, τ )|Ft] ∧ Eβ[Yβ(t, τ )|Ft].

Para cada estrat´_{egia α ∈ A definimos a recompensa m´axima condicional esperada} como sendo

Zα(t) := ess sup

τ ∈St,T

(23)

2. O jogo

que pode ser obtida pelo jogador stopper de t em diante. Bem como o custo acumulado

Qα(t) := Z(t) + Z t

0

f (s, ω, αs)ds. (2.14)

Perceba que V (t) = ess inf

α∈A Z α

(t) e que Zα(t) ≥ Yα(t, t) = g(Xt). Vamos agora

proceder para mostrar que V (t) se comporta como um limite.

Defini¸c˜_{ao 2.6. Dada α ∈ A, como os processos g(X}s)s, Z(s)s s˜ao adaptados ent˜ao

para cada t ∈ S e > 0 definimos a seguinte regra de parada

τ_tα() := inf{s ∈ [t, T ] : g(Xs) ≥ Zα(s) − }, τtα := τ α t (0).

Note que para cada t ∈ S e ω ∈ Ω, T pertence ao conjunto {s ∈ [t, T ] : g(Xs) ≥

Zα_{(s) − }, > 0. Al´}_{em disso, [0, T ] ´}_{e limitado ent˜}_{ao estas regras de parada est˜}_{ao bem}

definidas.

Defini¸c˜ao 2.7. Dado um processo adaptado e cont´ınuo a direita (Zt)t≥0 que satisfaz

Zt≥ 0 para todo t ≥ 0 e E[suptZt] < ∞. Seja Ut= ess sup τ ∈S[t,∞)

E[Zτ|Ft]. O envelope Snell

de Z = (Zt)t≥0 ´e a modifica¸c˜ao cont´ınua a direita de U = (Ut)t≥0.

Precisaremos também dos dois seguintes resultados clássicos que podem ser encon-trados em [15] no apêndice D.

Proposi¸c˜_{ao 2.4. Para cada α ∈ A o processo (Q}α(s))0≤s≤T ´e Pα−supermartingale,

càdlàg e o menor supermartingale que majora Yα(·), ou seja, é envelope Snell de Yα(·). Proposi¸cão 2.5. Para quaisquer regras de parada t, ν, θ com t ≤ ν ≤ θ ≤ τ_tα temos Eα[Qα(θ)|Fν] = Qα(ν) q.c.; em partircular Qα(· ∧ τ0α) é Pα−martingale. Além disso

Zα_{(t) = E}α_[Yα_{(t, τ}α

t )|Ft] q.c.

Um lema que também nos será muito útil é o seguinte:

Lema 2.6. Suponha que t, θ s˜ao regras de parada tais que 0 ≤ t ≤ θ ≤ T . Dadas α, β ∈ A

i ) Se α = β em quase todo ponto de [[t, θ]] então para qualquer variável aleatória Ξ limitada e Fθ-mensurável,

(24)

2. O jogo

ii ) Dado B ∈ Ft, se α = β em quase todo ponto de {(r, ω); t(ω) ≤ r ≤ θ(ω), ω ∈ B},

ent˜ao a equa¸c˜ao de (i) vale em B.

Demonstra¸c˜ao. i) A partir de (2.2) definimos Λα(t, θ) := Λ

α_(θ)

Λα_(t). Sabemos que Q

definida por dQ = Λα

TdP ´e uma medida de probabilidade equivalente a P. Al´em disso

Qt definida por dQt = Λαt dP ´e a restri¸c˜ao de Q a Ft.

Seja A ∈ Ft, Z A Eα[Λα(t, θ)|Ft]dQ = Z A Eα Λ α θ Λα t |Ft dQ = Z A Eα Λ α θ Λα t |Ft dQt = = Z A Λα θ Λα t dQt = Z A Λα θ Λα t Λα_t_{dP =} Z A Λα_θ_{dP =} Z A 1dQθ = Z A 1dQ.

Logo, pela defini¸c˜_{ao de esperan¸ca condicional E}α_[Λα_{(t, θ)|F}

t] = 1 q.c. Por A.5 no

apˆendice temos:

Eα[Ξ|Ft] = E[Λ α_(θ)Ξ|F t] E[Λα(θ)|Ft] = Λ α_(t)E[Λα_{(t, θ)Ξ|F} t] Λα_(t)E[Λα_{(t, θ)|F} t] = E[Λα(t, θ)Ξ|Ft] = = E[Λβ(t, θ)Ξ|Ft] = Λβ_(t)E[Λβ_{(t, θ)Ξ|F} t] Λβ_(t)E[Λβ_{(t, θ)|F} t] = E[Λ β_(θ)Ξ|F t] E[Λβ(θ)|Ft] = E β_[Ξ|F t].

A terceira igualdade acima ´e verdadeira por que α = β em quase todo ponto sobre [[t, θ]]. Da´ı concluimos tamb´em que se t = θ ent˜_{ao E}α_{[Ξ] = E}β_[Ξ].

ii) Prova-se de maneira semelhante.

Fixemos ν ∈ A e denotemos por V[0,θ] o conjunto de estrat´egias α tais que ν = α

em [[0, θ]]. Observe que por (2.5) e (2.13) Zα_{(θ) independe dos valores que α toma em}

[[0, θ]]. Logo, dada uma estrat´_{egia qualquer α ∈ A podemos construir uma estrat´egia β} tal que Zβ(θ) = Zα(θ) q.c., basta tomar γ ∈ V[0,θ] qualquer e fazer β = γ[[0,θ]]+ α[[θ,T ]].

Por isso a seguinte igualdade ´e verdadeira:

V (θ) = ess inf

α∈A Z

α_{(θ) = ess inf} α∈V[0,θ]

Zα(θ). (2.15)

Lema 2.7. Para cada θ ∈ S, dadas α, β ∈ V[0,θ] existe γ ∈ V[0,θ] tal que Zγ(θ) =

Zα_{(θ) ∧ Z}β_(θ).

Demonstra¸c˜ao. Considere o evento A = {Zα_{(θ) ≤ Z}β_{(θ)} ∈ F}

θ e defina a estrat´egia

α0 e a regra de parada τ_θ0 como seguem

α0 = (

ν(s, ω), se 0 ≤ s ≤ θ(ω)

(25)

2. O jogo

τ_θ0 = τ_θα· 1A+ τθβ· 1Ac.

Temos quase certamente o seguinte:

Zα0_{(θ) = E}α0[Yα0(θ, τ_θα0)|Fθ] = Eα[Yα(θ, τα 0 θ )|Fθ] · 1A+ Eβ[Yβ(θ, τα 0 θ )|Fθ] · 1Ac ≤ ≤ Zα_{(θ) · 1} A+ Zβ(θ) · 1Ac = Eα[Yα(θ, τ_θα)|F_θ] · 1_A+ Eβ[Yβ(θ, τ_θβ)|F_θ] · 1_Ac = = Eα0[Yα0(θ, τ_θα)|Fθ] · 1A+ Eα 0 [Yα0(θ, τ_θβ)|Fθ] · 1Ac = Eα 0 [Yα0(θ, τ_θ0)|Fθ] ≤ Zα 0 (θ). (2.16) Pela Proposi¸cão 2.5 a primeira igualdade de (2.16) é verdadeira. A primeira de-sigualdade de (2.16) segue de (2.13) seguida da aplica¸cão de da Proposi¸cão 2.5. Pelo Lema 2.6 a quarta igualdade de (2.16) é verdadeira e a quinta igualdade segue da defini¸cão de τ_θ0. Como Zα(θ) · 1A + Zβ(θ) · 1Ac = Zα(θ) ∧ Zβ(θ) q.c. o resultado

segue.

Note que acabamos de provar que para cada θ ∈ S a fam´ılia {Zα(θ), α ∈ V[0,θ]}

tem a propriedade lattice. Por isso o seguinte Lema ´e verdadeiro.

Lema 2.8. Para cada θ ∈ S existe uma sequˆencia decrescente (Zαn(θ))_n∈N tal que V (θ) = ↓n Zα

n

(θ) q.c. (2.17)

A prova deste lema é análoga à prova de A.6 no apêndice, apenas com uma pequena adapta¸cão. A demonstra¸cão é bastante simples mas utiliza um outro teorema não apresentado aqui. Para não adicionarmos ao trabalho resultados não essênciais não vamos prová-lo.

(26)

Cap´ıtulo 3

O valor do jogo

Como a existência de pontos de cela se caracterizam pela iguadade V (0) = V (0) então nossos dois objetivos estão relacionados aos processos de valor do jogo. Portanto parece sensato come¸carmos o trabalho a partir deles. Neste cap´ıtulo faremos uma ampla análise desses processos, estudaremos suas propriedades e construiremos outras ferramentas e resultados a partir delas os quais nos ajudarão a caracterizar e a encontrar os pontos de cela. O dois primeiros resultados são os principais do cap´ıtulo.

A grande quantidade de resultados apresentados a seguir pode ser um pouco can-sativa de se analisar, mas isso não deve desanimar o leitor quanto ao estudo do jogo. Pois lembre-se que estamos aprendendo como o jogo funciona e, como em todo o jogo com n´ıvel de complexidade considerável, ter paciência é essencial para aprender a jogar bem.

3.1 Vamos jogar

Nesta se¸c˜ao vamos alcan¸car um dos nossos objetivos: para todo θ ∈ S V (θ) = V (θ). Como visto no cap´ıtulo anterior, para cada θ ∈ S existe uma sequˆencia (Zαn(θ))n∈N,

com (αn)_n∈Nem V[0,θ], tal que V (θ) = ↓n Zα

n

(θ) q.c. Dada θ ∈ S considere a sequˆencia de regras de parada (ταn

θ )n∈N (como antes, est˜ao bem definidas) dadas por

τ_θαn := inf{s ∈ [θ, T ]; g(Xs) = Zα

n

(s)}. Como Zαm_{(s) ≥ Z}αn_{(s) q.c., se n ≥ m, ent˜}_{ao por defini¸c˜}_{ao τ}αm

θ ≥ τα

n

θ q.c., da´ı a

sequência de regras de parada acima definida é decrescente. Logo, está bem definida q.c. a seguinte regra de parada em S[θ,T ]:

τ_θ∗ := ↓n τα

n

(27)

3. O valor do jogo

Como θ ≤ τ_θ∗ q.c. ent˜ao, para todo n, ταn

θ ≤ inf{s ∈ [τ

∗

θ, T ]; g(Xs) = Zα

n

(s)} q.c.. Se, por absurdo, ταn

θ < inf{s ∈ [τ ∗

θ, T ]; g(Xs) = Zα

n

(s)} em algum B ∈ Ω de medida de Wiener n˜ao nula ent˜ao para cada ω ∈ B existiria r ∈ [τ_θ∗(ω), T ] tal que τ_θ∗(ω) ≤ τ_θαn(ω) < r < inf{s ∈ [τ_θ∗(ω), T ]; g(Xs) = Zα

n

(s)} com g(Xr) = Zα

n

(r), contradi¸c˜ao. Logo τ_θαn = inf{s ∈ [τ_θ∗, T ]; g(Xs) = Zα

n

(s)} q.c.

Assim, os valores das estrat´egias admiss´ıveis αn _{sobre o intervalo [[0, τ}∗

θ]] s˜ao

irre-levantes para o c´alculo de ταn

θ . Ent˜ao, fixado ν ∈ A, do mesmo modo que para V[0,θ],

existe uma sequˆencia (αk₎

k∈N em V[0,τ∗

θ] de estrat´egias admiss´ıveis que coincidem com

ν no intervalo [[0, τ_θ∗]] para a qual (3.1) vale.

Teorema 3.1. Para todo θ ∈ S V (θ) = V (θ) q.c. De um modo mais geral, para todo t ∈ S e θ ∈ St,T temos

ess inf

α∈A ess sup_{τ ∈S}

θ,T Eα[Yα(t, τ )|Ft] = ess sup τ ∈Sθ,T ess inf α∈A E α_[Yα_{(t, τ )|F} t] q.c. (3.2)

Demonstra¸cão. Já sabemos que V (θ) ≥ V (θ) q.c., vamos então mostrar a desigualdade inversa. Fixemos ν ∈ A e tomemos uma sequência (αn_{) ∈ V}

0,τ∗

θ tal que (3.1) vale.

Pela Proposi¸c˜ao 2.5 Zαn_{(θ) = E}αn[Yαn(θ, τ_θαn)|Fθ] q.c. da´ı, V (θ) ≤ Eαn[Yα(θ, τ_θαn)|Fθ] = E[Λα n (θ, τ_θαn)Yαn(θ, τ_θαn)|Fθ] = = E " Λν(θ, τ_θ∗)Λαn(τ_θ∗, τ_θαn){Yν(θ, τ_θ∗) + g(X τα n θ θ ) − g(Xτ∗ θ) + Z τ α n θ τ_θ∗ f (s, X, αn_s)}|Fθ # q.c. (3.3) A primeira igualdade de (3.3) segue da demonstra¸c˜ao do Lema 2.6. Para a segunda igualdade note o seguinte

Λν(θ, τ_θ∗)Λαn(τ_θ∗, ταnθ θ ) = exp Z τ_θ∗ θ hσ−1(s, X, νs)b(s, X, νs), dWsi − 1 2 Z τ_θ∗ θ ||σ−1(s, X, νs)b(s, X, νs)||2ds · · exp " Z τ α n θ τ∗ θ hσ−1(s, X, αn_s)b(s, X, αn_s), dWsi − 1 2 Z τ α n θ τ∗ θ ||σ−1(s, X, αn_s)b(s, X, αn_s)||2ds # q.c. (3.4) Como αn _{coincide com ν no intervalo [[θ, τ}∗

(28)

3. O valor do jogo

processo exponencial de (3.4) pode ser substituido por (αn

s)s. Ficamos ent˜ao com

Λν(θ, τ_θ∗)Λαn(τ_θ∗, τ_θαn) = = exp " Z τ α n θ θ hσ−1(s, X, νs)b(s, X, αns), dWsi − 1 2 Z τα n θ θ ||σ−1(s, X, νs)b(s, X, αns)|| 2 ds # = = Λαn(θ, τ_θαn) q.c.

Como σ−1 ´e limitada, pelo teorema da convergˆencia limitada podemos tomar o limite quando n → ∞ em (3.3) e ficamos com

V (θ) ≤ E[Λν(θ, τ_θ∗)Yν(θ, τ_θ∗)|Ft] = Eν[Yν(θ, τθ∗)|Ft] q.c. (3.5)

Perceba que ν ∈ A foi tomado arbitrariamente, logo podemos tomar o ´ınfimo na ´

ultima igualdade de (3.5) e obtermos: V (θ) ≤ ess inf ν∈A E ν_[Yν_{(θ, τ}∗ θ)|Ft] ≤ ess sup τ ∈S[θ,T ] ess inf ν∈A E ν_[Yν_{(θ, τ )|F} t] = V (θ) q.c.

Portanto V (θ) = V (θ) q.c.. Vamos agora provar (3.2).

ess inf

α∈A ess supτ ∈Sθ,T

Eα Yα(θ, τ ) + Z θ t f (s, X, αs)ds|Ft ≤ ≤ ess sup τ ∈Sθ,T Eα n Yαn(θ, τ ) + Z θ t f (s, X, αn_s)ds|Ft ≤ ≤ Eαn_{[ess sup} τ ∈Sθ,T Eα n Yαn_{(θ, τ )|F} θ + Z θ t f (s, X, αs)|Ft] = = Eαn Eα n Yαn (θ, τ_θαn)|Fθ + Z θ t f (s, X, αn_s)|Ft = = Eαn Yαn(θ, τ_θαn) + Z θ t f (s, X, αn_s)|Ft = Eαn[Yαn(t, τ_θαn)|Ft] q.c. (3.6)

J´a a primeira igualdade de (3.6) segue da Proposi¸c˜ao 2.5 lembrando de (2.13). Note que Eαn_[Yαn_{(t, τ}αn

θ )|Ft] = Eν[Yν(t, τα

n

(29)

3. O valor do jogo

tomando o limite quando n → ∞ em (3.6) temos:

ess inf

Eα Yα(θ, τ ) + Z θ t f (s, X, αs)ds|Ft ≤ Eν_[Yν_{(t, τ}∗ θ)|Ft] q.c.

Como ν ´e arbrit´_{ario podemos tomar o ´ınfimo essencial sobre ν ∈ A e depois o} supremo essencial sobre τ ∈ Sθ,T obtendo:

ess inf

α∈A ess sup_{τ ∈S}_θ,T E α Yα(θ, τ ) + Z θ t f (s, X, αs)ds|Ft ≤ ess sup τ ∈Sθ,T ess inf ν∈A E ν [Yν(t, τ )|Ft] q.c. A partir de agora escreveremos V (·) = V (·) = V (·) para o processo de valor do jogo.

Proposi¸cão 3.2. O processo V (·) é cont´ınuo a direita Demonstra¸cão. Como o processo (Zα_(s))

0≤s≤T ´e limitado e j´a provamos que a fam´ılia

{Eα_[Yα_{(t, τ )|F}

t], α ∈ A[t,T ]} tem a propriedade de lattice, então não é necessária a

hip´otese de que para todo s Zα_{(s) ≥ 0 q.c. para podermos usar A.8 no apˆ}_endice,

o qual nos garante a existência de uma modifica¸cão càdlàg de (Zα_(s))

0≤s≤T. Temos

ent˜ao que, para cada t ∈ [0, T ] lim inf

s↓t V (s) ≤ lim infs↓t Z α

(s) = Zα(t) q.c. Tomando o ´ınfimo sobre A obtemos lim inf

s↓t V (s) ≤ V (t) q.c..

Sabemos que o processo descrito em (2.12) ´_{e um P}α_{−submartingale, ent˜}_{ao, por A.9}

no apˆendice, existe e ´e finito q.c. o limite lim

s↓t Ψ(s, τ ). A finitude vem do fato de o

próprio J (s, τ ) ser limitado para todo s, como R₀sf (r, X, αr)dr é cont´ınuo em s então

o limite lim

s↓t J (s, τ ) tamb´em existe e ´e finito q.c.

Ent˜ao podemos definir: J (t+, τ ) = lim

s↓t J (s, τ ) sobre {t < τ } , J (t+, τ ) = g(X(τ )) sobre {t = τ }.

Para qualquer t ∈ [0, T ] e τ ∈ St,T, pela defini¸c˜ao de J em (2.11) temos

lim inf

s↓t V (s) ≥ lim infs↓t J (s, s ∨ τ ) = lim infs↓t J (s, τ ){t<τ }+ J (s, s){t=τ } =

= lim

s↓t J (s, τ ) + lim infs↓t g(X(s)) = J (t+, τ ) + g(X(t)) = J (t+, τ ) + J (t, t) q.c.

(3.7)

(30)

3. O valor do jogo

Da´ı, sobre {t < τ }, obtemos

lim inf s↓t V (s) ≥ lims↓t J (s, τ ) = E α lim s↓t J (s, τ )|Ft+ = = Eα lim s↓t J (s, τ ) + Z s t f (r, X, αr)dr|Ft = = lim s↓t E α J (s, τ ) + Z s t f (r, X, αr)dr|Fr ≥ J(t, τ ) q.c. (3.8)

A primeira igualdade em (3.8) ´e verdadeira por que o processo lim

s↓t J (t, τ ) ´e adaptado

a Ft+. A segunda igualdade em (3.8) ´e verdadeira por que a filtragem F ´e cont´ınua a

direita (ver A.10 no apêndice) e para a terceira igualdade de (3.8) usamos o teorema da convergência dominada. A última desigualdade de (3.8) segue do fato de que o processo Ψ(t, τ ) = J (t, τ ) +Rt

0 h(s, X, αs)ds ´e um P

α_{−submartingale, pois isto tem}

como consequˆencia

Eα J (s, τ ) + Z s t f (r, X, αr)dr|Fr ≥ J(t, τ ) q.c.

Portanto, tomando o supremo essencial sobre St,T obtemos a desigualdade lim inf

s↓t V (s) ≥

V (t). Segue ent˜ao o resultado.

Vamos definir agora mais uma classe de regras de parada.

Defini¸cão 3.1. Para cada t ∈ S e 0 < < 1, de maneira análoga as outras regras de parada definidas anteriormente, estão bem definidas

%t() := inf{s ∈ [t, T ]; g(X(s)) ≥ V (s) − } ; %t := %t(0) (3.9)

Como V (·) ≥ g(X(·)) q.c. ent˜_{ao, para cada α ∈ A, s˜ao verdadeiras quase} certa-mente as seguintes desigualdades:

%t∨ τtα() ≤ τ α

t , %t() ≤ τtα∧ %t. (3.10)

Para cada α ∈ A vamos definir o seguinte processo: Rα(t) := V (t) + Z t 0 f (s, X, αs)ds; t ∈ S (3.11) Perceba que Rα_{(t) ≥ g(X(t)) +}Rt 0 f (s, X, αs)ds = Y α_{(t) q.c.. R}α_{(t) ´}_{e o custo}

cumulativo do controller em usar a estrat´egia α no intervalor [[0, t]] mais o valor do jogo em t.

(31)

3. O valor do jogo

Proposi¸c˜_{ao 3.3. Para cada α ∈ A o processo R}α_{(· ∧ %}

0) ´e um Pα−submartingale. De

modo mais geral, para quaisquer regras de parada t, ϑ tais que, t ≤ ϑ ≤ %t

Eα[Rα(ϑ)|Ft] ≥ Rα(t) q.c. (3.12) Em outras palavras, Eα V (ϑ) + Z ϑ t f (s, X, αs)ds|Ft ≥ V (t) q.c. (3.13)

Mais ainda, se ς ∈ S tal que 0 ≤ ς ≤ t ≤ ϑ ≤ %t ent˜ao,

ess inf α∈A E α V (ϑ) + Z ϑ ς f (s, X, αs)ds|Fς ≥ ess inf α∈A E α V (t) + Z t ς f (s, X, αs)ds|Fς q.c. (3.14) Demonstra¸c˜ao. Por (3.10) e pela Proposi¸c˜_{ao 2.5, para qualquer α ∈ A, e regras de} parada t, ϑ tais que 0 ≤ t ≤ ϑ ≤ %α

t vale: Eα[Qα(ϑ)|Ft] = Qα(t). Isto ´e o mesmo que

Eα Zα(ϑ) + Z ϑ 0 f (s, X, αs)ds|Ft = Zα(t) + Z t 0 f (s, X, αs)ds Logo, Eα Zα(ϑ) + Z ϑ t f (s, X, αs)ds|Ft = Zα(t) ≥ V (t) q.c. (3.15)

Fixado ν ∈ A tome uma sequˆencia (αn)n em V[0,ϑ] tal que V (ϑ) =↓nZα

n

(ϑ) q.c., como no Lema 2.8. Pelo Lema 2.6 e pela desigualdade em (3.15) ficamos com o seguinte,

Eν Zαn(ϑ) + Z ϑ t f (s, X, νs)ds|Ft ≥ V (t) q.c. ∀n (3.16)

Aplicando o limite quando n → ∞ e teorema da convergˆencia dominada em (3.16) obtemos Eν V (ϑ) + Z ϑ t f (s, X, νs)ds|Ft ≥ V (t) Logo, Eν V (ϑ) + Z ϑ t f (s, X, νs)ds|Ft + Z t ς f (s, X, νs)ds ≥ V (t) + Z t ς f (s, X, νs)ds E portanto, ν Z ϑ ν Z t

(32)

3. O valor do jogo

A conclus˜_{ao do teorema segue se tomarmos o ´ınfimo essencial sobre A em ambos}

os lados da desigualdade em (3.17).

Proposi¸c˜ao 3.4. Para cada t ∈ S

V (t) = ess inf α∈A E α V (%t) + Z %t t f (s, X, αs)ds|Ft q.c. (3.18)

e para qualquer ν ∈ A vale

Rν(t) = ess inf

α∈V[0,t]

Eα[Rα(%t)|Ft] q.c. (3.19)

Demonstra¸c˜ao. Como g(X(%t)) = V (%t) q.c. (por causa da continuidade a direita de

V ), perceba que a defini¸c˜ao de V nos d´a diretamente uma das desigualdades para a (3.18), pois: V (t) ≥ ess inf α∈A E α g((%t)) + Z %t t f (s, X, αs)ds|Ft = = ess inf α∈A E α V (%t) + Z %t t f (s, X, αs)ds|Ft q.c.

Para a desigualdade inversa basta substituirmos ϑ por %t em (3.13) e depois

tomar-mos o ´ınfimo essecial sobre A.

Perceba que, por (3.18), V (t) independe dos valores assumidos pelas estratégias no intervalo [[0, t]]. Então, a mesma observa¸cão feita para (2.15) aplica-se aqui e da´ı podemos escrever: V (t) = ess inf α∈V_[0,_t_]E α V (%t) + Z %t t f (s, X, αs)ds|Ft q.c.

Al´em disso, se α ∈ V[0,t] ent˜ao

Z t 0 f (s, X, νs)ds = Z t 0 f (s, X, αs)ds q.c. Logo, Rν(t) = V (t) + Z t 0 f (s, X, νs)ds = = ess inf α∈V_[0,_t_]E α V (%t) + Z %t t f (s, X, αs)ds|Ft + Z t 0 f (s, X, νs)ds = = ess inf α∈V[0,t] Eα V (%t) + Z %t 0 f (s, X, αs)ds|Ft =

(33)

3. O valor do jogo = ess inf α∈V_[0,_t_]E α_[Rα_(% t)|Ft] . Observe que pela Proposi¸c˜ao 3.3 e por A.9 no apˆendice Rα_{(· ∧ %}

0) tem limite `a

esquerda. N˜ao apenas isso, pela continuidade a direita de V Rα_{(· ∧ %}

0) ´e tamb´em um

processo c`adl`ag. Como Rα_{(· ∧ %}

0) = V (· ∧ %0) +

R·∧%0

0 f (s, X, αs)ds ent˜ao V (· ∧ %0)

também é càdlàg.

Proposi¸c˜ao 3.5. Para quaisquer regras de parada t, θ ∈ S tais que 0 ≤ t ≤ θ ≤ T e para qualquer estrat´_{egia α ∈ A}

Eα[Rα(θ)|Ft] ≤ ess sup τ ∈St,T Eα[Yα(τ )|Ft] q.c., (3.20) Eα V (θ) + Z θ t f (s, X, αs)ds|Ft ≤ ess sup τ ∈St,T Eα[Yα(t, τ )|Ft] q.c., (3.21) ess inf α∈A E α V (θ) + Z θ t h(s, X, αs)ds|Ft ≤ V (t) q.c. (3.22) e fixado ν ∈ A ess inf α∈V_[0,_t_]E α V (θ) + Z θ t f (s, X, αs)ds|Ft ≤ V (t) q.c. (3.23)

Demonstra¸c˜ao. Por (2.15) V (θ) = ess inf

α∈A Z

α_{(θ), al´}_{em disso a Proposi¸c˜}_{ao 2.4 nos diz}

que Qα_{(·) = Z}α_{(·) +}R· 0f (s, X, αs)ds ´e um P α_{−supermartingale. Da´ı:} Eα[Rα(θ)|Ft] = Eα V (θ) + Z θ 0 f (s, X, αs)ds|Ft ≤ ≤ Eα Zα(θ) + Z θ 0 f (s, X, αs)|Ft ≤ Zα_{(t) +} Z t 0 f (s, X, αs) = = ess sup τ ∈St,T Eα[Yα(τ )|Ft]

A qual leva `a (3.20). Observe que:

ess sup τ ∈St,T Eα[Yα(τ )|Ft] = ess sup τ ∈St,T Eα[Yα(t, τ )|Ft] + Z t 0 f (s, X, αs); Eα[Rα(θ)|Ft] = Eα V (θ) + Z θ t f (s, X, αs)ds|Ft + Z t 0 f (s, X, αs)ds.

(34)

3. O valor do jogo

Proposi¸c˜ao 3.6. Para todas as regras de parada t, θ ∈ S tais que 0 ≤ t ≤ θ ≤ T valem: ess inf α∈A E α V (θ) + Z θ 0 f (s, X, αs)ds|Ft = = ess inf

α∈A ess sup_{τ ∈S}_θ,T E α [Yα(t, τ )|Ft] = ess sup τ ∈Sθ,T ess inf α∈A E α [Yα(t, τ )|Ft] q.c (3.24)

Demonstra¸c˜ao. A segunda igualdade de (3.24) vem de (3.2), vamos mostrar a primeira igualdade. Para qualquer estrat´_{egia α ∈ A, pela Proposi¸c˜ao 3.4 sabemos que V (θ) ≤} Eαg(X(%θ)) + R%θ θ f (s, X, αs)ds|Fθ. Da´ı: V (θ) + Z θ t f (s, X, αs)ds ≤ Eα g(X(%θ)) + Z %θ t f (s, X, αs)ds|Fθ Da´ı, Eα V (θ) + Z θ t f (s, X, αs)ds|Ft ≤ Eα g(X(%θ)) + Z %θ t f (s, X, αs)ds|Ft = = Eα[Yα(t, %t)|Ft] ≤ ess sup τ ∈St,T Eα[Yα(t, τ )|Ft] q.c.

Tomando o ´ınfimo essencial sobre A na express˜ao acima obtemos ess inf α∈A E α V (θ) + Z θ 0 f (s, X, αs)ds|Ft ≤ ess inf

Eα[Yα(t, τ )|Ft] q.c.

Vamos mostrar a desigualdade inversa. Note que, para qualquer τ ∈ Sθ,T temos:

Eα[Yα(t, τ )|Fθ] − Z θ t f (s, X, αs)ds = Eα[Yα(θ, τ )|Fθ] ≤ Zα(θ) q.c. (3.25) Logo Zα_{(θ) +}Rθ t f (s, X, αs)ds ≥ E α_[Yα_{(t, τ )|F}

θ] q.c. Tomando a esperan¸ca

con-dicional com respeito `a Ft e depois o supremo essencial sobre Sθ,T em (3.25) obtemos:

Eα Zα(θ) + Z θ t f (s, X, αs)ds|Ft ≥ ess sup τ ∈Sθ,T Eα[Yα(t, τ )|Ft] q.c. (3.26)

Fixando ν ∈ A, tomamos uma sequˆencia (αn₎

(35)

3. O valor do jogo

como no Lema 2.8. Pelo Lema 2.6 e por (3.26) temos:

Eν Zαn(θ) + Z θ t f (s, X, νs)ds|Ft = Eαn Zαn(θ) + Z θ t f (s, X, α_sn)ds|Ft ≥ ≥ ess sup τ ∈Sθ,T Eα n Yαn (t, τ )|Ft ≥ ess inf

α∈A ess sup_{τ ∈S}_θ,T E

α_[Yα_{(t, τ )|F}

t] q.c.

Tomando agora o limite quando n → ∞ chegamos so seguinte:

Eν V (θ) + Z θ t f (s, X, νs)ds|Ft ≥ ess inf

α∈A ess sup_{τ ∈S}_θ,T E

αn_Yαn_{(t, τ )|F} t

q.c. (3.27)

Para concluir basta tomarmos o ´ınfimo essencial sobre A no lado esquerdo de (3.27). Proposi¸c˜_{ao 3.7. Fixada ν ∈ A, para quaisquer regras de parada t, θ tais que 0 ≤ t ≤} θ ≤ T temos: ess inf α∈A E α [Rα(θ)|Ft] ≤ Rν(t) (3.28) inf α∈AE α [Rα(θ)] ≤ inf α∈AE α [Rα(t)] ≤ V (0) q.c. (3.29)

E se θ ≤ %t (respectivamente t ≤ %0) a primeira desigualdade de (3.29)

(respecti-vamente a segunda desigualdade) torna-se igualdade.

De um modo mais geral, para quaisquer regras de parada τ, t, θ tais que 0 ≤ τ ≤ t ≤ θ ≤ T temos ess inf α∈A E α V (θ) + Z θ τ f (s, X, αs)ds|Fτ ≤ ess inf α∈A E α V (t) + Z t τ f (s, X, αs)ds|Fτ ≤ V (τ ) (3.30) A primeira desigualdade de (3.30)(respectivamente a segunda) torna-se igualdade sobre {θ ≤ %t} (respectivamente {t ≤ %τ}).

Demonstra¸c˜_{ao. Fixada ν ∈ A temos q.c.}

ess inf α∈A E α_[Rα_(θ)|F t] = ess inf α∈A Eα V (θ) + Z θ t f (s, X, αs)ds|Ft + Z t 0 f (s, X, αs)ds ≤ ≤ ess inf α∈V[0,t] Eα V (θ) + Z θ t f (s, X, αs)ds|Ft + Z t 0 f (s, X, αs)ds = = ess inf α∈V_[0,_t_] Eα V (θ) + Z θ t f (s, X, αs)ds|Ft + Z t 0 f (s, X, νs)ds ≤ V (t) + Z t 0 f (s, X, ν) = Rα(t)

(36)

3. O valor do jogo

Pα−supermartingale ent˜ao,

Eα V (θ) + Z θ 0 f (s, X, αs)ds|Ft ≤ Zα_{(t) +} Z t 0 f (s, X, αs)ds. Logo, Eα V (θ) + Z θ τ f (s, X, αs)ds|Ft ≤ Zα_{(t) +} Z t τ f (s, X, αs)ds, e portanto, Eα V (θ) + Z θ τ f (s, X, αs)ds|Fτ ≤ Eα Zα(t) + Z t τ f (s, X, αs)ds|Fτ

Como j´_{a fixamos um ν ∈ A tome ent˜ao uma sequˆencia (α}n₎

n em V[0,t] tal que V (t) =↓n

Zαn

(t). Quase certamente temos:

Basta ent˜_{ao tomarmos o ´ınfimo essencial sobre A no lado direito desta ´ultima} de-sigualdade e obtemos a primeira dede-sigualdade de (3.30), a segunda dede-sigualdade segue da primeira substituindo θ por t e t por τ . A (3.29) segue de (3.30) se tomarmos τ = 0. Se {θ ≤ %t} ent˜ao a inversa da primeira desigualdade de (3.29) segue de 3.14

substituindo nesta ´ultima t por θ, ϑ por t e ς por 0. Se {θ ≤ %t} a inversa da primeira

desigualdade de (3.30) segue de (3.14) substituindo nesta última ϑ por θ e ς por τ . Se {t ≤ %τ} então a inversa da segunda desigualdade de (3.30) tabém segue de (3.14)

substituindo nesta ´ultima ς e t por τ e ϑ por t. Se {t ≤ %0}, para a inversa da segunda

(37)

Cap´ıtulo 4

Encontrando os pontos de cela

Neste último cap´ıtulo vamos completar nossos objetivos: vamos encontrar os pontos de cela. O cap´ıtulo tem três se¸cões, na primeira vamos caracterizar os pontos de cela, na segunda vamos proceder para otimizar nossa escolha da estratégia α (lembra que comentamos na se¸cão 2.3 que nosso problema original seria resolvido como um problema de otimiza¸cão de estratégia?) e por fim construiremos o ponto de cela.

4.1 Caracteriza¸

c˜

ao

Chegamos ao resultado mais importante da disserta¸cão até o momento: uma ca-racteriza¸cão dos pontos de cela. A demonstra¸cão deste resultado faz juz a sua grande importância.

Teorema 4.1. O par (α∗, τ0_{) ∈ A × S é um ponto de cela se, e somente se, os três} itens a seguir são satisfeitos.

1. g(Xτ0) = V (τ0) q.c.

2. Rα∗_{(· ∧ τ}0_{) ´}

e Pα∗_{−martingale}

3. Rα_{(· ∧ τ}0_{) ´}

e Pα_{−submartingale para qualquer α ∈ A}

Demonstra¸c˜ao. Prova da necessidade

As seguintes desigualdades s˜ao verdadeiras,

EαYα ∗ (τ0)_{≤ E}αRα∗_(τ0 )_{≤ E}αRα∗_(% τ0) = EαYα ∗ (%τ0) ≤ EαYα ∗ (τ0) (4.1) α∗ ₀ _α∗ ₀

(38)

4. Encontrando os pontos de cela

que g(X%τ 0) = V (%τ0) q.c. e a ´ultima desigualdade segue da defini¸c˜ao de ponto de cela.

Logo Eα_Yα∗_(τ0₎_{= E}α_Rα∗_(τ0_{) q.c.}

Como Yα∗_(τ0_{) ≤ R}α∗_(τ0_{) q.c. ent˜}_{ao Y}α∗_(τ0_{) = R}α∗_(τ0_{) q.c., e por conseguinte,}

g(Xτ0) = V (τ0) q.c. O item 1 ´e satisfeito.

Seja τ ∈ S tal que 0 ≤ τ ≤ τ0, as seguintes desigualdades s˜ao verdadeiras,

Eα ∗ Rα∗_{(τ )}_{≤ E}α∗_Rα∗_(% τ) = Eα ∗ Yα∗_(% τ) ≤ Eα ∗ Yα∗_(τ0 ) = Eα∗Rα∗(τ0) (4.2) A primeira das desigualdades em (4.2) segue de (3.12), a primeira igualdade acima segue do fato de que g(X%τ) = V (%τ) q.c. A segunda das desigualdades em (4.2) segue

da defini¸cão de ponto de cela e a última igualdade provamos um pouco antes nesta mesma se¸cão. Pela defini¸cão de ponto de cela, pelo item 1 e por 3.29 as seguintes desigualdades são verdadeiras, Eα ∗ Yα∗ (τ0) ≤ inf α∈AE α [Yα(τ0)] = inf α∈AE α [Rα(τ0)] ≤ inf α∈AE α [Rα_{(τ )] ≤ E}α∗Rα∗(τ0) (4.3) Combinando (4.2) e (4.3) temos que, para toda τ ∈ S tal que 0 ≤ τ ≤ τ0 vale o seguinte, Eα ∗ Rα∗ (τ ) = inf α∈AE α [Rα(τ )] = inf α∈AE α [Rα(τ0_{)] = E}α∗Rα∗(τ0) (4.4)

Logo, dados θ, t ∈ S tais que 0 ≤ t ≤ θ, τ0_{(4.4) nos garante que E}α∗_Eα∗Rα∗(θ ∧ τ0)|Ft =

Eα

∗

Rα∗

(t ∧ τ0), al´em disso, A.11 no apˆendice nos garante que Eα∗Rα∗(θ∧τ0)|Ft ≥

Rα∗(t ∧ τ0_{) q.c. Portanto, E}α∗Rα∗(θ ∧ τ0)|Ft = Rα

∗

(t ∧ τ0) q.c. e da´ı o processo Rα∗_{(· ∧ τ}0_{) ´}

e um Pα∗_{−martingale. O item 2 ´e satisfeito.}

Vamos agora ao item 3. Perceba que ele ´e equivalente a seguinte afirma¸c˜ao: Para quaisquer tempos de parada t, τ tais que 0 ≤ t ≤ τ ≤ τ0 e qualquer estrat´_{egia α ∈ A}

Eα V (τ ) + Z τ t f (s, X, αs)ds|Ft ≥ V (t) q.c. Fixe τ ∈ S tal que 0 ≤ τ ≤ τ0; como na Proposi¸c˜ao 3.5 definimos

ˆ V (t, τ ) := ess inf α∈N∗ [0,t] Eα V (τ ) + Z τ t f (s, X, αs)|Ft ≤ V (t).

Onde N_[0,t]∗ é conjunto de estratégias coincidentes q.c. a α∗ no intervalo estocástico [[0, t]]. Perceba que o item 3 é satisfeito se conseguirmos mostrar que

ˆ

(39)

para isso considere para > 0 qualquer o seguinte evento e regra de parada: A := { ˆV (t, τ ) + ≤ V (t)} ∈ Ft θ := t · 1A+ τ · 1Ac

Observe que 0 ≤ t ≤ θ ≤ τ ≤ τ0 ≤ T . Aplicando (4.4) chegamos ao seguinte,

Eα ∗ Rα∗ (t)_{= E}α∗Rα∗ (θ) = = Eα∗Rα∗(t) · 1A+ R α∗_{(τ ) · 1} Ac = E α∗_Rα∗_{(t) · 1} A+ E α∗_Rα∗_{(τ )|F} t · 1Ac = = Eα∗ (Vα∗(t) + Z t 0 f (s, X, α∗_s)ds) · 1A+ E α∗ Vα∗(τ ) + Z τ 0 f (s, X, α∗_s)ds|Ft · 1Ac = = Eα∗ Vα∗(t) · 1A+ E α∗ Vα∗(τ ) + Z τ t f (s, X, α∗_s)ds|Ft · 1Ac + Z t 0 f (s, X, α∗_s)ds ≥ ≥ Eα∗ V (t) · 1A+ ˆV (t, τ ) · 1Ac + Z t 0 f (s, X, α∗_s)ds ≥ ≥ · Pα∗(A) + Eα ∗ ˆ V (t; τ ) + Z t 0 f (s, X, α∗_s)ds

A ´ultima desigualdade acima ´e verdadeira porque V (t) · 1A ≥ ( ˆV (t; τ ) + ) · 1A.

Assim, Eα ∗ Rα∗_(t)_{− · P}α∗_(A ) ≥ Eα ∗ ˆ V (t, τ ) + Z t 0 f (s, X, α∗_s)ds . (4.6)

Como no caso da fam´ılia {Eα[Yα(t, τ )|Ft]; α ∈ A}, a fam´ılia

Eα V (τ ) + Z τ t f (s, X, αs)ds|Ft ; α ∈ N_[0,t]∗ ,

tamb´em tem a propriedade de lattice.

Portanto, pela versão do ess inf de A.6 no apêndice, existe uma sequência (αn₎ n de

estrat´egias de N_[0,t]∗ tal que

ess inf α∈N∗ [0,t] Eα V (τ ) + Z τ t f (s, X, αs)|Ft = lim n→∞E αn V (τ ) + Z τ t f (s, X, α_sn)|Ft q.c.

(40)

4. Encontrando os pontos de cela A partir de (4.6) temos Eα ∗ Rα∗ (t) − · Pα∗(A) ≥ Eα ∗ ˆ V (t, τ ) + Z t 0 f (s, X, α∗_s)ds = = Eα∗ lim n→∞E αn V (τ ) + Z τ t f (s, X, αn_s)|Ft + Z t 0 f (s, X, α∗_s)ds = = Eα∗ lim n→∞E αn V (τ ) + Z τ 0 f (s, X, αn_s)|Ft = = Eα∗ h lim n→∞E αn Rαn (τ )|Ft i = = lim n→∞E α∗ Eα n Rαn_{(τ )|F} t = lim n→∞E α∗_Rαn_{(τ ) ≥} ≥ inf α∈AE α_[Rα (τ )] = Eα∗Rα∗(τ ) = Eα∗Rα∗(t) (4.7)

A quarta igualdade de (4.7) segue do teorema da convergˆencia dominada e as duas ´

ultimas igualdades de (4.7) seguem de (4.4). Portanto Pα∗_(A

) = 0 e da´ı V (t) <

ˆ

V (t, τ ) + q.c. para > 0 qualquer. A equa¸cão (4.5) é então satisfeita e da´ı o último item é comprovado.

Prova da suficiˆencia

Suponha agora que o par (α∗, τ0_{) ∈ A × S satisfaz os trˆes itens do teorema 4.1,} ent˜ao, pelo item 3 para τ ≤ τ0 _Eα_[Rα_{(τ )] ≤ E}α_[Rα_(τ0_)|F

τ] q.c. Aplicando a esperan¸ca

e o ´ınfimo sobre A nesta ´ultima desigualdade ficamos com inf α∈AE α [Rα(τ )] ≤ inf α∈AE α [Rα(τ0)] .

Como, pelo item 2, V (τ0) = g(Xτ0) q.c. e como para todo α ∈ A Rα(0) = V q.c.,

tomamos na desigualdade acima τ = 0 e da´ı, inf α∈AE α_[Yα_(τ0 )] = inf α∈AE α_[Yα_(τ0 )|F0] = inf α∈AE α_[Rα_(τ0 )|F0] = inf α∈AE α_[Rα_(τ0 )] ≥ Eα[V ] = V = Eα∗Rα∗_{(0) =} Eα ∗ Rα∗_(τ0 )|F0 = Eα ∗ Yα∗_(τ0 )|F0 = Eα ∗ Rα∗_(τ0 ) = Eα∗Yα∗(τ0) . Pela express˜_{ao acima mostramos E}α∗_[Yα∗_(τ0

)] ≤ Eα_[Yα_(τ0

)] para todo α ∈ A, isto ´e desigualdade direita da defini¸c˜ao 2.2. Ainda com 0 ≤ τ ≤ τ0, pelo item 2 e por que V (τ0) = g(Xτ0) q.c. Yα∗(τ ) ≤ Rα∗_{(τ ) = E}α∗Rα∗(τ0)|Fτ = Eα ∗ Yα∗_(τ0 )|Fτ q.c. (4.8)

(41)

Eα

∗

[Yα∗_(τ0_{)] que ´}_{e a desigualdade esquerda da defini¸c˜}_{ao 2.2. Vamos agora mostrar esta}

mesma desigualdade para o caso τ0 ≤ τ .

Considere agora τ0 ≤ τ ≤ T . Perceba que a desigualdade segue se conseguirmos mostrar que Eα ∗ Yα∗ (τ )|Fτ0 ≤ Yα ∗ (τ0) q.c. (4.9) o que ´e equivalente a g(Xτ0) ≥ Eα ∗ Yα∗

(τ0, τ )|Fτ0 q.c., o que nos leva a g(X_τ0) ≥

Zα∗(τ0) q.c.. Como j´a sabemos que g(Xτ0) ≥ Zα ∗

(τ0) q.c. ent˜ao vamos provar o seguinte,

g(Xτ0) = Zα ∗

(τ0) q.c.; (4.10)

Pelo item 2 e por (3.11) Rα∗(· ∧ τ0) ´_{e um P}α∗−martingale que domina Yα∗

(τ0), mas pela Proposi¸c˜ao 2.4 Qα∗_{(· ∧ τ}0_{) ´}_{e o envelope snell de Y}α∗_(τ0_{) e portanto o menor}

Pα

∗

−supermartingale que domina Yα∗_(τ0_).

Portanto Rα∗_{(· ∧ τ}0_{) ≥ Q}α∗_{(· ∧ τ}0_{) q.c. o que ´}_{e equivalente a V (· ∧ τ}0_{) ≥ Z}α∗_{(· ∧ τ}0₎

q.c.. Mas por (2.15) V (· ∧ τ0) ≤ Zα∗(· ∧ τ0) q.c.. Portanto V (τ0) = Zα∗(τ0) q.c. e pelo item 1, (4.10) segue.

Por fim, vamos ao caso geral τ ∈ S. Temos que

Eα ∗ Yα∗_{(τ )} = Eα∗_Yα∗_{(τ ∧ τ}0 ) · 1τ ≤τ0 + Yα ∗ (τ ∨ τ0) · 1τ >τ0 Por (4.8) e (4.9) Yα∗(τ ∧ τ0) ≤ Eα∗Yα∗(τ0)|Fτ ∧τ0 q.c. _Eα ∗ Yα∗_{(τ ∨ τ}0 )|Fτ0 ≤ Yα ∗ (τ0) q.c. (4.11) Os eventos {τ ≤ τ0}, {τ > τ0_{} pertencem a F} τ ∧τ0 e {τ > τ0} ∈ F_τ0. Logo, Eα ∗ Yα∗_{(τ )}_{= E}α∗_Yα∗_{(τ ∧ τ}0 ) · 1{τ ≤τ0_}+ Yα ∗ (τ ∨ τ0) · 1{τ >τ0_} = = Eα∗Eα ∗ Yα∗_{(τ ∧ τ}0 ) · 1{τ ≤τ0_}+ Yα ∗ (τ ∨ τ0) · 1{τ >τ0_}|F_{τ ∧τ}0 ≤ ≤ Eα∗ Eα ∗ Yα∗ (τ0)|Fτ ∧τ0 · 1_{{τ ≤τ}0_} + Eα ∗ Yα∗ (τ ∨ τ0)|Fτ ∧τ0 · 1_{{τ >τ}0_} = = Eα∗Eα ∗ Yα∗_(τ0 ) · 1{τ ≤τ0_}|F_{τ ∧τ}0 + Eα ∗ Eα ∗ Yα∗_{(τ ∨ τ}0 )|Fτ0 · 1_{{τ >τ}0_} ≤ ≤ Eα∗Yα∗ (τ0) · 1{τ ≤τ0_} + Eα ∗ Yα∗ (τ0) · 1{τ >τ0_} = Eα ∗ Yα∗ (τ0) q.c. A primeira e a ´ultima desigualdades acima vem das desiguadades em 4.11. Segue da´ı que Eα∗_[Yα∗_{(τ )] ≤ E}α∗_[Yα∗_(τ0_{)] que ´}_{e a desiguadade esquerda da defini¸c˜}_{ao 2.2.}

(42)

4.2 Otimizando o controle

Agora damos in´ıcio àquilo que estamos enfatizando desde o cap´ıtulo dois: vamos resolver o problema de encontrar um ponto de cela tratando-o como um problema de otimiza¸cão. Nesta se¸cão vamos tratar do problema de otimizar a escolha da estratégia α em Rα_{(· ∧ τ}α

0 ).

Defini¸cão 4.1. Dizemos que uma estrat´_{egia α ∈ A é ótima se V = Z}α(0).

Defini¸cão 4.2. Dizemos que uma estrat´_{egia α ∈ A é um thrifty se R}α(· ∧ τ₀α) é um Pα−martingale.

Teorema 4.2. Uma estrat´_{egia α ∈ A é ótima se, e só se, é um thrifty e para todo} > 0 tivermos τα

0 () = %α0() q.c.

Demonstra¸c˜ao. Prova da suficiˆencia

Por (3.10) sabemos que τ₀α() ≤ τ₀α q.c.. Ent˜ao temos o seguinte

V ≤ Zα_{(0) = E}α[Yα(0, τ₀α)|F0] = Eα " g(X_{τ α} 0 ) + Z τ α₀ τ α0 () f (s, X, αs)ds + Z τ α₀ () 0 f (s, X, α)ds|F0 # = = Eα " EαYα(τ0α(), τ α 0 )|Fτ α₀ () + Z τ α0 () 0 f (s, X, αs)ds|F0 # = = Eα " Z(τ₀α()) + Z τ α₀ () 0 f (s, X, α)ds # ≤ Eα " + g(Xτ α₀ ()) + Z τ α₀ () 0 f (s, X, α)ds # ≤ ≤ + Eα " V (τ₀α()) + Z τ α₀ () 0 f (s, X, α)ds # = + Eα[Rα(τ₀α())] = = + Eα[Eα[Rα(τ₀α())|F0]] = + Eα[Rα(0)] = + V q.c. (4.12) A primeira desigualdade de (4.12) segue de (2.15), a primeira igualdade de (4.12) segue da proposi¸c˜ao 2.5 e a segunda segue das considera¸c˜oes a respeito de F0 feitas

logo após a defini¸cão 2.3. A segunda desigualdade de (4.12) vem da defini¸cão 2.6 e a ´

ultima igualdade é verdade pois estamos considerando α thrifty. Como 0 ≤ < 1 foi arbritário então V = Zα(0) e da´ı α é ótima.

Prova da necessidade

Suponha agora que α ∈ A ´e ´otima, vamos provar primeiro que τα

(43)

seja, τα

0 () = %0() com = 0. Como %0 ≤ τ0α q.c. e Qα(· ∧ τ0α) ´e Pα−martingale ent˜ao,

Eα Zα(%0) + Z %0 0 f (s, X, αs)ds = Eα Zα(%0) + Z %0 0 f (s, X, αs)ds|F0 = Zα(0) q.c. Logo, Zα_{(0) − E}α Z %0 0 f (s, X, αs)ds = Eα[Zα(%0)] q.c. Observe que, Eα[Zα(%0)] = EαZα(%0) · 1{τ α₀ =%0}+ Z α_(% 0) · 1{τ α₀ >%0} ≥ ≥ EαZα (%0) · 1{τ α₀ =%0}+ g(X%0) · 1{τ α₀ >%0} = E α_Zα (%0) · 1{τ α₀ =%0}+ V (%0) · 1{τ α0 >%0} ≥ ≥ Eα_{V (%} 0) · 1{τ α₀ =%0}+ V (%0) · 1{τ α₀ >%0} = E α_{[V (%} 0)] q.c. (4.13) A primeira desigualdade de (4.13) segue da própria defini¸cão de Zα; a segunda igualdade de (4.13) vem da defini¸cão de %0 e a segunda desigualdade segue da defini¸cão

de V (·). Da´ı, Zα_{(0) ≥ E}α V (%0) + Z %0 0 f (s, X, αs)ds = = Eα V (%0) + Z %0 0 f (s, X, αs)ds|F0 = Eα[Rα(%0)|F0] ≥ Rα(0) = V q.c. (4.14)

Sabemos das rela¸c˜oes 3.10 que %0 ≤ τ0α q.c., vamos usar agora um argumento por

contradi¸c˜_{ao. Suponha que P}α(%0 < τ0α) > 0, pela defini¸c˜ao de τ0α concluimos que

g(X%0) < Z

α_(%

0) em {%0 < τα0} e da´ı a primeira desigualdade de (4.13) (e portanto

a segunda desigualdade de (4.14)) seria estrita, mas isto contradiz a hipótese de α ser ótima. Portanto %0 = τ0α q.c., um argumento análogo pode ser usado para o caso

0 < < 1.

Vejamos agora a propriedade de thrifty. Como τ₀α = %0 q.c. e como, por (4.14),

Eα[Rα(%0)] = Rα(0) q.c., ent˜ao Eα[Rα(τ0α)] = Rα(0) q.c..

Dados t, s ∈ S tais que s ≤ t ≤ τα

0 q.c., como Rα(· ∧ %0) = Rα(· ∧ τ0α) q.c. ´e um Pα−submartingale ent˜ao Eα[Rα(s)] ≤ Eα[Eα[Rα(t)|Fs]] ≤ Eα[Eα[Rα(τ0α)|Ft]] = Rα(0) q.c. Da´ı, Eα[Rα(s)] ≤ Rα(0) q.c. Analogamente por Rα_{(· ∧ %}