A Teoria dos Jogos tem como marco principal a publicação do livro de von Neumann e Morgenstern, Theory of Games and Economic Behavior (1944) (NM44), onde buscou-se utilizar do rigor matemático para estabelecer critérios de racionalidade aos agentes (jogadores) que interagem em um ambiente comum na busca por certos objetivos individuais ou coletivos.
Naquela época a utilização da matemática não era amplamente aceita, e, na verdade, era de muita controvérsia dentro da economia. Na publicação em comento, discutiu-se e comparou-se a economia a outras ciências com respeito à utilização da matemática. Para os autores, tais ciências jamais obteriam o grau de desenvolvimento à época sem o uso da matemática. Levando-se em consideração o sucesso das outras ciências que já vinham utilizando a matemática, não haveria motivo para crer no insucesso da mesma utilização pela economia. O que se pretendia nesta publicação era dar o inicio à Teoria dos Jogos, sem necessariamente ter objetivos imediatos de modelar e interpretar o comportamento humano e econômico como um todo.
Um dos aspectos mais importantes do trabalho de von Neumann e Morgenstern foi prover um tratamento quantitativo, a teoria das utilidades, para descrever e analisar jogos, abrangendo assim um maior espectro de tipos de jogos. A teoria das utilidades é sempre debatida devido a alguns de seus axiomas (Rub91), contudo este debate foge ao escopo deste trabalho.
Existem dois tipos de funções de utilidades: utilidade ordinal, onde os valores das utilidades não são importantes, mas a relação de preferência é; e utilidade cardinal, onde além de mantida a relação de preferência a diferença entres os valores das utilidades é levada em consideração. Considere um exemplo onde uma pessoa prefere laranja à maçã. Podemos definir uma função de utilidade associando valores 2 e 1, respectivamente, para laranja e maçã. Em utilidade ordinal só estamos dizendo que a laranja é preferível à maçã. Contudo, em utilidade cardinal estamos também dizendo que a laranja é duas vezes mais preferível à maçã. Esta distinção é fundamental no desenvolver da Teoria dos Jogos. A teoria das utilidades desenvolvida por von Neumann e Morgenstern subentende utilidade cardinal.
O que von Neumann e Morgenstern acreditavam à época de fato vem se comprovando, e a Teoria dos Jogos evoluiu com o passar dos anos, tornando-se mais próxima dos problemas reais. Esta abordagem obteve relativo sucesso e tem sido empregada em diversas áreas do conhecimento, a exemplo de economia, relações internacionais e até mesmo de biologia. O reconhecimento na área de economia foi tão grande que o prêmio Nobel de economia foi concedido em duas oportunidades aos pesquisadores da área: John C. Harsanyi, John F. Nash Jr. e Reinhard Selten em 1994; Robert J. Aumann e Thomas C. Schelling em 2005. Atualmente, dispomos de uma vasta produção literária sobre o tema (OR94, FT91, Ros06, AH92, LR57, Dav83, Wil86, Gib92, Sch80). A partir da ótica da Teoria dos Jogos são criados modelos matemáticos que tentam abstrair características comuns a determinados tipos de interações entre os agentes, tais como jogos estratégicos, extensivos e coalizões. Também são criados conceitos de soluções e provas matemáticas do que seriam as análises, ou seja, o que se está interessado em observar de cada tipo de problema, tais como os conceitos de equilíbrio de Nash, de subjogo perfeito e core. Os conceitos de soluções definidos na Teoria dos Jogos assumem que os jogadores são racionais, na medida que ao tomarem suas decisões, eles estão tentando maximizar os seus objetivos através de algum processo de otimização levando em consideração que os outros jogadores também estão.
Existem diversas interpretações para os conceitos de soluções da Teoria dos Jogos, tais como: uma descrição do comportamento de agentes racionais (Homo rationalis); uma prescrição ou um conselho para os jogadores de como agir; ou ainda como uma descrição do comportamento humano (Homo Sapiens). Neste trabalho não iremos entrar em detalhes sobre esta discussão.
Os modelos da Teoria dos Jogos são basicamente divididos em dois gru-pos: modelos não-cooperativos, nos quais os conjuntos de possíveis ações dos jogadores são as primitivas; e modelos cooperativos, nos quais os conjuntos de possíveis ações tomadas em conjunto pelos jogadores são as primitivas. Recen-temente, alguns modelos incorporam aspectos cooperativos e não-cooperativos. Um bom exemplo disto é apresentado em (BS06), onde um jogo é definido em dois estágios: no primeiro estágio os jogadores tomam decisões em um jogo ex-tensivo; as estratégias dos jogadores no primeiro estágio levam a um segundo estágio – um jogo de coalizão com utilidades transferíveis.
O restante deste capítulo está dividido de modo a apresentar os principais modelos não-cooperativos e cooperativos, e ainda, seus principais conceitos de soluções. Dentre os modelos não-cooperativos iremos apresentar: na seção 2.1 os jogos estratégicos, assim como os conceitos de soluções de equilíbrio de Nash e equilíbrio de Nash de estratégias mistas. O conceito de ótimo de
Pareto é também apresentado devido a sua importância dentro da economia; os jogos extensivos com informação perfeita e o conceito de equilíbrio de subjogo perfeito na seção 2.2; na seção 2.3 os jogos extensivos com informação quase perfeita; e, por fim, na seção 2.4 os jogos extensivos com informação imperfeita, bem como os conceitos de equilíbrio de estratégias mistas e comportamentais. Do lado dos modelos cooperativos, apresentamos: os jogos de coalizão com utilidades transferíveis, com o seu principal conceito de solução, que é o core, na seção 2.6; e os jogos de coalizão sem utilidades transferíveis e o conceito de core na seção 2.7. Vale a pena notar que existem diversos outros modelos e conceitos de soluções que não foram aqui mencionados. Utilizaremos as definições e notações o mais semelhante possível das encontradas em (OR94). Um resultado deste trabalho é apresentado na seção 2.5 deste capítulo. Iremos propor uma redução na representação dos jogos extensivos e também a utilização de um certo tipo de jogo extensivo com informação imperfeita para prover soluções para jogos extensivos com informação perfeita. Estes resultados serão úteis para os estudos de casos que serão realizados utilizando a verificação de modelos em uma seção posterior.
Os exemplos que serão utilizados nesta seção têm um caráter mais ilustra-tivo. Contudo, gostaríamos de deixar claro que exemplos reais são encontrados em diversas situações. Um exemplo é uma rede de computadores que liga uma fonte a vários destinos através de uma rede que possui custos associados aos ar-cos. O que torna este problema interessante é a possibilidade de vários agentes (os destinos) poderem compartilhar os custos quando eles utilizam o mesmo arco. Na figura 2.1.a, apresentamos uma rede de computadores que liga a fonte o aos destinos d1 e d2. O destino d1 tem como caminho possível a partir de
o: o arco mais externo à esquerda, rotulado por A, cujo custo é 4; e os arcos B e L, que têm custos 5 e 1, respectivamente. O destino d2 também possui
apenas dois caminhos: o arco mais externo à direita, rotulado por C, cujo custo é 8; e os arcos B e R com custos de 5 e 2, respectivamente. Sabendo que os custos são divididos quando os arcos são compartilhados, então qual deveria ser o caminho tomado por cada destino para que ele minimize os seus custos? Note que esta decisão depende das escolhas dos outros destinos. Apesar de não entrarmos em detalhes neste momento, podemos facilmente modelar este problema como um jogo estratégico (veja figura 2.1.b), onde cada destino re-presenta um jogador, e cada possível caminho de um jogador é uma estratégia de cada jogador. As utilidades são definidas através das escolhas de cada joga-dor. Desta forma, utilizamos o conceito de solução de equilíbrio de Nash para prover uma solução tal que nenhum jogador pode de forma individual alterar sua estratégia e obter um menor custo. Neste jogo, o único equilíbrio de Nash
é a solução na qual o destino d1 escolhe !B, L" e o destino d2 escolhe !B, R",
e seus custos são 3.5 e 4.5, respectivamente.
c(A) = 4 c(B) = 5 c(C) = 8 c(L) = 1 c(R) = 2 !" #$ o ! ! ! ! ! ! !" # # # # # # #$ % A B C !" #$ &&& & ' ( ( ( ( ) L R i !" #$ d1 !" #$ d2 !B, L" !A" !C" !B, R" −4.0 , −8.0 −6.0 , −8.0 −4.0 , −6.0 −3.5 , −4.5
(a) - Estrutura da Rede (b) - Jogo Estratégico
Figura 2.1: Uma rede de computadores com custos compartilhados.
2.1
Jogo Estratégico
Um jogo estratégico é um modelo de tomada de decisão no qual cada responsável pelas decisões (jogadores) escolhe sua ação uma única vez, e todos os jogadores fazem suas escolhas simultaneamente1. O modelo consiste em um
conjunto de jogadores N e, para cada jogador i, um conjunto Ai de ações e
uma relação de preferência sobre o conjunto A =!
i∈N
Ai. Uma estratégia para
um jogador ié uma ação ai ∈ Ai. Um perfil de estratégias (ou de ações)
é definido como uma n-upla de estratégias (ai)i∈N, ou seja, uma ação para cada
jogador i pertencente à N. Definem-se a−i = (aj)j∈N\{i} como sendo a n-upla
a sem a ação do jogador i e o par (a−i, ai) como sendo a n-upla a.
Definição 2.1 Jogo Estratégico (Strategic Game) Γ = !N, (Ai), (%i)":
– um conjunto finito N (de jogadores).
– para cada jogador i ∈ N, um conjunto não-vazio Ai (de ações disponíveis
para o jogador i).
– para cada jogador i ∈ N, uma relação de preferência (relação de ordem) %i sobre A =
!
i∈N
Ai (a relação de preferência do jogador i).
Se o conjunto Ai de ações de cada jogador for finito então o jogo é finito.
Em diversas circunstâncias a relação de preferência %i de cada jogador
pode ser representada por uma função de utilidade ui: A → R (também
1Por simultâneo, queremos dizer que cada jogador, ao tomar sua decisão, desconhece as
escolhas dos outros. Assim, os jogadores podem tomar suas decisões em tempos diferentes, mas, ao tomarem, desconhecem as escolhas dos outros.
chamada de função de payoff ). Assim, ui(a) ≥ ui(b) sempre que a %i b. Os
valores da função são chamados de utilidades (ou payoffs). Então, o jogo será definido como Γ = !N, (Ai), (ui)".
Um jogo finito estratégico com dois jogadores pode ser representado convenientemente em uma tabela, na qual as linhas são as ações de um jogador e as colunas são as ações do outro jogador. Cada célula possui uma n-upla !l, c", onde l e c são as utilidades das escolhas das ações da linha l e da coluna cdos jogadores. Na figura 2.2, temos um jogo estratégico com dois jogadores no qual um escolhe uma das duas linhas e o outro escolhe uma das colunas. O conjunto de ações dos jogadores das linhas e colunas são {T, B} e {L, R}, respectivamente. As funções de utilidades são representadas nas células. Por exemplo, quando os jogadores escolhem as ações T e R, as suas utilidades são x1 e x2, respectivamente. B T R L x1,x2 y1,y2 z1,z2 w1,w2
Figura 2.2: Jogo estratégico com dois jogadores.
Apresentamos abaixo diversas situações estratégicas e como podemos modelá-las como jogos estratégicos. Os modelos apresentados abaixo são exemplos clássicos na literatura e apesar de simples expõem bem o propósito da Teoria dos Jogos.
Exemplo 2.2 [Batalha dos Sexos] Duas pessoas (um homem e uma mulher) desejam sair juntos para um concerto de música ou de Bach ou Stravisky. Contudo, uma delas (o homem) prefere Bach, enquanto que a outra (a mulher) prefere Stravisky.
Nesta situação está claro que temos dois jogadores (um homem e uma mulher), que iremos representá-los como h e m, e que cada jogador pode es-colher entre Bach ou Stravisky, que serão representados como B e S, res-pectivamente. Para representar suas relações de preferências, devemos ob-servar que ambos preferem sair juntos a saírem separados. Assim, temos que !B, B" (h!B, S", !B, B" (h !S, B", !S, S" (h !B, S", !S, S" (h !S, B",
!B, B"(m!B, S", !B, B"(m!S, B", !S, S"(m!B, S" e !S, S"(m!S, B". E que
o homem prefere ir ao concerto de Bach, ou seja, !B, B" (h !S, S", enquanto
que a mulher prefere Stravisky !S, S" (m !B, B". E ainda que ambos são
in-diferentes se eles vão separados, ou seja, !B, S" ∼h !S, B" e !S, B" ∼m !B, S".
Formalmente, este jogo é definido por !{h, m}, (Ah, Am), (%h,%m)", onde
– Ah = Am ={B, S}.
– !B, B" (h !B, S", !B, B" (h !S, B", !S, S" (h!B, S", !S, S" (h !S, B",
!B, B" (m!B, S", !B, B" (m!S, B", !S, S" (m!B, S", !S, S" (m!S, B",
!B, B"(h!S, S", !S, S"(m!B, B", !B, S"∼h!S, B" e !S, B"∼m!B, S".
Podemos arbitrar valores que satisfaçam estas relações de preferências para definirmos este jogo utilizando funções de utilidades. Na figura 2.3, apre-sentamos duas versões deste jogo utilizando funções de utilidades diferentes. Note que ambas as funções satisfazem as relações de preferências dos jogadores como definido acima. Como verermos no restante deste capítulo, as diferentes funções de utilidades para o mesmo problema podem apresentar diferentes soluções como no caso do conceito de equilíbrio de Nash de estratégias mis-tas que será definido posteriormente. Deixaremos esta discussão para quando apresentarmos este conceito.
B S B S 2,1 0,0 0,0 1,2 B S B S 3,1 0,0 0,0 1,3
Figura 2.3: Duas representações do jogo estratégico Batalha dos Sexos.
Exemplo 2.3 [Dilema dos Prisioneiros] Dois suspeitos de um crime são acusados de terem cometido um crime conjuntamente. Para cada um deles, a polícia diz: “Se vocês dois confessarem o crime, cada um ficará seis anos na prisão. Se você confessar e seu parceiro não confessar, você ficará apenas dois anos preso por sua colaboração e o seu parceiro dez anos, pela resistência. Se ninguém confessar, ambos ficarão presos quatro anos”.
Neste exemplo temos dois jogadores, que representamos por 1 e 2, com duas ações cada confessar e não confessar, representadas por C e NC, respectivamente. As relações de preferências são definidas da seguinte forma:
!C, NC" (1 !C, C", !C, NC" (1 !NC, C", !C, NC" (1 !NC, NC",
!NC, NC" (1 !NC, C", !NC, NC" (1 !C, C", !C, C" (1 !NC, C",
!NC, C" (2 !C, C", !NC, C" (2 !C, NC", !NC, C" (2 !NC, NC",
!NC, NC" (2 !C, NC", !NC, NC" (2 !C, C", !C, C" (2 !C, NC".
Note que apesar de neste exemplo definirmos os valores que cada prisioneiro poderá ficar preso, não podemos utilizar estes valores de forma direta como as utilidades de cada jogador, pois estes não estarão de acordo com as relações de preferências dos jogadores. Na figura 2.4 apresentamos duas representações deste jogo. C NC C NC 2,2 0,4 4,0 3,3 C NC C NC −6,−6 −10,−2 −2,−10 −4,−4
Figura 2.4: Duas representações do jogo estratégico Dilema do Prisioneiro.
Exemplo 2.4 [Matching Pennies] Duas crianças (1 e 2) possuem, cada uma, uma moeda. Ao arremessarem as moedas, escolhem entre cara ou coroa. Se suas escolhas coincidirem, a criança 2 paga R$1, 00 à criança 1, caso contrário, a criança 1 paga R$1, 00 à criança 2.
Neste exemplo, temos dois jogadores, que representamos por 1 e 2, com duas possibilidades de escolhas: cara ou coroa, representadas neste exemplo como Cara ou Coroa. A relação de preferência é dada da seguinte forma:
!Cara, Cara" (1 !Cara, Coroa", !Cara, Cara" (1 !Coroa, Cara",
!Coroa, Coroa" (1 !Cara, Coroa", !Coroa, Coroa" (1 !Coroa, Cara",
!Cara, Coroa" ∼1 !Coroa, Cara", !Cara, Cara" ∼2 !Coroa, Coroa",
!Cara, Coroa" (2 !Cara, Cara", !Cara, Coroa" (2 !Coroa, Coroa",
!Coroa, Cara" (2 !Cara, Cara", !Coroa, Cara" (2 !Coroa, Coroa".
Diferentemente do dilema anteriormente apresentado, dilema do prisio-neiro, neste podemos utilizar a função de utilidade de forma clara através do exemplo. Vejamos a figura 2.5 que representa este jogo com a função de utilidade representando quanto de dinheiro cada jogador ganhou ou perdeu.
Coroa Cara Cara Coroa +1,−1 −1,+1 −1,+1 +1,−1
Figura 2.5: Uma representação do jogo estratégico Matching Pennies.
2.1.1
Equilíbrio de Nash
Um dos conceitos de soluções mais importantes em Teoria dos Jogos é o equilíbrio de Nash (Nash equilibrium) (Nas50) onde um perfil de estratégias é um equilíbrio de Nash se, e somente se, nenhum jogador pode de forma unilateral alterar sua estratégia de forma que esta seja preferida por ele. Definição 2.5 Um equilíbrio de Nash de um jogo estratégico !N, (Ai), (%i)"
é um perfil de estratégias a∗ ∈ A tal que para cada jogador i ∈ N, temos que2
(a∗−i, a∗i)%i (a∗−i, ai) para todo ai ∈ Ai
Apesar deste conceito ter forte apelo nem sempre podemos utilizá-lo, pois em certos casos não temos soluções únicas ou mesmo uma solução. Iremos mostrar abaixo algumas dessas condições utilizando os exemplos da seção 2.1. No exemplo 2.2, Batalha dos Sexos, temos dois equilíbrios de Nash, !B, B" e !S, S", onde ambos vão para o concerto de Bach ou de Stravisky. Para ver que !B, B" é um equilíbrio de Nash, note que se o homem escolher Bach a mulher prefere Bach, pois ela prefere sair junto com o homem a ir só ao concerto de Stravisky. O mesmo se verifica para a mulher. Assim, os dois irem para o concerto de Bach é uma solução, onde nenhum dos dois pode obter uma melhor solução alterando a sua estratégia de forma unilateral. O raciocínio para o equilíbrio !S, S" é semelhante. Vale notar que se utilizássemos as definições com relações de preferências ou funções de utilidades, teríamos sempre as mesmas soluções.
No exemplo 2.3, Dilema do Prisioneiro, temos um único equilíbrio de Nash !C, C", onde ambos os prisioneiros confessam o crime. Para verificarmos isso, veja que se o prisioneiro 1 confessar, então o melhor que o prisioneiro 2 faz é também confessar. O mesmo ocorre para o prisioneiro 2. Assim, ambos confessarem é um equilíbrio de Nash. Vale notar que esta solução é pior para ambos os jogadores do que a solução !NC, NC", onde ambos não confessam. Mas vale notar que os prisioneiros não têm como de forma individual garantirem esta solução. Mesmo quando apresentamos este jogo na
2Lembre-se que um jogo estratégico pode ser definido utilizando funções de utilidades.
Assim, o conceito de equilíbrio de Nash é um perfil de estratégias a∗∈ A tal que para cada
jogador i ∈ N, temos que
ui(a∗−i, a∗i) ≥ ui(a∗−i, ai) para todo ai∈ Ai
sua forma extensivo (que será apresentado mais adiante) temos como solução apenas !C, C".
Como dito anteriormente existem algumas situações onde não existe nenhum equilíbrio de Nash. O exemplo 2.4, Matching Pennies, não apresenta nenhum equilíbrio de Nash.
2.1.2
Equilíbrio de Nash de Estratégias Mistas
Em vez de consideramos que cada jogador toma sua decisão de forma pura, i.e., escolhendo uma das possíveis ações, podemos estender o conceito de equilíbrio de Nash para permitir que os jogadores utilizem uma distribuição de probabilidades sobre o conjunto de ações. Uma estratégia mista τi para o
jogador ié uma distribuição de probabilidades sobre o conjunto de ações Ai.
Denotamos τi(ai) como a probabilidade que τi atribui à ação ai. O conjunto
de estratégias mistas do jogador i é representado como ∆(Ai). Uma estratégia
mista "i para o jogador i é denominada de degenerada se atribui o valor 1 para
uma das ações do jogador i e 0 para as demais do jogador i. O conjunto de estratégias degeneradas para o jogador i é representado por Ξ(Ai).
Segundo a teoria das utilidades de von Neumann e Morgenstern as escolhas dos jogadores são independentemente randômicas3 e as funções de
utilidades de cada jogador, considerando um perfil de estratégias mistas (τi),
é definida como segue.
Ui(τ1, . . . , τn) = " a∈A ## ! j∈N τj(aj) $ × ui(a) $
No exemplo 2.2, Batalha dos Sexos, apresentado na tabela da esquerda da figura 2.3 temos as utilidades para o jogador 1 para o perfil de estratégias mistas%%2
3, 1 3
&
,%13,23&&como calculado abaixo.
U1 '( 2 3, 1 3 ) , ( 1 3, 2 3 )* = 2 3 × 1 3 × u1(B, B) + 2 3 × 2 3× u1(B, S) + 1 3 × 1 3 × u1(S, B) + 1 3 × 2 3 × u1(S, S) = 2 3 × 1 3 × 2 + 2 3 × 2 3 × 0 + 1 3× 1 3 × 0 + 1 3× 2 3 × 1 = 6 9.
3Um probabilidade é independentemente randômica se a probabilidade de que dois
eventos, A e B, ocorram juntos P (A ∧ B) é de P (A)P (B).
Definição 2.6 Um equilíbrio de Nash de Estratégias Mistas para um jogo estratégico Γ = !N, (Ai), (ui)" é um perfil de estratégias mistas τ∗ tal que para
cada jogador i ∈ N temos que
Ui(τ−i∗ , τi∗)≥ Ui(τ−i∗ , "i) para toda estratégia degenerada "i ∈ Ξ(Ai)
Existem várias interpretações para o conceito de equilíbrio de Nash de estra-tégias mistas. Para ver mais detalhes veja (OR94).
No exemplo 2.2, Batalha dos Sexos, apresentado na tabela da esquerda da figura 2.3 temos como equilíbrios de Nash de estratégias mistas as se-guintes soluções puras !!1, 0", !1, 0"" e !!0, 1", !0, 1"" e a seguinte solução mista !!2 3, 1 3", ! 1 3, 2 3"".
Na tabela da direita da figura 2.3 consideramos uma outra versão4 do
exemplo 2.2, Batalha dos Sexos. Os equilíbrios de Nash de estratégias mistas são as seguintes soluções puras !!1, 0", !1, 0"" e !!0, 1", !0, 1"" e a seguinte solução mista !!3 4, 1 4", ! 1 4, 3
4"". Do ponto de vista do conceito de solução de
equilíbrio de estratégias mistas, as duas versões são diferentes. Assim, ao modelarmos um problema como um jogo, devemos ser cuidadosos ao atribuir os valores das utilidades.
Para o exemplo 2.4, Matching Pennies, que não tem equilíbrio de Nash, temos um único equilíbrio de estratégias mistas !!1
2, 1 2", ! 1 2, 1 2"".
Um dos resultados mais importantes é a proposição abaixo que foi demonstrada por Nash, que assegura a existência de equilíbrio de Nash de estratégias mistas. A prova desta proposição é baseada no teorema de ponto fixo de Brouwer-Kakutani (Kak41) e pode ser encontrada em diversas fontes (OR94, FT91).
Proposição 2.7 Todo jogo estratégico finito tem pelo menos um equilíbrio de Nash de estratégias mistas.
2.1.3
Ótimo de Pareto
Um dos conceitos mais utilizados em economia é o de ótimo de Pareto5
(Pareto Optimal), no qual um perfil de estratégias é um ótimo de Pareto se, e somente se, nenhum outro perfil de estratégias pode melhorar a solução de um jogador sem piorar a solução para pelo menos um outro jogador.
4Note que em ambos os casos as utilidades respeitam as relações de preferências (% i)
deste problema.
5Apesar deste conceito não seguir as suposições da Teoria dos Jogos, optamos por
considerá-lo aqui devido a sua importância dentro da economia.
Definição 2.8 Um ótimo de Pareto de um jogo estratégico !N, (Ai), (%i)" é
um perfil de estratégias a∗ ∈ A tal que não existe um outro perfil de estratégias
a ∈ A onde existe um jogador j ∈ N a (j a∗ e para todos os jogadores i ∈ N
a %i a∗.
No exemplo 2.3, dilema do prisioneiro, a solução !NC, NC" é um ótimo de Pareto. Note que não há relação entre ótimo de Pareto e equilíbrio de Nash como demonstra este exemplo.
2.2
Jogo Extensivo com Informação Perfeita
Em vez de considerarmos que os jogadores tomam apenas uma decisão como no caso dos jogos estratégicos, podemos considerar uma versão mais detalhada de uma situação estratégica. Nestas situações os jogadores podem tomar decisões em várias etapas. Desta forma, cada jogador pode reconsiderar o seu plano de ação a cada instante do jogo que ele deve tomar uma decisão. Este tipo de jogo é chamado de jogo extensivo (extensive game). Um jogo extensivo é dito de informação perfeita (perfect information) se um jogador ao tomar a sua decisão, tem conhecimento de todos os eventos que aconteceram anteriormente no jogo. Os jogos extensivos com informação perfeita permitem que apenas um jogador tome uma decisão a cada instante. Em uma seção posterior, iremos estender este modelo para permitir jogos com ações simultâneas. Formalmente, um jogo extensivo com informação perfeita é definido como segue.
Definição 2.9 Um jogo extensivo com informação perfeita é definido por !N, H, P, (ui)", onde
– N é um conjunto finito (de jogadores).
– H é um conjunto de seqüências (finitas e infinitas) de ações, chamado de conjunto de históricos, que satisfazem as seguintes propriedades
– uma seqüência vazia é um histórico, i.e., ∅ ∈ H
– se (ak)k∈K ∈ H onde K ⊆ N e para todo l ≤ |K|, então (ak)k=0,...,l ∈
H
– se (a0. . . ak) ∈ H para todo k ∈ N, então a seqüência infinita
(a0a1. . .)∈ H.
Um histórico h é terminal se ele é infinito ou se não existe uma ação a tal que (h, a) ∈ H. O conjunto de terminais é representado por T.
– P é uma função que atribui para cada histórico não-terminal um jogador.
– Para cada jogador i ∈ N, uma função de utilidade ui sobre T .
A interpretação de um jogo extensivo é como segue. A seqüência vazia ∅ representa o início do jogo, e para cada histórico não-terminal h o jogador P (h)escolhe uma ação do seguinte conjunto.
A(h) ={a | (h, a) ∈ H}
Note que esta definição permite seqüências infinitas, para tanto é assumido que nenhuma ação é tomada após um histórico infinito, assim este é um histórico terminal.
Abaixo apresentamos um exemplo com o intuito apenas de exemplificar a definição de jogo extensivo. Este mesmo exemplo será utilizado em seções posteriores.
Exemplo 2.10 Um exemplo de um jogo extensivo com dois jogadores !N, H, P, (ui)", onde
– N = {1, 2}
– H = {∅, (A), (B), (A, L), (A, R)}
– P(∅) = 1 e P((A)) = 2
– u1((B)) = 1,u1((A, L)) = 0,u1((A, R)) = 2,
u2((B)) = 2,u2((A, L)) = 0,u2((A, R)) = 1
O exemplo 2.10 é mostrado como uma árvore na figura 2.6.b, na qual a raiz é o estado inicial ∅, cada arco é uma ação a, e os números dentro de cada nó representam a função P . Os históricos são representados pelas seqüências de ações a partir da raiz. As funções de utilidades são apresentadas no fim de cada ramo da árvore.
!A" !B" !L" !R" 0,0 1,2 2,1 1,2
(a) - Representação Matricial (b) - Representação Extensiva
0,0 2,1 1,2 A B L R % 1 * * **+ , , , , -% 2 * **+ , , ,
-Figura 2.6: Jogo Extensivo na versão matricial e extensiva do exemplo 2.10.
Uma estratégia de um jogador i é uma função si que atribui uma ação
aa cada histórico não-terminal h para o qual P (h) = i, i.e., si(h) = a∈ A(h).
No exemplo 2.10, o jogador 1 tem que tomar uma decisão apenas no estado inicial, e ele tem duas possíveis ações A e B. O jogador 2 toma decisão no histórico (A), e ele tem duas possíveis ações L e R. Denotamos Si como o
conjunto de estratégias para o jogador i. Referenciamos s = (si) como um
perfil de estratégias, uma para cada jogador i ∈ N. Definimos O(s1, . . . ,sn) como o histórico terminal quando cada jogador segue a sua estratégia si. Iremos
representar uma estratégia de um jogador i através de uma seqüência de ações tomadas por i através de uma busca em largura na árvore do jogo6. Assim, no
exemplo 2.10, as estratégias do jogador 1 são !A" e !B", enquanto que para o jogador 2 são !L" e !R". E, !!B", !L"" é um perfil de estratégias no qual o jogador 1 escolhe B no histórico inicial, e o jogador 2 escolhe L no histórico (A), e O(!B", !L") é o histórico terminal (B).
Um jogo extensivo com informação perfeita pode ser modelado como um jogo estratégico no qual o conjunto de ações de cada jogador é o conjunto de estratégias do jogador (no jogo extensivo), i.e., Ai = Si. E, cada função
de utilidade Ui (do jogo estratégico) é a função de utilidade ui (do jogo
extensivo) aplicada as estratégias de cada jogador, i.e., Ui(s1, . . . , sn) =
ui(O(s1, . . . , sn)). Desta forma, a solução de equilíbrio de Nash pode ser
utilizada para prover uma solução para um jogo extensivo. O exemplo 2.10 é mostrado na figura 2.6.a como um jogo estratégico. Aplicando o conceito de equilíbrio de Nash chegamos a duas soluções !!A", !R"" e !!B", !L"".
Diversos teóricos de jogos argumentam que a solução !!B", !L"" não é razoável quando os jogadores consideram a seqüência das escolhas das ações de cada jogador. Para ver isto, devemos observar que no histórico (A) o jogador 2 escolherá R em vez de L, pois ele irá obter uma melhor utilidade (sua utilidade é 1 em vez de 0). Assim, o jogador 2 tem um incentivo para desviar do equilíbrio. Na próxima seção, iremos apresentar uma solução de equilíbrio que considera a seqüência das ações tomadas pelos jogadores.
2.2.1
Equilíbrio de Subjogo Perfeito
Um conceito de solução alternativo para um jogo extensivo com informa-ção perfeita é o equilíbrio de subjogo perfeito, que requer que a ainforma-ção tomada por cada jogador em cada histórico seja ótima, dadas as estratégias dos outros jogadores. Definimos Oh(h, s1, . . . , sn)como o histórico terminal quando cada
6Para evitar confusão, iremos utilizar os símbolos ‘!’ e ‘"’ para delimitar as estratégias,
enquanto que os históricos serão delimitados por ‘(’ e ‘)’.
jogador segue a sua estratégia si a partir do histórico h, ou seja, no subjogo
a partir do histórico h. Assim, definimos ui(Oh(h, s1, . . . , sn)) como a
utili-dade do jogador i quando cada jogador segue a sua estratégia si a partir do
histórico h. No exemplo 2.10, Oh((A),!B", !L") é o histórico terminal (A, L) e
u1(Oh((A),!B", !L")) = u1((A, L)) = 0.
Definição 2.11 Um equilíbrio de subjogo perfeito (ESP) para um jogo extensivo com informação perfeita !N, H, P, (ui)" é um perfil de estratégias
s∗ = (s∗
i) tal que para todo jogador i ∈ N e para todo histórico não-terminal
h∈ H para o qual P (h) = i, temos que
ui(Oh(h, s∗1, . . . , s∗n))≥ ui(Oh(h, s∗1, . . . , si, . . . , s∗n))
para toda estratégia si ∈ Si.
No exemplo 2.10, o único equilíbrio de subjogo perfeito é !!A", !R"". Assim, neste equilíbrio nenhum jogador pode desviar do equilíbrio de forma unilateral obtendo uma utilidade maior considerando cada histórico não-terminal.
Denotamos |Γ| e |Γ(h)| como o tamanho do maior histórico no jogo Γ e o tamanho do maior histórico de Γ a partir do histórico h, respectivamente. No exemplo 2.10, temos que |Γ| = 2; |Γ(∅)| = 2; |Γ((A))| = 1; |Γ((B))| = 1; |Γ((A, L))| = 0; |Γ((A, R))| = 0.
A idéia do teorema abaixo foi inicialmente apresentado em (Zer13) e foi provado e generalizado por (Kuh53). O que este teorema garante é que qualquer jogo extensivo finito com informação perfeita tem pelo menos um equilíbrio de subjogo perfeito. A idéia é construir um conjunto de estratégias, começando pelos históricos não-terminais que só tenham históricos terminais, e escolher a melhor ação para o jogador que deve tomar uma decisão naquele histórico. A partir daí, segue-se este processo de trás para frente na estrutura do jogo até atingir o histórico inicial. Desta forma, constrói-se um perfil de estratégias que é um equilíbrio de subjogo perfeito.
Teorema 2.12 Todo jogo extensivo finito com informação perfeita tem pelo menos um equilíbrio de subjogo perfeito.
Prova. Sejam Γ = !N, H, P, (ui)" e |Γ| um jogo extensivo com informação
per-feita e o tamanho do maior histórico em Γ, respectivamente. Iremos construir um perfil de estratégias (s∗
i) de Γ que é um equilíbrio de subjogo perfeito por
indução no tamanho do maior histórico em Γ.
– Base: Se |Γ(h)| = 0 (i.e. o histórico h é terminal), então Oh(h, s∗1, . . . , s∗n) = Oh(h, s1, . . . , sn) para toda estratégia si ∈ Si e
para todo jogador i.
– Passo Indutivo: |Γ(h)| = k + 1 (i.e. o histórico h é não-terminal) e seja i = P (h). Para todo a ∈ A(h), temos que |Γ(h, a)| ≤ k. Daí por hipótese de indução o perfil de estratégias (s∗
i) é um ESP para
todo (h, a). Defina s∗
i(h) = a ∈ A(h) tal que ui(Oh(h, s∗1, . . . , s∗n)) ≥
ui(Oh(h, s∗1, . . . , si, . . . , s∗n)), para toda estratégia si ∈ Si, onde a
estra-tégia si é definida até h através do produto cartesiano entre as escolhas
si(h) = a∈ A(h) e as estratégias definidas pela hipótese de indução.
Por indução temos que o perfil de estratégias s∗ é definido para jogos finitos,
e é um equilíbrio de subjogo perfeito. !
O procedimento acima é chamado de indução retroativa (backward induction). Um resultado que segue deste teorema é que se considerarmos jogos de soma-zero com dois jogadores alternando as jogadas7, então temos que existe uma
estratégia que garante que um dos jogadores ganhe ou empate. A partir deste resultado, temos que jogos como xadrez são determinados, e, do ponto de vista teórico, são sem interesse. Apesar deste resultado, devemos observar que jogos como xadrez são difíceis de serem resolvidos na prática, e, por este motivo, ainda é desconhecido qual seria o jogador que tem uma estratégia vencedora e qual é esta estratégia.
Abaixo representamos o exemplo 2.3, Dilema do Prisioneiro, na sua versão extensiva. A história do dilema dos prisioneiros é muita vezes contada com a restrição de que os dois jogadores são colocados em celas separadas, não podendo assim haver comunicação. Como mostraremos no exemplo 2.13 esta restrição não é necessária. A figura 2.7 apresenta sua forma estratégica e extensiva. Como podemos verificar, utilizando os conceitos de equilíbrio de Nash e de equilíbrio de subjogo perfeito chegamos a mesma solução, que são !!C", !C"" e !!C", !C, C"", respectivamente, onde a melhor coisa a fazer, para ambos, é confessar.
Exemplo 2.13 O dilema na sua forma extensiva é representado por !N, H, P, (ui)", onde
– N = {1, 2}.
– H = {∅, (C), (NC), (C, C), (C, NC), (NC, C), (NC, NC)}.
– P(∅) = 1 e P((C)) = P((NC)) = 2.
– u1((C, C)) = 2,u1((C,NC))=4,u1((N C, C)) = 0,u1((NC,NC))=3,
u2((C, C)) = 2,u2((C,NC))=0,u2((N C, C)) = 4,u2((NC,NC))=3.
7Jogos de soma-zero são jogos cujas soma das utilidades de qualquer resultado do jogo é
zero.
!C" !NC" !C" !NC" 2,2 0,4 4,0 3,3
(a) - Jogo Estratégico (b) - Jogo Extensivo 2,2 4,0 0,4 3,3 C NC C NC C NC % 1 * * **+ , , , , -% 2 * **+ , , , -% 2 * **+ , , ,
-Figura 2.7: Dilema do Prisioneiro na versão extensiva.
O conceito de solução de equilíbrio de subjogo perfeito requer que um jogador ao tomar sua decisão, leve em consideração que cada jogador é racional a cada instante, e que cada jogador também racionaliza desta forma. Assim, no exemplo 2.13, o jogador 2 decide tomar a decisão C no histórico não-terminal (C), uma vez que ele recebe uma melhor utilidade (2 em vez de 0 quando ele escolhe NC). De forma semelhante, ele escolhe novamente C no histórico não-terminal (NC). A partir daí, o jogador 1 toma a sua decisão, sabendo que o jogador 2 é racional, e escolhe C, pois obtém uma utilidade 2 em vez de 0 (quando ele escolhe NC). Perceba que mesmo em exemplos simples como este, estamos considerando que a cada histórico não-terminal os jogadores acreditam que os outros jogadores racionalizam desta forma, e eles também. Esta definição torna-se complicada quando consideramos jogos com longas durações. Veremos um exemplo disto a seguir.
Nem sempre o conceito de equilíbrio de subjogo perfeito obtém um solução que seja considerada “razoável”. Um exemplo disso é o caso do jogo Centipede como mostrado na figura 2.8. Neste exemplo, a única solução de equilíbrio de subjogo perfeito é quando cada jogador escolhe S a cada histórico não-terminal, i.e., s1 = s2 =!S, S, S". Assim, as utilidades dos jogadores 1 e
2são 1 e 0, respectivamente. Verifique que quase todas as soluções neste jogo são melhores para ambos os jogadores. Nesta solução devemos notar que cada jogador deve raciocinar que cada jogador é racional em todos os históricos, até mesmo nos históricos que não são alcançáveis, quando cada jogador segue a sua estratégia. A justificativa para isto é que, a decisão de qual caminho tomar é influenciada pelos históricos que não são alcançáveis quando cada jogador segue a sua estratégia. Voltando ao exemplo da figura 2.8, temos que no histórico não-terminal (C, C, C, C, C) o jogador 2 escolhe S, pois ele obtém uma melhor utilidade, e a partir daí, então, começa-se uma cadeia de escolhas de S que são as melhores estratégias. Neste tipo de raciocínio, estamos exigindo que, a cada momento, cada jogador acredite que os outros jogadores atuam desta
Figura 2.8: Exemplo de uma instância do jogo Centipede.
forma, criando crenças sobre o comportamento dos outros a cada momento, mesmo nos históricos que nunca são alcançados quando cada jogador segue a sua estratégia a exemplo deste jogo.
2.3
Jogo Extensivo com Informação Quase Perfeita
Um jogo extensivo com informação quase perfeita é um jogo extensivo no qual os jogadores podem atuar de forma simultânea em um dado momento do jogo. Formalmente, um jogo extensivo com informação quase perfeita é definido por !N, H, P, (ui)", onde N, H e (ui)são definidos como na definição
2.9, P é uma função que atribui a cada histórico não-terminal um conjunto de jogadores, e H e P satisfazem a condição de que para todo histórico não-terminal h existe (Ai)i∈P (h) para o qual A(h) = {a | (h, a) ∈ H} =
+
i∈P (h)Ai(h). O conceito de estratégia para um jogador i é então uma função
que associa uma ação ai ∈ Ai(h)para cada não-terminal h tal que i ∈ P (h). O
conceito de equilíbrio de subjogo perfeito é definido como na definição 2.11 com a exceção de que P (h) = i é substituído por i ∈ P (h). Abaixo apresentamos a versão do Dilema do Prisioneiro como jogo extensivo com informação quase perfeita.
Exemplo 2.14 O Dilema do Prisioneiro na versão de jogo com informação quase perfeita !N, H, P, (ui)", onde:
– N ={1, 2}.
– H ={∅, (!C, C"), (!C, NC"), (!NC, C"), (!NC, NC")}.
– T = {(!C, C"), (!C, NC"), (!NC, C"), (!NC, NC")}
– P (∅) = {1, 2}.
– u1((!C, C")) = 2, u1((!C, NC")) = 4,
u1((!NC, C")) = 0, u1((!NC, NC")) = 3,
u2((!C, C")) = 2, u2((!C, NC")) = 0,
u2((!NC, C") = 4, u2((!NC, NC")) = 3.
A figura 2.9 representa este jogo na sua versão matricial e extensiva. Veja que neste jogo temos o equilíbrio de subjogo perfeito !!C", !C"", quando cada jogador escolhe C no histórico não-terminal ∅. Por outro lado, se considerarmos uma versão do jogo Matching Pennies em jogo extensivo com informação quase perfeita, então não temos nenhuma solução de equilíbrio de subjogo perfeito.
!C" !NC" !C" !NC" 2,2 0,4 4,0 3,3
(a) - Jogo Estratégico (b) - Jogo Extensivo
2,2 4,0 0,4 3,3 &' () {1,2} !C, C" !C, NC" !NC, C" !NC, NC" . . . . . ../ 0 0 0 0 0 001 2 2 2 2 2 2 2 3 4 4 4 4 4 4 4 5
Figura 2.9: Versão do Dilema do Prisioneiro em Jogo de Informação Quase Perfeita.
2.4
Jogo Extensivo com Informação Imperfeita
Em jogos estratégicos, quando um jogador toma uma decisão ele descon-hece as escolhas dos outros jogadores, o que também ocorre em jogos extensivos com informação quase perfeita. Contudo, os modelos de jogos extensivos com informação imperfeita adicionam também situações nas quais os jogadores têm informação parcial das ações que já foram tomadas anteriormente. Esta defini-ção cobre situações nas quais durante o curso de um jogo um jogador esquece uma ação que ele tomou anteriormente, ou ainda situações nas quais um jo-gador está incerto sobre qual ação um outro jojo-gador tomou no decorrer do jogo.
Para modelarmos tais situações, adicionamos à definição de jogo exten-sivo com informação perfeita uma partição Ii, para cada jogador i, dos
histó-ricos para o qual o jogador i toma uma decisão com a propriedade que dois históricos h e h$ pertencem ao mesmo conjunto da partição I
i se eles são
indistinguíveis, ou seja, as ações a partir de cada histórico são iguais, i.e., A(h) = A(h$). Abaixo apresentamos a definição formal.
Definição 2.15 Um jogo extensivo com informação imperfeita é defi-nido por !N, H, P, (Ii), (ui)", onde
– N é um conjunto finito (de jogadores).
– H é um conjunto de seqüências (finitas e infinitas) de ações, chamado de conjunto de históricos, que satisfazem as seguintes propriedades
– uma seqüência vazia é um histórico, i.e., ∅ ∈ H.
– se (ak)k∈K ∈ H onde K ⊆ N e para todo l ≤ |K|, então (ak)k=0,...,l ∈
H.
– se (a0. . . ak) ∈ H para todo k ∈ N, então a seqüência infinita
(a0a1. . .)∈ H.
Um histórico h é terminal se ele é infinito ou se não existe uma ação a tal que (h, a) ∈ H. O conjunto de terminais é representado por T.
– P é uma função que atribui para cada histórico não-terminal um jogador.
– Para cada jogador i ∈ N, uma partição Ii de {h ∈ H | P (h) = i} com a
propriedade que se dois históricos h e h$ estão em um mesmo conjunto
de Ii, então A(h) = A(h$). Chamamos Ii de partição de informação
de i e Ii ∈ Ii de um conjunto de informação para i. Denotamos
A(Ii) como o conjunto de ações A(h) e P (Ii) como o jogador P (h) para
qualquer h ∈ Ii.
– Para cada jogador i ∈ N, uma função de utilidade ui sobre T
Note que esta definição coincide com a definição de jogo extensivo com informação perfeita quando tomamos todos os conjuntos de informações de todos os jogadores como conjuntos unitários.
Abaixo iremos apresentar um exemplo de jogo extensivo com informação imperfeita para dois jogadores, no qual um dos jogadores não percebe a ação tomada pelo outro jogador.
Exemplo 2.16 Um exemplo de um jogo extensivo com informação imperfeita de dois jogadores !N, H, P, (Ii), (ui)", onde
– N = {1, 2}.
– H = {∅, (A), (B), (A, L), (A, R), (A, L, C), (A, L, D), (A, R, C), (A, R, D)}.
– P(∅) = P((A, L)) = P((A, R)) = 1 e P((A)) = 2.
– I1 ={ {∅}, {(A, L), (A, R)} } e I2 ={ {(A)} }.
– u1((B)) = 2, u1((A, L, C)) = 0, u1((A, L, D)) = 1,
u2((B)) = 1, u2((A, L, C)) = 0, u2((A, L, D)) = 2,
u1((A, R, C)) = 1, u1((A, R, D)) = 0,
u2((A, R, C)) = 2, u2((A, R, D)) = 0.
Assim como em jogo extensivo com informação perfeita, usualmente apresentaremos um jogo extensivo sem informação perfeita como uma árvore na qual os conjuntos das partições dos jogadores são representadas por linhas pontilhadas quando temos que o conjunto não é unitário. Assim, o jogo 2.16 é apresentado na figura 2.10.a, onde a linha pontilhada representa que os históricos (A, L) e (A, R) estão no mesmo conjunto de informação para o jogador 1, ou seja, ele desconhece a ação tomada pelo jogador 2 no histórico (A). 0,0 1,2 1,2 0,0 2,1 A B L R C D C D % 1 * * **+ , , , , -% 2 * * **+ , , , , -% 1 - - - -1% * **+ , , , -* **+ , , ,
-(a) - Forma Extensiva (b) - Forma Matricial
!A, C" !A, D" !B, C" !B, D" !L" !R" 0, 0 1, 2 1, 2 0, 0 2, 1 2, 1 2, 1 2, 1
Figura 2.10: Jogo Extensivo com informação imperfeita (Exemplo 2.16).
Uma estratégia para o jogador i para um jogo extensivo com informação imperfeitaé uma função si que atribui um ação em A(Ii) para
cada conjunto de informação Ii ∈ Ii. Por conveniência, representaremos as
funções através de tuplas. No exemplo 2.16, temos !A, C", !A, R", !B, C" e !B, D" como estratégias para o jogador 1, e !L" e !R" para o jogador 2.
Podemos utilizar as definições de estratégias para gerarmos um jogo estratégico. A definição é semelhante a de jogo extensivo com infor-mação perfeita. Desta forma, podemos utilizar o conceito de equilíbrio de Nash para raciocinar sobre jogos. A figura 2.10.b representa o jogo 2.16 como um jogo estratégico e tem os seguintes perfis de estratégias !!B, C", !L"", !!B, D", !L"", !!B, C", !R"", e !!B, D", !R"" como equilíbrios de Nash. Note que todos os equilíbrios levam ao mesmo histórico terminal (B).
Ao estendermos o modelo de informação perfeita para informação im-perfeita temos diversas conseqüências em relação a alguns dos conceitos de soluções. Eles simplesmente não estendem de forma usual. Para vermos isto, considere o caso de equilíbrio de subjogo perfeito. Lembre-se que o conceito de equilíbrio de subjogo perfeito para um jogo com informação perfeita é um perfil de estratégias, tal que cada estratégia é ótima a cada momento do jogo (mesmo os que nunca são alcançados quando eles seguem suas estratégias), levando em consideração as estratégias dos outros. A extensão natural do conceito de equilíbrio de subjogo perfeito para jogo com informação imperfeita é que cada estratégia seja ótima a cada conjunto de informação, levando em consideração as estratégias dos outros jogadores. Vejamos então este conceito aplicado ao exemplo 2.16. O jogador 1 tem que tomar uma de-cisão no conjunto de informação A({(A, L), (A, R)}) = {C, D}. Note que no histórico não-terminal (A, L) a melhor escolha é D, enquanto que para o histó-rico não-terminal (A, R) a melhor escolha é C. Daí, podemos concluir que o jogador 1 não tem como afirmar qual é a melhor escolha, a não ser que ele tenha alguma expectativa sobre o seu conjunto de informação.
Estamos seguindo a definição apresentada em (OR94). Contudo, vale res-saltar que alguns autores (Gib92, Ros06) divergem desta definição e consideram o conceito de subjogo perfeito de forma mais restrita, onde a racionalidade é definida somente nos subjogos, e não a cada conjunto de informação como definido acima. O conceito de subjogo para jogo com informação imperfeita é definido como segue. Em um subjogo o histórico inicial h está em um conjunto de informação unitário; o subjogo inclui todos os históricos a partir de h; e to-dos os históricos nos conjuntos de informações seguem a partir de h. De acordo com esta definição temos que no exemplo 2.16 temos apenas dois subjogos: um a partir do histórico inicial ∅; e outro a partir do histórico (A). No exemplo apresentado na figura 2.11 a seguir, o único subjogo é o próprio jogo.
Um outro ponto que veremos na próxima seção é que até mesmo o conceito de solução de equilíbrio de Nash, que considera randomização, deve ser repensado, na medida em que existem pelo menos dois tipos de randomizações disponíveis para os jogadores: uma a nível das estratégias puras; e a outra a nível de cada conjunto de informação.
Na figura 2.11, apresentamos um exemplo clássico de jogo extensivo com informação imperfeita, onde ocorre os mesmos problemas acima citados. Neste exemplo, temos 3 jogadores, onde o primeiro jogador começa o jogo e deve escolher entre A e B. Se ele escolher B, então o jogador 2 deve escolher entre L e R. O jogador 3 tem informação imperfeita e deve escolher entre C e D, contudo, ele não percebe as ações que ocorreram anteriormente, ou
seja, se o histórico anterior foi (A) ou (B, L). As funções de utilidades estão representadas no fim de cada ramo da árvore, onde os valores correspondem as utilidades dos jogadores 1, 2 e 3, respectivamente. Perceba que não temos equilíbrio de subjogo perfeito neste jogo, pois o jogador 3 prefere C no histórico não-terminal (A), e ele prefere D no histórico (B, L) que estão no mesmo conjunto de informação. Desta forma, não temos que uma ação é melhor do que a outra. Representamos este jogo na sua forma estratégia na figura 2.12, onde as linhas, colunas e tabelas representam as escolhas dos jogadores 1, 2 e 3, respectivamente. Por exemplo, as utilidades dos jogadores quando eles escolhem B, R e D estão representados na célula da tabela D na linha B e coluna R, e são, respectivamente, 3, 3 e 0. Neste jogo temos dois equilíbrios de Nash !!A", !R", !C"" e !!B", !R", !D"". 4,4,4 1,1,1 5,5,0 2,2,2 3,3,0 A B L R C D C D % 1 * * **+ , , , , , , , , , -% 2 , , , , -* * **+ % 3 - - - 3% * **+ , , , -* **+ , , ,
-Figura 2.11: Jogo Extensivo com informação imperfeita (Selten’s Horse).
A B L R Tabela C Tabela D 4,4,4 5,5,0 4,4,4 3,3,0 A B L R 1,1,1 2,2,2 1,1,1 3,3,0
Figura 2.12: Representação matricial do jogo Selten’s Horse.
2.4.1
Equilíbrio de Nash de estratégias Mistas e Comportamentais
Nesta seção iremos definir dois tipos de estratégias que utilizam rando-mização em diferentes contextos. O primeiro deles é quando os jogadores ran-domizam suas escolhas sobre as estratégias disponíveis para ele, enquanto que o segundo considera uma randomização a cada instante que um jogador toma uma decisão. A primeira caracterização é chamada de equilíbrio de Nash de estratégias mistas, e a idéia é semelhante à de jogos estratégicos. A segunda é chamada de equilíbrio de Nash de estratégias comportamentais, por que consi-dera uma randomização a medida que o jogo evolui. Formalmente, uma estra-tégia mista para um jogador ié uma distribuição de probabilidades sobre o conjunto de estratégias de Si, enquanto que um estratégia
comportamen-tal para um jogador i é uma seqüência de distribuições de probabilidades independentes (τi(Ii))para cada conjunto de informação Ii ∈ Ii.
Para um perfil τ = (τi) de estratégias mistas (comportamentais),
defi-nimos p(h, τ) como a probabilidade sobre o histórico terminal quando cada jogador i segue sua estratégia τi. Desta forma, a probabilidade atribuída a
um histórico terminal finito h por um perfil de estratégias mistas τ é definido como na equação 2-1, enquanto que a probabilidade atribuída a um histórico terminal finito h = (a0. . . ak)por um perfil de estratégias comportamentais τ
é p(h, τ) = # j=k+ j=0 τP (a0...aj)(a0. . . aj)(aj+1) $ . p(h, τ1, . . . , τn) = " s∈S ∧ O(s)=h # ! i∈N τi(si) $ (2-1)
No exemplo da figura 2.11 tomando o perfil de estratégias mistas % %1
2, 1 2
&
, %23,13&, %13,23& &, a função p associa probabilidade de 16 ao histórico terminal (A, C), e é calculado como segue. Note que apenas os perfis de estra-tégias !!A", !L", !C"" e !!A", !R", !C"" levam ao histórico terminal (A, C).
p ' (A, C), ( 1 2, 1 2 ) , ( 2 3, 1 3 ) , ( 1 3, 2 3 )* =1 2× 2 3× 1 3 + 1 2× 1 3× 1 3= 2 18+ 1 18= 1 6 No exemplo da figura 2.11 tomando o perfil de estratégias comportamen-tais%%1
2, 1 2
&
,%23,13&,%13,23&&, a função p associa probabilidade de 16 ao histórico terminal (A, C) e é calculada como segue.
p ' (A, C), ( 1 2, 1 2 ) , ( 2 3, 1 3 ) , ( 1 3, 2 3 )* = 1 2× 1 3 = 1 6
Referenciamos p como sendo a distribuição de probabilidades sobre os históricos terminais. No exemplo da figura 2.11, p = %1
6, 2 6, 2 18, 4 18, 1 6 & é a distribuição de probabilidades sobre os históricos terminais (A, C), (A, D), (B, L, C), (B, L, D), (B, R), respectivamente, para o perfil de estratégias mistas%%1
2, 1 2
&
,%23,13&,%13,23&&. Esta mesma distribuição é válida para o perfil de estratégias comportamentais %%1
2, 1 2
&
,%23,13&,%13,23&&. A utilidade de cada jogador é então calculada da seguinte forma.
Ui(τ1, . . . , τn) =
"
h∈T
(p(h, τ1, . . . , τn)× ui(h))
Definição 2.17 Um equilíbrio de estratégias mistas (comportamentais) é um perfil de estratégias τ∗ tal que para todos os jogadores i ∈ N, temos que
Ui(τ−i∗ , τi∗)≥ Ui(τ−i∗ , τi), para todos as estratégias mistas
(comportamentais) τi do jogador i.
Um jogo extensivo é dito com lembrança perfeita (perfect recall), se a cada momento que um jogador tem que tomar uma decisão, ele se re-corda de todos os eventos que lembrava anteriormente, bem como de todas as ações tomadas por ele anteriormente. Em caso contrário, ele é com lembrança imperfeita (imperfect recall). Os jogos das figuras 2.10 e 2.11 são com lem-brança perfeita, enquanto que o jogo apresentado na figura 2.13 abaixo é com lembrança imperfeita, uma vez que o jogador 1 esquece qual ação ele tomou no histórico inicial (i.e. (A) e (B, L) pertencem ao mesmo conjunto de informa-ção). Um resultado que segue, quando um jogo é finito com lembrança perfeita, é que existe uma certa equivalência entre estratégias mistas e comportamentais que resultam na mesma distribuição de probabilidades para os históricos termi-nais. Isto pode ser verificado no exemplo da figura 2.11. No exemplo da figura 2.13, temos a distribuição de probabilidades p = %1
2, 0, 0, 1 2, 0 & para o perfil de estratégias mistas %%1 2, 0, 0, 1 2 &
,!1, 0"&. Por outro lado, não existe um perfil de estratégias comportamentais que resultem em p. Para ver isto, considere o perfil de estratégias comportamentais !!a, 1 − a" , !b, 1 − b"", !1, 0"". Assim, o histórico terminal (A, D) tem probabilidade 0 se ou a = 0 ou b = 0, mas neste caso, teríamos que ou a probabilidade de (A, C) ou a probabilidade de (B, L, D)é 0, o que não é o caso para p.
A prova da proposição abaixo pode ser encontrada em (OR94, Kuh53). 4,4 1,1 5,5 2,2 3,3 A B L R C D C D % 1 * * **+ , , , , , , , , , -% 2 , , , , -* * **+ % 1 - - - -1% * **+ , , , -* **+ , , ,
-Figura 2.13: Jogo Extensivo com informação imperfeita e lembrança imperfeita.
Proposição 2.18 Para qualquer estratégia mista de um jogador em um jogo extensivo finito com lembrança perfeita, existe uma estratégia comportamental equivalente.
2.5
Jogo Extensivo Reduzido e Informação Imperfeita Equivalente
Nesta seção iremos apresentar um resultado importante para as aplica-ções que serão desenvolvidas posteriormente nesta tese, utilizando o verificador de modelos. O que faremos é propor uma redução na representação de um jogo extensivo. Esta redução compacta a representação do jogo de tal modo que as propriedades acerca deste jogo são preservadas.
Antes de definirmos isto formalmente, apresentaremos, no exemplo 2.19 abaixo, um jogo extensivo com informação perfeita que possui um certo tipo de redundância. Veja a representação deste jogo como uma árvore na figura 2.14.a. Note que há uma redundância nesta representação, uma vez que os subjogos a partir dos históricos (A, D) e (B, F ) são iguais8, i.e, toda todos
os nós, ações e utilidades são iguais. Desta forma, propomos que apenas um destes subjogos seja representado, preservando todavia, a estrutura seqüencial do jogo. Para tanto, o que fazemos é ligar todas as setas (que são as ações) que têm como destino o mesmo subjogo ao subjogo remanescente9. Na figura
2.14.b, representamos o jogo 2.19 sem redundâncias, onde eliminamos o subjogo a partir do histórico (B, F ) e ligamos este ao histórico (A, D).
8Do ponto de vista lógico estes estados são bissimilares.
9A idéia é semelhante à compactação através de OBDD e à utilização de estruturas de
Kripke para representar árvores infinitas.
Exemplo 2.19 Um jogo extensivo com redundância definido por !N, H, P, (ui)", onde
– N = {1, 2}.
– H = {∅, (A), (B), (A, C), (A, D), (B, E),
(B, F ), (A, D, G), (A, D, H), (B, F, G), (B, F, H)}. – P(∅) = P((A, D)) = P((B, F )) = 1 e P((A)) = P((B)) = 2. – u1((A, C)) = 2, u2((A, C)) = 1, u1((A, D, G)) = 3, u2((A, D, G)) = 2, u1((A, D, H)) = 1, u2((A, D, H)) = 2, u1((B, E)) = 2, u2((B, F )) = 4, u1((B, E, G)) = 3, u2((B, F, G)) = 2, u1((B, E, H)) = 1, u2((B, F, H)) = 2.
Apresentamos abaixo as representações das estratégias deste jogo.
– O jogador 1 possui as seguintes estratégias: !A, G, G", !A, G, H", !A, H, G", !A, H, H", !B, G, G", !B, G, H", !B, H, G", !B, H, H".
– O jogador 2 possui as seguintes estratégias: !C, E", !C, F ", !D, E", !D, F ".
2,1 3,2 1,2 3,2 1,2 2,4 A B C D E F G H G H % 1 * * **+ , , , , -% 2 * **+ , , , -% 1 * **+ , , , -% 2 * **+ , , , -% 1 * **+ , , , -2,1 3,2 1,2 2,4 A B C D F E G H % 1 * * **+ , , , , -% 2 * **+ , , , -% 1 * **+ , , , -% 2 * **+ 6 6 6 6 7
(a) - Representação Extensiva (b) - Representação Reduzida
Figura 2.14: Representação do jogo 2.19.
O que propomos nesta seção é apenas representar o jogo de uma forma mais compacta, e nada estamos falando sobre o jogo ser ou não de informação perfeita; o conceito de estratégia continua definido da mesma forma. No referido exemplo, o único equilíbrio de subjogo perfeito é o perfil de estratégias !!A, G, G", !D, E"" que representa o histórico terminal (A, D, G), onde os jogadores 1 e 2 têm utilidades 3 e 2, respectivamente.
Uma representação reduzida de um jogo extensivo tem como vantagem um menor esforço computacional para encontrarmos o conjunto de equilíbrios de subjogo perfeito, além de uma redução no espaço de memória necessário. Utilizando o procedimento de backward induction encontramos as possíveis soluções de uma forma mais eficiente devido a esta representação.
Abaixo apresentamos a definição de igualdade entre jogos e de jogo extensivo reduzido.
Definição 2.20 Um jogo Γ = !N, H, P, (Ii), (ui)" é igual a um jogo Γ$ =
!N$, H$, P$, (I$
i), (u$i)" se e somente se
– N = N$.
– H = H$.
– Para todo h ∈ H, temos que P (h) = P$(h).
– Para todo i ∈ N, temos que Ii =Ii$.
– Para todo i ∈ N e para todo h ∈ T , ui(h) = u$i(h).
Definição 2.21 Um jogo extensivo reduzido é um jogo no qual não existem dois subjogos iguais neste jogo.
Todavia, devemos ressaltar que os perfis de estratégias ainda podem ser reduzidos. Apresentaremos mais uma redução na representação de um jogo extensivo no tocante a representação das estratégias. Para tanto, utilizaremos jogos extensivos com informação imperfeita que possuem uma determinada característica. Considere novamente o exemplo 2.19 na seguinte versão: o jogador 1 não percebe quais foram as ações tomadas anteriormente aos históricos (A, D) e (B, F ). A definição deste jogo é apresentada no exemplo 2.22.
Exemplo 2.22 Um jogo extensivo com redundância definido por !N, H, P, (ui), (Ii)", onde
– N = {1, 2}.
– H = {∅, (A), (B), (A, C), (A, D), (B, E),
(B, F ), (A, D, G), (A, D, H), (B, F, G), (B, F, H)}.
– P(∅) = P((A, D)) = P((B, F )) = 1 e P((A)) = P((B)) = 2.
– I1 = {I11, I12} e I2 = {I21, I22}, onde I11 = {∅}, I12 = {(A, D), (B, F )},
I1
2 ={A} e I22 ={B}.
– u1((A, C)) = 2, u2((A, C)) = 1, u1((A, D, G)) = 3, u2((A, D, G)) = 2, u1((A, D, H)) = 1, u2((A, D, H)) = 2, u1((B, E)) = 2, u2((B, F )) = 4, u1((B, E, G)) = 3, u2((B, F, G)) = 2, u1((B, E, H)) = 1, u2((B, F, H)) = 2.
Apresentamos abaixo as representações das estratégias deste jogo.
– O jogador 1 possui as seguintes estratégias: !A, G", !A, H", !B, G", !B, H".
– O jogador 2 possui as seguintes estratégias: !C, E", !C, F ", !D, E", !D, F ".
2,1 3,2 1,2 3,2 1,2 2,4 A B C D E F G H G H % 1 * * **+ , , , , -% 2 * **+ , , , -% 1 * **+ , , , -% 2 * **+ , , , -% 1 * **+ , , , -2,1 3,2 1,2 2,4 A B C D F E G H % 1 * * **+ , , , , -% 2 * **+ , , , -% 1 * **+ , , , -% 2 * **+ 6 6 6 6 7
(a) - Representação Extensiva (b) - Representação Reduzida
Figura 2.15: Representação do jogo 2.22.
Pode-se verificar que o perfil de estratégias !!A, G", !D, E"" é o único equilí-brio de subjogo perfeito10, e o histórico terminal referente a este equilíbrio é
(A, D, G). Note que este é o mesmo histórico terminal deste jogo com infor-mação perfeita.
A representação extensiva deste jogo é apresentado na figura 2.15.a e sua forma reduzida em 2.15.b. De acordo com a definição de estratégias para jogos extensivos com informação imperfeita, temos que um jogador deve tomar uma decisão para cada conjunto de informação. Assim, observamos que no jogo 2.22 as estratégias coincidem com as escolhas a cada instante do jogo reduzido representado no grafo 2.15.b.
Dois aspectos podem ser observados no exemplo acima: todo histórico no mesmo conjunto de informação têm o mesmo subjogo; e o conceito de equilíbrio
10Lembre-se que nem todo jogo extensivo com informação imperfeita tem equilíbrio de
subjogo perfeito.
de subjogo perfeito leva ao mesmo resultado do jogo com informação perfeita. A questão é: podemos generalizar isto? Veremos uma prova de que isto não é uma coincidência deste exemplo.
Definição 2.23 Um jogo extensivo com informação imperfeita equi-valente é um jogo no qual se dois históricos h e h$ pertencem ao mesmo
conjunto de informação de um jogador (i.e. h, h$ ∈ I
i ∈ Ii), então os subjogos
de h e h$ são iguais, ou seja, O
h(h, s1, . . . , sn) = Oh(h$, s1, . . . , sn) para todas
as estratégias si ∈ Si para todos os jogadores i ∈ N.
A idéia da prova do teorema abaixo é semelhante a idéia da prova da existência de equilíbrio de subjogo perfeito para jogo extensivo finito com informação perfeita.
Teorema 2.24 Todo jogo extensivo finito com informação imperfeita equiva-lente tem equilíbrio de subjogo perfeito.
Prova. Seja Γ = !N, H, P, (Ii), (ui)" um jogo extensivo com informação
imper-feita equivalente. Iremos construir um perfil de estratégias (si) por indução no
tamanho do maior histórico em Γ.
– Base: Se o histórico h é terminal (i.e. |Γ(h)| = 0) então por definição te-mos que ui(Oh(h, s1, . . . , sn)) = ui(Oh(h, s∗1, . . . , s∗n))para toda estratégia
s∗ i ∈ Si.
– Passo Indutivo: O histórico h é não-terminal e tem tamanho |Γ(h)| = k + 1. Sejam i e Ii o jogador que deve tomar uma decisão em h
(i.e. P (h) = i) e o conjunto de informação Ii que contém o
histó-rico h. Para todo a ∈ A(h), temos que |Γ(h, a)| ≤ k. Daí por hipó-tese de indução temos que o perfil de estratégias (si) é ESP para todo
(h, a). Defina si(Ii) = a ∈ A(h) como sendo ui(Oh(h, s1, . . . , sn)) ≥
ui(Oh(h, s1, . . . , s∗i, . . . , sn)), para toda estratégia s∗i ∈ Si, onde a
es-tratégia s∗
i é definida até h através do produto cartesiano entre as
escolhas s∗
i(Ii) = a ∈ A(h) e as estratégias definidas pela hipótese
de indução. Por fim, como Γ é um jogo com informação imperfeita equivalente, temos que todos os históricos h, h$ ∈ I
i tem o mesmo
subjogo daí vale que ui(Oh((h, s1, . . . , sn)) = ui(Oh(h$, s1, . . . , sn)) ≥
ui(Oh(h$, s1, . . . , s∗i, . . . , sn)) = ui(Oh(h, s1, . . . , s∗i, . . . , sn)) para toda
es-tratégia s∗ i ∈ Si.
Desta forma, construímos um perfil de estratégias (si) por indução que é um
equilíbrio de subjogo perfeito. !
O teorema abaixo garante que: jogo com informação imperfeita equiva-lente e jogo extensivo com informação perfeita são equivaequiva-lentes em relação ao conceito de equilíbrio de subjogo perfeito.
