17/05/2011. SMA = Agentes + Interação Social. Interação Social = Comunicação + Coordenação. 9ª Aula Negociação. Teoria dos Jogos

(1)

9ª Aula – Negociação

Luciano Reis Coutinho, Prof.

lrc@deinf.ufma.br

2 Sistemas Multiagentes 2

8ª Aula – Competição



SMA = Agentes + Interação Social



Interação Social =

Comunicação + Coordenação

Coordenação entre agentes competitivos ou com interesses conflitantes Coordenação entre

agentes benevolentes ou com interesses comuns



Teoria dos Jogos

1947 Morgenstern e von Neumann

1950 John Nash Equilibrium

1980 IAD/RDP - Quadro Negro - CNET

1986 Jeffrey Rosenschein Cooperation without communication

2009 Shoham and Leyton- Brown Livro MAS, fundamentos:

- Algorithmic - Game-Theoretic - Logical

Introdução da Teoria Jogos Em SMAs.

SMAsCooperativos



Teoria dos Jogos ( Parsons e Wooldridge 2000 ):

◦Game theory is a close relative of decision theory, which studies interactions between self-interested agents.

◦In Game theory

study of multi-agent interactions, particularly those involving negotiation and coordination.

◦Questão Básica sobre encontros entre agentes:

What is the best — most rational — thing an agent can do?



Respostas em termos de :

◦

Estratégias Dominantes;

◦

Equilibrium Nash;

◦

Pareto optimalidade;

◦

Maximização do bem-estar social.



Estratégias Dominantes

◦

Diz-se que uma estratégia s

_i

é dominante para o agente i se - não importando que estratégia s

j

o agente j escolha-, i se dará no mínimo tão bem escolhendo s

i

quanto escolhendo qualquer outra.



Equilíbrio NASH

◦

Em geral, diz-se que duas estratégias s

_i

e s

_j

estão em equilíbrio Nash se:

1) Supondo de que o agente i escolhe si, o agente j não pode fazer melhor do que realizar sj;

2) Supondo de que o agente j escolhe sj, o agente i não pode fazer melhor do que realizar si;

(2)



Pareto Optimalidade

◦

Um resultado da ação conjunta de agentes é dito Pareto ótimo (ou Pareto eficiente) se não existe nenhum outro resultado possível que faça um dos agentes ―mais feliz‖ sem tornar um outro agente

―menos feliz‖.



Maximização do Bem-Estar Social

◦

O bem-estar social de um resultado é definido como a soma das utilidades de cada agente a partir do resultado:



Exemplo: Dilema do Prisioneiro

◦

Matriz de Payoff:

Equilíbrio NASH



Exemplo: Dilema do Prisioneiro

◦

Matriz de Payoff:

PARETO Ótimo



Exemplo: Dilema do Prisioneiro

◦

Matriz de Payoff:

Bem Estar Social Max:

ui(C,C) +uj(C,C)=6



Exemplo: Jogo do Covarde (Chicken Game)

◦

Matriz de Payoff:

Equilíbrios NASH



Exemplo: Jogo do Covarde (Chicken Game)

◦

Matriz de Payoff:

PARETO Ótimo

(3)



Exemplo: Jogo do Covarde (Chicken Game)

◦

Matriz de Payoff:

Bem Estar Social Max:

ui(C,C) +uj(C,C)=4 ui(C,D) +uj(C,D)=4 ui(D,C) +uj(D,C)=4



Exemplo: Caça ao Cervo (Stag Hunt)

◦

Matriz de Payoff:

Bem Estar Social Max:???

Equilíbrio(s) NASH ???

PARETO Ótimos ???



Exemplo: Jogo do Atraso

◦

Matriz de Payoff:

Bem Estar Social Max:???

Equilíbrio(s) NASH ???

PARETO Ótimos ???



Em suma,

◦A Teoria dos Jogos oferece um formalismo matemático para analisar ou projetar situações | protocolos de interação entre agentes com interesses próprios, em geral conflitantes (competição, negociação, etc).



Como Por exemplo:

◦Situações de decisão conjunta

Protocolos de votação

◦Situações de alocação de recursos

Protocolos de leilões



Limitações | críticas,

◦

Baseada em hipóteses simplificadoras, nem sempre realistas

Os agentes são 100% racionais

As possíveis ações/estados formam um conjunto fixo e previamente conhecido

Cada agente sabe das preferências dos outros

Cada agente sabe das potencialidades/limites dos outros

 Negociação

 Barganha

◦Domínios de Tarefas

◦Protocolo de Concessão Monotônica

◦A Estratégia Zeutehn

◦SEMINÁRIO:

Algoritmo BarSSA

 Argumentação

◦Modos de Argumentação

◦Argumentação Abstrata

◦SEMINÁRIO:

Argumentação para SOA

 Leituras Recomendadas

(4)

 Em casos extremos, para um agente ganhar algo em uma interação, SEMPRE um ou mais agentes têm de perder na mesma proporção …

◦Encontros Puramente Competitivos

◦Caso especial, encontros SOMA ZERO !

 No entato, em vários casos reais, há um meio termo mais produtivo para as partes envolvidas …

◦Vide Dilema do Prisioneiro

 … mas que só pode ser explorado se os agentes tiverem a possibilidade de SE COMUNICAR, e CONFIAR MUTUAMENTE na palavra do outro !

 Questão Central

◦Como chegar a um acordo, i.e., um resultado agradável para todos os participantes, quando for possível?



Resposta : NEGOCIAÇÃO

◦

Via BARGANHA

◦

Via ARGUMENTAÇÃO

 Negociação

 Barganha

◦SEMINÁRIO:

Algoritmo BarSSA

 Argumentação

◦SEMINÁRIO:

 Tipo de negociação que se desenrola em rodadas (rounds) de ◦ .... Proposta (Contra-)Proposta ...

◦Quando proposta e contra-proposta são iguais ou melhor do que o esperado a negociação termina e tem-se um ACORDO !

◦Quando a negociação termina em proposta e contra-proposta diferentes ou abaixo do esperado NÃO HÁ ACORDO !



A partir desta definição pode-se dizer que leilões são um tipo particular de Barganha

◦

Dedicada à alocação de Bens e Recursos



Nesta aula iremos enfatizar Barganha em Domínio de TAREFAS



Formalmente, um domínio de tarefas é uma tripla

 T, Ag, c  onde

•T é o conjunto (finito) de Tarefas;

•Ag = {1, ..., n} é o conjunto de agentes;

•c : ℘(T) ℝ⁺é uma função que define do custo de executar cada subconjunto de tarefas.



Uma alocação é uma sequência  T

₁

, T

₂

, ..., T

_n



onde T

_i

 T para cada i  Ag.

(5)



Considere um domínio de tarefa no qual interagem dois agentes 1 e 2;



Dada uma alocação  T

₁

, T

₂

, um acordo consiste em uma (re)alocação  = D

1

, D

2

 das tarefas em T

1

 T

2

aos agentes 1 e 2;



A utilidade de um acordo  para um agente i é dado por

utility

_i

( ) = c(T

_i

) – c(D

_i

)



O conjunto de acordos sobre o qual os agentes irão negociar são aqueles:

◦

Individualmente racionais: i.e., os agentes não estarão interessados em acordos com utilidade negativa; melhor fazer as tarefas originalmente alocadas.

◦

Pareto eficientes: i.e., os agentes podem sempre transformar um acordo Pareto não-eficiente em um Pareto eficiente fazendo um dos agentes

―mais feliz‖ sem prejudicar os outros.

8ª Aula – Competição Sistemas Multiagentes 2828

 Regras do Protocolos . . .

◦No 1o. round, agentes propõem simultaneamente acordos dentro do conjunto de negociação;

◦Chega-se a um entendimento, se um agente acha que o acordo proposto pelo outro é pelo menos tão bom ou melhor que sua proposta;

◦Se não há entendimento, a negociação prossegue ao próximo round de propostas simultâneas;

◦No round u + 1, não é permitido a nenhum agente fazer uma proposta que seja pior do que a feita no round anterior;

◦Se nenhum agente cede um pouco mais em um dado round u > 0, então a negociação termina sem sucesso.



Como os agentes devem proceder usando o protocolo de concessões monotônicas ?



Três pontos chave:

◦Qual a primeira proposta a fazer ?

A mais desejada pelo agente (óbvio) !

◦Em um dado round, quem deve ceder ?

Quem tem mais utilidade a perder !

Dando empate, joga uma moeda …

◦Se um agente deve ceder, então quanto ele deve ceder?

Apenas ―o suficiente‖ para mudar o cenário de perda.



O protocolo não garante sucesso, mas garante um fim para toda negociação;

◦Complexidade : O ( 2 ^|T|)



Não garante maximização do bem-estar social, mas garante a racionalidade individual e a Pareto optimalidade;



Com relação à estabilidade, o uso da estratégia Zeuthen leva a um equilíbrio NASH.

◦Assim, dado que um agentes esteja usando Zeuthen, um outro agente não pode fazer melhor que usar Zeuthen.

(6)



Nas palavras de (Rosenschein and Zlotkin, 1994, p. 46):

◦

This is of particular interest to the designer of automated agents. It does away with any need for secrecy on the part of the programmer. An agent‘s strategy can be publicly known, and no other agent designer can exploit the information by choosing a different strategy. In fact, it is desirable that the strategy be known, to avoid inadvertent conflicts.

 Negociação

 Barganha

◦SEMINÁRIO:

Algoritmo BarSSA

 Argumentação

◦SEMINÁRIO:

 De modo geral, argumentação em um contexto multiagente consiste em um processo pelo qual um dos agentes tenta convencer um ou mais outros da verdade (ou falsidade) de algum estado de coisas.

◦É um processo de tentar chegar a um acordo conjunto sobre em quê acreditar .

◦É um problema apenas quando as várias crenças são contraditórias .



Segundo (Gilbert 1994):

◦

Lógico

Baseado em raciocínio dedutivo, provas lógico- formais;

◦

Emocional

Apelo a emoções, sentimentos, etc.

◦

Visceral

Apelo aos aspectos físicos, biológicos ou sociais.

◦

Kisceral

Apelo aos aspectos místicos, religiosos, etc.



Referência

◦ Dung, P. M. (1995) On the acceptability of arguments and its fundamental role in non-monotonic reasoning, logic programming and n-person games. AI, 77, 321- 357.



Seja a notação x  y, significando:

◦Argumento x ataca argumento y;

◦Ou, x é um contra-exemplo para y.



Um sistema de argumentação abstrata é um par A =  X , 

onde

◦X é um conjunto de argumentos

◦  X X, é uma relação binária representando a noção de ataque entre argumentos;

(7)



Dado um sistema de argumentação abstrata, o que interessa é a estrutura geral de uma argumentação

◦

Não interessa o conteúdo de cada argumento em X

◦

Nem a natureza da relação de ataque.



Por exemplo:



Por exemplo:



Questão Básica:

◦

Em que acreditar ???

 Critérios de (Vreeswijk and Prakken, 2000, p. 242)

 Dado um sistema de argumentação abstrata <X,>, definem-se:

◦Um argumento x ∈ X é atacado por um conjunto de argumentos Y ⊆ X se ∃y: y ∈ Y ∧ y x (i.e., pelo menos um membro de Y ataca x);

◦Um argumentox ∈ X é aceitável (ou ‗IN‘ )com respeito a um conjunto de argumentos Y ⊆ X se cada atacante de x em Y é também atacado;

◦Um conjunto de argumentos Y é livre de conflito se nenhum argumento em Y ataca algum outro argumento em Y;

◦Um conjunto de argumentos livre de conflito Y é admissível se cada argumento em Y é aceitável com respeito a Y .



Um outro exemplo:

8ª Aula – Competição Sistemas Multiagentes 4242



Sobre Negociação

◦ROSENSCHEIN and ZLOTKIN (1994) Rules of Ecounter:

Designing Conventions for Automated Negotiation among Computers. MIT Press, Cambridge.



Sobre Barganha

◦Cap. 15 de WOOLDRIDGE, M. (2009) An Introduction to MultiAgent Systems. John Wiley & Sons Ltd.



Sobre Argumentação

◦Cap. 16 de WOOLDRIDGE, M. (2009) An Introduction to MultiAgent Systems. John Wiley & Sons Ltd.

◦Dung, P. M. (1995) On the acceptability of arguments and its fundamental role in non-monotonic reasoning, logic programming and n-person games. AI, 77, 321-357.