5deabrilde2008 herrmann@ime.usp.br RicardoGuimar˜aesHerrmann Planejamentohier´arquicosobincertezaKnightiana

(1)

Planejamento hier´arquico sob incerteza Knightiana

Ricardo Guimar˜aes Herrmann herrmann@ime.usp.br

Orientadora: Profa. Dra. Leliane Nunes de Barros Instituto de Matem´atica e Estat´ıstica

Universidade de S˜ao Paulo

5 de abril de 2008

(2)

1 Introdu¸c˜ao

Planejamento Cl´assico Planejamento Hier´arquico

Planejamento N˜ao-Determin´ıstico

2 Planejamento Não-Determin´ıstico Hierárquico Técnica de ND-transforma¸cão

Planejador ND-HSHOP Implementa¸c˜ao

3 Análise e Conclusão Análise Emp´ırica Conclusão

(3)

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hierárquico(HTN): planejamento para aplica¸cões práticas envolvendo milhares de a¸cões

Planejamento N˜ao-Determin´ıstico: planejamento envolvendo incerteza sobre efeitos de a¸c˜oes

(4)

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hierárquico(HTN): planejamento para aplica¸cões práticas envolvendo milhares de a¸cões

Planejamento N˜ao-Determin´ıstico: planejamento envolvendo incerteza sobre efeitos de a¸c˜oes

Sinergia entre as t´ecnicas:

O uso de HTNs como controle de busca permite maior eficiˆencia ao Planejamento N˜ao-Determin´ıstico

Planejamento Não-Determin´ıstico provê maior robusteza planos obtidos por Planejamento Hierárquico

(5)

Objetivos

Estudar a integra¸c˜ao dessas duas t´ecnicas de planejamento [Kuter & Nau 2004]

Implementar o sistema ND-SHOP2 [Kuter & Nau 2004], o qual n˜ao ´e publicamente dispon´ıvel

Analisar o ganho de desempenho do Planejamento

Não-Determin´ıstico com o uso de conhecimento hierárquico sobre as a¸cões do dom´ınio

Comparar o sistema implementado com um sistema de planejamento n˜ao-determin´ıstico existente, chamado MBP [Roveriet al. 2001]

(6)

1 Introdu¸c˜ao

(7)

Planejamento Clássico (Não-Hierárquico)

Planejamento em IA consiste na busca automatizada de planos de a¸c˜oes que alcancem metas pr´e-estabelecidas em mundos descritos formalmente

Utiliza como formalismo um Sistema de Transi¸c˜ao de Estados

Defini¸c˜ao

UmSistema de Transi¸c˜ao de Estados´e a 3-tupla Σ =hS,A, γi:

S é um conjunto finito de estados Aé um conjunto finito dea¸cões

γ:S × A 7→2^S é umafun¸cão de transi¸cão de estados

Um problema de Planejamento Clássico consiste em encontrar uma sequência de a¸cões que, quando executada a partir de um determinado estado inicials0∈ S, leva o agente a um estado meta deSg ⊆ S

(8)

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´assico Conjunto finito de estados

Ambiente completamente observável A¸cões determin´ısticas (γ:S × A 7→ S) Ambiente estático (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨uenciais Tempo impl´ıcito Planejamentooffline

(9)

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´assico Conjunto finito de estados

Ambiente completamente observável A¸cões determin´ısticas (γ:S × A 7→ S) Ambiente estático (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨uenciais Tempo impl´ıcito Planejamentooffline

Desafios:

Problemas de pequeno porte j´a envolvem quantidades enormes de estados

PSPACE-completo, mesmo sob essas restri¸c˜oes

(10)

Busca Progressiva no Espa¸co de Estados

FCP (s0,g,Σ) π← ∅;s ←s₀ loop

ses satisfazg ent˜ao devolva(π)

A← {(s,a)|aé uma a¸cão aplicável a s}

seA=∅ent˜ao devolva(falha)

n˜ao-deterministicamente escolha (s,a)∈A π←π∪ {(s,a)}

s ←γ(s,a)

Algoritmo mais simples de planejamento cl´assico

(11)

1 Introdu¸c˜ao

(12)

Planejamento Hier´arquico

Planejamento guiado por Redes Hierárquicas de Tarefas (HTNs) Faz uma busca no espa¸co de redes de tarefas através das diferentes decomposi¸cões dea¸cões compostas(outarefas)

A¸c˜oes (ou tarefas)compostas, abstratas, representam sub-metas de alto n´ıvel

A¸c˜oes (ou tarefas)primitivasrepresentam a¸c˜oes

(13)

Planejamento Hier´arquico

Projetista do dom´ınio fornece diferentesm´etodospara decompor a¸c˜oes compostas

O estado corrente deve satisfazer um conjunto depré-condi¸cõesde um método para que este seja aplicável

(14)

Planejamento Hier´arquico

Projetista do dom´ınio fornece diferentesm´etodospara decompor a¸c˜oes compostas

O estado corrente deve satisfazer um conjunto depré-condi¸cõesde um método para que este seja aplicável

Problema HTN: dado um estado inicials0 e uma a¸cão composta, decompô-la através de métodos até o n´ıvel de a¸cões primitivas, executáveis a partir des₀

Mais expressivo que o Planejamento Cl´assico

(15)

Exemplo de Planejamento Hier´arquico

(16)

Redes Simples de Tarefas

Redes Simples de Tarefas (STNs):

Caso especial de HTNs

Efetua busca progressiva no espa¸co de estados Escolha de a¸cões guiada pela decomposi¸cão de redes hierárquicas de tarefas

Base para a fam´ılia SHOP de planejadores:

SHOP - decomposi¸cão em ordemtotal(listas de tarefas) SHOP2 - decomposi¸cão em ordemparcial(redes de tarefas) JSHOP2 - compila¸cão de planejadores espec´ıficos de dom´ınio

(17)

Decomposi¸c˜ao Hier´arquica em Ordem Parcial

STN-Plan(s,w,D,M)

sew=∅ent˜ao devolva(π)

não-deterministicamente escolhau∈w, sem predecessores emw setué uma a¸cão primitivaentão

A← {(a, σ)|aé uma a¸cão deD,σé uma substitui¸cão tal quenome(a) =σ(tu) eaé aplicável as}

não-deterministicamente escolha (a, σ)∈A π←STN-Plan(γ(s,a), σ(w\ {u}),D,M) seπ=falhaentão devolva(falha) senão devolva(a.π)

sen˜ao

M← {(m, σ)|mé um método deM,σé uma substitui¸cão tal quenome(m) =σ(tu) emé aplicável as}

seM=∅ent˜ao devolva(falha)

n˜ao-deterministicamente escolha (m, σ)∈M n˜ao-deterministicamente escolhaw⁰∈δ(w,u,m, σ) devolvaSTN-Plan(s,w⁰,D,M)

(18)

Exemplo de M´etodos de Decomposi¸c˜ao

(19)

1 Introdu¸c˜ao

(20)

Planejamento N˜ao-Determin´ıstico

Planejamento sob Incerteza

Ambientes práticos não são tão bem comportados como os do Planejamento Clássico

A¸c˜oes podem falhar de modo previs´ıvel

E poss´ıvel representar a´ incertezanos efeitos de a¸c˜oes Agentes mais informados podem planejar para contingˆencias

(21)

Planejamento N˜ao-Determin´ıstico

Planejamento sob Incerteza

Ambientes práticos não são tão bem comportados como os do Planejamento Clássico

A¸c˜oes podem falhar de modo previs´ıvel

E poss´ıvel representar a´ incertezanos efeitos de a¸cões Agentes mais informados podem planejar para contingências Estratégia:

Planejador deve considerar todos os poss´ıveis caminhos de execu¸c˜ao diferentes, para poder encontrar um plano que funcione, apesar do n˜ao-determinismo

Desafio:

Ainda mais dif´ıcil que o Planejamento Cl´assico O tamanho do plano condicional obtido pode crescer exponencialmente

(22)

Dom´ınio N˜ao-Determin´ıstico Totalmente Observ´avel

(23)

Planos como Pol´ıticas

Um plano seqüencial não é capaz de representar a¸cões para diferentes evolu¸cões do mundo

Outro tipo de formalismo mais expressivo para representar planos deve ser utilizado em Planejamento N˜ao-Determin´ıstico Defini¸c˜ao

Uma pol´ıticaπ:

Fun¸c˜ao π:S 7→ A, diz qual a¸c˜ao executar em um determinado estado (pol´ıtica determin´ıstica) Conjunto de estados em π,Sπ ={s |(s,a)∈π}

(24)

Classes de Solu¸c˜oes

Diferentes n´ıveis de garantia de pol´ıticas

Fracos Para cadas ∈S0, existe pelo um caminho em Σπ

que alcan¸ca um estado meta

Fortes Qualquer estado deSπ alcan¸ca a meta sem que estados sejam visitados duas vezes (sem ciclos) Fortes C´ıclicos Qualquer estado deSπ alcan¸ca a meta, por´em

podem existir ciclos em Σ^π

(25)

Classes de Solu¸c˜oes

Diferentes n´ıveis de garantia de pol´ıticas

Fracos Para cadas ∈S0, existe pelo um caminho em Σπ

que alcan¸ca um estado meta

Fortes Qualquer estado deSπ alcan¸ca a meta sem que estados sejam visitados duas vezes (sem ciclos) Fortes C´ıclicos Qualquer estado deSπ alcan¸ca a meta, por´em

podem existir ciclos em Σ^π

N´ıvel crescente de garantia: Fracos<Fortes C´ıclicos <Fortes Algumas vezes planos fortes não existem mas planos fortes c´ıclicos são satisfatórios

Como último recurso, caso não exista outra solu¸cão melhor, um plano fraco é a única op¸cão para o agente

(26)

Algoritmos Tradicionais

Tradicionalmente, no Planejamento N˜ao-Determin´ıstico, utiliza-se algoritmos de Verifica¸c˜ao de Modelos:

T´ecnica de verifica¸c˜ao formal

Baseada na explora¸c˜ao exaustiva de um sistema de transi¸c˜ao de estados Σ

Utiliza busca em largura regressiva, a partir dos estados meta, at´e os estados iniciais

Baseia-se em uma fun¸c˜ao depr´e-imagem, que computa um conjunto de predecessores deS

(27)

1 Introdu¸c˜ao

(28)

Planejamento N˜ao-Determin´ıstico Hier´arquico

Suposi¸cões do Planejamento Não-Determin´ıstico Hierárquico Conjunto finito de estados

Ambiente completamente observável A¸cões não-determin´ısticas

Ambiente est´atico (sem eventos externos)

Metas como decomposi¸c˜ao de tarefas e alcan¸cabilidade Planos como pol´ıticas

Tempo impl´ıcito Planejamento offline

No contexto deste trabalho, Planejamento Não Determin´ıstico Hierárquico denota Planejamento Hierárquico com A¸cões

(29)

ND-transforma¸c˜ao de Planejadores Progressivos

ND-transfoma¸c˜ao [Kuter & Nau, 2004]

Estende planejadores progressivos para lidar com n˜ao-determinismo

Trata incerteza Knightiana, ou seja, sem probabilidades associadas a efeitos de a¸c˜oes

Transforma¸c˜ao de modo sistem´atico(FCP → ND-FCP) Preserva corretude e completude

(30)

Planejamento Progressivo Determin´ıstico

Se um planejador Λ tem a forma:

FCP (s0,g,D, α) π← ∅;s ←s₀ loop

ses satisfazg ent˜ao devolva(π)

A← {(s,a)|aé uma instância total de um operador em D,aé aplicável a s, e a∈α(s)}

s ←γ(s,a)

onde α(s) é umafun¸cão de sele¸cão de a¸cões, ND-Λ, sua

(31)

Planejamento Progressivo N˜ao-Determin´ıstico

ND-FCP (S0,g,D⁰, α⁰) π← ∅;S ←S₀; resolvidos← ∅ loop

seS =∅ent˜ao devolva(π)

selecione um estados∈S e remova-o deS ses satisfazg entãoinsiras emresolvidos senão ses∈/Sπ então

A← {(s,a)|a´e uma instˆancia total de um

operador emD⁰,a´e aplic´avel as, ea∈α⁰(s)}

seA=∅ ent˜ao devolva(falha)

S ←S∪γ(s,a)

sen˜ao ses n˜ao tem ^π-descendentes em (S∪resolvidos)\Sπ

ent˜ao devolva(falha)

(32)

Caracteriza¸c˜ao de Planos de ND-FCP

ND-FCP gera planos fortes c´ıclicos, mas pode ser adaptado para gerar tamb´em planos:

Fortes , trocando o teste deπ-descendˆencia por falha assim que um ciclo for detectado

Fracos , removendo, cada vez que um estado meta é gerado, todo estado não-inicial do conjuntoS, for¸cando o planejador a encontrar um caminho a partir de cada estado inicial até uma meta

(33)

1 Introdu¸c˜ao

(34)

ND-HSHOP

Planejador ND-HSHOP

ND-transforma¸c˜ao de HSHOP

HSHOP ´e um planejador feito neste trabalho baseado no algoritmo de SHOP, utilizando a linguagem de programa¸c˜ao Haskell

Implementa¸c˜ao do algoritmo de planejamento ND-SHOP2 [Kuter & Nau 2004]

α(s) representa a escolha de a¸cões geradas pela decomposi¸cão hierárquica ^STN-Plan

Permite combinar:

Poder de controle de busca espec´ıfico de dom´ınio do planejamento hier´arquico

Capacidade de lidar com a¸c˜oes n˜ao-determin´ısticas

(35)

Exemplo de HTN com A¸c˜oes N˜ao-Determin´ısticas

(36)

Planejador YoYo (ou FS

³

SHOP2

)

Motiva¸c˜oes:

A técnica de Verifica¸cão de Modelos Simbólicos utiliza fórmulas proposicionais para representar de modo compacto conjuntos de estados e transforma¸cões sobre estes

Presume-se que a combina¸cão destas técnicas em diferentes tipos de problemas e dom´ınios de planejamento é vantajosa Estratégia:

Estender ND-SHOP2 para utilizar técnicas de verifica¸cão de modelos simbólicos, baseadas em BDDs

FS³: similar à ND-transforma¸cão, mas explora espa¸co de situa¸cões, da forma (S,w), envolvendo conjuntos de estados e um controle(rede de tarefas)

(37)

Planejamento utilizando BDDs

Proposi¸c˜oes:

Vetor s de proposi¸c˜oes correntes (estado atual)

Vetor s⁰ de proposi¸c˜oes seguintes correspondentes a s (estado futuro)

Vetor ade a¸c˜oes Representa¸c˜ao:

Um estados ´e uma valora¸c˜ao {⊥,>} para s conjunto de estados ξ(S)^def=W

s∈Sξ(s), S ⊆ S

(38)

Uso de BDDs em YoYo

Não é necessário representar estados explicitamente:

ξ(∅) =⊥

ξ(2^S) =>(tautologia)

Deslocamento progressivo ξ⁰(s)^def=ξ(s)[s/s⁰] Transi¸c˜ao ξ(hs1,a,s₂i)^def=ξ(s1)∧a∧ξ⁰(s2) Opera¸c˜oes sobre conjuntos representados como BDDs:

ξ(S1∪S₂)^def=ξ(S1)∨ξ(S2) ξ(S1∩S₂)^def=ξ(S1)∧ξ(S2) ξ(S₁\S₂)=^defξ(S₁)∧ ¬ξ(S2) S₁ =S₂ ^def=ξ(S₁)↔ξ(S₂) S ⊆S ^def=ξ(S )→ξ(S )

(39)

1 Introdu¸c˜ao

(40)

Modelo da Linguagem para HTN N˜ao-Determin´ıstico

(41)

Planejadores implementados neste trabalho

Planejadores implementados neste trabalho:

HMBP , um planejador n˜ao-determin´ıstico baseado em Verifica¸c˜ao de Modelos, sem o uso de BDDs nem hierarquias, implementado em Haskell

ND-HSHOP , um planejador n˜ao-determin´ıstico que usa

decomposi¸cão hierárquica de a¸cões compostas, sem uso de BDDs, implementado em Haskell

FS_HSHOP³ , uma implementa¸c˜ao de YoYo (FS_SHOP³ ), mas que n˜ao utiliza BDDs, implementado em Haskell

(42)

1 Introdu¸c˜ao

(43)

Dom´ınio Protot´ıpico: Predador-Presas

Descri¸c˜ao do dom´ınio: Predador-Presas

Presas e predador movem-se em uma graden×n Movimentos utilizando as a¸cõesnorte,sul,lestee oeste Predador possui a a¸cão adicionalagarrar, aplicável quando alcan¸ca uma presa

Presas possuem a a¸c˜ao adicionaldescansar

Não-determinismo do dom´ınio reside nas a¸cões das presas Possui um grande fator de ramifica¸cão

(44)

Problema Protot´ıpico: Predador-Presas

ProblemaP₅²: grade 5×5 2 presas

3 a¸c˜oes poss´ıveis

5×5×3 = 75 poss´ıveis estados sucessores N´umero total de estados

|Pn^p|=Pp+1 i=1(n²)ⁱ

(45)

Decomposi¸c˜ao Hier´arquica de Predador-Presas

M´etodos HTN para o dom´ınio Predador-Presas

Tarefas M´etodos

Nome Pr´e-condi¸c˜ao Lista de tarefas

catch preys done preys= 0 ∅

more preys>0 (catch prey,catch preys)

catch prey chase > (chase prey,catch)

chase prey same x=x⁰∧y =y⁰ ∅

diff x6=x⁰∨y 6=y⁰ (chase horizontal) chase horizontal

chase e x<x⁰ (east,chase prey) chase w x>x⁰ (west,chase prey) horz ok x=x⁰ (chase vertical) chase vertical

chase n y<y⁰ (north,chase prey) chase s y>y⁰ (south,chase prey)

vert ok y=y⁰ ∅

(46)

Tamanhos das Pol´ıticas Obtidas por ND-HSHOP

10 100 1000 10000 100000 1e+06

1 10 100

Tamanho da politica

Tamanho da grade (n x n) 1 presa 2 presas 3 presas 4 presas

(47)

Tempo M´edio de Execu¸c˜ao de ND-HSHOP

0.001 0.01 0.1 1 10 100 1000 10000

1 10 100

Tempo (s)

Tamanho da grade (n x n) 1 presa 2 presas 3 presas 4 presas

(48)

Compara¸c˜ao entre Diferentes Planejadores

Compara¸c˜ao em termos de tempo absoluto gasto durante o planejamento

Planejador escolhido para compara¸c˜ao

MBP , um planejador não-determin´ıstico baseado em Verifica¸cão de Modelos que usa BDDs para testes eficientes de satisfa¸cão de condi¸cões, implementado em C++, considerado estado-da-arte em planejamento não-determin´ıstico

(49)

Resultados dos Testes com Problemas P

_2...70¹

0.001 0.01 0.1 1 10 100 1000 10000

0 10 20 30 40 50 60 70

Tempo (s)

Tamanho da grade (n x n) ND-HSHOP

MBP HMBP

(50)

Conclus˜ao

ND-transforma¸c˜ao permite que avan¸cos nos planejadores com busca progressiva no espa¸co de estados possam ser utilizados para dom´ınios n˜ao-determin´ısticos

ND-HSHOP foi capaz de encontrar pol´ıticas com at´e550 mil estados. Ganho de eficiˆencia ao custo de maior verbosidade do dom´ınio

ND-HSHOP permite controle sobre escolhas de a¸cões mas ainda deve explorar todos os estados possivelmente alcan¸cáveis em tempo de execu¸cão

Meios de representa¸cão compacta de conjuntos de estados são necessários para a solu¸cão de problemas maiores

HMBP faz busca baseada em pré-imagem mas não é competitivo com MBP por não fazer uso de BDDs

(51)

Trabalhos Futuros

Extens˜oes a curto prazo

Disponibilizar biblioteca de métodos de planejamento HasPlan Implementa¸cão de BDDs para representa¸cão compacta de transi¸cões emFS_HSHOP³

Planos estendidos para metas de decomposi¸c˜ao Planos Est.

(52)

Trabalhos Futuros

Extens˜oes a curto prazo

Disponibilizar biblioteca de métodos de planejamento HasPlan Implementa¸cão de BDDs para representa¸cão compacta de transi¸cões emFS_HSHOP³

Planos estendidos para metas de decomposi¸c˜ao Planos Est.

Trabalhos a serem considerados futuramente

FCP →Cond-FCP (observabilidade parcial) [Kuter et al.

2007]

FCP →Prob-FCP (a¸c˜oes probabil´ısticas) [Kuter, 2006]

A¸c˜oes com probabilidades imprecisas [Trevizan et al. 2007]

Tentativa de combina¸c˜ao dos trabalhos mencionados a fim de buscar um planejador mais pr´atico

(53)

Fim

Obrigado !

(54)

Conflito na Escolha de A¸c˜oes em Pol´ıticas

(55)

Contextos de Execu¸c˜ao

(56)

Plano Estendido

act

s c a

s1 c_d a1

s₂ c_d a₃ s₃ c₁ a₄ s3 c2 a2

ctxt s c s⁰ c⁰ s1 c_d s3 c1

s₂ c_d s₃ c₂ s₃ c₁ s₅ c_d s3 c2 s4 c_d

act diz qual a¸c˜ao deve ser executada (pol´ıtica)

ctxt diz qual ´e o pr´oximo contexto, dado o estado sucessor

(57)

Estrutura de Execu¸c˜ao de Pol´ıticas

Defini¸c˜ao

A estrutura de execu¸cão Σπ de uma pol´ıticaπ, dado o sistema de transi¸cão de estados Σ é:

Σπ ⊆Σ ´e um grafo direcionado, onde:

Nós são estados alcan¸cáveis através de a¸cões deπ Arestas são poss´ıveis transi¸cões de estado causadas porπ Caminho em Σ^π de s₁ atés₂ ⇐⇒ s₁ éπ-ancestral de s₂ e s₂

´eπ-descendente des₁

(58)

Estrutura de Execu¸c˜ao de Pol´ıticas

Sistema de Transi¸c˜ao de Estados Σ

Estrutura de Execu¸c˜ao Σ^π s ´eπ-ancestral des