9/5/2007 herrmann@ime.usp.br RicardoGuimar˜aesHerrmann PlanejamentoHier´arquicosobIncerteza

(1)

Planejamento Hier´arquico sob Incerteza

Ricardo Guimar˜ aes Herrmann herrmann@ime.usp.br

Orientadora: Profa. Dra. Leliane Nunes de Barros Instituto de Matem´ atica e Estat´ıstica

Universidade de S˜ ao Paulo

9/5/2007

Ricardo Guimar˜aes Herrmann herrmann@ime.usp.br Planejamento Hier´arquico sob Incerteza

(2)

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hier´ arquico (HTN) permite planejamento para aplica¸c˜oes pr´ aticas envolvendo milhares de a¸c˜ oes

Planejamento N˜ ao-Determin´ıstico permite lidar com incerteza sobre efeitos de a¸c˜ oes

Ricardo Guimar˜aes Herrmann Planejamento Hier´arquico sob Incerteza

(3)

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hier´ arquico (HTN) permite planejamento para aplica¸c˜oes pr´ aticas envolvendo milhares de a¸c˜ oes

Planejamento N˜ ao-Determin´ıstico permite lidar com incerteza sobre efeitos de a¸c˜ oes

Sinergia entre as t´ecnicas:

O uso de HTNs como controle de busca permite maior eficiˆencia ao Planejamento N˜ ao-Determin´ıstico

Planejamento N˜ ao-Determin´ıstico d´ a maior robustez a planos de a¸c˜ oes

N˜ ao existe uma implementa¸c˜ ao publicamente dispon´ıvel de um planejador que integre as duas t´ecnicas

(4)

Dom´ınio Protot´ıpico: Presas e Predador

Descri¸c˜ ao do dom´ınio: Presas e Predador

Presas e predador movem-se em uma grade n × n Movimentos utilizando as a¸c˜ oes norte, sul, leste e oeste Predador possui a a¸c˜ ao adicional agarrar, aplic´ avel quando alcan¸ca uma presa

Presas possuem a a¸c˜ ao adicional descansar

N˜ ao-determinismo do dom´ınio reside nas a¸c˜ oes das presas Possui um grande fator de ramifica¸c˜ ao

(5)

Problema Protot´ıpico: Presas e Predador

grade 5 × 5 2 presas

3 a¸c˜ oes poss´ıveis

5 × 5 × 3 = 75 poss´ıveis estados sucessores

(6)

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

(7)

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

(8)

Planejamento Clássico (Não-Hierárquico)

Planejamento em IA consiste na busca automatizada de planos de a¸c˜oes que visam alcan¸car metas pr´e-estabelecidas em mundos descritos formalmente

Utiliza como formalismo um Sistema de Transi¸c˜ ao de Estados

Defini¸c˜ ao

Um Sistema de Transi¸c˜ ao de Estados ´e a 3-tupla Σ = hS, A, γi:

S é um conjunto finito de estados A é um conjunto finito de a¸cões

γ : S × A 7→2

^S

´e uma fun¸c˜ao de transi¸c˜ ao de estados

Um problema de Planejamento Cl´ assico consiste em encontrar uma sequˆencia de a¸c˜oes que, se executadas a partir de um determinado estado inicial s

0

∈ S, leve a um estado meta de S

g

⊆ S

(9)

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´ assico Conjunto finito de estados

Ambiente completamente observ´ avel A¸c˜oes determin´ısticas

Ambiente est´atico (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨ uenciais Tempo impl´ıcito Planejamento offline

(10)

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´ assico Conjunto finito de estados

Ambiente completamente observ´ avel A¸c˜oes determin´ısticas

Ambiente est´atico (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨ uenciais Tempo impl´ıcito Planejamento offline

Desafios:

Problemas de pequeno porte j´ a envolvem quantidades enormes de estados

NP-completo, mesmo sob essas restri¸c˜oes

(11)

Busca Progressiva no Espa¸co de Estados

FCP (s 0 , g , Σ) π ← ∅; s ← s 0

loop

se s satisfaz g ent˜ ao devolva(π)

A ← {(s , a) | a ´e uma a¸c˜ ao de Σ aplic´ avel a s } se A = ∅ ent˜ ao devolva(falha)

n˜ ao-deterministicamente escolha (s, a) ∈ A π ← π ∪ {(s , a)}

s ← γ (s , a)

(12)

Planejamento Hier´arquico

Planejamento guiado por Redes Hier´ arquicas de Tarefas (HTNs) Projetista do dom´ınio fornece diferentes m´etodos para decompor a¸c˜oes compostas (ou tarefas)

A¸c˜oes (ou tarefas) compostas, abstratas, representam sub-metas de alto n´ıvel

A¸c˜oes (ou tarefas) primitivas representam a¸c˜oes

O estado corrente deve satisfazer um conjunto de pré-condi¸cões de um método para que este seja aplic´ avel

Mais expressivo que o Planejamento Cl´ assico

Faz uma busca no espa¸co de redes de tarefas atrav´es das diferentes decomposi¸c˜oes

Um problema de Planejamento Hier´ arquico consiste em, dado um estado inicial s 0 e uma a¸c˜ ao composta, decompˆ o-la através de métodos até o n´ıvel de a¸cões primitivas, execut´ aveis a partir de s ₀

(13)

Exemplo de Planejamento Hier´arquico

(14)

Redes Simples de Tarefas

Redes Simples de Tarefas (STNs):

Caso especial de HTNs

Efetua busca progressiva no espa¸co de estados Escolha de a¸c˜ oes guiada pela decomposi¸c˜ ao de redes hier´ arquicas de tarefas

Base para a fam´ılia SHOP de planejadores:

SHOP - decomposi¸cão em ordem total (listas de tarefas) SHOP2 - decomposi¸cão em ordem parcial (redes de tarefas) JSHOP2 - compila¸cão de planejadores espec´ıficos de dom´ınio

(15)

Decomposi¸c˜ao Hier´arquica em Ordem Parcial

PFD (s, w, D, M)

se w = ∅ ent˜ ao devolva(π)

n˜ao-deterministicamente escolha u ∈ w, sem predecessores em w se t

u

´e uma a¸c˜ao primitiva ent˜ ao

A ← {(a, σ) | a é uma a¸cão de D, σ é uma substitui¸cão tal que nome(a) = σ(t

u

) e a ´e aplic´avel a s } se A = ∅ ent˜ ao devolva(falha)

n˜ao-deterministicamente escolha (a, σ) ∈ A π ← PFD (γ(s, a), σ(w \ {u}), D, M) se π = falha ent˜ ao devolva(falha) sen˜ ao devolva(a.π)

sen˜ ao

M ← {(m, σ) | m é um método de M, σ é uma substitui¸cão tal que nome(m) = σ(t

u

) e m ´e aplic´avel a s } se M = ∅ ent˜ ao devolva(falha)

n˜ao-deterministicamente escolha (m, σ) ∈ M n˜ao-deterministicamente escolha w

⁰

∈ δ(w, u, m, σ) devolva PFD (s , w

⁰

, D, M)

(16)

Exemplo de M´etodos de Decomposi¸c˜ao

(17)

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

(18)

Planejamento N˜ao-Determin´ıstico

Motiva¸c˜ ao:

Ambientes pr´ aticos n˜ ao s˜ ao t˜ ao bem comportados como os do Planejamento Cl´ assico

A¸c˜ oes podem falhar de modo previs´ıvel

E poss´ıvel representar a ´ incerteza nos efeitos de a¸c˜ oes Agentes mais informados podem planejar para contingˆencias Estrat´egia:

Planejador deve considerar todos os poss´ıveis caminhos de execu¸c˜ ao diferentes, para poder encontrar um plano que funcione, apesar do n˜ ao-determinismo

Problemas:

Ainda mais dif´ıcil que o Planejamento Cl´ assico O tamanho do plano condicional obtido pode crescer exponencialmente

(19)

N˜ao-determinismo Limitado

A¸c˜oes podem ter efeitos n˜ ao-determin´ısticos, mas os efeitos poss´ıveis podem ser descritos atrav´es de uma linguagem de a¸c˜ oes Planejamento Conformante, ou planejamento sem sensores,

constr´ oi planos seq¨ uenciais que podem ser executados sem percep¸c˜ ao

Planejamento Contingente, ou condicional, lida com o

n˜ ao-determinismo limitado construindo um plano condicional com diferentes ramifica¸c˜ oes que prevˆeem as diferentes contigˆencias que possam surgir, ou uma pol´ıtica

(20)

Planos como Pol´ıticas

Um plano seq¨ uencial n˜ ao ´e capaz de representar a¸c˜ oes para diferentes evolu¸c˜oes do mundo

Outro tipo de formalismo mais expressivo para representar planos deve ser utilizado em Planejamento N˜ ao-Determin´ıstico Defini¸c˜ ao

Uma pol´ıtica π:

Fun¸c˜ ao π : S 7→ A, diz qual a¸c˜ ao executar em um determinado estado

Geralmente um conjunto de pares de estado e a¸c˜ ao (s, a) Conjunto de estados em π, S π = {s | (s, a) ∈ π}

Pol´ıtica determin´ıstica: apenas uma a¸c˜ ao por estado

(21)

Estrutura de Execu¸c˜ao de Pol´ıticas

Defini¸c˜ ao

A estrutura de execu¸c˜ ao Σ π de uma pol´ıtica π, dado o sistema de transi¸c˜ ao de estados Σ ´e:

Σ ^π ⊆ Σ ´e um grafo direcionado, onde:

Nós são estados alcan¸cáveis através de a¸c˜ oes de π Arestas são poss´ıveis transi¸c˜ oes de estado causadas por π Caminho em Σ ^π de s ₁ até s ₂ ⇐⇒ s ₁ é π-ancestral de s ₂ e s ₂

´e π-descendente de s ₁

(22)

Estrutura de Execu¸c˜ao de Pol´ıticas

Sistema de Transi¸c˜ ao de Estados Σ

Estrutura de Execu¸c˜ ao Σ ^π s 2 ´e π-ancestral de s 7

(23)

Classes de Solu¸c˜oes

Diferentes n´ıveis de garantia de planos como pol´ıticas

Fracos Para cada s ∈ S 0 , existe pelo um caminho em Σ π

que alcan¸ca um estado meta

Fortes Qualquer estado de S π alcan¸ca a meta sem que estados sejam visitados novamente (sem ciclos) Fortes C´ıclicos Qualquer estado de S π alcan¸ca a meta, por´em

podem existir ciclos em Σ ^π

(24)

Classes de Solu¸c˜oes

Diferentes n´ıveis de garantia de planos como pol´ıticas

Fracos Para cada s ∈ S 0 , existe pelo um caminho em Σ π

que alcan¸ca um estado meta

Fortes Qualquer estado de S π alcan¸ca a meta sem que estados sejam visitados novamente (sem ciclos) Fortes C´ıclicos Qualquer estado de S π alcan¸ca a meta, por´em

podem existir ciclos em Σ ^π

N´ıvel crescente de garantia: Fracos < Fortes C´ıclicos < Fortes Algumas vezes planos fortes n˜ ao existem mas solu¸c˜ oes fortes c´ıclicas s˜ ao satisfat´orias

Como ´ ultimo recurso, caso n˜ ao exista outra solu¸c˜ ao melhor, um plano fraco pode vir a funcionar

(25)

Algoritmos Tradicionais

Tradicionalmente, utiliza-se algoritmos de Verifica¸c˜ ao de Modelos:

T´ecnica de verifica¸c˜ao formal

Baseada na explora¸c˜ao exaustiva de um sistema de transi¸c˜ao de estados Σ

Utiliza busca em largura regressiva, a partir dos estados meta, at´e os estados iniciais

Baseia-se em uma fun¸c˜ ao de pr´e-imagem, que computa um conjunto de predecessores de S

(26)

Testes Comparativos

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

(27)

Testes Comparativos

Planejamento N˜ao-Determin´ıstico Hier´arquico

Suposi¸c˜oes do Planejamento N˜ ao-Determin´ıstico Hier´arquico Conjunto finito de estados

Ambiente completamente observ´ avel A¸c˜ oes n˜ ao-determin´ısticas

Ambiente est´ atico (sem eventos externos)

Metas como decomposi¸c˜ ao de tarefas e alcan¸cabilidade Planos como pol´ıticas

Tempo impl´ıcito Planejamento offline

No contexto deste trabalho, Planejamento N˜ ao Determin´ıstico Hier´ arquico denota Planejamento Hier´ arquico com A¸c˜ oes N˜ ao-Determin´ısticas sob Observabilidade Total

(28)

Testes Comparativos

“N˜ao-determiniza¸c˜ao” de Planejadores Progressivos

Motiva¸c˜ ao:

Muito trabalho tem sido feito para melhorar a eficiˆencia de planejadores que efetuam busca progressiva no espa¸co de estados

E desej´ ´ avel poder transportar estas t´ecnicas para o Planejamento N˜ ao-Determin´ıstico

Caracter´ısticas:

Transforma¸c˜ ao de modo sistem´ atico (FCP → ND-FCP) Estende planejadores progressivos para lidar com n˜ ao-determinismo

Preserva corretude e completude Suposi¸c˜oes:

Σ com estados totalmente observ´ aveis

(29)

Testes Comparativos

Planejamento Progressivo Determin´ıstico

FCP (s 0 , g , D, α) π ← ∅; s ← s ₀ loop

se s satisfaz g ent˜ ao devolva(π)

A ← {(s , a) | a ´e uma instˆ ancia total de um operador em D, a ´e aplic´ avel a s, e a ∈ α(s)}

se A = ∅ ent˜ ao devolva(falha)

n˜ ao-deterministicamente escolha (s, a) ∈ A π ← π ∪ {(s , a)}

s ← γ (s , a)

(30)

Testes Comparativos

Planejamento Progressivo N˜ao-Determin´ıstico

ND-FCP (S 0 , g , D ⁰ , α ⁰ )

π ← ∅; S ← S 0 ; resolvidos ← ∅ loop

se S = ∅ ent˜ ao devolva(π)

selecione um estado s ∈ S e remova-o de S se s satisfaz g ent˜ ao insira s em resolvidos sen˜ ao se s ∈ / S π ent˜ ao

A ← {(s, a) | a ´e uma instˆ ancia total de um

operador em D ⁰ , a ´e aplic´ avel a s, e a ∈ α ⁰ (s)}

se A = ∅ ent˜ ao devolva(falha)

n˜ ao-deterministicamente escolha (s , a) ∈ A π ← π ∪ {(s , a)}

S ← S ∪ γ(s , a)

sen˜ ao se s n˜ ao tem π-descendentes em (S ∪ resolvidos) \ S π

ent˜ ao devolva(falha)

(31)

Testes Comparativos

Caracteriza¸c˜ao de Planos de ND-FCP

ND-FCP gera planos fortes c´ıclicos, mas pode ser adaptado para gerar tamb´em planos:

Fortes , trocando o teste por π-descendentes por falha assim que um ciclo for detectado

Fracos , removendo, cada vez que um estado meta ´e gerado, todo estado n˜ ao-inicial do conjunto S , for¸cando o planejador a encontrar um caminho a partir de cada estado inicial at´e uma meta

(32)

Testes Comparativos

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

(33)

Testes Comparativos

ND-SHOP2

Planejador ND-SHOP2 [Kuter & Nau 2004]

T´ecnica de “n˜ ao-determiniza¸c˜ ao” aplicada a SHOP2 α representa a escolha de a¸c˜ oes geradas pela decomposi¸c˜ ao hier´ arquica

Alguns resultados emp´ıricos mostram condi¸c˜ oes em que o tempo de execu¸c˜ ao cresce apenas polinomialmente em rela¸c˜ ao

`

a vers˜ ao determin´ıstica do problema Permite combinar:

Poder de controle de busca espec´ıfico de dom´ınio do planejamento hier´ arquico

Capacidade de lidar com a¸c˜ oes n˜ ao-determin´ısticas

(34)

Testes Comparativos

Simula¸c˜ao

(35)

Testes Comparativos

Simula¸c˜ao

(36)

Testes Comparativos

Simula¸c˜ao

(37)

Testes Comparativos

Simula¸c˜ao

(38)

Testes Comparativos

Simula¸c˜ao

(39)

Testes Comparativos

Simula¸c˜ao

(40)

Testes Comparativos

Simula¸c˜ao

(41)

Testes Comparativos

Simula¸c˜ao

(42)

Testes Comparativos

Simula¸c˜ao

(43)

Testes Comparativos

Simula¸c˜ao

(44)

Testes Comparativos

Simula¸c˜ao

(45)

Testes Comparativos

Simula¸c˜ao

(46)

Testes Comparativos

Simula¸c˜ao

(47)

Testes Comparativos

Simula¸c˜ao

(48)

Testes Comparativos

Simula¸c˜ao

(49)

Testes Comparativos

Simula¸c˜ao

(50)

Testes Comparativos

Modelo da Linguagem para ND-SHOP2

(51)

Testes Comparativos

Exemplo Presas e Predador

M´etodos HTN para obter eficiˆencia:

Seguir presas primeiro na horizontal e depois na vertical Diminui o n´umero de a¸c˜ oes de movimento a considerar Escolher uma presa espec´ıfica, segu´ı-la e agarr´ a-la, depois considerar outras presas

Escolha de a¸c˜ oes independe do n´ umero total de presas

Efeito

Adotar estas duas estrat´egias combinadas reduz o n´ umero de a¸c˜ oes aplic´ aveis a apenas uma por estado

(52)

Testes Comparativos

Tamanhos das Pol´ıticas Obtidas

10 100 1000 10000 100000 1e+006

1 10 100

Tamanho da politica

Tamanho da grade (n x n)

1 presa 2 presas 3 presas 4 presas

(53)

Testes Comparativos

Tempo M´edio de Execu¸c˜ao

0.01 0.1 1 10 100 1000 10000

1 10 100

Tempo (s)

Tamanho da grade (n x n)

1 presa 2 presas 3 presas 4 presas

(54)

Testes Comparativos

N´umero Total de Estados

1 100 10000 1e+006 1e+008 1e+010 1e+012 1e+014

1 2 3 4 5 6 7 8 9 10

Total de estados

Numero de presas

grade 2x2 grade 3x3 grade 4x4

(55)

Testes Comparativos

Conclus˜ao

ND-FCP permite que avan¸cos nos planejadores com busca progressiva no espa¸co de estados possam ser utilizados para dom´ınios n˜ ao-determin´ısticos

ND-SHOP2 permite controle sobre escolhas de a¸c˜ oes mas ainda deve explorar todos os estados alcan¸c´ aveis

Meios de representa¸c˜ ao compacta de conjuntos de estados s˜ ao necess´ arios para a solu¸c˜ ao de problemas maiores

YoYo [Kuter et al. 2005] representa conjuntos de estados e transi¸c˜ oes atrav´es de BDDs

(56)

Testes Comparativos

Referˆencias

U. Kuter. (PhD thesis, 2006)

Planning under Uncertainty: Moving Forward U. Kuter, D. Nau, M. Pistore, P. Traverso. (2005) A Hierarchical Task-Network Planner based on Symbolic Model Checking

9/5/2007 herrmann@ime.usp.br RicardoGuimar˜aesHerrmann PlanejamentoHier´arquicosobIncerteza

Planejamento Hier´arquico sob Incerteza

Ricardo Guimar˜ aes Herrmann herrmann@ime.usp.br

Orientadora: Profa. Dra. Leliane Nunes de Barros Instituto de Matem´ atica e Estat´ıstica

Universidade de S˜ ao Paulo

9/5/2007

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hier´ arquico (HTN) permite planejamento para aplica¸c˜oes pr´ aticas envolvendo milhares de a¸c˜ oes

Planejamento N˜ ao-Determin´ıstico permite lidar com incerteza sobre efeitos de a¸c˜ oes

Motiva¸c˜ao

Diferentes formas de Planejamento:

Planejamento Hier´ arquico (HTN) permite planejamento para aplica¸c˜oes pr´ aticas envolvendo milhares de a¸c˜ oes

Planejamento N˜ ao-Determin´ıstico permite lidar com incerteza sobre efeitos de a¸c˜ oes

Sinergia entre as t´ecnicas:

O uso de HTNs como controle de busca permite maior eficiˆencia ao Planejamento N˜ ao-Determin´ıstico

Planejamento N˜ ao-Determin´ıstico d´ a maior robustez a planos de a¸c˜ oes

N˜ ao existe uma implementa¸c˜ ao publicamente dispon´ıvel de um planejador que integre as duas t´ecnicas

Dom´ınio Protot´ıpico: Presas e Predador

Descri¸c˜ ao do dom´ınio: Presas e Predador

Presas e predador movem-se em uma grade n × n Movimentos utilizando as a¸c˜ oes norte, sul, leste e oeste Predador possui a a¸c˜ ao adicional agarrar, aplic´ avel quando alcan¸ca uma presa

Presas possuem a a¸c˜ ao adicional descansar

N˜ ao-determinismo do dom´ınio reside nas a¸c˜ oes das presas Possui um grande fator de ramifica¸c˜ ao

Problema Protot´ıpico: Presas e Predador

grade 5 × 5 2 presas

3 a¸c˜ oes poss´ıveis

5 × 5 × 3 = 75 poss´ıveis estados sucessores

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

1 Introdu¸c˜ ao

Planejamento Cl´ assico e Hier´ arquico Planejamento N˜ ao-Determin´ıstico

2 Planejamento N˜ ao-Determin´ıstico Hier´ arquico T´ecnica de “N˜ ao-determiniza¸c˜ ao”

Planejador ND-SHOP2 Implementa¸c˜ ao

Testes Comparativos

Planejamento Clássico (Não-Hierárquico)

Planejamento em IA consiste na busca automatizada de planos de a¸c˜oes que visam alcan¸car metas pr´e-estabelecidas em mundos descritos formalmente

Utiliza como formalismo um Sistema de Transi¸c˜ ao de Estados

Defini¸c˜ ao

Um Sistema de Transi¸c˜ ao de Estados ´e a 3-tupla Σ = hS, A, γi:

S é um conjunto finito de estados A é um conjunto finito de a¸cões

γ : S × A 7→2

´e uma fun¸c˜ao de transi¸c˜ ao de estados

Um problema de Planejamento Cl´ assico consiste em encontrar uma sequˆencia de a¸c˜oes que, se executadas a partir de um determinado estado inicial s

∈ S, leve a um estado meta de S

⊆ S

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´ assico Conjunto finito de estados

Ambiente completamente observ´ avel A¸c˜oes determin´ısticas

Ambiente est´atico (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨ uenciais Tempo impl´ıcito Planejamento offline

Suposi¸c˜oes do Planejamento Cl´assico

Suposi¸c˜oes restritivas feitas pelo Planejamento Cl´ assico Conjunto finito de estados

Ambiente completamente observ´ avel A¸c˜oes determin´ısticas

Ambiente est´atico (sem eventos externos) Metas de alcan¸cabilidade

Planos seq¨ uenciais Tempo impl´ıcito Planejamento offline

Desafios:

Problemas de pequeno porte j´ a envolvem quantidades enormes de estados

NP-completo, mesmo sob essas restri¸c˜oes

Busca Progressiva no Espa¸co de Estados

FCP (s 0 , g , Σ) π ← ∅; s ← s 0

loop

se s satisfaz g ent˜ ao devolva(π)

A ← {(s , a) | a ´e uma a¸c˜ ao de Σ aplic´ avel a s } se A = ∅ ent˜ ao devolva(falha)

n˜ ao-deterministicamente escolha (s, a) ∈ A π ← π ∪ {(s , a)}

s ← γ (s , a)

Planejamento Hier´arquico

Planejamento guiado por Redes Hier´ arquicas de Tarefas (HTNs) Projetista do dom´ınio fornece diferentes m´etodos para decompor a¸c˜oes compostas (ou tarefas)

A¸c˜oes (ou tarefas) compostas, abstratas, representam sub-metas de alto n´ıvel

A¸c˜oes (ou tarefas) primitivas representam a¸c˜oes

O estado corrente deve satisfazer um conjunto de pré-condi¸cões de um método para que este seja aplic´ avel

Mais expressivo que o Planejamento Cl´ assico

Faz uma busca no espa¸co de redes de tarefas atrav´es das diferentes decomposi¸c˜oes

Um problema de Planejamento Hier´ arquico consiste em, dado um estado inicial s 0 e uma a¸c˜ ao composta, decompˆ o-la através de métodos até o n´ıvel de a¸cões primitivas, execut´ aveis a partir de s 0

Exemplo de Planejamento Hier´arquico

Redes Simples de Tarefas

Redes Simples de Tarefas (STNs):

Caso especial de HTNs

Um problema de Planejamento Hier´ arquico consiste em, dado um estado inicial s 0 e uma a¸c˜ ao composta, decompˆ o-la através de métodos até o n´ıvel de a¸cões primitivas, execut´ aveis a partir de s ₀

Σ ^π ⊆ Σ ´e um grafo direcionado, onde:

Nós são estados alcan¸cáveis através de a¸c˜ oes de π Arestas são poss´ıveis transi¸c˜ oes de estado causadas por π Caminho em Σ ^π de s ₁ até s ₂ ⇐⇒ s ₁ é π-ancestral de s ₂ e s ₂

´e π-descendente de s ₁

Estrutura de Execu¸c˜ ao Σ ^π s 2 ´e π-ancestral de s 7

podem existir ciclos em Σ ^π

podem existir ciclos em Σ ^π