Topologia de espaços de estados em planejamento com variáveis numéricas

(1)

Topologia de espa¸

cos de estados em planejamento com

vari´

aveis num´

ericas

Aldebaran Perseke

Disserta¸c˜ao apresentada ao Instituto de Matem´atica e Estat´ıstica da

Universidade de São Paulo para Obten¸cão do Grau de Mestre em Ciência da Computa¸cão

Curso: Mestrado em Ciˆencia da Computa¸c˜ao ´

Area de concentra¸c˜ao: Inteligˆencia Artificial Orientadora: Prof. Dra. Leliane Nunes de Barros

(2)

Objetivos

• Apresentar um estudo sobre a área de planejamento em IA enfocando proble-mas que envolvam recursos e variáveis numéricas, aspectos t´ıpicos de problemas de escalonamento;

• Apresentar a teoria de Hoffmann para classifica¸c˜ao de dom´ınios STRIPS segundo as propriedades topol´ogicas dos espa¸cos de busca;

• Estender a teoria de Hoffmann para problemas envolvendo vari´aveis num´ericas;

• Análise, segundo a teoria de Hoffmann estendida, de dois dom´ınios com variáveis numéricas da competi¸cão internacional de planejamento IPC-2002 ;

(3)

Planejamento em IA

• A tarefa de planejamento envolve o racioc´ınio sobre a escolha de a¸c˜oes e a ordem em que elas devem ser executadas para a satisfa¸c˜ao dos objetivos de um problema;

• Pesquisas na ´area de planejamento em IA envolvem:

1. modelos para definir os algoritmos e estabelecer classes de problemas e tipos de solu¸c˜ao;

2. linguagens para representa¸c˜ao de problemas; 3. algoritmos para resolver os problemas.

(4)

Modelo de estados

• Modelos de estados s˜ao caracterizados por:

? Um espa¸co de estados S, finito e discreto

? Um estado inicial s0 ∈ S

? Um conjunto de estados objetivo SG ⊂ S

? Um conjunto de a¸c˜oes A(s) ⊂ A, aplic´aveis em um estado s ∈ S

? Uma fun¸c˜ao f de transi¸c˜ao de estados, que mapeia um estado s em um estado s0 = f (s, a) para s, s0 ∈ S e a ∈ A(s)

(5)

Espa¸

co de estados

Um modelo de estados pode ser representado por um grafo orientado definindo assim um espa¸co de estados a partir do estado inicial.

(6)

O problema de planejamento

• O problema de planejamento pode ser formalmente descrito por uma tupla < ∆, Σ, Γ >, onde:

1. ∆ representa a descri¸c˜ao do conjunto de a¸c˜oes que podem ser escolhidas, chamado de teoria do dom´ınio;

2. Σ representa a descri¸c˜ao do estado inicial do mundo; 3. Γ representa a descri¸c˜ao do objetivo.

• Suposi¸c˜oes do planejamento cl´assico:

(7)

Linguagem STRIPS

Est.Inicial: SobreMesa(A) ∧ SobreMesa(B) ∧ Sobre(C,A) ∧ Limpo(B) ∧ Limpo(C) ∧ BracoLivre

Objetivo: SobreMesa(C) ∧ Sobre(B,C) ∧ Sobre(A,B)

Teoria do Dom´ınio:

Op₁: Pegar(x) Op₂: Soltar(x)

Pr´e-cond.: Limpo(x) ∧ SobreMesa(x) ∧ BracoLivre Pr´e-cond.: Segurando(x)

Adi¸cão: { Segurando(x) } Adi¸cão: { SobreMesa(x), Limpo(x), BracoLivre } Remo¸cão: { SobreMesa(x), Limpo(x), BracoLivre } Remo¸cão: { Segurando(x) }

Op₃: Desempilhar(x,y) Op₄: Empilhar(x,y)

Pr´e-cond.: Sobre(x,y) ∧ Limpo(x) ∧ BracoLivre Pr´e-cond.: Segurando(x) ∧ Limpo(y)

Adi¸cão: { Segurando(x), Limpo(y) } Adi¸cão: { Limpo(x), Sobre(x,y), BracoLivre } Remo¸cão: { Limpo(x), Sobre(x,y), BracoLivre } Remo¸cão: { Segurando(x), Limpo(y) }

(8)

Planejamento como busca heur´ıstica

• At´e o final dos anos 90 as pesquisas se concentravam em planejamento como busca pelo espa¸co de planos. Planejadores POP, SNLP, Prodigy;

• No final dos anos 90 o planejador HSP resgatou a busca pelo espa¸co de estados guiado por uma fun¸c˜ao heur´ıstica;

• Uso de heur´ısticas baseadas na solu¸c˜ao de uma tarefa relaxada exploram o conhecimento acumulado em pesquisas passadas;

(9)

O grafo de planejamento

• O planejador Graphplan introduziu o conceito do grafo de planejamento;

• O grafo de planejamento é um grafo orientado de n´ıveis, ou camadas. Esse grafo tem alternadamente n´ıveis de proposi¸cões e n´ıveis de a¸cões;

• O planejador Graphplan alterna entre duas fases: a constru¸cão de um grafo de planejamento e a extra¸cão de uma solu¸cão desse grafo;

• Durante a constru¸cão do grafo de planejamento, após a adi¸cão de cada par de n´ıveis de a¸cões e proposi¸cões, Graphplan efetua uma análise de rela¸cões de exclusão mútua entre todas as combina¸cões de dois vértices de um mesmo n´ıvel do grafo.

(10)

O grafo de planejamento

A figura a seguir apresenta o grafo de planejamento para o problema do jantar surpresa:

(11)

O planejador FF

• O planejador FF é baseado na idéia da heur´ıstica do planejador HSP, que estima as distâncias para o estado objetivo pelo comprimento de uma solu¸cão aproximada para uma tarefa de planejamento relaxada;

• Dada uma tarefa de planejamento P =< ∆, Σ, Γ >, a tarefa relaxada P0 obtida a partir de P ´e definida como P0 =< ∆0, Σ, Γ >, onde ∆0 ´e dado por:

∆0 = {(pre(δ), add(δ), ∅)|(pre(δ), add(δ), del(δ)) ∈ ∆}

• A heur´ıstica do planejador FF emprega o grafo de planejamento para resolver a tarefa relaxada em tempo polinomial;

• O algoritmo de busca empregado pelo FF utiliza a t´ecnica de busca Hill-Climbing refor¸cado, combinando busca local e sistem´atica.

(12)

(13)

Planejamento & Escalonamento

• Pesquisadores de planejamento em IA buscam formas de representa¸c˜ao e algoritmos independentes dos dom´ınios de aplica¸c˜ao;

• Pesquisadores de escalonamento buscam formas de classifica¸c˜ao dos problemas e algoritmos para a resolu¸c˜ao de classes espec´ıficas de problemas;

• Muitos problemas reais apresentam aspectos t´ıpicos tanto de planejamento quanto de escalonamento;

• Com a inten¸cão de atrair o maior número poss´ıvel de pesquisadores, a com-peti¸cão IPC-2002 teve como objetivo apresentar problemas de planejamento que envolvessem racioc´ınio sobre tempo e variáveis numéricas.

(14)

Aspectos de escalonamento

Recursos restringem o n´umero de a¸c˜oes que podem ser executadas em paralelo;

Variáveis Numéricas restringem o número de a¸cões que podem ser livremente executadas durante todo o ciclo de vida de um plano, e podem ser consum´ıveis ou produz´ıveis;

Tempo caracteriza a dura¸cão de cada a¸cão, a ordena¸cão entre elas e instantes (no in´ıcio, durante ou no fim da a¸cão) em que proposi¸cões são satisfeitas;

(15)

Uma linguagem restrita para problemas com vari´

aveis

num´

ericas

• Um estado do mundo ´e descrito por:

S = {(α, β)|α : VP → {⊥, >}, β : VN → Q}

• Um formalismo num´erico de planejamento ´e uma tripla F = (G, P, E ), onde G, P, E ⊆ S

n≥1(Q n

→ Q) são conjuntos de fun¸cões racionais em uma ou mais variáveis;

• As versões numéricas dos dom´ınios do Satélite e do Robô de Explora¸cão utilizam o formalismo num´_{erico F = (∅, {x 7→ x − c | c ∈ Q}, {x 7→ x + c | c ∈ Q}).}

(16)

Planejamento com vari´

aveis num´

ericas

O problema do telescópio espacial batizado de Satellite, o problema consiste de um conjunto de satélites de observa¸cão, cada qual com um conjunto de instrumentos que suportam alguns modos de observa¸cão, como fotográfico, raios-X, infravermelho, etc. Os objetivos do problema são descritos como uma quantidade de observa¸cões a serem realizadas de fenômenos espaciais, como planetas, galaxias, supernovas, etc.

O problema do robô de explora¸cão conhecido como Rovers, esse problema consiste de um ou mais robôs equipados com instrumentos para análise de solo, análise de rocha, e obten¸cão de imagens. Os objetivos dos problemas nesse dom´ınio são descritos como uma série de análises e imagens a serem obtidas

(17)

Exemplo de descri¸

c˜

ao de a¸

c˜

oes - A linguagem PDDL

( :action turn_to

:parameters ( ?s - satellite ?d_new - direction ?d_prev - direction ) :precondition ( and ( pointing ?s ?d_prev )

( not ( = ?d_new ?d_prev ) )

( >= ( fuel ?s ) ( slew_time ?d_new ?d_prev ) ) )

:effect ( and ( pointing ?s ?d_new ) ( not ( pointing ?s ?d_prev ) ) ( decrease ( fuel ?s ) ( slew_time ?d_new ?d_prev ) )

( increase ( fuel-used ) ( slew_time ?d_new ?d_prev ) ) ) )

( :action take_image

:parameters ( ?s - satellite ?d - direction ?i - instrument ?m - mode ) :precondition ( and ( calibrated ?i ) ( on_board ?i ?s ) ( supports ?i ?m )

( power_on ?i ) ( pointing ?s ?d )

( >= ( data_capacity ?s ) ( data ?d ?m ) ) ) :effect ( and ( have_image ?d ?m )

( decrease ( data_capacity ?s ) ( data ?d ?m ) ) ( increase ( data-stored ) ( data ?d ?m ) ) ) )

(18)

O planejador MetricFF

• Estende a fun¸cão heur´ıstica do FF, introduzindo restri¸cões e efeitos numéricos;

• A fun¸cão heur´ıstica do FF é monotônica no número de proposi¸cões, pois ignora as listas de remo¸cão. A fun¸cão heur´ıstica para o MetricFF estende o conceito de monotonicidade para as variáveis numéricas: os efeitos que decrementam as variáveis numéricas são ignorados;

• Como a linguagem numérica utilizada é restrita, a monotonicidade nas res-tri¸cões é garantida pela existência apenas dos operadores + = ,≥ e >;

(19)

O planejador implementado - GMetricFF

• O planejador GMetricFF implementado ´e uma extens˜ao do MetricFF;

• O planejador GMetricFF possui duas formas de controle da busca em largura, além do uso de um critério de otimiza¸cão:

1. velocidade - tem o mesmo comportamento do MetricFF;

2. qualidade - faz uma escolha apenas quando expande todos os nós para uma profundidade da busca em largura. Desempates são resolvidos por uma avalia¸cão gulosa do critério de otimiza¸cão.

• Utiliza um processo externo para parsing da especifica¸cão PDDL e avalia¸cão de todas as instancia¸cões poss´ıveis.

(20)

(21)

Topologia de espa¸

cos de estados - Becos sem sa´ıda

1. Bidirecional: ∀(s, s0) ∈ E ⇐⇒ (s0, s) ∈ E (1) 2. Inofensivo: ∃(s, s0) ∈ E | (s0, s) /∈ E e ∀s ∈ S gd(s) < ∞ (2) 3. Reconhecido: ∃s ∈ S | gd(s) = ∞ e ∀s ∈ S gd(s) = ∞ =⇒ h+(s) = ∞ (3) 4. N˜ao-Reconhecido: ∃s ∈ S | gd(s) = ∞ e h+(s) < ∞ (4)

(22)

Topologia de espa¸

cos de estados - Platˆ

os

1. beco sem sa´ıda: ´e um platˆo de n´ıvel h+ = ∞;

2. m´ınimo local: é um platô de n´ıvel 0 < h+ < ∞ que não tem sa´ıdas;

3. plan´ıcie: ´e um platˆo de n´ıvel 0 < h+ < ∞ que possui pelo menos uma sa´ıda, mas nenhuma sa´ıda aprimoradora;

4. sela: é um platô de n´ıvel 0 < h+ < ∞ que possui pelo menos uma sa´ıda aprimoradora, e pelo menos um estado que não é uma sa´ıda aprimoradora;

(23)

Teoria de Hoffmann

• Permite identificar algumas das caracter´ısticas topol´ogicas de um dom´ınio STRIPS por meio da an´alise dos seus operadores;

• Propriedades identificadas em a¸cões: invers´ıvel, minimamente invers´ıvel, com efeitos de adi¸cão estáticos, com efeitos de remo¸cão irrelevantes, minimamente invers´ıvel relaxada, respeitada pela relaxa¸cão;

• Ex: turn to( x, y ) ´e invertida por turn to( y, x )

• Foi utilizada por Hoffmann para justificar os resultados obtidos pelos planeja-dores de busca local nas competi¸c˜oes do AIPS;

(24)

Exemplo da aplica¸

c˜

ao da Teoria de Hoffmann

O operador calibrate(s, i, x) do dom´ınio do satélite é minimamente invers´ıvel (defini¸cão 20) a s´ı mesmo.

( :action calibrate

:parameters ( ?s - satellite ?i - instrument ?d - direction ) :precondition ( and ( on_board ?i ?s )

( calibration_target ?i ?d ) ( pointing ?s ?d ) ( power_on ?i ) ) :effect ( calibrated ?i ) )

(25)

Teoria de Hoffmann e sua extens˜

ao

• A extensão proposta permite identificar a ausência de becos sem sa´ıda em dom´ınios numéricos;

• A extensão proposta identifica efeitos numéricos irrelevantes nas a¸cões. Efeitos numéricos irrelavantes não afetam a aplicabilidade de outras a¸cões, portanto não levam a becos sem sa´ıda

(26)

(27)

(28)

(29)

(30)

(31)

(32)

(33)

Conclus˜

oes

• Constata¸cão teórica e emp´ırica de que os novos problemas propostos na competi¸cão IPC-2002 que envolvem variáveis numéricas representam um grande desafio aos planejadores.

• Utiliza¸cão da extensão da teoria de Hoffmann para analisar e classificar os dom´ınios do Satélite e do Robô de Explora¸cão com variáveis numéricas;

• Ainda são poucos os sistemas capazes de tratar dos aspectos numéricos existentes para essas novas classes de problemas, e com certeza ainda há muito o que ser estudado e aperfei¸coado na área de planejamento em IA a fim de superar esses novos desafios.

(34)

Trabalhos futuros

• Problemas que envolvam a¸c˜oes durativas e tempo cont´ınuo;

• Novas extens˜oes `a teoria de Hoffmann;