Implementaci´on y an´alisis de rendimiento de un sistema de planeamiento lineal basado en el modelo MPBH

(1)

Implementaci´ on y an´ alisis de rendimiento de un sistema de planeamiento lineal

basado en el modelo MPBH

Tesis para obtener el T´ıtulo Profesional de Ingeniero de Sistemas Christian Danniel Paz Trillo

Miembros del Jurado:

Lic. Wilber Ramos Lov´on.

Lic. Percy Huertas Niquen.

PhD. Ernesto Cuadros Vargas.

Escuela Profesional de Ingenier´ıa de Sistemas

Universidad Nacional de San Agust´ın - Arequipa - Per´u

(2)

Agenda

I Introducci´on

I Planeamiento en IA

I Principales Sistemas de Planeamiento

I Planeador MPBH

I Resultados

I Discusi´on

(3)

Introducci´ on

I El problema de planeamiento consiste en la identificaci´on del conjunto de acciones que aplicadas a un estado inicial generan un estado que satisface las condiciones meta.

I MPBH: Modelo de Planeamiento basado en b´usqueda heur´ıstica, propuesto recientemente en la EPIS-UNSA.

I An´alisis de rendimiento comparativo de MPBH con STAN, HSP, FF y Black- box.

(4)

Objetivos -

Introducci´on

I

Analizar el rendimiento de MPBH en comparaci´ on con otros siste- mas de planeamiento para identificar fortalezas y proponer mejoras a puntos identificados como debilidades.

I Determinar las muestras y las variables para la medici´on del rendimiento.

I Ejecutar las pruebas para medir el rendimiento de MPBH y de STAN, HSP, FF y Blackbox, en funci´on de las variables identificadas.

I Realizar el an´alisis comparativo de los resultados obtenidos en las mediciones.

I Analizar los procesos e identificar puntos d´ebiles y ventajas.

I Proponer alternativas a los puntos d´ebiles e implementarlas para verificar su aporte al modelo.

(5)

Hip´ otesis y Variables -

Introducci´on

I

Hip´ otesis:

El planeador MPBH es competitivo en t´erminos de n´umero de problemas resueltos frente a los planeadores STAN, HSP, FF y Blackbox de eficacia comprobada.

I

Variables:

Valor Indicadores

Independientes Planeadores STAN, HSP, FF,Blackbox y MPBH

Dependientes Competitividad Nro. de Problemas resueltos Rendimiento Tiempo de Procesamiento

Nro. de Estados Generados Tama˜no de Plan

Tiempo C´alculo Heur´ıstica

(6)

Determinaci´ on de la muestra -

Introducci´on

I Dos ´ambitos de prueba:

• Monodominio: Estudio especial considerando problemas de un ´unico dominio de planeamiento:

el mundo de los bloques

.

Tama˜no de muestra:

160

, error

0,1

.

• Multidominio: Estudio considerando problemas de los dominios:

mun- do de los bloques

,

elevador

,

log´ıstica

y

sat´ elite

.

Tama˜no de muestra:

53

, error

0,17

.

99 %

de porcentaje del universo al que se puede generalizar la hip´otesis.

(7)

Planeamiento en IA

I Area de investigaci´´ on dentro de IA.

I Consiste en la identificaci´on del conjunto de acciones que aplicadas a un estado inicial generan un estado que satisface las condiciones meta.

I Planeamiento dependiente del dominio: Implementaciones utilizan conoci- miento espec´ıfico del dominio.

I Planeamiento independiente del dominio: Extraen informaci´on de la especi- ficaci´on del problema de planeamiento.

(8)

El Problema -

Planeamiento en IA

I Ejemplo del mundo de los bloques.

I

Objetos y Tipos:

b:

Bloque

.

I

Atomos y Predicados: ´ Sobre

(b,a) :

Sobre(X: Bloque, Y: Blo- que)

.

I

Estados:

Situación en el mundo, es definido por el conjunto de condiciones(átomos) que son verdaderos en él.

{Sobre

(b,a),

Sobre

(c,b), ...

}

.

I

Acci´ on:

Funci´on que modifica un estado del mundo.

MoverAMesa

(c,b) :

MoverAMesa(X: Bloque, Origen: Bloque)

hace que

Sobre

(c, b) no sea m´as verdadero(efecto negativo) y hace que

Sobre

(c, mesa) sea verdadero(efecto positivo). Para que la acci´on sea aplicable, hace falta que tanto

Sobre

(c,b) como

Libre

(c) sean verdaderos(precondiciones).

I

Dominio:

Acciones y Predicados.

(9)

Enfoques -

Planeamiento en IA

I

B´ usqueda en Espacio de Estados

: Espacio de estados

E = (V, A, i, M )

:

•

V

es un conjunto de v´ertices, donde cada v´ertice

v

representa un estado alcanzable desde el estado inicial

i

,

•

A

es un conjunto de aristas dirigidas, donde cada arista etiquetada con

a

une dos v´ertices

v

₁ y

v

₂ ssi existe una acci´on

a

talque

prec(a) ⊆ v

₁, y

v

₂

= v

₁

\ ef neg (a)∪ ef pos (a)

,

•

i ∈ V

es el estado inicial,

•

M : {m ∈ M, G ⊆ m}

es el conjunto de estados meta.

Problema de planeamiento: encontrar un camino(el m´as corto) entre el v´ertice

i

y cualquier v´ertice del conjunto

M

. Ej:

HSP

y

FF

.

I

Planeamiento de Orden Parcial

: Búsqueda de planes parcialmente or- denados en que cualquier ordenación topológica genere un plan válido total- mente ordenado. Ej:

TWEAK

,

SNLP

y

UCPOP

.

(10)

Enfoques -

Planeamiento en IA

I

Grafo de Planeamiento

:

G = (V P, V A, AP, AEP, AEN, I )

•

V P

: cjto de

nodos proposicionales

(´atomos),

•

V A

: cjto de

nodos de acciones

,

•

AP

: cjto de

aristas de precondiciones

, dirigida de un nodo proposicional

p

a un nodo de acci´on

a

, siempre que

p ∈ prec(a)

,

•

AEP

: cjto de

aristas de efectos positivos

, dirigida de un nodo de acci´on

a

a un nodo proposicional

p

, siempre que

p ∈ ef pos (a)

,

•

AEN

: cjto de

aristas de efectos negativos

,

•

I

: cjto de nodos proposicionales del estado inicial y forman el primer nivel del grafo,

• grafo estructurado por niveles, los nodos de cada nivel s´olo se enlazan con los del siguiente nivel,

• primer y ´ultimo niveles compuestos de nodos proposicionales y los niveles se intercalan entre proposicionales y de acciones,

• ultimo nivel: debe incluir las condiciones meta.´

(11)

Enfoques -

Planeamiento en IA

I

Grafo de Planeamiento

(cont.)

• El algoritmo genera el grafo de planeamiento adicionando un nivel de acciones y uno proposicional en cada paso,

• el grafo de planeamiento es generado en tiempo polinomial y contiene informaci´on interesante acerca del problema.

Ej:

Graphplan

,

IPP

,

FF

y

STAN

.

I

Planeamiento con L´ ogica Proposicional

:

• Expresa un problema de planeamiento en l´ogica proposicional para poder utilizar un algoritmo SAT.

• La atribuci´on que satisface el problema SAT es convertida en un plan que el algoritmo retorna como respuesta.

• Los algoritmos SAT son bastante estudiados dada su importancia com- putacional, y hay muchos progresos en esta ´area.

Ej:

SATPlan

y

Blackbox

.

(12)

HSP -

Principales Sistemas de Planeamiento

I

Heuristic Search Planner

.

I Innovó la solución de problemas de planeamiento con búsqueda heur´ıstica:

problema relajado

.

I HSP propone la relajación automática de un problema de planeamiento: des- considerando los efectos negativos de las acciones se puede llegar a soluciones más rápido.

I El tamaño de una solución del problema relajado es una heur´ıstica que guia la búsqueda en el problema original.

I Usa el algoritmo weighted

A

^∗, que permite dar importancia al estimado heur´ıstico.

I Calcula su heur´ıstica usando un algoritmo de programación dinámica para cálculo de ruta m´ınima en un grafo dirigido.

(13)

HSP -

I HSP es eficiente en n´umero de problemas resueltos.

I Frecuentemente emplea mayor tiempo de procesamiento.

I Frecuentemente genera planes m´as grandes.

I El c´alculo de la heur´ıstica de HSP consume aproximadamente el

85

% de su tiempo total de procesamiento.

I HSPr es una variaci´on de HSP que efectua una b´usqueda regresiva, lo que le permite calcular la heur´ıstica una sola vez.

I HSPr sin embargo no garantiza ser mejor en todos los dominios, como en el mundo de los bloques.

(14)

FF -

I

Fast Forward

.

I Al igual que HSP realiza una b´usqueda progresiva, utilizando un algoritmo de b´usqueda local llamado

Hill-climbing

reforzado.

I La relajaci´on del problema es resuelta utilizando grafos de planeamiento.

I La implementaci´on del grafo de planeamiento en FF es altamente optimizada.

I FF ha demostrado una alta competitividad pues fue seleccionado como par- te del grupo A en la Competencia de Planeamiento del a˜no 2000, por su eficiencia en t´erminos de tiempo y cantidad de problemas resueltos.

(15)

STAN -

I Originalmente basado en Graphplan.

I Utiliza el sistema de an´alisis de dominio TIM.

I Identifica tipos de objetos asociando a ellos el concepto de movilidad.

I Posee una implementaci´on optimizada de las relaciones mutex del grafo de planeamiento propuesto en

Graphplan

.

I TIM detecta las relaciones mutex m´as eficientemente que

Graphplan

.

I STAN posee un mejor rendimiento que el algoritmo

Graphplan

original.

I STAN presenta un rendimiento menor al de los planeadores FF y HSP en general.

(16)

Blackbox -

I Combina grafos de planeamiento y l´ogica proposicional.

• El problema es convertido a un grafo de planeamiento de longitud

k

en que el último nivel del grafo contiene las condiciones meta. Los mutexes se calculan dentro del grafo. Un mutex es la disyunción de dos objetos negados, y los algoritmos SAT toman ventaja de ésto para calcular las soluciones más rápido.

• El grafo de planeamiento es convertido a una fórmula en notación CNF, la cuál es simplificada automáticamente por un algoritmo general de simplificación de fórmulas.

• La f´ormula es solucionada por un algoritmo SAT:

Walksat

(local),

chaff

,

satz

o

relsat

(globales).

• Si se encontró una solución al CNF, la asignación de valores a variables encontrada por el algoritmo es traducida a un plan y este resultado es dado como respuesta. En caso de no encontrarse una respuesta,

k

es incrementado en

1

y el proceso se repite.

(17)

Blackbox -

I Blackbox present´o un mejor rendimiento que los planeadores basados en grafo de planeamiento como STAN.

I Cabe resaltar que el rendimiento de Blackbox depende fuertemente del rendimiento del resolutor SAT utilizado.

I La comunidad que desarrolla algoritmos para solucionar el problema SAT es grande, y avanza a un ritmo m´as acelerado que la comunidad de planeamien- to.

I Cada año surgen nuevos resolutores SAT los cuáles permiten que sin necesi- dad de modificar Blackbox su desempeño sea mejorado.

(18)

Planeador MPBH

I

Modelo de Planeamiento basado en B´ usqueda Heur`ıstica

.

I Ejecuta una b´usqueda heur´ıstica en el espacio de estados del problema de planeamiento.

I Propone una función heur´ıstica que utiliza la información generada por el grafo de planeamiento del problema relajado para cada estado evaluado, la relevancia de la heur´ıstica está en la selección de las acciones para la generación del plan relajado.

(19)

Estructura -

Planeador MPBH

(20)

B´ usqueda -

Planeador MPBH

(21)

Grafo de Planeamiento -

Planeador MPBH

(22)

STRIPS -

Planeador MPBH

I

STanford Research Institute Problem Solver

.

I Fue uno de los primeros planeadores, y propuso un lenguaje derivado de LISP para representar problemas de planeamiento.

I La notaci´on PDDL fue adoptada por las competiciones internacionales como un est´andar para describir problemas de planeamiento.

I Un dominio tiene un nombre y define los tipos, predicados y acciones permi- tidas.

I Un problema tiene un nombre, un dominio asociado y define los objetos(asociados a sus tipos), y una descripci´on completa del estado inicial y condiciones meta.

(23)

Criterios de Evaluaci´ on:

^Resultados

I Evaluaci´on por n´umero de problemas resueltos.

I Evaluaci´on de tiempo de procesamiento, n´umero de estados generados y longitud de plan alcanzado.

I Evaluaci´on de tiempo de c´alculo de la heur´ıstica.

I Uso de dominios est´andar para evaluaci´on utilizados en competencias internacionales.

I Dos ´ambitos: monodominio(mundo de los bloques) y multidominio(mundo de los bloques, log´ıstica, elevador y sat´elite).

I Muestras: 160 problemas para el mundo de los bloques y 53 problemas en el

´

ambito multidominio.

I L´ımite de tiempo de ejecuci´on: 10 minutos.

(24)

Nro. de Problemas Resueltos:

Mundo de los Bloques

(25)

Nro. de Problemas Resueltos:

Multidominio

(26)

Resultados: Problemas Resueltos

I En el ámbito monodominio el planeador MPBH resolvió menos problemas que los demás planeadores: Se rechaza con

100 %

de confianza la hip´otesis en que

El planeador MPBH es competitivo en t´ erminos de n´ umero de problemas resueltos frente a los planeadores STAN, HSP, FF y Blackbox de eficacia comprobada

para el dominio del mundo de los bloques.

I En el ´ambito multidominio MPBH resolvi´o una cantidad de problemas en promedio equivalente a los resueltos por los otros planeadores. Se cumple con un valor de entre

90 %

y

95 %

de confianza, la hip´otesis en que

El planea-

dor MPBH es competitivo en t´ erminos de n´ umero de problemas

resueltos frente a los planeadores STAN, HSP, FF y Blackbox de

eficacia comprobada

(27)

An´ alisis adicional: Mundo de los bloques

Longitud de plan Tiempo de Procesamiento

Estados generados

(28)

An´ alisis adicional: ^Sat´ ^elite

Estados generados

(29)

An´ alisis adicional: ^Elevador

Estados generados

(30)

An´ alisis adicional: ^Log´ıstica

Estados generados

(31)

C´ alculo de Heur´ıstica: ^Resultados

Mundo de los Bloques Sat´elite

Elevador Log´ıstica

(32)

An´ alisis del C´ alculo de Heur´ıstica:

^Resultados

I

El c´ alculo de heur´ıstica consume un peque˜ no porcentaje del tiempo total de procesamiento.

I

La b´ usqueda consume un alto porcentaje de tiempo, dado que la b´ usqueda local efect´ ua s´ olo las comparaciones necesarias, se debe reducir el n´ umero de estados evaluados por el algoritmo de b´ usqueda en anchura.

I

Es necesario realizar un procedimiento de poda en el espacio de estados utilizando informaci´ on del grafo de planeamiento.

I

Como se tiene un plan pre-elaborado, las acciones que se se-

leccionaron para ese plan son considerados ´ utiles y los estados

generados por ese tipo de acciones deben ser evaluados con ma-

yor prioridad.

(33)

Poda de estados: Longitud de plan

Mundo de los bloques Sat´elite

(34)

Poda de estados: Tiempo de procesamiento

(35)

Poda de estados: ^N´ umero de Estados

(36)

An´ alisis del C´ alculo de Heur´ıstica:

^Resultados

I

Despu´ es de implementar la poda, se compar´ o el tiempo de pro- cesamiento, el n´ umero de estados generados y la calidad de los planes encontrados.

I

Se disminuy´ o dr´ asticamente el tiempo de procesamiento y el n´ umero de estados generados en la mayor´ıa de dominios.

I

La calidad de los planes disminuy´ o en la mayor´ıa de dominios.

I

S´ olo en el dominio del mundo de los bloques no se consigui´ o me-

joras significativas.

(37)

Conclusiones y Recomendaciones

I MPBH lleva en promedio mayor tiempo de procesamiento que los otros planeadores de efectividad comprobada.

I MPBH encuentra soluciones de calidad equivalente o menor a los planeadores de efectividad comprobada.

I El c´alculo de heur´ıstica consume un porcentaje m´ınimo del tiempo total de procesamiento.

I MPBH genera un mayor número de estados en la búsqueda de la solución. La mayor cantidad de nodos es generada por la búsqueda en anchura utilizada durante el algoritmo

Hill-climbing

reforzado.

I Problema: expansi´on de estados sin criterio de selecci´on.

I Propuesta: realizar una poda que asigna diferentes prioridades a los estados expandidos (mayor prioridad a los generados por acciones seleccionadas durante el c´alculo de la heur´ıstica).

(38)

Conclusiones y Recomendaciones

I Esto redujo considerablemente la cantidad de nodos generados, y por conse- cuencia el tiempo de procesamiento en tres de los cuatro dominios de prueba.

Sin embargo, la calidad de los planes se vi´o reducida.

I STAN y HSP poseen limitaciones en su procesamiento del PDDL. Black- box no pudo resolver ning´un problema concerniente al dominio de Log´ıstica.

S´olo MPBH y FF resolvieron problemas de todos los dominios evaluados:

Planeador independiente de dominio.

I El problema de planeamiento es un problema altamente complejo y existen problemas que, a pesar de tener soluci´on, pueden tomar tiempos no acepta- bles en ser resueltos.

I Es necesario sopesar entre dar mayor eficiencia a un planeador y garantizar que resuelva la mayor cantidad de problemas posibles.

(39)

Aportes

I Recopilaci´on del estado del arte del problema de planeamiento.

I Comparación espec´ıfica en función del tiempo general de procesamiento, espacio requerido para resolver los problemas y calidad de solución entre los planeadores más reconocidos para un conjunto de dominos diferentes.

I An´alisis estad´ıstico del

χ

² para comparaci´on de los planeadores tanto en dominios individuales como en m´ultiples dominios.

I Detecci´on de fortalezas, debilidades para MPBH y propuesta de mejora.

I Mejora en el algoritmo de b´usqueda en anchura que permiti´o reducir la cantidad de estados generados y el tiempo total de procesamiento en promedio.

Permiti´o resolver problemas que el MPBH original no pudo resolver.

(40)

Dificultades Encontradas

I Los tamaños de muestras requeridos para conseguir un alto grado de confianza para la demostración de la hipótesis es grande para universos infinitos, como es el caso del conjunto de problemas de planeamiento.

I Elaboraci´on de la bater´ıa de pruebas, con generaci´on aleatoria de problemas

I Ejecuci´on de las pruebas.

(41)

Trabajo futuro

I Optimizar EDs del planeador MPBH, para mejorar los tiempos de respuesta del mismo. Es importante trabajar sobre este modelo, dado que se de- mostr´o que tiene un gran potencial en cantidad de problemas resueltos.

I Identificar las causas que llevan a obtener planes de menor calidad con la aplicaci´on de la poda de acciones ´utiles; pues si bien es cierto que es importante obtener mejora en el tiempo total de procesamiento, la calidad de los planes no debe ser afectada.

I Investigar variaciones de algoritmos de b´usqueda(estrategia y direcci´on) con la heur´ıstica MPBH.

I Analizar las caracter´ısticas espec´ıficas de los dominios que hacen que el planeador MPBH tenga menor rendimiento, como los de log´ıstica y sat´elite.