Aprendizagem Estrutural de Redes Bayesianas Utilizando Métrica MDL Modificada

(1)

Aprendizagem Estrutural de Redes Bayesianas

Utilizando M´etrica MDL Modificada

Aderson Cleber Pifer UFRN - Brasil

Email: acpifer@dca.ufrn.br

Luiz Affonso Guedes UFRN - Brasil

Email: affonso@dca.ufrn.br

Resumo— Redes Bayesianas s˜ao ferramentas que des-crevem distribui¸cões de probabilidade através de uma representa¸cão gráfica. Tais redes manipulam incertezas existentes em sistemas do mundo real. A partir da ´

ultima década, surgiu um interesse especial no apren-dizado das estruturas dessas redes a partir de um conjunto de dados, entretanto, o aprendizado da sua estrutura é um problema NP-Dif´ıcil, o que demanda a utiliza¸cão de algoritmos de busca heur´ısticos. Muitos desses Algoritmos são baseados em métricas de pon-tua¸cão para estimar o modelo. Este trabalho procura realizar o aprendizado da estrutura da rede ALARM, que ´e um benchmark padr˜ao, utilizando-se o algoritmo de busca K-2 com uma modifica¸cão na medida MDL como métrica de pontua¸cão. Os resultados demonstra-ram que a métrica de pontua¸cão com parâmetros mais restritivos, ou seja que selecionam estruturas de redes mais simples, apresentam resultados superiores aqueles menos restritivos e que a métrica MDL modificada re-torna melhores resultados que a métrica MDL original. Palavras chave— Redes Bayesianas, MDL, Apren-dizagem Estrutural, Métrica de Pontua¸cão, K-2, ALARM.

I. Introdu¸c˜ao

C

OM a evolu¸cão das técnicas de fabrica¸cão, os com-putadores tornaram-se ferramentas de uso cotidiano possibilitando o armazenamento de uma enorme quanti-dade de informa¸cão sobre os diferentes ramos de ativiquanti-dade humana. Essa evolu¸cão técnica implicou em um aumento da competitivade entre as empresas e tornou-se necessário para a sobrevivência das mesmas a ado¸cão de mecanismos que pudessem classificar e analisar as informa¸cões arma-zenadas e, assim, auxiliar a tomada de decisões por parte das empresas [1]. Todo esse processo fez ressurgir o in-teresse dos pesquisadores em técnicas de aprendizagem de máquina, como: árvores de decisão, redes neurais, sistemas especialistas e redes Bayesianas.

Por representarem o formalismo semântico da probabi-lidade (probabiprobabi-lidade conjunta) de uma forma compacta e clara aos olhos humanos (estrutura gráfica) e trabalharem com incertezas em sistemas inteligentes do mundo real, as redes Bayesianas passaram a desempenhar um papel importante em uma vasta área de aplica¸cões a partir da década de noventa [2], [3]. Dentre as principais áreas de aplica¸cão, pode-se destacar: industrial (sistemas de diag-nósticos de falhas e predi¸cão), militar (localiza¸cão

auto-mática de alvos) e comercial (recupera¸cão de informa¸cões e análise do mercado financeiro).

Rede Bayesiana é um par (G, Θ), onde G é um grafo dirigido ac´ıclico e Θ é um conjunto particular de pa-râmetros. Esse conjunto de parâmetros Θ especifica as distribui¸cões de probabilidade condicional associadas às variáveis representadas em G. O grafo dirigido ac´ıclico G é também conhecido estrutura da Rede Bayesiana [4].

Em muitas situa¸cões reais, o conhecimento prévio dos parâmetros e da estrutura de rede que compõem os conjun-tos de dados não são plenamente conhecidos e, portanto, a utiliza¸cão do conhecimento de especialistas humanos para descrever a estrutura da rede Bayesiana torna-se restrita. Para esses casos, o aprendizado automático baseado em um conjunto de dados apresenta-se como uma solu¸cão interessante. Este trabalho tem como objetivo explorar justamente o aprendizado da estrutura da rede Bayesiana utilizando-se de um algoritmo de busca baseado em pon-tua¸cão e na métrica MDL com a fun¸cão de penaliza¸cão modificada por um parâmetro que fortalece ou enfraquece a fun¸cão de penaliza¸cão logar´ıtmica.

Este artigo encontra-se organizado da seguinte maneira: na segunda se¸cão são introduzidas as formas de apren-dizagem estrutural das redes Bayesianas a partir de um conjunto de dados e discutida a contribui¸cão deste tra-balho na métrica de pontua¸cão MDL. A terceira se¸cão apresenta os resultados práticos obtidos com a métrica MDL e sua modifica¸cão para a rede ALARM. Na quarta se¸cão são discutidos os resultados obtidos e sugeridos trabalhos futuros.

II. Aprendizagem de Rede Bayesiana Conceitualmente, os algoritmos de aprendizagem de redes Bayesianas est˜ao divididos em:

• Aprendizagem Param´etrica: Refere-se ao

apren-dizado das distribui¸cões de probabilidade condicional, conjunto Θ de parâmetros da defini¸cão de redes Baye-sianas [4];

• Aprendizagem da Estrutura: Refere-se ao

apren-dizado do grafo dirigido ac´ıclico, ou seja, define quais as arestas orientadas ligando os v´ertices devem ser adicionadas ao grafo.

O aprendizado dos parâmetros Θ é trivial se for co-nhecida a estrutura da rede ótima para o conjunto de

(2)

dados completo conhecido, pois recai-se em um problema de maximiza¸cão da fun¸cão de verossimilhan¸ca, ou seja, a minimiza¸cão da Entropia de Kullback-Leibler [5], [6].

Já o aprendizado da estrutura de redes Bayesianas pode ser separado em duas principais correntes. A primeira basea-se em selecionar a rede que melhor define os dados baseado em uma medida de pontua¸cão como as Métricas Bayesianas, Medidas de Informa¸cão ou MDL [6], [7], [8]. Essa abordagem é conhecida como algoritmos de aprendi-zagem baseados em pontua¸cão. A segunda corrente pro-cura selecionar a estrutura da rede Bayesiana baseando-se no conceito de d-separa¸cão apresentado por [9]. Essa abor-dagem procura identificar as rela¸cões de independência condicional existentes entre os vértices através do uso de testes estat´ısticos como Chi-quadrado e Informa¸cão Mútua e a partir dessas rela¸cões de independência condicional encontrar a estrutura da rede de cren¸ca. Métodos existen-tes dentro dessa abordagem são chamados de algoritmos baseados em restritores ou baseados em CI (independência condicional) [5]. Neste trabalho utilizá-se a abordagem baseada em pontua¸cão.

Segundo [10], toda a forma de aprendizagem de redes Bayesianas baseadas em pontua¸cão é composta por dois elementos: um algoritmo de busca e uma métrica de pontua¸cão.

A. Algoritmo de Busca K-2

Descrito em [6], o algoritmo K-2, é um método de busca gulosa que procura maximizar a qualidade da estru-tura da rede Bayesiana. O algoritmo inicializa com uma estrutura simples contendo apenas os vértices da rede. Considerando-se que os vértices estejam pré-ordenados, o algoritmo, a cada passo, adiciona ao conjunto de pais π(xi)

do v´ertice analisado xi, o v´ertice antecessor Anc(xi) que

conduza ao m´aximo incremento na medida de qualidade adotada, realizando este passo sucessivamente enquanto ocorrer um aumento na medida de qualidade ou at´e que a rede esteja completamente conectada.

B. M´etricas de Pontua¸c˜ao

Uma medida de qualidade Q(Bs|D, ξ) ´e um crit´erio pelo

qual pode-se ordenar um conjunto de todas as redes de cren¸ca poss´ıveis por sua qualidade, onde Bs´e a estrutura

da rede Bayesiana, D é o conjunto de dados e ξ é infor-ma¸cão a priori. Ou seja, o objetivo do uso da métrica é encontrar a rede que possui a mais alta qualidade, isto é, aquela rede de cren¸ca que descreva da melhor forma poss´ıvel o conjunto de dados D e a informa¸cão a priori ξ conhecidos, tornando a aprendizagem estrutural da rede Bayesiana em um problema de maximiza¸cão de uma fun¸cão. Para que uma métrica de pontua¸cão seja efetiva é necessário que ela possua algumas propriedades, as quais estão descritas a seguir [10], [11]:

1) Equivalˆencia de peso para redes isomorfas. Ou seja,

Q(Bsi|D, ξ) = Q(Bsj|D, ξ) para redes que

represen-tem o mesmo modelo de dependˆencia;

2) Redes cujos especialistas definam como mais prov´a-veis devem apresentar valores de qualidade maiores do que aquelas definidas como menos prov´aveis; 3) Redes que representem um Mapa-Perfeito devem ter

valores maiores do que as que n˜ao representam; 4) Redes que representem um I-Mapa M´ınimo devem

ter valores mais altos do que aquelas que representem um I-Mapa. Se todas as rela¸cões de independência presentes no grafo através do conceito de d-separa¸cão estão presentes no modelo de dependência, este grafo é dito um I-Mapa do modelo de dependência; 5) Em caso de igualdade nas propriedades anteriores,

uma rede que possua um menor número de parâme-tros em suas probabilidades condicionais é prefer´ıvel àquela que possui um número maior de parâmetros; 6) Redes Bayesianas que representem as informa¸cões contidas no conjunto de dados retornam valores maiores que redes de cren¸ca que contradigam as informa¸cões contidas nos dados.

Considerando-se as propriedades apresentadas anterior-mente, define-se que uma medida de qualidade deve ser formada por trˆes componentes (descritas na equa¸c˜ao 1):

Q(Bs) = (f (Ipriori), g(D), h(Complex)) (1)

onde:

• f (Ipriori): Representa a informa¸c˜ao a priori que se

tem sobre a rede Bayesiana. A fun¸cão retorna uma probabilidade alta para as prováveis redes definidas pelos especialistas e valores de probabilidade baixos para aquelas que são pouco prováveis. Este termo tem seu peso depreciado à medida que o número de amostras do conjunto de dados aumenta. Usualmente, quando não se tem conhecimento prévio sobre quais redes são mais prováveis utiliza-se a distribui¸cão uni-forme para representar este termo;

• g(D): Este termo define o grau de representatividade

dos dados com a estrutura de rede avaliada. Estrutu-ras de redes Bayesianas que representam o conjunto de dados retornam valores mais altos e aquelas es-truturas que não estão de acordo com a informa¸cão apresentada pelo conjunto de dados retornam valores mais baixos;

• h(Complex): Este termo tem por fun¸c˜ao penalizar

redes que apresentam um grau de complexidade maior do que estruturas de redes mais simples. Assim, es-truturas que possuam um número menor de arestas interligando seus vértices e/ou parâmetros, desde que satisfa¸cam o modelo de dependência, são mais dese-jáveis e apresentam probabilidades maiores do que aquelas que possuam um número alto de arestas e/ou parâmetros. Deste modo, o objetivo deste termo é diminuir a complexidade no cálculo de inferências. De acordo com [10], existe na literatura basicamente três grupos classificatórios de medidas de qualidade:

• Medidas Bayesianas de Qualidade; • Medidas de Informa¸c˜ao de Qualidade;

(3)

• MDL - Tamanho M´ınimo de Descri¸c˜ao (inglˆes:

Mini-mum Description Length).

As medidas Bayesianas de qualidade necessitam de uma especifica¸cão quanto ao modelo de distribui¸cão a priori, tanto para a estrutura da rede de cren¸ca quanto para os parâmetros. Infelizmente este tipo de informa¸cão nem sempre está dispon´ıvel, fazendo com que suposi¸cões sobre o modelo de distribui¸cões sejam necessárias como o ocorrido em [6], [12] e [13].

Assim como as métricas Bayesianas, as medidas de qualidade baseada na Teoria da Informa¸cão procuram selecionar dentre as estruturas de rede poss´ıveis aquela que melhor se adapte ao conjunto de dados, porém estas não necessitam nenhum tipo de informa¸cão sobre o modelo de distribui¸cão a priori. A equa¸cão 2 descreve a métrica de informa¸cão de forma generalizada, por:

P (Bs, D) = log (P (Bs)) + n X i=1 qi X j=1 ri X k=1 µ

NijklogNijk

Nij ¶ −f (N ) n X i=1 qi(ri− 1) (2) onde:

• P (B_s) descreve a informa¸c˜ao a priori da estrutura de

rede, ou seja, f (Ipriori) ; • n X i=1 qi X j=1 ri X k=1 µ

NijklogNijk

Nij

¶

´e a entropia condicional para redes Bayesianas, ou seja, o termo g(D);

• f (N ) é uma fun¸cão de penaliza¸cão não negativa. Esta

fun¸cão tem por objetivo penalizar estruturas de rede que necessitam um número maior de parâmetros para determinar sua probabilidade conjunta;

• n

X

i=1

qi(ri− 1) ´e o n´umero de termos de probabilidade

independentes associado `a fun¸c˜ao de probabilidade conjunta. Este termo associado com f (N ) remontam o termo h(Complex).

• n n´umero de variáveis aleatórias (vértices); • ri valores que a variável xi pode assumir;

• qi valores que o conjunto de pais da vari´avel xi pode

assumir;

• Nijk é o número de ocorrências de uma instância de

xi com a determinada valor do conjunto pai; • Nij =

ri

X

k=1

Nijk;

• N ´e o n´umero total de amostras pertencentes ao

conjunto de dados D.

Substituindo a fun¸cão de penaliza¸cão por f (N ) = 1, obtém-se o Critério de Informa¸cão de Akaike (AIC - inglês: Akaike Information Criterion) [14], caso f (N ) = 0 o critério obtido é o de máxima verossimilhan¸ca e quando f (N ) = (1/2) log(N ) tem-se o Critério de Informa¸cão Bayesiano (BIC - inglês: Bayesian Information Criterion) [15], correspondendo a equa¸cão 3 da métrica MDL [10], [11].

C. Métrica MDL - inglês: Minimum Description Length Bouckaert [7] propõe em seu trabalho a utiliza¸cão da métrica MDL, cuja origem é fundamentada na Teoria de Codifica¸cão, como uma medida de qualidade para a esco-lha da estrutura de rede. O princ´ıpio básico consiste em reduzir ao máximo o número de elementos necessários para representar uma mensagem, baseando-se em sua probabili-dade de ocorrência. Assim, mensagens mais freqüentes são representadas por códigos menores e as mensagens menos freqüentes por códigos maiores. No caso do aprendizado estrutural de redes Bayesianas, a idéia básica é encontrar a estrutura de rede que melhor descreva o conjunto de dados, utilizando o m´ınimo de elementos poss´ıveis para calcular a probabilidade conjunta da rede de cren¸ca, reduzindo desta maneira o esfor¸co computacional necessário no cálculo das inferências. Essa métrica é definida pela equa¸cão 2 com a fun¸cão de penaliza¸cão sendo:

f (N ) = 1

2log (N ) (3)

O segundo termo da equa¸cão 2, é máximo quando o desconhecimento sobre a estrutura de rede é máximo e m´ınimo quando se tem o completo conhecimento sobre a estrutura de rede. Por isso, ao se adicionar vértices ao conjunto de pais de um determinado vértice, o termo de entropia da equa¸cão diminui, pois o modelo de distribui¸cão de probabilidade passa a ser descrito com uma maior precisão. Por outro lado, o terceiro termo da equa¸cão, que representa o erro introduzido pela estima¸cão de todas as probabilidades requeridas [16], indica que estruturas de redes com um número reduzido de arcos são prefer´ıveis àquelas com um número maior de arcos. A soma resultante do segundo e do terceiro termo garante que a rede com maior ´ındice de qualidade será aquela que possua uma estrutura balanceada com a contribui¸cão de ambos os termos.

Além de [7] que utiliza o princ´ıpio de descri¸cão m´ınima (MDL - Minimum Description Length) como uma medida de qualidade, substituindo a métrica de Cooper-Herskovits no algoritmo K-2 e renomeando-o por K-3, [17] e [18] também utilizam o princ´ıpio de descri¸cão m´ınima (MDL) no aprendizado de estrutura de redes Bayesianas, porém utilizando diferentes algoritmos de busca.

D. MDL Modificada

Bouckaert em [7] demonstra que a medida de qualidade MDL é mais restritiva que a métrica de Cooper-Herskovits K-2, apresentando um maior número de arestas ausen-tes. Analisando-se a métrica MDL, equa¸cão 3, verifica-se que o termo de penaliza¸cão é dependente do número de amostras e que sua composi¸cão com o termo de entropia condicional define o número ”médio” de elementos neces-sários para representar o conjunto de dados. A partir de um determinado tamanho, as distribui¸cões representadas pelo conjunto de dados não sofrem mais altera¸cões e por conseqüência, a entropia condicional para um mesmo con-junto de pais estabiliza. Considerando-se que o termo de

(4)

penaliza¸cão continua aumentando em fun¸cão do tamanho do conjunto de dados, este termo faz com que a rede seja representada por um número menor de arestas do que o necessário. De maneira a controlar o efeito do tamanho de amostras no termo de penaliza¸cão, adotou-se neste trabalho substituir a fun¸cão de penaliza¸cão por:

f (N ) = log (Nc₎ ₍₄₎

onde:

• c ´e uma constante que define a influˆencia do tamanho

do conjunto de dados na representa¸c˜ao da estrutura da rede.

III. Resultados

Nesta se¸cão são apresentados e comparados os resulta-dos obtiresulta-dos com a métrica de pontua¸cão MDL modificada, descritas na se¸cão II-C, com diferentes parâmetros de pontua¸cão. O algoritmo escolhido para avaliar o desem-penho de cada uma das métricas foi o algoritmo K-2. Os parâmetros utilizados na fun¸cão de penaliza¸cão f (N ) foram os seguintes:

• f (N ) = log Nc com: c = 0, 500, gera-se os resultados

correspondentes à métrica MDL para compara¸cão;

• f (N ) = log Nc com: c = 0, 125; c = 0, 250; c =

0.375; c = 0, 625 e c = 0, 750, verificar o efeito do fortalecimento ou do enfraquecimento da fun¸c˜ao de penaliza¸c˜ao no aprendizado estrutural das redes Baye-sianas.

Esses parâmetros foram avaliados no sitema ALARM, que é um benchmark bastante difundido na literatura de redes Bayesianas. O algoritmo e as métricas foram implementadas em ambiente Linux com a linguagem de programa¸cão C++. Para a avalia¸cão das métricas com os respectivos parâmetros foram gerados através da ferra-menta Netica da Norsys (http://www.norsys.com) cinco conjuntos de dados para cada uma das duas redes Bayesi-anas analisadas, tendo os respectivos tamanhos de amos-tras: 1000, 2000, 3000, 5000 e 10000.

Os resultados obtidos s˜ao comparados com a rede de

benchmark original atrav´es do n´umero de arcos extras

e ausentes, da diferen¸ca simétrica, da entropia cruzada (entropia de Kullback-Leibler) e através da medida de Informa¸cão M´utua. A diferen¸ca simétrica δ entre dois con-juntos de dados é um conjunto cujos elementos pertence a um dos dois conjuntos, mas não a ambos. No caso de redes Bayesianas, tem-se que a diferen¸ca simétrica δ entre o modelo original da rede de cren¸ca e o modelo estimado é definida pela equa¸cão 5 [13], [19]:

δ = n X i=1 (πxi(Bs) ∪ πxi(Bm)) \ (πxi(Bs) ∩ πxi(Bm)) (5) onde:

• π_x_i(B_s) ´e o conjunto de pais do v´ertice x_ina estrutura

de rede estimada;

• πxi(Bm) ´e o conjunto de pais do v´ertice xi na

estru-tura de rede do modelo original.

Para as medidas de entropia Kullback-Leibler, no caso de redes Bayesianas, tem-se que [13], [19], [20]:

H(p, q) = n X i=1 qi X j=1 ri X k=1 P (xi= k, πi= j) logP (xi= k|πi= j) Q(xi= k|πi= j) (6) O cálculo das medidas de Informa¸cão Mútua, é realizado através da equa¸cão 7 com o objetivo de comparar a quantidade de informa¸cão compartilhada entre as variáveis para os conjuntos de dados utilizados.

I(xi, xj) = rj X k=1 ri X k=1 P (xi, xj) log P (xi, xj) P (xi)P (xj) (7) onde:

• ri é o n´umero de poss´ıveis ocorrências de xi; • rj é o n´umero de poss´ıveis ocorrências de xj; • P (xi, xj) é a probabilidade conjunta de xi e xj; • P (x_i) é a probabilidade marginal de x_i;

• P (x_j) ´e a probabilidade marginal de x_j.

A. Rede Bayesiana ALARM

A rede Bayesiana ALARM é composta por 37 variáveis, 46 arcos e 752 parâmetros. Inicialmente descrita por [21] para o monitoramento de pacientes em centros de trata-mento intensivo (CTI). Cada um dos vértices pertencentes à rede representa variáveis de monitoramento do paciente compostas por parâmetros binários, ternários ou quaterná-rios. Neste estudo, adotou-se o pré-ordenamento sugerido por [6].

A Tabela I demonstra os resultados obtidos para a rede Bayesiana ALARM, aplicando-se a medida de qualidade MDL modificada com uma constante c para diferentes números de amostra. Fazendo-se uma análise dos dados da Tabela I e de sua representa¸cão gráfica (Fig.1, Fig.2 e Fig.3) constata-se que apesar da piora nas distribui¸cões ocorridas na gera¸cão do conjunto de dados com 3000 amostras, que estas não afetam o aprendizado da rede para os parâmetros mais restritivos.

TABELA I

Número de arestas extras e ausentes com diferentes parâmetros e diferentes números de amostra para a rede

ALARM com a m´etrica MDL modificada.

Amostras Parˆametros(c)

0, 125 0, 250 0, 375 0, 500 0, 625 0, 750 1000 E 26 6 2 1 1 1 A 1 3 3 4 5 8 δ 27 9 5 5 6 9 2000 E 18 5 1 1 1 1 A 1 3 3 3 3 4 δ 19 8 4 4 4 5 3000 E 15 5 3 2 1 1 A 1 2 2 3 3 3 δ 16 7 5 5 4 4 5000 E 12 3 1 1 1 1 A 0 1 2 3 3 3 δ 12 4 3 4 4 4 10000 E 11 3 2 2 1 1 A 0 0 1 2 2 2 δ 11 3 3 4 3 3 • E arcos extras; • A arcos ausentes; • δ diferen¸ca sim´etrica.

(5)

A partir da Fig.1, que descreve a rela¸cão entre o número de arestas extras e o tamanho da amostra, verifica-se a ocorrência de picos somente para as curvas referentes aos parâmetros c = 0, 375 e c = 0, 500 com 3000 amostras. Aprofundando-se nas rela¸cões causadoras dos picos na curva, constata-se que essas rela¸cões já encontravam-se presentes para os parâmetros c = 0, 125 e c = 0, 250 desde os resultados obtidos com 1000 amostras, demos-trando certa robustez dos parâmetros a pequenas varia¸cões nas distribui¸cões dos parâmetros Θ. Ao se analisar os resultados mostrados na Fig.2, que representa a rela¸cão entre o número de arcos ausentes e o número de amostras, percebe-se que diferentemente da Fig.1, em nenhuma das curvas existiu a gera¸cão de um vale ou um pico entre as amostras. 0 2000 4000 6000 8000 10000 0 5 10 15 20 25 30 Amostras Arcos Extras c=0.25 c=0.50 c=0.75 c=1 c=1.25 c=1.50

Fig. 1. Rela¸cão de arcos extras por número de amostras para métrica MDL modificada.

Percebe-se também através da Fig.3, com a exce¸cão da curva para c = 0, 125, que a medida MDL modificada aproxima-se mesmo com um número menor de amostras pequeno de amostras da estrutura original da rede, porém não apresenta comparando os resultados finais, estes não são tão satisfatórios quanto os apresentados em [6].

A Tabela II apresenta o resultado do cálculo da entropia cruzada para as redes obtidas através da aplica¸cão da me-dida de qualidade MDL modificada para a rede Bayesiana ALARM com diferentes números de amostra. Os números em itálico indicam os piores resultados encontrados para cada número de amostras e os resultados em negrito os melhores valores para cada amostra.

Considerando-se o conjunto de dados compostos por 1000, 2000 e 3000, a métrica MDL modificada com pa-râmetros mais restritivos foi a que melhor apresentou resultados em dois dos três conjuntos de dados e visto que o conjunto de 2000 amostras apresenta distribui¸cões dos parâmetros mais próximas da rede original e que seus re-sultados de entropia são bem próximos da melhor métrica para este conjunto de amostras, tem-se a confirma¸cão da robustez da métrica MDL modificada para um conjunto de

0 2000 4000 6000 8000 10000 0 2 4 6 8 10 Amostras Arcos Ausentes c=0.25 c=0.50 c=0.75 c=1.00 c=1.25 c=1.50

Fig. 2. Rela¸cão de arcos ausentes por número de amostras para métrica MDL modificada. 0 2000 4000 6000 8000 10000 0 5 10 15 20 25 30 Amostras

Arcos ausentes e extras

c=0.25 c=0.50 c=0.75 c=1.00 c=1.25 c=1.50

Fig. 3. Rela¸cão de erros encontrados por número de amostras para métrica MDL modificada.

TABELA II

Entropia cruzada entre o modelo original da rede ALARM e o encontrado pelas m´etricas com diferentes parˆametros.

Parˆametros Amostras

1000 2000 3000 5000 10000 c = 0, 125 321.483 133.679 151.703 151.958 118.766 c = 0, 250 72.512 51.159 58.465 49.210 28.791 c = 0, 375 12.795 13.317 32.125 7.254 19.901 c = 0, 500 5.019 13.317 27.260 16.086 21.974 c = 0, 625 5.811 13.317 14.120 16.086 9.189 c = 0, 750 10.035 13.669 14.120 16.086 9.189 • N melhor resultado; • I pior resultado.

dados menos representativo. Um outro ponto a se destacar na medida de qualidade MDL modificada é quando o parâmetro de ajuste é c = 0, 375 para 5000 e 10000 amostras. Verificando-se a Tabela I percebe-se a remo¸cão de uma aresta ausente, porém em contrapartida um arco extra é adicionado, ficando n´ıtido, que no geral, a adi¸cão de arestas inexistentes é mais prejudicial à estrutura da

(6)

rede de cren¸ca que a perda de uma aresta.

A Tabela III ilustra as arestas extras e ausentes encon-tradas pelos diferentes parâmetros e métricas para a rede ALARM com um conjunto de dados de 10000 amostras. Analisando-se a Tabela III é poss´ıvel perceber que cinco arestas repetem-se com mais freqüência para as diferentes configura¸cões das métricas. Uma análise detalhada atra-vés da entropia de Shannon (fator de normaliza¸cão), do princ´ıpio de Informa¸cão Mútua e do funcionamento dos parâmetros nas métricas permite as seguintes conclusões sobre esses arcos:

• Apesar dos v´ertices 15 e 35 possu´ırem uma rela¸c˜ao

direta de causa/efeito com o vértice 22 no modelo original, esses não são adicionados à estrutura da rede com parâmetros mais restritivos.

• Quanto de informa¸cão do vértice 22 é repassada ao

vértice 15, comparando-a com o quanto de informa¸cão dos demais pais πxi individualmente é repassada e

observando-se a heur´ıstica de adi¸cão de pais ao vértice do algoritmo K-2, tem-se que a rela¸cão dos vértices 22 → 15 é mais fraca que a rela¸cão 35 → 15. Portanto, o algoritmo seleciona inicialmente a rela¸cão mais forte.

• No passo seguinte, a existˆencia de um parˆametro mais

restritivo na métrica exige um ganho mais signifi-cativo na qualidade local da rede. Como isso não ocorre a aresta não é adicionada a estrutura da rede Bayesiana. O mesmo princ´ıpio ocorre com a aresta 22 → 35.

TABELA III

Rela¸c˜ao das arestas ausentes e extras para a rede ALARM.

Parˆametros Extras Ausentes

c = 0, 125 (12 → 24); (12 → 28); (12 → 7) -(18 → 23); -(18 → 30); (19 → 21) (19 → 10); (19 → 31); (26 → 30) (30 → 29); (13 → 35) c = 0, 250 (12 → 28); (13 → 35); (18 → 30) -c = 0, 375 (12 → 28); (13 → 35) (22 → 15) c = 0, 500 (12 → 28); (13 → 35) (22 → 35); (22 → 15) c = 0, 625 (13 → 35) (22 → 35); (22 → 15) c = 0, 750 (13 → 35) (22 → 35); (22 → 15)

De maneira similar, tem-se que os vértices 12 e 18 transmitem muito pouca informa¸cão aos vértices 28 e 30, respectivamente. No entanto, o enfraquecimento na propriedade de busca por redes mais simples gerado pelos parâmetros permite que haja um aumento na qualidade local da rede e, portanto, a adi¸cão das arestas as estruturas da rede. Verificando-se novamente a Tabela III, percebe-se que a liga¸cão entre os vértices 13 e 35 está presente independentemente dos parâmetros e métrica utilizados. Através do cálculo da Informa¸cão Mútua demonstra-se que muito da informa¸cão de 13 é transmitida a 35 em um conjunto de dados de 10000 amostras, o que resulta na liga¸cão dos vértices na rede Bayesiana obtida, sendo o tamanho do conjunto de dados insuficiente para refletir a rela¸cão de independência condicional existente entre os vértices 13 e 35.

IV. Conclus˜oes

Este trabalho teve como objetivo apresentar, através da análise do comportamento dos parâmetros que as compõe, uma altera¸cão no termo de penaliza¸cão da métrica MDL de forma a realizar um ”ajuste fino” no aprendizado de es-truturas de redes Bayesianas a partir de dados completos. Através da investiga¸cão na rede Bayesiana ALARM foi poss´ıvel comprovar que as redes geradas, a partir do conjunto de dados completos representativo de 10000 amostras, utilizando-se o algoritmo K-2 em geral foi pró-xima, à exce¸cão da medida MDL modificada com parâ-metro c = 0, 125 que apresenta uma redu¸cão excessiva na penaliza¸cão, a estrutura de rede original para ambas as métricas com os diferentes parâmetros. Com isso pode-se concluir que o algoritmo K-2 é um método eficiente para aprendizagem da estrutura de rede a partir de dados completos, confirmando assim as conclusões de [6], [20], [22] e [7].

Utilizando-se os da entropia cruzada, verifica-se que a métrica MDL modificada apresenta resultados superiores à metrica MDL quando o conjunto de dados é significativo (ex: 10000) e resultados similares quando o conjunto de amostras é pouco significativo. Também é poss´ıvel notar que a métrica MDL modificada retorna resultados satisfa-tórios no aprendizado mesmo com um conjunto de dados pouco representativo.

Recorrendo-se novamente à Tabela II de entropia cru-zada, percebe-se que é prefer´ıvel utilizar parâmetros mais restritivos àqueles que relaxam a métrica, esses resultados condizem com [23]. Uma outra caracter´ıstica verificada com o uso dos parâmetros e o número de amostras foi o funcionamento da inclusão de arcos extras e ausentes. Percebeu-se que a inclusão de arestas extras, dada as ca-racter´ısticas das distribui¸cões, ocorre com uma freqüência muito maior que a inclusão de arestas ausentes. Portanto, a ado¸cão de um único hiperparâmetro mais restritivo e/ou menos restritivo em todos os parâmetros da rede de cren¸ca, para a adi¸cão de uma aresta ausente ou remo¸cão de arestas extras pode resultar num modelo de rede indesejável (ex: c = 0, 125). Essa mesma caracter´ıstica pemite concluir, através da análise da entropia cruzada, que a adi¸cão de arestas extras afeta de maneira muito mais negativa a estrutura de rede Bayesiana do que a perda de alguns arcos ausentes que possuem rela¸cão fraca entre seus vértices.

Dado as curvas das Fig.1, Fig.2 e Fig.3 é poss´ıvel perceber que o aumento no número de amostras resulta em uma melhora na distribui¸cão dos parâmetros no conjunto de dados e por conseqüência uma redu¸cão no número de erros das estruturas obtidas pelas diferentes métricas. Comparando a métrica MDL modificada com a MDL, a primeira apresentou resultados iguais ou superiores aos da métrica MDL e IMDL, esta última descrita em [19].

Considerando-se os resultados promissores obtidos através da métrica MDL modificada, pretende-se realizar pesquisas futuras de forma a tentar estabelecer um valor ótimo para a constante c para cada um dos parâmetros da rede de cren¸ca. Um outro estudo seria encontrar uma

(7)

rela¸c˜ao matem´atica entre N0

ijk da m´etrica

Heckerman-Geiger e c baseando-se para isso na rela¸cão do logaritmo da métrica Cooper-Herskovits com a métrica MDL descrita por [7]. Uma última sugestão de pesquisa com a constante c seria verificar o comportamento da métrica no treinamento de classificadores Bayesianos, visto que a fun¸cão de penaliza¸cão da métrica MDL não corresponde de maneira adequada a esse tipo de classificador [24], [25].

Referˆencias Bibliogr´aficas

[1] Usama M. Fayyad, Data Mining and Knowledge Discovery:

Ma-king Sense Out of Data, IEEE Intelligent Systems Vol.11

pp.20-25, 1996.

[2] John Binder and Daphne Koller and Stuart Russell and Keiji Ka-nazawa, Adaptive Probabilistic Networks with Hidden Variables, Springer Netherlands Vol.29 pp.213-244, 1997.

[3] Nir Friedman and Moises Goldszmidt and David Heckerman and Stuart Russel, Challenge: Where is the Impact of Bayesian

Networks in Learning?, In Proceedings of the 15th

International Joint Conference on Artificial Intelligence, Nagoya, Japan -pp.10-15, 1997.

[4] Robert Castelo and Tom´as Kocka, On Inclusion-Drive Learning

of Bayesian Networks, Machine Learning Research Vol.4

pp.527-574, 2003.

[5] Jie Cheng and Russel Greiner, Learning Bayesian Belief Network

Classifiers: Algorithms and System, Proceedings of the 14th

Biennial Conference of the Canadian Society on Computational Studies of Intelligence: Advances in Artificial Intelligence, Ot-tawa, Canada - Springer-Verlag Vol.2056 pp.141-151, 2001. [6] Gregory F. Cooper and Edward Herskovits, A Bayesian Method

for the Induction of Probabilistic Networks from Data, Knowledge

Systems Laboratory - Stanford University, 1993.

[7] Remco R. Bouckaert, Probabilistic Network Construction Using

the Minimum Description Length Principle, RUU-CS-94-27

Utre-cht University, 1994.

[8] David Heckerman, A Tutorial on Learning With Bayesian

Networks, MSR-TR-95-06 Microsoft Research, 1996.

[9] Judea Pearl, Probabilistic Reasoning in Intelligent Systems:

Networks of Plausible Inference, Morgan Kaufmann, 1988.

[10] Enrique Castillo and Jos´e Manuel Guti´errez and Ali S. Hadi,

Sistemas Expertos y Modelos de Redes Probabil´ısticas, Academia

Espa˜nola de Ingenier´ıa - Madrid, 1998.

[11] Jos´e Miguel Puerta Callej´on, M´etodos Locales y Distribuidos

para la Construcción de Redes de Creencia Estáticas y Dinámicas,

Universidad de Granada, 2001.

[12] Wray Buntine, Theory refinement on Bayesian Networks, Proc. 7th Conf. Uncertainty in Artificial Intelligence, Los Angeles, USA - pp.52-60, 1991.

[13] David Heckerman and Dan Geiger and David M. Chickering,

Learning Bayesian Networks: The Combination of Knowledge and Statistical Data, Microsoft Corporation, 1994.

[14] H. Akaike, A New Look at the Statistical Model Identification, IEEE Transactions on Automatic Control Vol.19 pp.716-723, 1974.

[15] G. Schwarz, Estimating the dimension of a model, Annals of Statistics Vol.6 pp.461-464, 1978.

[16] Remco Ronaldus Bouckaert, Bayesian belief networks: from

construction to inference, Utrecht University, 1995.

[17] Wai Lam and Fahiem Bacchus, Learning Bayesian Belief

Networks An approach based on the MDL Principle,

Computati-onal Intelligence Vol.10 pp.269-293, 1994.

[18] J. Suzuki, A construction of Bayesian networks from databases

based on the MDL principle, Proceedings of the 9th Conference

on Uncertainty in Artificial Intelligence, Washington, D.C, USA pp.266-273, 1993.

[19] Zheng Yun and Kwoh Chee Keong, Improved MDL Score for

Learning of Bayesian Networks, Proceedings of the International

Conference on Artificial Intelligence in Science and Technology -AISAT, Hobart, Australia - pp.98-103, 2004.

[20] Shulin Yang and Kuo-Chu Chang, Comparison of Score Metrics

for Bayesian Network Learning, IEEE Transactions on Systems,

Man and Cybernetics Vol.32 pp.419-428, 2002.

[21] I.A. Beinlich and H.J. Suermondt and R.M. Chavez and G.F. Cooper, The ALARM monitoring system: A case study

with two probabilistic inference techniques for belief networks,

Proceedings of the Second European Conference on Artificial In-telligence in Medical Care, London, UK - Springer-Verlag pp.247-256, 1989.

[22] Jackson P. Matsuura and Takashi Yoneyama, Redes Bayesianas

e Aprendizagem Aplicadas à Deteçcão de Falhas em Sistemas Dinâmicos, XV Congresso Brasileiro de Autom´atica, Gramado, Brasil, 2004.

[23] Christian Borgelt and Rudolf Kruse, An Empirical Investigation

of K2 Metric, Symbolic and Quantitative Approaches to

Rea-soning with Uncertainty: 6th European Conference, Toulouse, France - Springer Berlin pp.240-251, 2001.

[24] Tim Van Allen and Russ Greiner, Model Selection Criteria for

Learning Belief Nets: An Empirical Comparison, Proceedings of

17th International Conference on Machine Learning, Stanford University, USA pp. 1047-1054, 2000.

[25] Daniel Grossman and Pedro Domingos, Learning Bayesian

network classifiers by maximizing conditional likelihood,

Proce-edings of the twenty-first international conference on Machine learning, Banff, Alberta, Canada - ACM Press Vol.69 pp.46-53, 2004.

Aderson Cleber Pifer está atualmente tra-balhando em seu doutorado em Engenharia da Computa¸cão pela Universidade Federal do Rio Grande do Norte (UFRN), Brasil. Recebeu seu diploma de bacharel em Ciência da Computa-¸cão pela Pontif´ıcia Universidade Católica do Paraná (PUCPR), Brasil, em 1996 e o t´ıtulo de mestre em Engenharia da Computa¸cão pela Universidade Federal do Rio Grande do Norte (UFRN), Brasil, em 2006.

Luiz Affonso Guedes graduou-se em Enge-nharia Elétrica pela Universidade Federal do Pará em 1987 e dotorou-se em Engenharia da Computa¸cão pela Universidade Estadual de Campinas, Brasil, em 1999. Desde 2003, é professor associado do Departamento de Enge-nharia da Computa¸cão e Automa¸cão da Uni-versidade Federal do Rio Grande do Norte, Brasil. Seus principais interesses incluem Lin-guagens de Programa¸cão em Alto N´ıvel para Automa¸cão Industrial e Sistemas de Comuni-ca¸cão para Aplica¸cões Industriais.