Estudo Comparativo de Métricas de Pontuação para Aprendizagem Estrutural de Redes Bayesianas

UNIVERSIDADEFEDERALDO RIO GRANDE DO NORTE

UNIVERSIDADEFEDERAL DORIOGRANDE DO NORTE CENTRO DETECNOLOGIA

PROGRAMA DEPÓS-GRADUAÇÃO EMENGENHARIAELÉTRICA

Estudo Comparativo de Métricas de Pontuação

para Aprendizagem Estrutural de Redes

Bayesianas

Aderson Cleber Pifer

Orientador: Prof. Dr. Luiz Affonso Henderson Guedes de Oliveira

Dissertação de Mestrado apresentada ao

Programa de Pós-Graduação em Engenha-ria Elétrica da UFRN (área de concentração: Engenharia de Computação) como parte dos requisitos para obtenção do título de Mestre em Ciências.

Pifer, Aderson Cleber.

Estudo Comparativo de Métricas de Pontuação para Aprendizagem Estrutural de Redes Bayesianas / Aderson Cleber Pifer - Natal, RN, 2006

99f. : il.

Orientador: Luiz Affonso Henderson Guedes de Oliveira

Dissertação (Mestrado) - Universidade Federal do Rio Grande do Norte. Cen-tro de Tecnologia. Programa de Pós-Graduação em Engenharia Elétrica.

1. Engenharia Elétrica - Dissertação. 2. Redes Bayesianas - Dissertação. 3. Métricas - Dissertação. 4. Apredizagem estrutural - Dissertação. I. Oliveira, Luiz Affonso Henderson Guedes de . II. Universidade Federal do Rio Grande do Norte.

Estudo Comparativo de Métricas de Pontuação

para Aprendizagem Estrutural de Redes

Bayesianas

Aderson Cleber Pifer

Dissertação de Mestrado aprovada em 30 de agosto de 2006 pela banca examinadora composta pelos seguintes membros:

Prof. Dr. Luiz Affonso Henderson Guedes de Oliveira (orientador) . . . . DCA/UFRN

Prof. Dr. Renato Antônio Krohling (examinador externo) . . . UFES

Prof. Dr. Adrião Duarte Dória Neto (examinador interno) . . . DCA/UFRN

Ao meu orientador, professor Luiz Affonso, sou grato pela orientação e paciência com as dúvidas e indefinições no tema.

Aos demais professores com os quais convivi e aos quais sou grato pelo conhecimentos adquiridos durante esta jornada.

Aos colegas Alzira, Daniel, Danilo, Dennis, Fred, Marcos, Marlos, Raquel e Roque pe-las incontáveis horas que passamos juntos estudando, esclarecendo dúvidas do projeto e agradáveis horas de lazer .

Aos demais colegas de pós-graduação e amigos distantes, pelas sugestões e apoio.

Resumo

Redes Bayesianas são poderosas ferramentas de representação gráfica de distribuições de probabilidade. Tais redes manipulam incertezas existentes em sistemas do mundo real. A partir da última década, especial interesse no aprendizado de sua estrutura a partir de um conjunto de dados. Entretanto, o aprendizado da estrutura é um problema NP-Difícil, o que gerou a criação de Algoritmos heurísticos de busca. Muitos desses Algoritmos são baseados em métricas de pontuação para estimar o modelo. Este trabalho procura com-parar três das métricas mais utilizadas. Para gerar os resultados foram utilizadas as redes

ASIA e ALARM, que são dois dosbenchmarkspadrões e o Algoritmo de busca K-2. A

métrica Bayesiana Heckerman-Geiger com hiperparâmetros que dificultam a geração de arestas apresentam melhores resultados que àquelas que flexibilizam a geração de arestas, acontecendo o mesmo com a métrica MDL modificada. A comparação das duas métricas mostrou que a métrica Bayesiana é superior à métrica MDL com grandes conjuntos de dados e inferior, caso contrário. A modificação na métrica MDL resultou em estruturas mais próximas às apresentadas pela MDL para um conjunto reduzido de dados e mais próximas à Heckerman-Geiger para um grande conjunto de dados, quando seus parâme-tros restrigem a criação de arestas.

Palavras-chave: Redes Bayesianas, Métricas, Aprendizagem Estrutural, ALARM,

Bayesian networks are powerful tools as they represent probability distributions as graphs. They work with uncertainties of real systems. Since last decade there is a spe-cial interest in learning network structures from data. However learning the best network structure is a NP-Hard problem, so many heuristics algorithms to generate network struc-tures from data were created. Many of these algorithms use score metrics to generate the network model. This thesis compare three of most used score metrics. The K-2 algorithm and two pattern benchmarks, ASIA and ALARM, were used to carry out the compari-son. Results show that score metrics with hyperparameters that strength the tendency to select simpler network structures are better than score metrics with weaker tendency to se-lect simpler network structures for both metrics (Heckerman-Geiger and modified MDL). Heckerman-Geiger Bayesian score metric works better than MDL with large datasets and MDL works better than Heckerman-Geiger with small datasets. The modified MDL gives similar results to Heckerman-Geiger for large datasets and close results to MDL for small datasets with stronger tendency to select simpler network structures.

Keywords: Bayesian Networks, Score Metric, Structural Learning, ALARM, ASIA,

Sumário

Sumário i

Lista de Figuras iii

Lista de Tabelas v

Lista de Algoritmos vii

Lista de Símbolos e Abreviaturas ix

1 Introdução 1

1.1 Objetivos . . . 2

1.2 Organização do Trabalho . . . 3

2 Probabilidade e Redes Bayesianas 5 2.1 Espaço Amostral e Eventos . . . 6

2.2 Definição Clássica . . . 6

2.3 Definição Freqüentista . . . 7

2.4 Axiomas da Probabilidade . . . 8

2.5 Probabilidade Condicional . . . 9

2.6 Modelo de Dependência . . . 11

2.7 Bayesianismo e Teorema de Bayes . . . 12

2.8 Distribuições de Probabilidade . . . 13

2.8.1 Distribuição Uniforme . . . 13

2.8.2 Distribuições Exponenciais . . . 14

2.9 Entropia . . . 16

2.9.1 Entropia de Kullback-Leibler . . . 18

2.10 Informação Mútua . . . 18

2.11 Grafo Dirigido Acíclico . . . 19

2.12 Redes Bayesianas . . . 21

2.12.1 Métodos de Inferência Exata . . . 23

2.12.2 Métodos de Inferência Aproximada . . . 24

2.12.3 Métodos de Simulação Estocástica . . . 25

2.12.4 Métodos de Busca Determinística . . . 28

3.1.2 Medidas de Informação de Qualidade . . . 40

3.2 Algoritmos de Busca . . . 43

3.2.1 Algoritmo K-2 . . . 44

3.2.2 Algoritmo B . . . 46

3.2.3 Algoritmo K2SN . . . 46

3.2.4 Algoritmo EM . . . 46

4 Resultados e Discussões 53 4.1 Rede ASIA . . . 54

4.2 Rede ALARM . . . 58

5 Conclusões e Trabalhos Futuros 69

Lista de Figuras

2.1 Exemplos de distribuições Gaussianas com diferentes médias e variâncias. 15

2.2 Exemplos de distribuições Beta com diferentes hiperparâmetros. . . 16

2.3 Exemplos de distribuições Dirichlet com diferentes hiperparâmetros. . . . 17

2.4 Exemplos de D-Separação. . . 20

2.5 Rede Bayesiana ASIA. . . 22

2.6 Modelo de rede Bayesiana poliárvore. . . 25

4.1 Rede Bayesiana ALARM. . . 59

4.2 Relação de arcos extras por número de amostras para métrica Heckerman-Geiger. . . 61

4.3 Relação de arcos ausentes por número de amostras para métrica Heckerman-Geiger. . . 62

4.4 Relação de erros encontrados por número de amostras para métrica Heckerman-Geiger. . . 62

4.5 Relação de arcos extras por número de amostras para métrica MDL mo-dificada. . . 64

4.6 Relação de arcos ausentes por número de amostras para métrica MDL modificada. . . 65

4.7 Relação de erros encontrados por número de amostras para métrica MDL modificada. . . 65

2.1 Classificação no campeonato. . . 8

2.2 Expectativa de vida por sexo. . . 9

2.3 Vantagens comparativas das redes Bayesianas. . . 23

2.4 Probabilidades condicionais da rede Bayesiana da Figura 2.6. . . 25

3.1 Métricas e parâmetros de ajuste. . . 43

4.1 Número de arestas extras e ausentes com diferentes parâmetros e número de amostras com a métrica Bayesiana Heckerman-Geiger. . . 55

4.2 Número de arestas extras e ausentes com diferentes parâmetros e número de amostras para métrica MDL modificada. . . 57

4.3 Entropia cruzada entre o modelo original da rede ASIA e o encontrado pelas métricas com diferentes parâmetros. . . 59

4.4 Número de arestas extras e ausentes com diferentes parâmetros e diferen-tes números de amostra para a rede ALARM com a métrica Bayesiana Heckerman-Geiger. . . 60

4.5 Número de arestas extras e ausentes com diferentes parâmetros e dife-rentes números de amostra para a rede ALARM com a métrica MDL modificada. . . 63

4.6 Entropia cruzada entre o modelo original da rede ALARM e o encontrado pelas métricas com diferentes parâmetros. . . 66

4.7 Relação das arestas ausentes e extras para a rede ALARM. . . 68

Lista de Algoritmos

2.1 Algoritmo Amostrador Markoviano. . . 26

2.2 Algoritmo Busca da Máxima Probabilidade. . . 29

3.1 Algoritmo K-2. . . 45

3.2 Algoritmo B. . . 47

3.3 Algoritmo K2SN. . . 48

3.4 Algoritmo EM Paramétrico. . . 49

3.5 Algoritmo EM Estrutural. . . 50

P(E) Probabilidade marginal do eventoE

A Conjunto de arestas da rede Bayesiana

Anc(xi) Conjunto de antecessores dexi

BBN(G,Θ) Rede de Crença Bayesiana

Bp Representação quantitativa da rede Bayesiana

Bs Estrutura da rede Bayesiana

C(xi) Conjunto de filhos do vérticexi

D Conjunto de dados

Desc(xi) Conjunto de descendentes dexi

G Grafo dirigido acíclico

H(P,Q) Entropia Kullback-Leibler

H(xi) Entropia de Shannon

Hi Hipótese

I(.) Regras de independência

I(xi,xj) Informação Mútua

M= (U,I(.)) Modelo de dependência

N Número de repetições do experimento

N′ _{Tamnho equivalente da amostra}

N′

i jk Hiperparâmetro da distribuição de probabilidade Dirichlet

N′

i j

ri

∑

N′

i jk

Ni jk Número de repetições do evento no conjunto de dadosD

Ni j

ri

∑

N_{i jk}

P(Ei∩Ej) Probabilidade conjunta dos eventosEieEj

P(Ei,Ej) Probabilidade conjunta dos eventosEieEj

Q(xi) Probabilidade conjunta do modelo estimado

R_ij Galho da árvore

U Conjunto de variáveis aleatórias

V Conjunto de vértices da rede Bayesiana

Ve Conjunto de evidências

Z Conjunto de variáveis discretas (vértices) da rede Bayesiana

Γ(z) Função gamma

Θ Conjunto de parâmetros das distribuições de probabilidade condicional

α Hiperparâmetro da distribuição de probabilidade Beta

αi Hiperparâmetro da distribuição de probabilidade Dirichlet

αi jk Número de repetições dentro do conjunto de dadosD

β Hiperparâmetro da distribuição probabilidade Beta

µ Média

π(xi) Conjunto de pais do vérticexi

σ Desvio padrão

ξ Informação a priori

e Evidência

ei Valor da evidência dexi

f(N) Função de penalizaçào não negativa

fnE Probabilidade marginal (definição freqüentista)

qi Número de instâncias do conjunto pai

ri Valores possíveis dexi

nS Modos possíveis de ocorrência

E Evento

Capítulo 1

Introdução

O surgimento do uso dos computadores no início da década de cinqüenta possibitou a coleta e armazenamento de informações sobre os diferentes ramos de atividade humana. Nessa mesma época surgiram os primeiros esforços na tentativa de modelar e analisar de forma computacional os conjuntos de dados existentes, nascendo, assim, as primeiras linhas de pesquisa em aprendizado de máquina (métodos estatísticos com Nilsson (1965), redes neurais com Rosenblatt (1962) e aprendizagem simbólica com Hunt et al. (1966)) [Kononenko, 2001]. Porém, no princípio, o alto custo computacional e o baixo desempe-nho limitaram o uso dessas ferramentas a aplicações em áreas específicas, como medicina.

Com a evolução das técnicas de fabricação, os computadores tornaram-se ferramentas de uso cotidiano e com isso uma enorme quantidade de informação passou a ser produ-zida, coletada e armazenada. Da mesma forma, essa evolução técnica implicou em um aumento da competitivade entre as empresas e tornou-se necessário para a sobrevivência das mesmas a adoção de mecanismos que pudessem classificar e analisar essas informa-ções armazenadas e auxiliar a tomada de decisões [Fayyad, 1996]. A necessidade das empresas por informações de melhor qualidade e aumento do poder computacional reto-maram o interesse dos pesquisadores em técnicas como árvores de decisão, redes neurais e sistemas especialistas.

Umas das técnicas mais utilizadas em análise de decisão as árvores de decisão cres-cem exponencialmente em tamanho com o aumento do número de variáveis. Howard and Matheson (1981) introduzem um modelo mais compacto ao qual denominam diagramas de influência [Friedman et al., 1997], [Zhang, 1998]. Esse modelo formado por três ti-pos de vértices (vértices de decisão, vértices randômicos e um vértice de valor único) e arestas interligando-os permitiu que pesquisadores solucionem problemas que iam além da capacidade das árvores de decisão. Removendo-se os vértices de decisão e o vértice de valor do grafo dirigido acíclico, Pearl (1988) criou o conceito denominado de Redes de Crença Bayesiana [Zhang, 1998].

um papel importante em uma vasta área de aplicações a partir da década de noventa [Binder et al., 1997], [Friedman et al., 1997]. Dentre as principais áreas de aplicação, pode-se destacar: industrial (sistemas de diagnósticos de falhas e predição), militar (loca-lização automática de alvos) e comercial (recuperação de informações e análise do mer-cado financeiro).

Embora a representação das probabilidades conjuntas apareça de uma forma compacta e clara, facilitanto a compreensão, através da estrutura gráfica e das tabelas de probabili-dade condicional que compõem a rede Bayesiana, o cálculo de propagação da evidência em sistemas complexos ainda é um problema NP-Difícil. Por isso o cálculo da inferência exata é realizado somente em número limitado de problemas. Uma das áreas de estudo em redes Bayesianas encontra-se justamente na busca de métodos que realizem a propagação de evidência aproximados para redes Bayesianas complexas. No decorrer deste trabalho são apresentados, de maneira ilustrativa, dois dos principais grupos de classificação dos métodos de inferência aproximada.

Como detalhado anteriormente, a alta competividade no mercado obrigou as empresas a procurarem alternativas computacionais que avaliassem o grande volume de dados pre-sentes e apresentassem informações que incorporassem um diferencial competitivo a elas. A princípio, a rede Bayesiana poderia ser construída por um especialista, no entanto, a necessidade de construção dos parâmetros numéricos que compõem a rede tornaria o pro-cesso muito demorado e custoso. Uma outra opção seria o especialista construir somente a estrutura da rede e realizar a aprendizagem paramétrica através de uma ferramenta com-putacional. Porém, dependendo da experiência do especialista e da complexidade do sistema, muitas relações existentes no sistema poderiam ser desconsideradas e outras tan-tas geradas indevidamente. Dado os problemas descritos, fica claro as vantagens em se automatizar o processo de aprendizagem da rede. O enfoque principal deste trabalho encontra-se justamente em explorar a aprendizagem estrutural da rede Bayesiana, focando nas métricas Bayesianas de pontuação e Informação de Qualidade que determinam as li-gações entre os vértices da rede de crença a partir de um conjunto de dados.

1.1

Objetivos

De modo a elucidar o funcionamento das medidas de qualidade dos Algoritmos de aprendizagem estrutural em relação ao conjunto de dados e seu desempenho, foco deste estudo, faz-se necessário alcançar os seguintes objetivos específicos:

1. Avaliar a qualidade da estrutura de rede aprendida com o Algoritmo de busca;

1.2. ORGANIZAÇÃO DO TRABALHO 3

3. Analisar o comportamento dos parâmetros de configuração das métricas de pontu-ação da estrutura da rede;

4. Avaliar a sensibilidade do Algoritmo, das métricas de pontuação e dos parâmetros das métricas para diferentes tamanhos de amostragem.

1.2

Organização do Trabalho

Esta dissertação está organizada nos seguintes Capítulos:

No Capítulo 2 são descritos os fundamentos básicos da probabilidade que formam a base da teoria de redes Bayesianas. Também são introduzidos o conceito de redes Baye-sianas através da apresentação de um modelo de rede e seu funcionamento através de técnicas de inferência.

O Capítulo 3 descreve as formas de aprendizagem existentes em redes Bayesianas, as linhas de pesquisa dos Algoritmos de busca de estruturas de redes de crença, alguns dos mais conhecidos Algoritmos de busca e as principais métricas de avaliação de estruturas.

No Capítulo 4 são apresentados os resultados obtidos e discussões para dois dos

prin-cipais modelos debenchmarkcom as medidades de qualidade, através da implementação

de um Algoritmo de busca.

Capítulo 2

Probabilidade e Redes Bayesianas

Diariamente nos confrontamos com situações onde a ocorrência de determinada

alter-nativa, dentre as inúmeras existentes, é incerta, como por exemplo: será que vai chover

hoje? Se sair atrasado, pegarei um congestionamento no caminho? Meu time tem alguma chance no campeonato após a venda do artilheiro? Quais serão os números sorteados

na loteria esta semana?A cada uma destas possíveis alternativas atribuímos um valor de

“certeza” e decidimos, então, quais ações realizar. A cada uma destas situações, dá-se o nome de experimento, que são classificados em: experimentos aleatórios e experimentos determinísticos.

• Experimentos que ao serem repetidos sob condições similares não produzem

neces-sariamente o mesmo resultado são denominados experimentos aleatórios; [Dantas,

2000]

Ex: O lançamento de um dado não viciado sobre uma superfície plana.

• Experimentos que ao serem repetidos sob condições similares conduzem ao mesmo

resultado são denominados determinísticos[Dantas, 2000].

Ex: O aquecimento da água até 100 graus centígrados.

A teoria da probabilidade tem por objetivo a construção de um modelo matemático para a representação dos experimentos aleatórios. Essa classe de modelos teve sua ori-gem no início do século dezessete quando os matemáticos franceses Blaise Pascal e Pi-erre de Fermat solucionaram dois problemas baseados em jogos de “azar” [Grinstread and Snell, 1997]. Porém, somente em 1933 foi que Kolmogorov, em seu trabalho "Fun-damentos da Teoria da Probabilidade", desenvolveu os axiomas que definem a teoria da probabilidade [Williamson, 2005].

Nas Seções subseqüentes deste Capítulo são apresentados conceitos da teoria da pro-babilidade relevantes para o entendimento da proposta apresentada nesta dissertação.

2.1

Espaço Amostral e Eventos

É denominado espaço amostral o conjunto de todos os resultados possíveis para um determinado experimento. Ao resultado ou subconjunto de resultados de um experimento

dá-se o nome de evento. Durante o restante desta dissertação convencionou-se a letra S

para representar o espaço amostral e Epara representar um evento. Exemplificando,

tem-se:

Para espaços amostrais finitos:

• Números sorteados na loteria (mega-sena)

S=C₆60= 60!

6!(60₋6)!;

E=_{10,26,34,47,56,58_}.

• Sorteio de uma moeda

S=_{H,T_};

E=_{H_}.

• Face de um dado não viciado

S=_{1,2,3,4,5,6_};

E=_{3_}.

Para espaços amostrais não finitos:

• O tempo de vida de uma lâmpada

S=_{x:xreal, x_≥0_};

E=_{500 horas_}.

• O número de chamadas telefônicas que chegam a uma central durante determinado

período de tempo

S=_{0,1,2,3,4,5,6, ..._};

E=_{45 chamadas_}.

2.2

Definição Clássica

Utilizada durante vários séculos como base da teoria da probabilidade, a definição

clássica diz que para um determinado evento E possa ocorrer de nE maneiras diferentes

em um total de nSmodos possíveis igualmente prováveis, a probabilidade na ocorrência

é dada por:

P(E) =nE

2.3. DEFINIÇÃO FREQÜENTISTA 7

Exemplificando:

• Em um experimento com um dado, deseja-se saber qual a probabilidade da

ocor-rência dos números 2 e 5 em um único sorteio.

Considerando-se um dado não viciado, supõe-se que ocorrência dos 6 números da face de um dado são equiprováveis e aplicando a definição clássica, tem-se:

P(E) = nE

nS =

2

6 =

1 3 Esta definição apresenta limitações como:

1. Muitas vezes é complicado a determininação dos valoresnE enS;

2. Esta definição só é aplicável a um número reduzido de problemas. Por exemplo,

se a probabilidade de uma das faces de um dado for diferente de 1

6 a aplicação da

definição torna-se inválida;

3. Se o número de resultados for infinito é necessário a aplicação de alguma medida

de área ou tamanho para a determinação da relação entrenE/nS.

2.3

Definição Freqüentista

Como visto, a definição clássica de probabilidade a priori apresenta limitações por

considerar os eventos equiprováveis. No começo do século XX, Richard Von Mises uti-lizou a freqüência relativa (Equação 2.2) como base para uma nova teoria que foi vista como uma boa alternativa às limitações do modelo clássico [Papoulis, 1991]. No modelo

freqüentista, a probabilidadeP(E)de um um eventoEé dada por:

P(E) = lim

n→∞

nE

N (2.2)

onde:

• nEé o número de ocorrências do eventoE;

• Né o número de repetições do experimento.

Exemplificando:

• Buffon, no século XVIII, realizou o lançamento de uma moeda 4040 vezes, obtendo

2048 ocorrências de cara [Dantas, 2000].

fnE =

nE

N =

2048

4040 =0,5064

• Suponha que se deseja saber a probabilidade de vitória de um time de futebol dado

a classificação de acordo com a Tabela 2.1. No caso, tem-se:

fnE =

nE

N =

13

Tabela 2.1: Classificação no campeonato. Pontos Jogos Vitórias Empates Derrotas

47 33 13 8 12

Apesar da freqüência relativa se aproximar de uma constante comN tendendo a

in-finito, matematicamente nem sempre existe um número limite real. Por essa razão, a abordagem axiomática é a preferível. Nessa abordagem, a probabilidade é um conceito abstrato orientado pelos axiomas descritos a seguir [Spiegel, 1972].

2.4

Axiomas da Probabilidade

A probabilidadeP(E)de um eventoEpertencente a um espaço amostral Sfinito é um

número real que satisfaz aos três axiomas seguintes:

P(E)_≥0 (2.3)

P(S) =1 (2.4)

SeE1∩E2= /0, então:

P(E1∪E2) =P(E1) +P(E2) (2.5)

Caso o espaço amostral não seja finito, a Equação 2.5 deve ser alterada como descrito a seguir:

• Para todoi= jtal queEi∩Ej= /0, tem-se:

P(

∞

[

i=1

) =

∞

∑

P(Ei) (2.6)

Através da aplicação dos axiomas descritos anteriormente, podemos obter algumas propriedades elementares da probabilidade:

1. Propriedade de Complementaridade:

P(¯E) =1₋P(E) (2.7)

2. Propriedade de Normalização:

2.5. PROBABILIDADE CONDICIONAL 9

3. Propriedade de Monotonicidade: ParaE1⊆E2

P(E1)≤P(E2) (2.9)

4. Propriedade Geral da Probabilidade:

P(E)_≤1 (2.10)

5. Propriedade de Inclusão-Exclusão (Probabilidade Conjunta):

P(E1∪E2) =P(E1) +P(E2)−P(E1∩E2) (2.11)

2.5

Probabilidade Condicional, Independência de

Even-tos e Independência Condicional

Considere um experimento no qual se tem conhecimento sobre a ocorrência de um

determinado evento E1. Qual a influência deste conhecimento a priori sobre as

proba-bilidades dos demais eventos do experimento? A esta nova probabilidade do eventoE2

obtida através do conhecimento prévio do eventoE1, dá-se o nome de probabilidade

con-dicional, ao qual denota-se comoP(E2|E1)e que pode ser calculada por:

P(E2|E1) = P(E2∩E1)

P(E1) (2.12)

Exemplificando:

• Dada a Tabela 2.2 de expectativa de vida. Qual a probabilidade de uma mulher viver

até os 80 anos sabendo-se que ela está com 60 anos [Grinstread and Snell, 1997]?

Tabela 2.2: Expectativa de vida por sexo.

Idade Homens Mulheres Total

0 100000 100000 200000

... ... ... ...

60 81485 89835 171320

... ... ... ...

80 36848 57062 93910

... ... ... ...

P(E2|E1) = P(E2∩E1)

P(E1) =

57062

89835=0.6352

Reagrupando a Equação 2.12 de forma a calcular a probabilidade conjunta e

genera-lizando paranvariáveis, obtém-se a Equação 2.13 conhecida como regra da cadeia. Esta

regra afirma que é possível calcular a probabilidade de um conjunto_{E1,···,En}de

vari-áveis a partir de um produto de nprobabilidade condicionais.

P(E1,···,En) = n

∏

P(E_i|E1,···,Ei−1) (2.13)

Nem sempre o conhecimento prévio da ocorrência de um determinado eventoE1tem

algum efeito sobre a probabilidade de outro evento E2. Neste caso, diz-se então que o

evento E2 é independente do eventoE1. Formalizando a idéia, tem-se que dois eventos

são ditos independentes quando:

P(E2|E1) =P(E2) (2.14)

e

P(E1|E2) =P(E1)

• Suponha que um dado não viciado seja lançado duas vezes e que durante o primeiro

lançamento o valor obtido tenha sido 4. Tendo este conhecimento apriori,

deseja-se saber qual a probabilidade de sair o número 5 no deseja-segundo lançamento. No caso, tem-se:

P(E2|E1) = P(E2∩E1)

P(E1) =

1 36 1 6

=1

6

A probabilidadeP(E2|E1) =P(E2) = 1

6, comprovando a independência dos

even-tos.

O eventoE1é dito condicionalmente independente deE2dadoE3se e somente se:

P(E1|E3,E2) =P(E1|E3) (2.15)

Caso contrário,E1eE2serão ditos condicionalmente dependentes deE3.

A definição dada pela Equação (2.15) implica em dizer que conhecido o eventoE3,

o conhecimento do eventoE2não acrescenta nenhuma informação sobreE1, ou seja, sua

probabilidade não se modifica com o conhecimento ou não de E2 [Castillo et al., 1998].

De forma equivalente, pode-se definir a independência condicional como sendo:

2.6. MODELO DE DEPENDÊNCIA 11

2.6

Modelo de Dependência

Na Seção anterior, foi descrito através das Equações 2.14 e 2.15, a relação de inde-pendência e indeinde-pendência condicional entre eventos de forma quantitativa. Porém, em muitos casos, é possível descrever de forma clara a relação de independência existente entre variáveis sem o conhecimento quantitativo destas variáveis. Por exemplo, durante o diagnóstico de determinada anomalia é possível para um médico determinar conforme a sua experiência a influência que determinados índices têm ou não uns sobre os outros, apesar de não possuir dados quantitativos a respeito dos mesmos. Por isso, é necessário estabelecer critérios que possam definir o conceito de independência de forma abstrata.

Pearl (1988) define essas relações abstratas através de um modelo de dependência descrito como sendo:

Modelo de Dependência: É um par M= (U,I(.))ondeU é o conjunto de variáveis

do sistema eI(.)é o conjunto de regras de independência existentes entre as variáveis do

sistema.

Exemplificando:

Considere um sistema onde o conjunto de variáveis sejaU =_{X,Y,Z_}e que "X seja

independente deY"dado Z. Portanto, tem-se que o modelo de dependência é dado por

M= (_{X,Y,Z_},I(X,Y_|Z)).

Adicionado à definição de modelo de dependência, Pearl (1988) axiomatizou um con-junto de propriedades definidas como necessárias para capturar o conceito intuitivo de independência. São elas:

1. Independência TrivialI(X,/0_|Z):

Dado um estado de conhecimento qualquer, uma informação nula não altera o

conhecimento obtido sobre a variávelX.

2. SimetriaI(X,Y_|Z)_→I(Y,X_|Z):

Conhecida a informaçãoZ, se o conhecimento deY não acrescenta nenhuma

informação sobre o valor deX, então o conhecimento deX não acrescenta nenhuma

informação sobreY.

3. DecomposiçãoI(X,Y_∪W_|Z)_→I(X,Y_|Z):

Se duas componentes de informaçãoY e W conjuntamente são consideradas

irrelevantes sobre o valor deX, então cada uma separadamente é irrelevante para o

4. União DébilI(X,Y_∪W_|Z)_→I(X,W_|Y_∪Z):

Conhecida a informaçãoY irrelevante para X, então a união desta informação

com outra informação irrelevanteW não será uma informação relevante paraX.

5. ContraçãoI(X,Y_|Z)&I(X,W_|Z_∪Y)_→I(X,Y_∪W_|Z):

Se uma informaçãoW é irrelevante paraX depois de conhecida uma

informa-çãoY também irrelevante, então a informação W também deveria ser irrelevante

antes de conhecerY.

6. IntersecçãoI(X,Y_|Z_∪W)&I(X,W_|Z_∪Y)_→I(X,Y_∪W_|Z):

Se duas informaçõesY eW combinadas são relevantes paraX, então ao menos

uma destas deve ser relevante para X, quando a outra é conhecida junto com Z.

2.7

Bayesianismo e Teorema de Bayes

Diferentemente da teoria freqüentista que assinala valores de probabilidade baseados na freqüência relativa de ocorrência dos eventos (aspectos físicos), o Bayesianismo é uma interpretação da probabilidade, onde estas são analisadas segundo um grau de crença do agente (aspectos mentais) [Williamson, 2005].

Pela definição da probabilidade condicional, tem-se que a probabilidade da hipótese

Hidada a evidênciaeé calculada por:

P(Hi|e) =P(Hi∩e)

P(e) (2.17)

Similarmente, tem-se que para evidênciaedada a hipóteseHi:

P(e_|Hi) =P(_Pe∩Hi)

(Hi) (2.18)

Reagrupando a Equação 2.18, obtém-se que a probabilidade conjunta deedada por:

P(e_|Hi)P(Hi) =P(e∩Hi) (2.19)

Substituindo a Equação 2.19 na Equação 2.17, obtém-se o Teorema de Bayes descrito pela Equação 2.20.

P(Hi|e) = P(Hi)P(e|Hi)

P(e) (2.20)

2.8. DISTRIBUIÇÕES DE PROBABILIDADE 13

• P(Hi)é a probabilidade apriorida hipóteseHi;

• P(e_|Hi)é a probabilidade condicional da evidênciaedada a hipóteseHi;

• P(e)é a probabilidade marginal da evidênciae, isto é, é a probabilidade de

ocorrên-cia da evidênocorrên-cia ignorando qualquer informação sobre os demais eventos. Funciona como uma constante de normalização e pode ser calculada através da soma de todas

as hipóteses mutuamente exclusivas

_∑

• P(Hi|e)é a probabilidade aposteriorida hipóteseHidada a evidênciae.

Para um melhor entendimento da aplicação do Teorema de Bayes, considere o se-guinte exemplo:

• Um médico deseja saber qual a probabilidade de um determinado paciente tenha

câncer, sabendo-se que o exame tenha dado positivo. Por experiência, sabe-se que o índice de acertos dos exames positivos é 99% e dos exames negativos é 95% e que há na literatura a evidência de que 1 em cada 1000 pacientes desenvolveu este tipo de câncer [Grinstread and Snell, 1997]. Deste modo, tem-se:

P(Cancer_|Epos) =P(Cancer_P)P(Epos|Cancer)

(Epos) =

0.001_∗0.99

0.051 =0.0194.

Assim, probabilidade do paciente ter câncer, sabendo que o exame é positivo sobe para 1,94%.

A Equação 2.20 descrita anteriormente, historicamente não aparece no famoso estudo criado por Thomas Bayes. Porém, a idéia de computar a probabilidade de uma hipótese dada uma evidência para a solução de problemas inversos de probabilidade está descrita em seu trabalho original. Por isso, quando Laplace estudava problemas de probabilidade inversa, resolveu referir-se a ela como fórmula de Bayes. A computação de problemas de probabilidade inversa tem uma significativa importância para a estatística, gerando um segmento conhecido como análise Bayesiana, cuja a estrutura é a base do estudo com redes Bayesianas [Grinstread and Snell, 1997].

2.8

Distribuições de Probabilidade

Nesta Seção, são descritas as principais distribuições de probabilidade utilizadas na análise Bayesiana e por conseqüência no estudo de redes Bayesianas.

2.8.1

Distribuição Uniforme

A distribuição uniforme é uma distribuição onde a probabilidade de ocorrência é uma constante, ou seja, todos os intervalos são equiprováveis. Esta distribuição é

é dada por:

P(x) = ₁

b−a, paraa<x<b,

0, parax<a ou x>b (2.21)

2.8.2

Distribuições Exponenciais

A família de distribuições exponenciais, tanto contínuas quanto discretas, são ampla-mente utilizadas na estatística Bayesiana. Uma característica essencial desta família é a existência de estatística suficiente com dimensão fixa [Ehlers, 2004]. Ou seja, é possível estimar os hiperparâmetros que definem a função de distribuição de probabilidade a partir

do vetorn-dimensional de amostras daquela distribuição.

Distribuição Normal

A distribuição Normal, também conhecida como distribuição Gaussiana, foi primei-ramente desenvolvida por DeMoivre em 1733 como uma aproximação das distribuições binomiais. Posteriormente, Laplace em 1783 e Gauss em 1809 utilizaram a curva normal para descrever distribuições de erros e análise de dados astronômicos, respectivamente [University, 2006]. Por ser comumente observável, sendo verificada em muitos fenôme-nos físicos, biológicos e sociais, a distribuição Normal tem seu uso amplamente difun-dido. Sua função de densidade de probabilidade é dada por:

P(x_|µ,σ2) = 1

σ√2πexp

−(x₋µ)2

2σ2

, ₋∞<x<∞ (2.22)

com parâmetros:

• σé o desvio padrão;

• µé a média.

A Figura 2.1 apresenta três funções de distribuição Normal, de modo a exibir a

in-fluência dos parâmetrosσeµ.

Distribuição Beta

2.8. DISTRIBUIÇÕES DE PROBABILIDADE 15

−8 −6 −4 −2 0 2 4 6 8 0.0000

0.0005 0.0010 0.0015

(a) µ=0;σ=0.2

−8 −6 −4 −2 0 2 4 6 8 0.0e+000

5.0e−005 1.0e−004 1.5e−004

(b)µ=0;σ=2

−8 −6 −4 −2 0 2 4 6 8 0.0e+000

5.0e−005 1.0e−004 1.5e−004 2.0e−004 2.5e−004

(c) µ=−2;σ=1.3

Figura 2.1: Exemplos de distribuições Gaussianas com diferentes médias e variâncias.

P(x_|α,β) = Γ(α+β)

Γ(α)Γ(β)x

(α₋1)₍₁

−x)(β−1), 0<x<1 (2.23)

onde os seus hiperparâmetros são:

• α>0eβ>0;

• Γ(z) =

Z ∞

0 t

(z−1)_e−t_{∂t, sezé um número natural, têm-seΓ(z) = (z}

−1)!.

Um caso especial da distribuição Beta é quandoαeβsão iguais a 1, neste caso tem-se

uma distribuição uniforme.

Na Figura 2.2 são apresentadas três funções de distribuição Beta, de maneira a exibir

a influência dos hiperparâmetrosαeβ.

Distribuição Dirichlet

A distribuição de Dirichlet, nome recebido em função do matemático alemão Johann Peter Dirichlet, pertence à família de distribuições de probabilidade contínuas

multidi-mensionais, parametrizada por um vetor de hiperparâmetros αde valores reais não

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.000 0.002 0.004 0.006 0.008 0.010 0.012 0.014 0.016 0.018 0.020

(a) α=β=1

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.000 0.002 0.004 0.006 0.008 0.010 0.012 0.014 0.016 0.018 0.020

(b) α=β=2

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.000 0.005 0.010 0.015 0.020 0.025 0.030 0.035 0.040

(c) α=β=10

Figura 2.2: Exemplos de distribuições Beta com diferentes hiperparâmetros.

particular da distribuição Dirichlet quando k=2. Sua Equação de função de densidade

de probabilidade é dada por:

P(x_|α1,···,αk) = Γ(∑ k i=1αi)

∏ki=1(Γ(αi)) k

∏

x(αi−1)

i ,

k

∑

xi=1, paraα1,···,αk>0e k∈N

(2.24) A Figura 2.3 apresenta três funções de distribuição Dirichlet, de maneira a exibir a

influência dos hiperparâmetrosα.

2.9

Entropia

A probabilidade P(E) de um evento E pode ser interpretada como uma medida de

incerteza sobre a ocorrência ou não do evento E em um determinado experimento.

Su-ponha, por exemplo, que um dodecaedro tenha 11 de suas faces iguais a um número xi

qualquer e apenas uma face com um outro número xj, neste caso, pode-se afirmar com

quase certeza a ocorrência do númeroxi, pois sua probabilidadeP(xi) =0.917.

2.9. ENTROPIA 17

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.000

0.005 0.010 0.015 0.020 0.025 0.030 0.035

(a)α1=α2=0.1,k=2

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.005

0.010 0.015 0.020 0.025 0.030 0.035

(b)α1=α2=0.5,k=2

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0.000

0.002 0.004 0.006 0.008 0.010 0.012 0.014 0.016 0.018 0.020

(c)α1=α2=1,k=2

Figura 2.3: Exemplos de distribuições Dirichlet com diferentes hiperparâmetros.

e todas as demais faces contenham o número xj, neste caso, pode-se dizer com quase

certeza quexi não ocorrerá. No caso de cada uma das faces ser formada por um número

diferente _{fd =xn|n=1,2,···,12}, tem-se que a incerteza sobre a ocorrência de xi é

máxima, visto que as ocorrências são equiprováveis para qualquer valor deN.

Denota-se entropia como sendo a medida da incerteza de ocorrência ou não de um evento. O conceito de entropia aplicado à teoria da informação surgiu primeiramente no trabalho de Shannon (1949), que desenvolveu sua definição a partir dos seguintes postu-lados [Papoulis, 1991]:

1. A medida de incerteza deve ser uma função contínua. Isto é, uma pequena alteração no valor de alguma das probabilidades deve alterar apenas um pouco o valor da entropia;

2. Se todas as ocorrências são igualmente prováveis, então a entropia é máxima;

3. Se um novo subconjunto B é formado subdividindo o conjuntoU, então H(B)_≥

H(U).

H(xi) =− ri

∑

P(xi)logP(xi) (2.25)

onde:

• rié o número de possíveis ocorrências;

• P(xi)é a probabilidade do evento discretoxi.

2.9.1

Entropia de Kullback-Leibler

A medida de entropia de Kullback-Leibler ou medida de divergência é a distância

medida entre a verdadeira distribuição de probabilidade P(xi) e a distribuição de

pro-babilidade Q(xi) estimada [Wikipedia, 2006c], [Bruyninckx, 2002], [Kullback and

Lei-bler, 1951]. Sua Equação é dada por:

H(P,Q) =

ri

∑

P(xi)logP(xi)

Q(xi) (2.26)

onde:

• P(xi)é a distribuição de probabilidade conjunta do modelo original;

• Q(xi)é a distribuição de probabilidade conjunta do modelo estimado (a ser

compa-rado).

Essa medida se constituiu numa importante métrica de avaliação de similiaridade en-tre duas distribuições quaisquer.

2.10

Informação Mútua

Na teoria da probabilidade, a medida de Informação Mútua mede a quantidade de

informação que é compartilhada por duas variáveis aleatóriasxiexj. Ou seja, quanta

in-formação da variávelxiestá presente emxjque é o mesmo que dizer quanta informação da

variávelxjestá presente emxi[Wikipedia, 2006d], [Papoulis, 1991], [Bruyninckx, 2002].

Em termos matemáticos, tem-se que a Informação Mútua é dada por:

I(xi,xj) = rj

∑

ri

∑

P(xi,xj)log_PP(xi,xj)

(xi)P(xj) (2.27)

onde:

2.11. GRAFO DIRIGIDO ACÍCLICO 19

• rjé o número de possíveis ocorrências dexj;

• P(xi,xj)é a probabilidade conjunta dexiexj;

• P(xi)é a probabilidade marginal dexi;

• P(xj)é a probabilidade marginal dexj.

Exemplificando:

Quando duas variáveis aleatórias xi e xj são independentes, elas não compartilham

nenhuma informação e, portanto, a Informação Mútua é igual a zero. No caso em que

xi=xj, toda informação existente em xi está presente em xj e, portanto, a Informação

MútuaI(xi,xj)é igual a incerteza contida emxiouxjindependentemente.

2.11

Grafo Dirigido Acíclico

É um par (V,A)ondeV é um conjunto de vértices e Aé um conjunto de arestas que

conectam os vértices de modo orientado, de maneira que as arestas não conduzam a ciclos

ou “loops”. Ou seja, não existe um caminho que saindo de um vérticev1 seja possível

retornar ao mesmo vérticev1. Esse grafo tem as seguintes definições relevantes:

• Paisπdo vérticexi: É o conjunto de todos os vértices conectados axi através de

uma aresta dirigida ao vérticexi, ou em termos matemáticos:

π(xi) ={xj∈V|xj→xi∈E}.

• FilhosCdo vérticex_i: É o conjunto de todos os vértices conectados ax_iatravés de

uma aresta dirigida partindo dexi, ou em termos matemáticos:

C(xi) ={xj∈V|xi→xj∈E}.

• Antecedentes dexi: É o conjunto de todos os vértices que possuam um caminho

de ligação, cujo destino do caminho encontra-se emxi, ou em termos matemáticos:

Anc(xi) ={xj∈V|∃um caminho dirigido{xj,···,xi}}

• Descendentes dexi: É o conjunto de todos os vértices que possuam um caminho de

ligação axicuja origem do caminho encontra-se emxi, ou em termos matemáticos:

Desc(xi) ={xj∈V|∃um caminho dirigido{xi,···,xj}}

Conhecendo-se as definições sobre modelo de dependência M(U,I(.))e grafos

casos, Pearl (1988) define o conceito de d-separação, descrito a seguir, no qual é possível determinar a independência ou não entre dois vértices.

D-Separação: Sejam X, Y e Z três subconjuntos de vértices disjuntos de um grafo

dirigido acíclico G, então Z d-separa X eY se e somente se ao longo do caminho não

dirigido entre quaisquer vértices de X e quaisquer vértices deY existe um vértice

inter-mediárioEque [Castillo et al., 1998]:

• E é um vértice de arestas convergentes no caminho e tanto E quanto seus

descen-dentes não pertencem ao conjuntoZ;

• E não é um vértice de arestas convergentes no caminho eE está contido emZ.

Quando dois vértices são graficamente independentes, diz-se que estes vértices estão d-separados.

(a) D(A,B|E),I(A,B|/0) (b)I(A,B|E)

Figura 2.4: Exemplos de D-Separação.

Na Figura 2.4(a), quando o vérticeEpertence ao conjunto disjuntoZ, o vérticeEnão

satisfaz as definições de d-separação, pois as arestas são convergentes emE que pertence

ao conjunto Z. Quando considera-se o conjunto /0 e o caminho não dirigidoA₋E₋B,

o vértice E d-separa os vértices AeB, pois as arestas são convergentes emE e o vértice

não pertence ao conjunto disjunto Z. No caso da Figura 2.4(b), o vértice E não possui

arestas convergentes e faz parte do subconjunto Z. Portanto, para essa FiguraE d-separa

os vérticesAeB.

Considerando-se também que nem sempre é possível satisfazer todas as relações de independência com o grafo dirigido acíclico, Pearl (1988) define as seguintes relações

entre o modelo de dependênciaMe o grafo dirigido acíclicoG:

• I-Mapa:

Um grafo dirigido acíclico G é chamado um I-Mapa se para toda relação de

2.12. REDES BAYESIANAS 21

de dependênciaM.

• I-Mapa Mínimo:

Um grafo dirigido acíclico G é chamado um I-Mapa Mínimo do modelo de

dependênciaM, se ao remover alguma de suas arestas o grafo Gdeixa de ser um

I-Mapa do modelo de dependência.

• D-Mapa:

Um DAG G é chamado um D-Mapa se para toda relação de independência

válida do modelo de dependência M existe uma relação de D-Separação no grafo

dirigido acíclicoG.

• Mapa Perfeito:

Um grafo dirigido acíclicoGé dito um Mapa-Perfeito do modelo de

dependên-cia M, se o grafo G é ao mesmo tempo um I-Mapa e um D-Mapa do modelo de

dependênciaM.

Assim, dado o modelo de relação existente entre o grafo dirigido acíclico e o modelo de dependência, é possível verficar que um I-Mapa garante que os vértices d-separados

correspondem a uma relação de independência no modelo M, mas não é possível

garan-tir que os vértices que estão d-conectados possuam uma relação de dependência entre as variáveis que eles representam no modelo de dependência. Da mesma forma, o D-Mapa

garante que os vértices d-conectados possuem uma relação de dependência no modeloM,

porém os vértices d-separados não correspondem necessariamente a relações de indepen-dência no modelo de depenindepen-dência.

2.12

Redes Bayesianas

Uma Rede Bayesiana é um par (G,Θ), onde G é um grafo dirigido acíclico e Θ é

um conjunto particular de parâmetros. Esse conjunto de parâmetros especifica as

dis-tribuições de probabilidade condicional associadas às variáveis representadas em G. O

grafo dirigido acíclicoGé também conhecido estrutura da Rede Bayesiana [Castelo and

Kocka, 2003]. O conjunto de distribuições de probabilidade condicional associados à rede é também chamado de representação quantitativa, enquanto a topologia da rede é deno-minada representação qualitativa [Callejón, 2001].

informa-ções históricas sobre seus relacionamentos.”

A Figura 2.5 apresentada pela primeira vez por Lauritzen and Spiegelhalter (1988), representa a rede Bayesiana para um processo de diagnóstico de pacientes. Cada vér-tice representa uma condição (variável) do paciente e cada aresta descreve uma relação “causal” entre os vértices. As Tabelas representam as distribuições de probabilidade

con-dicional aprioriassociadas a cada uma das variáveis aleatórias (vértices). Por exemplo,

um novo paciente tem 50% de ser fumante e pacientes fumantes têm 10% de probabili-dade de deselvolver um câncer pulmonar e 60% de desenvolver uma bronquite. Caso não fumem apenas 1% dos pacientes podem desenvolver câncer e 30% bronquite.

Figura 2.5: Rede Bayesiana ASIA.

2.12. REDES BAYESIANAS 23

as variáveis aleatórias (ex: elipse) e relações causa/efeito (arestas). Essa simplicidade na representação permite visualizar com clareza as relações de causa/efeito e incertezas (Tabelas de probabilidade condicional), tornando as redes Bayesianas uma ferramenta de grande utilidade econômica. A possibilidade de aprender as estruturas em função dos dados, mesmo que incompletos, e da experiência de especialistas humanos, a ser visto no Capítulo 3, permite seu uso em problemas reais com requisitos complexos.

Tabela 2.3: Vantagens comparativas das redes Bayesianas.

Conhecimentos

Análise de dados

Redes neurais

Árvores de decisão

Sistemas especialistas

Redes Bayesianas

Aquisição

Experiência ⋆

Dados + ⋆ + +

Misto + + + ⋆

Incremental + ⋆

Generalização + ⋆ + +

Dados incompletos + ⋆

Representação

Incerteza + ⋆

Clareza + + + ⋆

Facilidade + ⋆

Homogeneidade ⋆

Utilização

Requisitos elabora-dos

+ + ⋆

Utilidade econômica + + ⋆

Desempenho + ⋆

• ⋆melhor técnica para a característica;

• + característica suportada pela técnica.

2.12.1

Métodos de Inferência Exata

Como descrito na Seção 2.12, a rede Bayesiana separa a base de conhecimento na estrutura do grafo dirigido acíclico e nos parâmetros que especificam as distribuições de

probabilidade condicional apriori. Uma das principais tarefas das redes Bayesianas é a

obtenção de conclusões à medida que novas informações sejam adquiridas. Por exem-plo, baseando-se na estrutura da Figura 2.5 e tendo-se a informação que um paciente é fumante, pode-se calcular qual a chance desse paciente desenvolver um câncer

conhecido como inferência ou propagação de evidência.

Um Algoritmo de inferência é dito exato se os cálculos de probabilidade dos vértices são produzidos contendo apenas erro de arredondamento. Os métodos de inferência exata têm sua aplicação prática factível somente em estruturas simples como a da Figura 2.6, apresentada por Castillo et al. (1998), cuja a complexidade computacional é relativamente baixa. Essas estruturas, onde a ligação entre dois vértices é realizada através de um único caminho são conhecidas como poliárvores.

Outro fator que dificulta a utilização de métodos exatos é que a Equação 2.28 de cál-culo das probabilidades é aplicável somente a um número reduzido de variáveis, pois a medida que o número de variáveis aumenta, o tempo de processamento cresce de forma exponencial, tornando o método ineficiente para cálculos com dezenas ou centenas de variáveis como é o caso de situações reais [Castillo et al., 1998].

P(xi,e) =

∑

pe(x1, . . . ,xn) (2.28)

2.12.2

Métodos de Inferência Aproximada

Na Seção 2.12.1, foi visto que os métodos de inferência exata são em sua maioria ineficientes computacionalmente ou aplicáveis a um número reduzido de estruturas. Por sua vez, os métodos de inferência aproximados são aplicáveis a qualquer tipo de estrutura de rede e baseiam-se na simulação para calcular de forma aproximada as probabilidades condicionais dos vértices. Basicamente, esses métodos geram realizações até um

deter-minado tamanhoNatravés das funções de probabilidade conjunta das variáveis e ao final

das N realizações aproximam as probabilidades através do quociente entre a freqüência

de aparição das realizações e o número total de amostras geradas.

Através da aplicação da Equação 2.13 (regra da cadeia), tem-se que a probabilidade da rede da Figura 2.6 é dada por:

P(x) =P(a)P(b_|a)P(c_|a)P(d_|b)P(e_|b)P(f_|d)P(g_|e)

A Tabela 2.4 apresenta as Tabelas de probabilidade condicional da rede Bayesiana mostrada na Figura 2.6, as quais serão utilizadas para demonstrar os Algoritmos de infe-rência aproximada.

2.12. REDES BAYESIANAS 25

Figura 2.6: Modelo de rede Bayesiana poliárvore.

Tabela 2.4: Probabilidades condicionais da rede Bayesiana da Figura 2.6.

a P(a)

0 0.30 1 0.70

a b P(b|a)

0 0 0.20

0 1 0.80

1 0 0.40

1 1 0.60

a c P(c|a)

0 0 0.15

0 1 0.85

1 0 0.25

1 1 0.75

b d P(d|b)

0 0 0.30

0 1 0.70

1 0 0.65

1 1 0.35

b e P(e|b)

0 0 0.25

0 1 0.75

1 0 0.45

1 1 0.55

d f P(f|d)

0 0 0.90

0 1 0.10

1 0 0.25

1 1 0.75

e g P(g|e)

0 0 0.10

0 1 0.90

1 0 0.30

1 1 0.70

2.12.3

Métodos de Simulação Estocástica

Amostrador Markoviano

Criado por Pearl (1987), o método Amostrador Markoviano, cujo o pseudo-código está descrito no Algoritmo 2.1, consiste em assinalar os valores da evidência nos vértices evidenciais da rede Bayesiana e através de simulação estocástica na rede calcular as

pro-babilidades aposterioridesejadas.

Algoritmo 2.1: Algoritmo Amostrador Markoviano. Entrada:V_e- conjunto de evidências,

1

BBN(G,Θ)- rede Bayesiana.

2

Saída: S - espaço amostral.

3

Dados: xi- vértice da rede Bayesiana,

4

E - evento,

5

N - número de amostras,

6

xik- valor de xi,

7

ei- valor da evidência de xi,

8

n - número de vértices,

9

ri- valores possíveis de xi,

10

π(xi)- pais do vértice xi,

11

Q(xik)- probabilidade de xik,

12

C(xj)- filhos do vértice xj.

13

Inicialização

14

paraxi∈Vefaça

15

xik←ei

16

fim para

17

paraxi∈/Vefaça

18

xik←valor gerado uniformemente

19

fim para

20

Ciclo

21

paraz_←1até N faça

22

parai_←1até nfaça

23

paraxi∈/Ve faça

24

parak_←1até rifaça

25

Q(xik)←(P(xik)|π(xi))

∏

P((xj)|π(xj))

26

fim para

27

NormalizarQ(xik)

28

xik←gerar a partir de Q(xik)normalizada

29

E(xi)←xik

30

fim para

31

fim para

32

S(z)_←E

33

fim para

34

Fim

2.12. REDES BAYESIANAS 27

Teorema: A função de probabilidade de uma variávelxi, condicionada a todas as

de-mais variáveis é dada por [Pearl, 1987]:

h(xi) =P(xi|x\xi)∝P(xi|πi)

∏

P(x_j|πj) (2.29)

onde:

• πé o conjunto de pais dex;

• Cé o conjunto de filhos dex;

• x_\xidenota todas as variáveisxque não fazem parte dexi.

Para um melhor entendimento do pseudo-código descrito no Algoritmo 2.1, considere o exemplo a seguir:

Dada a rede Bayesiana da Figura 2.6, com as respectivas funções de probabilidade condicional apresentadas na Tabela 2.4 e tomando-se B = 1 e F = 1 como evidência.

Aplicando-se o teorema dado pela Equação 2.29, obtém-se as distribuições para os vértices não evidênciais:

P(a) = P(a)P(b_|a)P(c_|a)

P(c) = P(c_|a)

P(d) = P(d_|b)P(f_|d)

P(e) = P(e_|b)P(g_|e)

P(g) = P(g_|e)

(2.30)

No primeiro passo, o Algoritmo Amostrador Markoviano assinala os valores evidênci-ais nas respectivas variáveis. Para o exemplo, a variável B é assinalada com 1 e a variável F é assinalada com 1. Após este processo, as demais variáveis são assinaladas com valo-res gerados arbitrariamente, obtendo por exemplo: A = 0, C = 0, D = 1, E = 1, G = 1 e gerando a seguinte realização inicial (0,1,0,1,1,1,1).

P(a) = P(a)P(b_|a)P(c_|a)

P(a=0) = P(a=0)P(b=1_|a=0)P(c=0_|a=0)

P(a=0) = (0.3)(0.8)(0.15)

P(a=0) = 0.04

P(a=1) = P(a)P(b_|a)P(c_|a)

P(a=1) = P(a=1)P(b=1_|a=1)P(c=0_|a=1)

P(a=1) = (0.7)(0.6)(0.25)

P(a=1) = 0.11

Normalizando-seP(a)através da divisão do valor obtido pela sua soma, obtém-se:

P(a=0) = P(a=0)

P(a=0) +P(a=1)

P(a=0) = 0.04

0.04+0.11

P(a=0) = 0.26

P(a=1) = 0.11

0.04+0.11

P(a=1) = 0.74

Gera-se, então, a partir das probabilidades normalizadas P(a) uma nova realização

para a variável ae adiciona-se esta realização ao evento a ser gerado após o cálculo do

segundo passo para todas as demais variáveis não evidenciais.

Repete-se o processo até queNeventos sejam gerados, calculando-se ao final, através

do uso da definição freqüentista de probabilidade e das Equações descritas pela rede, as probabilidades de ocorrência das variáveis aleatórias que compõem a rede Bayesiana.

A convergência do método é garantida por um teorema desenvolvido por Feller (1968), apresentando problemas somente quando as variáveis possuem probabilidades extremas.

2.12.4

Métodos de Busca Determinística

funciona-2.12. REDES BAYESIANAS 29

mento dos métodos de busca determinística.

Método de Busca da Máxima Probabilidade

O Algoritmo Busca da Máxima Probabilidade, apresenta diferentes implementações, que diferem basicamente na forma de seleção dos galhos em cada etapa. O Algoritmo descrito nesta dissertação basea-se no trabalho de [Poole, 1993] que realiza a seleção do galho que possui máxima probabilidade em cada etapa. Seu pseudo-código é descrito no Algoritmo 2.2 a seguir:

Algoritmo 2.2: Algoritmo Busca da Máxima Probabilidade. Entrada:Ve- conjunto de evidências,

1

BBN(G,Θ)- rede Bayesiana.

2

Saída: S - Espaço amostral.

3

Dados: xi- vértice da rede Bayesiana,

4

xik - valor do vértice xi,

5

N - número de amostras,

6

n - número de vértices,

7

E - evento,

8

ri- valores possíveis de xi,

9

ei- valor da evidência xi,

10

ProbTotal - probabilidade do evento E.

11

Inicialização

12

para_∀xi∈Ve faça

13

parak_←1até r_ifaça

14

sex_ik=eientão

15

P(xik) =0

16 fim se 17 fim para 18 fim para 19 Ciclo 20

enquantoz_←1até N faça

21

ProbTotal_←1

22

enquantoi<nfaça

23

ProbTotal_←ProbTotal_∗maximo(P(xi))

24

xik←elemento commaximo(P(xi))

25

E(xi)←xik

26

fim enquanto

27

S(z)_←E

28

eliminaE da lista de eventos possíveis

29

fim enquanto

30

Fim

Para um melhor entendimento do pseudo-código do Algoritmo 2.2, considere o exem-plo apresentado na Seção 2.12.3. O primeiro passo a ser realizado antes de gerar a árvore é alterar as funções de probabilidade condicional das evidências. Para o exemplo, tem-se:

P(b=0_|a=0) = 0.00

P(b=0_|a=1) = 0.00

P(b=1_|a=0) = 0.80

P(b=1_|a=1) = 0.60

P(f =0_|d=0) = 0.00

P(f =0_|d=1) = 0.00

P(f =1_|d=0) = 0.10

P(f =1_|d=1) = 0.75

Para as demais variáveis, as funções de probabilidade condicional permanecem inalte-radas. Terminada a atualização das probabilidades das evidências, inicializa-se o processo de construção da árvore. Dada a seqüência (A,B,C,D,E,F,G) como uma ordenação inicial das variáveis, tem-se que os primeiros galhos da árvore são:

R1₁= (a=0),P(R11) =0.30 R1₂= (a=1),P(R1₂) =0.70

onde:

• R_ijrepresenta os galhos da árvore;

• irepresenta o índice dos valores possíveis da variável;

• jrepresenta o índice de profundidade da árvore.

O galhoR1₂ apresenta a máxima probabilidade. Como este galho não representa uma

realização completa, desenvolve-se o próximo nível da árvore. Desenvolvendo B, obtém-se:

R2₁ = ((a=1),(b=1)),P(R2₁)

R2₁ = 0.70_∗0.60

2.12. REDES BAYESIANAS 31

Nota-se que somente o galho que representa a evidência de B é desenvolvido, caso B não fosse uma evidência, os demais galhos também deveriam ser desenvolvidos e aquele que apresentasse a máxima probabilidade expandido, visto que B não representa uma re-alização completa desenvolve-se os galhos da variável aleatória C e expande-se aquele que possui a máxima probabilidade. Repete-se o processo para cada uma das variáveis restantes até que uma realização completa seja gerada (no exemplo, a primeira realização obtida é {1,1,1,0,1,1,1}). Como o Algoritmo é determinístico, de forma a evitar sempre a geração da mesma realização, o galho gerador da amostra vencedora é eliminado da árvore. Continua-se o processo até que o número de realizações desejadas seja obtida ou o número máximo de galhos seja gerado, sempre selecionando aqueles galhos restantes que apresentem a máxima probabilidade. Caso o número máximo de galhos seja gerado

obtém-se o cálculo exato da inferência. Ao final dasN realizações, o cálculo da

proba-bilidade das variáveis é realizado de forma similar ao Algoritmo Amostrador Markoviano.

Capítulo 3

Aprendizagem de Redes Bayesianas

Em muitas situações reais envolvendo o aprendizado de redes Bayesianas, o conhe-cimento prévio dos parâmetros e da estrutura de rede não é plenamente conhecido e a utilização de especialistas humanos com diferentes níveis de conhecimento sobre o pro-blema pode acarretar em modelos contraditórios que não apresentam resultados esperados quando aplicados a ambientes de produção. Para esses casos, o aprendizado automático baseado de um conjunto de dados aprensenta-se como uma solução interessante.

Conceitualmente, os Algoritmos de aprendizagem de redes Bayesianas estão dividi-dos em:

• Aprendizagem Paramétrica: Refere-se ao aprendizado das distribuições de

pro-babilidade condicional, conjuntoΘde parâmetros da definição de redes Bayesianas

de Castelo and Kocka (2003);

• Aprendizagem da Estrutura:Refere-se ao aprendizado do grafo dirigido acíclico,

ou seja, define quais as arestas orientadas ligando os vértices devem ser adicionadas ao grafo.

Como o aprendizado dos parâmetros Θ conhecida a estrutura da rede ótima para o

conjunto de dados completo conhecido é trivial, recaindo em um problema de maximiza-ção da funmaximiza-ção de verossimilhança, ou seja, o que corresponde à minimizamaximiza-ção da Entropia de Kullback-Leibler [Cheng and Greiner, 2001], [Cooper and Herskovits, 1993], optou-se neste estudo trabalhar com o aprendizado estrutural de redes Bayesianas.