Prof. Carlos Bana e Costa

(1)

Análise de Decisão 2014/2015, Carlos A. Bana e Costa 1

Redes Bayesianas

Prof. Carlos Bana e Costa

Referências:

Jensen, F.V. (1996), An Introduction to Bayesian Networks, UCL Press, London. (Capítulo 2)

Breese, J. (Microsoft Corp.), Koller, D. (Stanford University): http://

robotics.stanford.edu/~koller/BNtut/

Norsys Software Corp. (NETICA soft.): http://www.norsys.com/netica.html

Fred, A. (2008) Redes Bayesianas http://www.lx.it.pt/~afred/docencia/Percepcao_2006/

acetatos/rb.pdf

Modelos de AD

REVISÃO DE

OPINIÃO

•  Redes Bayesianas

Problema dominado por

AVALIAR OPÇÕES

•  Análise Multicritério

Incerteza Objectivos múltiplos

ESCOLHA

•  Árvores de Decisão •  Diagramas de Influência

(2)

Análise de Decisão 2014/2015, Carlos A. Bana e Costa 3 “Regra do produto”: P(Favourable, Oil) = P(Favourable\Oil).P(Oil) = P(Oil\Favourable).P(Favourable) “Marginalisation”: P(Favourable) = P(Favourable\Oil).P(Oil) + P(Favourable\Dry).P(Dry) P(Favourable) P(Oil\Favourable) = P(Favourable\Oil).P(Oil) P(Favourable\Oil).P(Oil)+P(Favourable\Dry).P(Dry) P(Oil\Favourable) = P(Favourable\Oil).P(Oil)

Relembrar: Regras de probabilidade

Regra de Bayes (1763):

onde P(H\E) indica a probabilidade da hipótese H condicionada à evidência E.

P(E) P(H\E) = P(E\H).P(H)

A pedra angular da teoria probabilística Bayesiana é a expressão de inversão:

A regra de Bayes proporciona uma relação explícita do grau de

credibilidade da hipótese H à luz da evidência E.

A regra de Bayes é útil em contextos onde as probabilidades são mais facilmente obteníveis numa direcção de inferência do que noutra.

(3)

Ao proporcionar a flexibilidade para raciocinar probabilisticamente em qualquer direcção, causal ou de diagnóstico, a regra de Bayes permite ao actor estabelecer convicções em formas que são

compatíveis com a sua maneira de pensar sobre o(s) processo(s) ou

fenómenos de interesse.

Uma rede Bayesiana

É um tipo particular de Diagrama de Influência. Só contém nós de acaso (e determinísticos).

O inspetor de polícia Smith aguarda

impacientemente pela chegada do Sr. Holmes e do Dr. Watson? Eles estão atrasados e o Inspector Smith tem outro compromisso importante (almoço). Olhando pela janela ele questiona-se se haverá gelo nas estradas. Ambos são notoriamente maus

condutores, por isso, se houver gelo nas estradas eles

podem ter sofrido um acidente. 2001

A secretária entra e diz-lhe que o Dr. Watson teve um acidente de automóvel, “o Watson? OK. Gelo na estrada... Então o Holmes, muito provavelmente, também deve ter tido um acidente. Vou almoçar agora.”

“Gelo na estrada!”, retorquiu a secretária, “Bem longe disso, não

(4)

O inspetor de polícia Smith aguarda impacientemente pela chegada do Sr. Holmes e do Dr. Watson? Eles estão atrasados e o Inspector Smith tem outro compromisso importante (almoço). Olhando pela janela ele questiona-se se haverá gelo nas estradas. Ambos são notoriamente maus condutores, por isso, se houver gelo nas estradas eles poderão ter sofrido um acidente.

Holmes W atson

Ice

ambos são notoriamente maus condutores

gelo nas estradas eles poderão ter sofrido um acidente

Rede Bayesiana

se

houver gelo nas estradas eles poderão ter sofrido um acidente

Holmes W atson

(5)

A secretária entra e diz-lhe que o Dr. Watson teve um acidente de automóvel, “o Watson? OK. Gelo na estrada... Então o Holmes, muito provavelmente, também deve ter tido um acidente. Vou almoçar agora.”

se

houver gelo nas estradas eles poderão ter sofrido um acidente

“Gelo na estrada!”, retorquiu a secretária, “Bem longe disso, não está assim tão frio, e ainda por cima já colocaram sal nas

estradas.” O Inspector Smith então conclui: “Falta de sorte do Watson. Vamos dar mais 10 minutos ao Holmes.”

(6)

Análise de Decisão 2014/2015, Carlos A. Bana e Costa

Propriedades qualitativas das redes

Bayesianas

•  A inferência pode seguir o

sentido das setas

–  O conhecimento de T diz-nos

algo sobre H através de G

•  A inferência pode ir contra o

sentido das setas

–  O conhecimento de H diz-nos

algo sobre T através de G

•  Ambos os padrões de inferência

podem ser quebrados se

conhecer G

Temperatura abaixo de zero (T) Estradas com gelo (G) Holmes teve um acidente (H)

© Alec Morton OR425 Seminar 8: Bayes Nets and Influence Diagrams

•  A inferência também

pode subir e depois

descer

–  O conhecimento de H

pode dizer-me algo sobre

W, supondo que não

conheço G

Watson teve um acidente (W) Holmes teve um acidente (H) Estradas com gelo (G)

•  Isto é conhecido como independência

conditional

•  H e W (ou H e T) são independentes se eu

conheço o estado de G (caso contrário são

dependentes)

(7)

•  Se eu não conhecer o

estado de M, C e A são

independentes

•  Mas se se der o caso de

eu conhecer M, C e A

tornam-se dependentes

Aspersor ficou ligado (A) Choveu (C) Relvado do Holmes está molhado (M)

•  E se descer e depois subir?

–  Conhecendo A pode explicar M e assim tornar C

menos provável

•  Este padrão de inferência é activado em vez de

quebrado pelo conhecimento da variável

intermédia

© Alec Morton OR425 Seminar 8: Bayes Nets and Influence Diagrams

•  Muitas variáveis •  Muitas relações complexas •  Necessidade de construir uma estrutura de inferência

(8)

Redes Bayesianas

Uma rede Bayesiana é composta por um conjunto de nós que representam

variáveis de interesse, ligadas por arcos que indicam dependências, e que

contêm informação acerca das relações

entre nós (frequentemente na forma de

probabilidades condicionais).

O seu uso inclui predição e diagnóstico.

Uma rede Bayesiana fornece uma descrição probabilística completa de um sistema particular, i.e., especifica completamente uma distribuição

de probabilidade conjunta nos diversos tipos de nós distintos

representados na rede.

Recordar: Condicional P(X = x \ Y = y)

Probabilidade de X=x dado que conhecemos que Y=y

Probabilidade conjunta P(x, y) ≡ P(X = x _^Y = y) Probabilidade que X = x e Y = y T u b e r c u l o s i s X R a y R e s u l t T u b e r c u l o s i s o r C a n c e r L u n g C a n c e r D y s p n e a B r o n c h i t i s V i s i t T o A s i a S m o k i n g Chest Clinic

T u b e r c u l o s i s X R a y R e s u l t T u b e r c u l o s i s o r C a n c e r L u n g C a n c e r D y s p n e a B r o n c h i t i s V i s i t T o A s i a S m o k i n g Chest Clinic

Uma RB consiste no seguinte:

•  Um conjunto de variáveis e um

conjunto de arcos dirigidos entre variáveis.

•  Cada variável tem um conjunto

finito de estados.

•  As variáveis conjuntamente com

os arcos dirigidos formam um

grafo dirigido acíclico.

T u b e r c u l o s i s P r e s e n t A b s e n t 1 . 0 4 9 9 . 0 X R a y R e s u l t A b n o r m a l N o r m a l 1 1 . 0 8 9 . 0 T u b e r c u l o s i s o r C a n c e r T r u e F a l s e 6 . 4 8 9 3 . 5 L u n g C a n c e r P r e s e n t A b s e n t 5 . 5 0 9 4 . 5 D y s p n e a P r e s e n t A b s e n t 4 3 . 6 5 6 . 4 B r o n c h i t i s P r e s e n t A b s e n t 4 5 . 0 5 5 . 0 V i s i t T o A s i a V i s i t N o V i s i t 1 . 0 9 9 . 0 S m o k i n g S m o k e r N o n S m o k e r 5 0 . 0 5 0 . 0 Chest Clinic

Definição (formal) de uma Rede Bayesiana (Jansen, 1996)

•  A cada variável A com pais

B₁, …, B_n existe associada

uma tabela de probabilidades condicionadas

(9)

Lauritzen, Steffen L. and David J. Spiegelhalter (1988),

“Local computations with probabilities on graphical structures and their application to expert systems”, J. Royal Statistics Society B, 50(2), 157-194.

Esta é uma versão simplificada de uma rede que pode ser usada para diagnosticar pacientes que chegam a uma clínica. Cada nó da rede corresponde a uma condição qualquer do paciente, e.g., "Visit to Asia" indica se o paciente visitou a Ásia recentemente. Para diagnosticar um paciente, inserem-se valores nós quando eles

(10)

Os dois nós de topo indicam predisposições que influenciam a probabilidade das doenças. Essas doenças surgem na linha abaixo deles. Em baixo estão os sintomas das doenças. - Em grande medida, as ligações da rede correspondem a causalidade. Esta é uma estrutura comum para redes de diagnóstico: nós de predisposição no topo, com ligações a nós que representam condições internas e estados de falhas, que por sua vez têm ligações a nós com observáveis. Frequentemente existem muitas camadas de nós a representar condições internas, com ligações entre eles a representar os seus inter-relacionamentos complexos.

Relação probabilística de

"Lung Cancer” com Smoking

Dependência funcional de

"Tuberculosis or Cancer” em Tuberculosis e Lung Cancer.

(11)

Análise de Decisão 2014/2015, Carlos A. Bana e Costa 21 Probabilidades de cada estado

do nó “Bronchitis”

Suponha que queremos "diagnosticar" um novo paciente. Quando ela entra na clínica, sem existir nenhuma informação sobre ela, nós Acreditamos que ela tenha cancro no pulmão (lung cancer) com uma probabilidade de 5.5% (o número pode ser maior que o que existe para a população em geral, pois alguma coisa a levou a dirigir-se à clínica).

Descoberta - Ela tem

Todos os números de probabilidades e as barras mudaram para tomar em

(12)

Análise de Decisão 2014/2015, Carlos A. Bana e Costa 23 T u b e r c u l o s i s P r e s e n t A b s e n t 3 3 . 8 6 6 . 2 X R a y R e s u l t A b n o r m a l N o r m a l 1 0 0 0 T u b e r c u l o s i s o r C a n c e r T r u e F a l s e 6 9 . 1 3 0 . 9 L u n g C a n c e r P r e s e n t A b s e n t 3 7 . 1 6 2 . 9 D y s p n e a P r e s e n t A b s e n t 6 8 . 1 3 1 . 9 B r o n c h i t i s P r e s e n t A b s e n t 4 9 . 1 5 0 . 9 V i s i t T o A s i a V i s i t N o V i s i t 1 0 0 0 S m o k i n g S m o k e r N o n S m o k e r 6 3 . 7 3 6 . 3 Chest Clinic Nova descoberta: ela visitou a Ásia

recentemente

A probabilidade de cancro no pulmão (lung cancer) decresceu de 48.9% para 37.1%, porque o Raio-X anormal está parcialmente explicado por uma maior probabilidade de Tuberculose (que ela poderá ter apanhado na Ásia)

Um novo paciente acaba de entrar: removem-se todos os estados

(13)

(14)

Serial connection. If S is instantiated (i.e., its state is known) it blocks communication

between its parents and children

Evidence on A (or G) will influence the certainty of S. Similarly, evidence on C will influence the certainty on A (and G) through S. However, if the state of S is known, then A (G) and C become independent.

We say that A (G) and C

are d-separated given S.

When nothing is known about the state of Cancer:

However, when we know the state of Cancer:

Diverging connection. If C is instantiated, it blocks communication between its children

(15)

When nothing is known about the state of Cancer:

However, when we have information about Cancer:

Converging connection. If C is instantiated, it opens communication between its parents

(16)

is the product of allconditional probabilities

The joint probability distribution

(17)

Revisão de opinião

Modelo Bayesiano

Redes Bayesianas

) X , , X X ( P ) X , , X , X ( P n i i i n

∏

= − = 1 1 1 2 1 … … A Regra de Bayes (1763) permite rever a probabilidade associada a uma hipótese H com base numa evidência E.

P(E) P(H⎮E) = P(E⎮H) . P(H)

Descoberta de novas classes de estrelas infra-vermelhas AutoClass Project (NASA)

Prof. Carlos Bana e Costa

Redes Bayesianas