Renato Assunção - DCC, UFMG. 01 de Setembro de Considere a BN da Figura 1. Suponha que cada uma das variáveis no DAG seja uma v.a.

(1)

1 a

Prova - PGM

Renato Assun¸c˜

ao - DCC, UFMG

01 de Setembro de 2016

1. Considere a BN da Figura 1. Suponha que cada uma das variáveis no DAG seja uma v.a. aleatória binária.

Figure 1: Uma BN sem nome. Todas as variáveis são binárias.

• Escreva a distribui¸cão conjunta das variáveis usando a fatora¸cão induzida pela BN.

• Obtenha a distribui¸cão marginal das variáveis (E, B, F ) somando sobre todos os valores das demais variáveis.

• A partir da express˜ao obtida no item anterior, responda: ´E verdade que B ⊥⊥ F |E?

Solu¸cão: Vamos denotar as v.a.’s por letras maiúsculas e os seu valores poss´ıveis por letras minúsculas. Assim, pela fatora¸cão induzida pela BN, para uma configura¸cão arbitrária (a, b, c, d, e, f, g) do vetor aleatório (A, B, C, D, E, F, G) temos a distribui¸c˜_{ao conjunta P(A = a, B = b, C = c, D =} d, E = e, F = f, G = g) dada por

P(A = a)P(C = c)P(E = e)P(B = b|E = e)P(F = f |E = e)P(D = d|A = a, B = b, C = c)P(G = g|D = d, F = f )

A distribui¸cão marginal das variáveis (E, B, F ) é obtida somando-se sobre os valores das demais variáveis. Isto ´_{e, P(B = b, E = e, F = f ) é igual a}

(2)

X a,c,d,g

P(A = a, B = b, C = c, D = d, E = e, F = f, G = g) = = X

a,c,d,g

P(A = a)P(C = c)P(E = e)P(B = b|E = e)P(F = f |E = e)P(D = d|A = a, B = b, C = c)P(G = g|D = d, F = f ) = X

a,c,d  

P(A = a)P(C = c)P(E = e)P(B = b|E = e)P(F = f |E = e)P(D = d|A = a, B = b, C = c)    :1 X g P(G = g|D = d, F = f )       =X a,c     

P(A = a)P(C = c)P(E = e)P(B = b|E = e)P(F = f |E = e)      : 1 X d P(D = d|A = a, B = b, C = c)           =X a

P(A = a)P(E = e)P(B = b|E = e)P(F = f |E = e) " :1 X c P(C = c) #! = P(E = e)P(B = b|E = e)P(F = f |E = e)

" :1 X a P(A = a) # = P(E = e)P(B = b|E = e)P(F = f |E = e)

A partir da expressão acima, vemos que B ⊥⊥ F |E pois a distribui¸cão conjunta das variáveis (E, B, F ) é escrita como produto de uma fun¸cão apenas de B, E por outra fun¸cão apenas de F, E. Outra maneira simples é usar a expressão acima no cálculo da distribui¸cão de B, F |E:

P(B = b, F = f |E = e) = P(B = b, F = f, E = e) P(E = e)

=

P(E = e)P(B = b|E = e)P(F = f |E = e)

P(E = e)

pelo resultado acima = P(B = b|E = e)P(F = f |E = e)

que ´e a defini¸c˜ao de B ⊥⊥ F |E.

2. Considere o modelo de filtro de Kalman gaussiano para o robô que vimos em sala de aula. Suponha que, num certo instante, a cren¸ca sobre a localiza¸cão exata do robô é, representada por µ, é descrita por uma Gaussiana µ ∼ N (10, σ2

µ = 4). O robˆo faz uma medi¸c˜ao com um sensor igual a y = 14.0

sendo que a variˆancia 1/τy do erro associado com o sensor ´e igual a 1/τy = 2. Assume-se que

a medi¸c˜ao do robˆo segue o seguinte modelo condicional (y|µ) ∼ N (µ, 1/τy = 2). Obtenha a

distribui¸cão de probabilidade atualizada de µ após receber o valor do sensor. Isto é, obtenha a distribui¸cão de probabilidade de (µ|y = 4.0).

Solu¸cão: Devemos aplicar a atualiza¸cão bayesiana do filtro de Kalman em um passo. A cren¸ca na posi¸cão inicialdo robô é representada por uma gaussiana N (m0, 1/τµ) = N (10, 4) e portanto

τµ= 1/4 = 0.25. O sensor tem uma variˆancia 1/τy = 2 e produziu a medi¸c˜ao y = 14.0. Portanto,

aplicando a atualiza¸c˜ao bayesiana, calculamos w = τµ τµ+ τy = 0.25 0.25 + 0.50 = 1 3

e obtemos a distribui¸câo para representar a cren¸ca na nova posi¸cão do robô, que é dada por (µ|y = 14.0) ∼ N (wm0+ (1 − w)y, 1/(τµ+ τy)) = N 1 3 × 10 + 1 −1 3 × 14,4 3 = N 38 3 , 4 3

3. Continuando com o problema anterior, imagine que o controlador deseja fazer o robˆo deslocar-se para a direita por 2 metros. O controle possui um erro gaussiano ε com variˆancia 1/τd = 1/4 de

forma que o deslocamento real é dado por 2 + ε. Obtenha a distribui¸cão de probabilidade da posi¸cão do robô após este deslocamento.

(3)

Solu¸cão: Após receber a medi¸cão do sensor e atualizar sua crencca, acredita-se que a descri¸cão sobre a posi¸cão do robô está representada pela distribui¸cão (µ|y = 14.0) ∼ N 38₃,4₃. Somando-se o deslocamento incerto representado por uma gaussiana N (2, 1/taud) = N (2, 1/4) teremos a cren¸ca

sobre a nova posi¸c˜ao dada por

µ ∼ N 38 3 + 2, 4 3 + 1 4 = N (14.67, 1.58)

4. A Figura 2 mostra uma pequena rede bayesiana procurando descrever os sintomas associados com a gripe e pneumonia num paciente. Observe que nenhuma das arestas pode ter sua dire¸cão invertida sem ferir o bom senso. Não parece razoável tamém adicionar nenhuma aresta adicional. Partindo desta BN, fa¸ca as tarefas a seguir:

Figure 2: BN descrevendo os sintomas de gripe e pneumonia.

(a) Usando as regras de probabilidade condicional calcule o valor exato das seguintes probabili-dades:

• P( MY = yes ); • P( FL = yes ); • P( FE = yes );

• P( FL = yes | MY = yes );

• P( TEMP > 37.5, PN = yes , MY = yes ) (use a fatora¸c˜ao da BN) Solu¸c˜ao:

P( MY = yes ) = P( MY = yes | FL = yes )P( FL = yes ) + P( MY = yes | FL = no )P( FL = no ) = 0.95 × 0.1 + 0.20 × 0.9 = 0.275

(4)

Diretamente a partir da BN, temos P( FL = yes ) = 0.1, já que FLU é um nó ancestral (sem pais) da BN. P( FE = yes ) = X x,y∈{yes,no} P( FE = yes|FL = x, PN = y)P(FL = x, PN = y) = X x,y P( FE = yes |FL = x, PN = y)P(FL = x)P(PN = y) = 0.95 × 0.1 × 0.05 + 0.80 × 0.9 × 0.05 + 0.88 × 0.1 × 0.95 + 0.001 × 0.9 × 0.95 = 0.1252

P( FL = yes | MY = yes ) = P( FL = yes , MY = yes ) P( MY = yes ) = P( FL = yes , MY = yes )

0.275 pelo item 1

= P( MY = yes | FL = yes )P( FL = yes )

0.275 pelo item 1

= 0.96 × 0.1

0.275 = 0.349

Para calcular P( TEMP > 37.5, PN = yes , MY = yes ) vamos somar as probabilidades P( TEMP > 37.5, PN = yes , MY = yes , FE = a, FLU = b) sobre todos os quatro valores poss´ıveis para a e b. Neste processo, vamos usar a fatora¸cão da BN para escrever a distribui¸cão conjunta das cinco variáveis da BN.

Por exemplo, com F E = yes e F U = yes, pela fatora¸c˜ao BN, temos a probabilidade P( TEMP > 37.5, PN = yes , MY = yes , FE = yes, FLU = yes) dada por

P(FLU = y)P(PN = y)P(MY = y|FLU = y)P(FE = y|FLU = y, PN = y)P(TEMP > 37.5|FE = y)

= 0.1 × 0.05 × 0.96 × 0.95 × (1 − 0.1) = 0.004104 De forma an´aloga, calculamos

P( TEMP > 37.5, PN = yes , MY = yes , FE = yes, FLU = no) = (1 − 0.1) × 0.05 × 0.20 × 0.80 × (1 − 0.1) = 0.00648 P( TEMP > 37.5, PN = yes , MY = yes , FE = no, FLU = yes) = 0.1×0.05×0.96×(1−0.95)×(1−0.99) = 2.4 10−6 P( TEMP > 37.5, PN = yes , MY = yes , FE = no, FLU = no) = (1−0.1)×0.05×0.20×(1−0.80)×(1−0.99) = 1.8 10−5

Portanto, P( TEMP > 37.5, PN = yes , MY = yes ) ´e igual a 0.00410+0.00648+0.0000024+ 0.000018 = 0.0106004.

(b) Explique como você usaria o método Monte Carlo para gerar uma amostra de N = 10000 instâncias da rede e a seguir estimar as seguintes probabilidades:

• P( FE = yes ), para a qual vocˆe j´a calculou o valor exato; • P( MY = yes );

• P( TEMP > 37.5, PN = yes );

(5)

Solu¸cão: Você deve gerar N = 10000 instâncias do vetor (FLU, PN, MY, FE, TEMP) respeitando a distribui¸cão conjunta da BN. A maneira mais simples é gerar uma variável de cada vez seguindo a mesma ordem da BN e condicionando nos valores sucessivos das variáveis pais na rede bayesiana. Assim, para gerar uma instãncia do vetor (FLU, PN, MY, FE, TEMP) geramos um valor para FLU jogando uma moeda com proabilidade 0.1 de ocorrer o sucesso [FLU=yes]. Suponha que tenhamos obtido FLU igual a no. A seguir, geramos o evento PN com uma moeda com probabilidade de sucesso 0.05 (na verdade, selecionando um número real U entre 0 e 1: se U < 0.05 então ocorreu o evento [PN=yes]. Suponha que PN = yes tenha acontecido.

A seguir, gere um valor, yes ou no, para MY. Para isto, deve-se usar o valor já obtido para seu pai FLU. Como tivemos FLU = no, geramos MY com as probabilidades condicionais P(MY = yes|FLU = no) = 0.20 e P(MY = no|FLU = no) = 1 − 0.20 = 0.80. A variável FE é gerada usando os valores já sele-cionados de FLU = no e PN = yes e a CPT (conditional probbility table) associada com este nó na BN. Assim, geramos FE com a probabilidade P(FE = yes|FLU = no, PN = yes) = 0.80. Isto é, sele-cionando um novo número real V entre 0 e 1: se V < 0.80 então ocorreu o evento [FE=yes]. Suponha que [FE = no] tenha acontecido. Geramos a última variável TEMP baseada no valor já simulado para FE. Como ocorreu [FE = no], usamos a probabilidade P(T EM P ≤ 37.5|FE = no) = 0.99. Repetimos o procedimento acima 10 mil vezes independentemente gerando 10 mil instãncias do vetor (FLU, PN, MY, FE, TEMP) seguindo a distribui¸cão de probabilidade especificada na BN. Para estimar as probabilidades:

• P( FE = yes ): calcule a propor¸c˜ao de inst˜ancias (dentre as 10 mil geradas) em que ocorreu o evento [FE = yes].

• P( MY = yes ): como acima, simplesmente calcule a propor¸c˜ao de inst˜ancias (dentre as 10 mil geradas) em que ocorreu o evento [MY = yes].

• P( TEMP > 37.5, PN = yes ): calcule a propor¸c˜ao de inst˜ancias (dentre as 10 mil geradas) em que ocorreu o evento [TEMP > 37.5] e, ao mesmo tempo, o evento [PN = yes].

• P( TEMP > 37.5, PN = yes , MY = yes ): calcule a propor¸c˜ao de inst˜ancias (dentre as 10 mil geradas) em que ocorreu ao memso tempo [TEMP > 37.5], [PN = yes], e [MY = yes].

5. Considerando um vetor aleatório (X, Y, Z), nós definimos que X é condicionalmente independente de Y dado o valor da variável aleatória Z (ou X ⊥⊥ Y |Z) se

P(X = x|Y = y, Z = z) = P(X = x|Z = z) (1)

Mostre que a igualdade (1) é válida se, e somente se, é válida a seguinte propriedade:

P(X = x, Y = y|Z = z) = P(X = x|Z = z)P(Y = y|Z = z) (2)

Solu¸c˜ao: Vamos mostrar que (1) implica (2). Suponha que a probabilidade satisfaz a propriedade (1). Come¸cando com o lado esquerdo de (2), vamos mostrar que podemos chegar ao seu lado esquerdo usando (1). Temos

, por def. de prob. cond. = _{P(X = x|Z = z)P(Y = y|Z = z)}

(6)

Para mostrar que (2) implica (1), come¸camos com o lado esquerdo de (1):

P(X = x|Y = y, Z = z) = P(X = x, Y = y, Z = z) P(Y = y, Z = z)

= P(X = x, Y = y|Z = z)P(Z = z) P(Y = y|Z = z)P(Z = z)

por def. de prob. cond. = P(X = x|Z = z)P(Y = y|Z = z) P(Z = z) P(Y = y|Z = z)_{P(Z = z)} por (2) = P(X = x|Z = z)(((( (((( P(Y = y|Z = z) (((( (((( P(Y = y|Z = z) = P(X = x|Z = z)