T EOREMA DE B AYES

O Teorema de Bayes, atribuído a Thomas de Bayes6, é uma proposição sobre

probabilidades condicionais, sendo que a sua interpretação e consequente utilização na inferência bayesiana têm gerado alguma controvérsia. Antes de enunciarmos o teorema em si, tenham-se em conta alguns requisitos, inicialmente definidos para dois acontecimentos, mas passíveis de ser generalizados, como veremos.

Observe-se que, em qualquer um das definições subsequentes partir-se-á de um espaço de probabilidade , onde:

 é um espaço fundamental não vazio (que nas aplicações coincide, em regra

denota o espaço amostral) cujos elementos , , designamos de

acontecimentos elementares e os subconjuntos , , denotam os

acontecimentos;

 é a família (álgebra ou -álgebra ) dos acontecimentos dotados de probabilidade;

 é a medida de probabilidade definida para os acontecimentos , , em

que é a probabilidade do acontecimento .

DEFINIÇÃO 1.1

Seja um espaço de probabilidades. Dados dois acontecimentos e

a probabilidade de se realizar, sabendo que se realizou – a

probabilidade de condicional a – denotada por , é definida por:

(1.1)

De forma análoga, definimos a probabilidade de condicional a , como:

(1.2)

Das igualdades (1.1) e (1.2), resulta que:

(1.3)

6 _{Thomas Bayes nasceu em Londres por volta de 1702 e morreu a 17 de Abril de 1761 em Tunbridge Wells.}

Em 1719 ingressou, para estudar teologia e lógica, na Universidade de Edimburgo. No entanto os seus estudos continuariam numa universidade escocesa. Utilizando as probabilidades de forma intuitiva, estabeleceu as bases para a inferência estatística tornando-se conhecido por ter formulado o Teorema de Bayes. Apesar de não ter obras de matemática publicadas, Bayes foi eleito membro da Royal Society em 1742. Já após a sua morte, em 1763, Richard Price, amigo pessoal de Bayes publica a obra "An essay Towards Solving a problem in the Doctrine of Chances" a qual, segundo alguns autores, terá sido impulsionadora para o iniciar do estudo da abordagem bayesiana.

Manipulando algebricamente a equação (1.3), podemos deduzir o Teorema de Bayes, para dois acontecimentos.

TEOREMA 1.1 (Teorema de Bayes para dois acontecimentos)

Seja um espaço de probabilidades. Dados dois acontecimentos e com

e tem-se:

(1.4)

Se quisermos enunciar para o caso geral este resultado, tomemos para o efeito uma

partição finita (ou infinita) de dada por com .

TEOREMA 1.2(Teorema da Probabilidade Total)

Seja um espaço de probabilidades. Dado um acontecimento e

uma partição desse espaço, isto é:

i. ii. Tem-se: (1.5)

Consequentemente, tendo em conta as equações (1.4) e (1.5), podemos enunciar o Teorema de Bayes para o caso geral.

TEOREMA 1.3(Teorema de Bayes – caso geral)

Seja um espaço de probabilidades. Dado um acontecimento e

uma partição desse espaço, temos:

(1.6)

Esta abordagem é útil para os casos em que conhecemos as probabilidades dos

acontecimentos e a probabilidade condicional de dado , com

, mas não é conhecida, directamente, a probabilidade de .

Estabelecendo uma junção de ideias entre a teoria de probabilidades e a econometria, neste caso tendo por base a inferência bayesiana (Econometria Bayesiana), pelo facto

desta trabalhar com modelos que dependem de parâmetros, os quais se pretendem estudar, o Teorema de Bayes pode ser apresentado numa nova perspectiva (Koop, 2004).

Assim, considerando como sendo um vector (ou uma matriz) de dados e como

sendo um vector (ou uma matriz) contendo os parâmetros do modelo que procuram

explicar , estamos interessados em conhecer o vector de parâmetros, , tomando como

base o conhecimento de dados . Pelo que, fazendo a junção de ideais acima referida,

substituindo, na equação (1.4) (Teorema de Bayes), B por e A por , obtemos:

(1.7)

Sendo que, para o caso geral, se obtém:

(1.8)

A equação (1.7) evidencia a troca de uma ―crença‖ a respeito do vector de parâmetros , expressa por , por um outra ―crença‖ medida por . Com efeito, pode

ser interpretado como a distribuição de probabilidade de , antecedente à observação dos

dados, e a distribuição posterior à observação dos dados. Daí a designação de

probabilidade a priori sobre para e de probabilidade a posteriori para .

Facto que vem clarificar a interpretação feita do Teorema de Bayes, conforme apresentada por vários autores, entre os quais Koop (2004).

Observe-se que todos os elementos da equação (1.7) dependem de à excepção do

denominador da expressão, , referido por alguns autores como uma constante de

normalização. Deste modo, sendo precisamente o foco de estudo na econometria, é lícito afirmar que este depende na íntegra do produto de por , isto é:

(1.9)

Ou seja, a densidade a posteriori, , é explicada por denotando a função de verosimilhança – densidade dos dados, , condicional aos parâmetros, , do modelo – e pela densidade a priori, . Ou seja, ―a distribuição a posteriori incorpora, via Teorema de Bayes, toda a informação disponível sobre o parâmetro (informação inicial + informação da experiência ou da amostra)‖ (Paulino et al., 2003, p.22), ou de uma forma mais simplista, diz-se que a distribuição a posteriori é proporcional ao produto da verosimilhança pela densidade a priori (Koop, 2004).

Observe-se ainda que, relativamente a cada um dos elementos de (1.9), temos:

 a função de verossimilhança, , é a fdp para os dados, , condicional ao vector de parâmetros, . Teoricamente, uma função de verosimilhança vem no seguimento de uma probabilidade condicional considerada como uma função do seu argumento, mantendo o primeiro fixo. Sublinhe-se, com efeito, que na inferência bayesiana, contrariamente à inferência clássica, é tratado como uma variável aleatória, ao passo

que os estimadores de , baseados na amostra, são tratados como fixos,

condicionalmente aos dados observados. Esta expressão para a distribuição dos dados restrita aos parâmetros, pode ser descrita por distribuições simples sugeridas na teoria de probabilidades, ou por modelos de probabilidades para variáveis aleatórias mais complexos (Lancaster, 2004).

 a densidade a priori, , não depende dos dados observados, , contendo

apenas a informação disponível sobre . Esta expressão traduz uma probabilidade

marginal reflectindo o conhecimento prévio sobre os parâmetros, pelo que expressa a incerteza sobre , anterior à observação dos dados. Daí a referência a priori como uma informação puramente subjectiva.

Alguns autores, como Paulino et al. (2003, p. 14 – 21) e Costa (2004, p. 3), apresentam analítica e graficamente alguns exemplos específicos do efeito desta distribuição de probabilidade sobre a distribuição a posteriori, sendo, em alguns casos, comparada a distribuição a priori com a verosimilhança e com a distribuição a posteriori, pondo em conflito várias situações. A título de exemplo, veja-se a figura seguinte, na qual a distribuição a priori contém informação suficiente para modificar substancialmente a distribuição a posteriori, gerando uma distribuição unimodal.

Legenda:

 priori (…….…..)

 verossimilhança (– – – –)  posteriori (________)

FIGURA 3– Representação gráfica do efeito da distribuição a priori

 a densidade a posteriori, , expressa o conhecimento sobre os parâmetros posterior à observação dos dados, sendo traduzida por uma probabilidade condicional de uma variável aleatória, , dado um conjunto de observações, .

Não sendo objectivo deste trabalho uma análise aprofundada e reconhecendo que as considerações feitas a respeito de cada uma das componentes foi bastante generalista e redutora, uma abordagem mais exaustiva pode ser consultada em Lancaster (2004), nomeadamente sobre alguns aspectos teóricos sobre verosimilhança (princípio da verosimilhança), tipos de priori e as formas mais comuns para a apresentação da distribuição a posteriori. No entanto, a nossa abordagem não cessa aqui, uma vez que na Secção 1.2.3. serão ainda tecidas algumas considerações sobre a distribuição a priori e é sobre a distribuição a posteriri que irá incidir parte da nossa abordagem teórica, nomeadamente na apresentação e análise de métodos de simulação de distribuições a

posteriori (Secção 1.4).

Para finalizar esta análise, sem a querer tornar mais extensa, mas pela necessidade em relacionar todos os factos constantes nas secções anteriores, relativos à inferência bayesiana, procurando cimentar ideias pela generalização de raciocínio, observe-se que os parâmetros identificados podem referir-se a funções (ou até mesmo constantes). Para o

efeito, supondo que se observa , considere-se um qualquer elemento

pertencente à família de distribuições e a distribuição a priori , conforme

apresentado em Paulino et al. (2003), a equação (1.8) pode ser escrita na forma

(1.10)

onde, para cada , denota a distribuição a posteriori de , depois de se

observar . Ou seja, tendo em conta a informação contida nos dados observados, , a

―crença‖ caracterizada por , passa a ser caracterizada por .

Ainda, se considerarmos a observação de uma amostra finita de dimensão ,

, a equação (1.10) vem:

Pelo que, simplificando a notação e sem perda de generalidade, pode finalmente escrever, pelas razões já expostas:

(1.12)

tal como feito em (1.9) para o caso particular.