Compara¸ c˜ ao do desempenho preditivo entre modelos

A capacidade preditiva dos modelos propostos nos cap´ıtulos3 e 4 ser´a comparada via erro quadr´atico (EQ) m´edio baseado na m´edia a posteriori de cada uma das observa- ¸c˜oes faltantes - EQ m´edio - e erro quadr´atico m´edio baseado na mediana a posteriori de cada uma das observa¸c˜oes faltantes - EQ mediano - para cada um dos 7 mode- los propostos, apresentados na Tabela (7.3), e atrav´es do Interval Score (𝑆𝛼{𝑙,𝑢,𝑥})

proposto em Gneiting and Raftery (2007). Segundo os autores, no contexto da pre- vis˜ao, essa medida favorece intervalos de predi¸c˜ao estreitos, penaliza caso o intervalo n˜ao contenha o valor verdadeiro e essa penalidade est´a associada ao valor de 𝛼. Dessa forma, quanto menor for o 𝑆𝛼{𝑙,𝑢,𝑥}, melhor. Seja 𝑥 o valor verdadeiro, 𝑢 o limite supe-

57 5.3. Previs˜ao 𝑆𝛼{𝑙,𝑢,𝑥} = (𝑢 − 𝑙) + 2 𝛼(𝑙 − 𝑥)I{𝑥<𝑙}+ 2 𝛼(𝑥 − 𝑢)I{𝑥>𝑢} (5.24) tal que I{𝑎<𝑏}= ⎧ ⎪ ⎨ ⎪ ⎩ 1, se 𝑎 < 𝑏, 0, caso contr´ario

Cap´ıtulo 6

Estudo de sensibilidade da priori

Este cap´ıtulo apresentar´a um estudo de sensibilidade da priori para verificar se a es- colha desta distribui¸c˜ao interfere nos resultados a posteriori para o modelo de Poisson multivariado e modelo ZIP multivariado. Esse estudo foi motivado pela an´alise dos dados simulados a qual observou-se que prioris ditas vagas algumas vezes proporciona- vam resultados insatisfat´orios ou at´e mesmo culminavam em erros durante o processo de simula¸c˜ao.

Como a aplica¸c˜ao do presente trabalho, apresentado no cap´ıtulo 2, ´e referente a um conjunto de dados bivariados com 75 unidades amostrais, o estudo de sensibilidade da priori ser´a baseado na distribui¸c˜ao Poisson bivariada e ZIP bivariado, isto ´e, ser´a assumido 𝑚 = 2, al´em disto, os dados ser˜ao gerados a partir da defini¸c˜ao dada na equa¸c˜ao (4.1) com 75 unidades amostrais (𝑁 = 75).

A simula¸c˜ao estoc´astica de ambos estudos foi realizada via m´etodo MCMC, em particular o amostrador de Gibbs, j´a que todas as condicionais completas s˜ao conhe- cidas (vide mais detalhes no Ap^endice B), devido ao fato de assumir 𝑋0 e W como

Cap´ıtulo 6. Estudo de sensibilidade da priori 60

para cada repeti¸c˜ao obteve-se uma amostra a posteriori para cada um dos par^ametros de intresse simuladas atrav´es de 50 mil itera¸c˜oes com burn-in de 10 mil e lags de 20. Os par^ametros desconhecidos foram inicializados nos valores verdadeiros e o crit´erio de converg^encia das cadeias utilizado foi o visual, como por exemplo, atrav´es dos gr´aficos das cadeias dos par^ametros de interesse estimados.

6.1

Modelo 2-Poisson

Notou-se durante o processo de simula¸c˜ao para obter amostras da distribui¸c˜ao a poste- riori das quantidades desconhecidas, que independente do cen´ario, isto ´e, independente dos valores verdadeiros de 𝜆0, 𝜆1 e 𝜆2 o modelo Poisson bivariado com artif´ıcio de con-

siderar 𝑋0 como vari´avel latente ´e sens´ıvel a escolha da distribui¸c˜ao a priori.

Por exemplo, para taxas pequenas (𝜆 < 1) a priori com distribui¸c˜ao Gama que atri- bui uma probabilidade alta em torno do zero culminava em erros durante o processo de simula¸c˜ao. Outro cen´ario problem´atico ´e obtido quando os valores verdadeiros s˜ao altos (como 𝜆 = 100), pois, a estima¸c˜ao dos par^ametros n˜ao ´e satisfat´oria, por exem- plo, os intervalos de credibilidade de 95% a posteriori n˜ao cont^em o valor verdadeiro, implicando em uma baixa cobertura ou sua incerteza associada ´e muito grande e erro quadr´atico m´edio alto.

Neste estudo de sensibilidade, foram considerados 4 cen´arios distintos tal que a covari^ancia e correla¸c˜ao sejam pequenas, por exemplo 𝜆0 = 1 e correla¸c˜ao = 0,12, e

grandes, por exemplo 𝜆0 = 100 e correla¸c˜ao = 0,78. Outra preocupa¸c˜ao foi supor

61 6.1. Modelo 2-Poisson

Cen´ario 𝜆0 𝜆1 𝜆2 Correla¸c˜ao

(i) 1 5 10 0,12 (ii) 10 5 1 0,78 (iii) 10 50 100 0,12 (iv) 100 50 10 0,78

Tabela 6.1: Cen´arios do estudo de sensibilidade da priori para o modelo Poisson biva- riado e suas correla¸c˜oes.

Suponha as seguintes distribui¸c˜oes Gama a priori para 𝜆𝑗 (j=0,1,2) tais que sejam:

(a) N˜ao informativa usual com 𝐸[𝜆𝑗] = 1 e 𝑉 𝑎𝑟[𝜆𝑗] = 100:

𝜆𝑗 ∼ 𝐺𝑎𝑚𝑎(𝑎𝑗1= 0,01; 𝑎𝑗2= 0,01)

(b) N˜ao informativa com probabilidade pequena para o zero e moda fixa (𝑚𝑗):

𝜆𝑗 ∼ 𝐺𝑎𝑚𝑎 (︂ 𝑎𝑗1 = 1,01; 𝑎𝑗2 = 𝑎𝑗1− 1 𝑚𝑗 )︂ , por exemplo 𝑚𝑗 = 1, 𝐸[𝜆𝑗] ≈ 100 e 𝑉 𝑎𝑟[𝜆𝑗] ≈ 1002.

(c) Informativa com a moda fixa no valor verdadeiro de 𝜆𝑗 e 𝑉 𝑎𝑟[𝜆𝑗] = 100:

𝜆𝑗 ∼ 𝐺𝑎𝑚𝑎(𝑎𝑗1; 𝑎𝑗2)

Resultados e discuss˜ao

Ser´a realizada uma compara¸c˜ao entre as tr^es prioris elicitadas acima para cada um dos cen´arios propostos atrav´es do Erro Quadr´atico M´edio (EQM) para cada um dos par^ametros de interesse e a cobertura de 95% (𝐶95%). O 𝐸𝑄𝑀 [𝜆𝑗] pode ser entendido

Cap´ıtulo 6. Estudo de sensibilidade da priori 62 verdadeiro, isto ´e, 𝐸𝑄𝑀 [𝜆𝑗] = 100 ∑︁ 𝑖=1 (E𝑖[𝜆𝑗|Y] − 𝜆𝑗)2 100 , 𝑗 = 0,1,2. (6.1)

J´a a cobertura de 95% retrata a quantidade de vezes que o intervalo de credibilidade de 95% a posteriori (𝐼𝐶95%) cont´em o valor verdadeiro em cada uma das 100 repeti¸c˜oes

para cada uma das taxas, isto ´e,

𝐶95%[𝜆𝑗] = 100 ∑︁ 𝑖=1 I_{𝜆 𝑗∈𝐼𝐶_95%(𝑖) [𝜆𝑗|Y]}, 𝑗 = 0,1,2 (6.2)

onde 𝐼𝐶_95%(𝑖) [𝜆𝑗|Y] representa o intervalo de credibilidade de 95% a posteriori da taxa

𝜆𝑗 na 𝑖-´esima repeti¸c˜ao e I{𝜆𝑗∈𝐼𝐶95%[𝜆𝑗|Y]} = ⎧ ⎪ ⎨ ⎪ ⎩ 1 𝜆𝑗 ∈ 𝐼𝐶95%[𝜆𝑗|Y], 0 𝜆𝑗 ∈ 𝐼𝐶/ 95%[𝜆𝑗|Y] (6.3)

Com esse estudo, verificou-se que a priori n˜ao informativa usual, que atribui uma grande massa de probabilidade em torno do zero, n˜ao consegue gerar amostras das taxas dando erros durante o processo. O estudo deMajumdar and Gries(2010) elicita priori Gama n˜ao informativa para as taxas, por´em, n˜ao h´a informa¸c˜ao de quais valo- res os hiperpar^ametros assumem e em nenhuma das refer^encias pesquisadas sobre ZIP multivariado tomou-se conhecimento da sensibilidade na escolha da priori.

Em geral, nos casos tais que 𝜆0´e menor que as demais taxas, o resultado a posteriori

tende seguir o seguinte padr˜ao:

𝜆0 → 0

𝜆1 → 𝜆0+ 𝜆1

63 6.1. Modelo 2-Poisson

Esse padr˜ao foi identificado a partir de exemplos simulados tais que as taxas fos- sem altas. No caso de taxas pequenas, em particular Λ = {0,5; 0,5; 0,5}, foi poss´ıvel acreditar numa poss´ıvel converg^encia para os valores verdadeiros atrav´es do crit´erio de converg^encia visual e, al´em disto, os intervalos de credibilidade a posteriori de 95% contiveram os valores verdadeiros. Ent˜ao, ´e necess´ario cautela ao utilizar esta priori para taxas pequenas, pois os resultados podem causar confundimento.

Devido esse comportamento, julgou-se necess´ario o estudo de sensibilidade da pri- ori, pois, acreditava-se que os par^amtros eram identific´aveis (e de fato s˜ao!) e que n˜ao havia erros nas contas nem nos c´odigos do modelo em quest˜ao.

Para os cen´arios (i) e (ii), as prioris n˜ao informativa adaptada e informativa apre- sentaram EQM’s pequenos e relativamente pr´oximos e uma alta cobertura de 95% para todos os par^ametros. Dessa forma, para taxas relativamente pequenas, como aborda- das nesses cen´arios, ambas as prioris s˜ao satisfat´orias, como pode ser visto nas Tabelas (6.2), (6.3), (6.4) e (6.5).

J´a os cen´arios (iii) e (iv), apresentam resultados n˜ao t˜ao satisfat´orios para a priori n˜ao informativa adaptada, vide o EQM para cada uma das taxas nas Tabelas (6.6) e (6.8). Todavia, comparado ao resultado dos cen´arios (i) e (ii), com taxas pequenas, a priori informativa tamb´em n˜ao obteve um desempenho t˜ao eficiente. No entanto, apresentam uma alta cobertura de 95% tanto para a priori n˜ao informativa adaptada como a priori informativa, Tabelas (6.7) e (6.9).

´

E poss´ıvel verificar, para o caso da priori n˜ao informativa adaptada, que conforme 𝜆𝑗, para 𝑗 = 0,1,2, aumenta a cobertura de 95% diminui. Todavia, mesma com uma

Cap´ıtulo 6. Estudo de sensibilidade da priori 64

todos os cen´arios ´e de 94 (cen´ario (ii) e 𝜆0= 10).

Assim, atrav´es deste estudo de sensibildade, optou-se por n˜ao utilizar a priori in- formativa e nem a priori n˜ao informativa usual e sim a priori n˜ao informativa adaptada para o modelo 2-Poisson. Uma vez que n˜ao se tem informa¸c˜oes/conhecimentos suficien- tes acerca do assunto abordado na motiva¸c˜ao do presente trabalho, cap´ıtulo 2, elicitar uma distribui¸c˜ao a priori informativa se torna invi´avel e o modelo 2-Poisson se mostrou sens´ıvel a priori n˜ao informativa usual.

• Cen´ario (i)

Erro quadr´atico m´edio Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 0,420 0,440 0,533 Informativa 0,375 0,391 0,488

Tabela 6.2: Estudo de sensibilidade da priori para o modelo 2-Poisson: erro quadr´atico m´edio para o Cen´ario (i): 𝜆0 = 1, 𝜆1 = 5, 𝜆2 = 10. Leia-se “-” como erro durante o

processo de estima¸c˜ao.

Cobertura de 95% Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 100 100 98 Informativa 100 100 98

Tabela 6.3: Estudo de sensibilidade da priori para o modelo 2-Poisson: cobertura de 95% para o Cen´ario (i): 𝜆0 = 1, 𝜆1 = 5, 𝜆2 = 10. Leia-se “-” como erro durante o

65 6.1. Modelo 2-Poisson

• Cen´ario (ii)

Erro quadr´atico m´edio Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 0,345 0,234 0,231 Informativa 0,330 0,220 0,216

Tabela 6.4: Estudo de sensibilidade da priori para o modelo 2-Poisson: erro quadr´atico m´edio para o Cen´ario (ii): 𝜆0 = 10, 𝜆1 = 5, 𝜆2 = 1. Leia-se “-” como erro durante o

processo de estima¸c˜ao.

Cobertura de 95% Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 94 98 96 Informativa 95 98 96

Tabela 6.5: Estudo de sensibilidade da priori para o modelo 2-Poisson: cobertura de 95% para o Cen´ario (ii): 𝜆0 = 10, 𝜆1 = 5, 𝜆2 = 1. Leia-se “-” como erro durante o

processo de estima¸c˜ao.

• Cen´ario (iii)

Erro quadr´atico m´edio Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 43,804 43,065 45,706 Informativa 4,217 3,926 5,758

Tabela 6.6: Estudo de sensibilidade da priori para o modelo 2-Poisson: erro quadr´atico m´edio para o Cen´ario (iii): 𝜆0 = 10, 𝜆1 = 50, 𝜆2 = 100. Leia-se “-” como erro durante

Cap´ıtulo 6. Estudo de sensibilidade da priori 66 Cobertura de 95% Priori 𝜆0 𝜆1 𝜆2 N˜ao informativa - - - N˜ao informativa adaptada 99 99 99 Informativa 100 100 100

Tabela 6.7: Estudo de sensibilidade da priori para o modelo 2-Poisson: cobertura de 95% para o Cen´ario (iii): 𝜆0 = 10, 𝜆1 = 50, 𝜆2 = 100. Leia-se “-” como erro durante o

processo de estima¸c˜ao. • Cen´ario (iv)

Erro quadr´atico m´edio Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 21,094 19,896 19,981 Informativa 6,359 5,603 5,602

Tabela 6.8: Estudo de sensibilidade da priori para o modelo 2-Poisson: erro quadr´atico m´edio para o Cen´ario (iv): 𝜆0 = 100, 𝜆1 = 50, 𝜆2 = 10. Leia-se “-” como erro durante

o processo de estima¸c˜ao.

Cobertura de 95% Priori 𝜆0 𝜆1 𝜆2

N˜ao informativa - - - N˜ao informativa adaptada 96 95 96 Informativa 100 99 100

Tabela 6.9: Estudo de sensibilidade da priori para o modelo 2-Poisson: cobertura de 95% para o Cen´ario (iv): 𝜆0 = 100, 𝜆1 = 50, 𝜆2 = 10. Leia-se “-” como erro durante o