4.2 Regressão Logística
4.2.5 Signi cância e Qualidade do Modelo de Regressão Logística
Uma vez ajustado o modelo de regressão logística, à semelhança do que acontece com a regressão linear, é necessário avaliar a signi cância e qualidade do ajustamento entre os dados observados e os dados ajustados, bem como a signi cância dos coe cientes de regressão logística. Para tal, recorrem-se a medidas que permitam aferir sobre a qualidade do modelo.
Com o objetivo de testar se as variáveis independentes são estatisticamene signi cati- vas para a explicação da variável dependente, é necessário realizar testes sobre o parâmetro β.
A maior parte dos testes de hipóteses que permitem testar a signi cância do modelo, são da forma
H0 : Cβ = ξ vs H1 : Cβ 6= ξ ,
onde C é uma matriz (q × k), com q ≤ k e de característica completa k. ξ é vetor de dimensão q previamente especi cado.
Em particular, estas hipóteses assumem a forma de:
1. Hipótese da nulidade de uma componente do vetor parâmetro, isto é, teste à nulidade de uma das covariáveis
H0 : βj = 0 vs H1 : βj 6= 0 ,
para algum j ∈ 1, · · · , k. Neste caso, q = 1, C = (0, · · · , 0, 1, 0, · · · , 0), onde o 1 ocupa a j-ésima posição do vetor C e ξ = 0;
2. Hipótese da nulidade de r componentes de β. Suponhamos, por exemplo, que H1 : (β1, · · · , βk)
T
= (0, · · · , 0)T. Então, q = r e C = (IrOr×(k−r)) e ξ = 0r, onde Ir é a matriz identidade de ordem r, Or×(k−r) é uma matriz de zeros de dimensão (r × (k − r)) e 0r é o vetor nulo de dimensão r.
4.2 Regressão Logística 51
Existem três testes distintos para testar as hipóteses anteriormente referidas. Contudo, apresentar-se-ão dois dos testes.
Teste de Wald:
Para testar a hipótese (1) a estatística de teste de Wald é dada por: W = (C ˆβ − ξ)T
h
CI−1( ˆβ)CT i
(C ˆβ − ξ) , (4.38)
cuja distribuição assintótica sob H0 é um qui-quadrado com q graus de liberdade, isto é, χ2
q.
A região de rejeição é dada por {Wobs > χ1−αq }.
Este teste tem grande utilidade quando se pretende testar se determinada covariável é signi cativa para o modelo e, neste caso, o teste é dado por
H0 : βj = 0 vs H1 : βj 6= 0 , pelo que a estatística de teste vem dada por
W = ˆ βj σjj
(4.39)
W segue um χ2(1) e σjj corresponde ao j-ésimo elemento da diagonal da matriz I−1( ˆβ).
A região de rejeição é dada por {Wobs > χ1−α1 }. Teste de Razão de Verosimilhanças:
Considere-se ˜β o estimador de máxima verosimilhança restrito, isto é, ˜β é o valor de β que maximiza a verosimilhança sujeita à hipótese H0 : Cβ = ξ.
A estatística de teste à signi cância do modelo compara a verosimilhança do modelo só com a constante, usualmente designado por modelo nulo ou modelo reduzido (isto é, nenhuma das covariáveis tem poder preditor e, portanto, logit(π) = β0) com a verosimilhança do modelo com todas as variáveis explicativas, denominado de modelo completo.
A estatística de razão de verosimilhanças ou de Wilks é dada por Λ = −2 ln maxH0L(β)
maxH0∪H1L(β)
= −2{ln L( ˜β) − ln L( ˆβ)}, (4.40) onde ˜β e ˆβ são os estimadores de máxima verosimilhança de β, sob H0 e sob H0 ∪ H1, respetivamente. A distribuição assintótica de λ é, sob certas condições
de regularidade e sob H0, um qui-quadrado cujo número de graus de liberdade (g.l.) é dado pela diferença entre o número de parâmetros a estimar sob H0 ∪ H1 e o número de parâmetros a estimar sob H0.
A região de rejeição é, portanto, dada por {Λobs > χ1−α1 }.
Esta estatística de teste é um indicador de mediocridade do ajustamento do modelo aos dados, isto é, quanto maior for o valor observado da estatística de teste, pior é o ajustamento. Por outro lado, se o valor observado da estatística de teste, Λobs, for igual a 0, o ajustamento é perfeito.
A utilidade do teste de Wilks traduz-se na possibilidade de comparação entre mo- delos encaixados.
Importante referir que este teste apenas permite concluir que o modelo é sigini ca- tivo, porém, não nos indica que todas as variáveis incluídos no modelo são signi - cativas. Assim sendo, este teste por si só não permite aferir que o ajustamento é bom.
Desta forma, para testar a signi cância do ajustamento do modelo completo é neces- sário formular as seguintes hipóteses
H0 : O modelo ajusta-se bem aos dados vs H1 : O modelo não se ajusta aos dados
Estatística de Pearson Generalizada - X2 :
A estatística de teste clássica é o Qui-quadrado de Pearson (Hosmer and Lemeshow, 2000), a qual é de nida, de um modo geral, por
X2 = n X i=1 (ωi(yi− ˆµi))2 ˆ φV (ˆµi) (4.41)
Para o modelo logístico, com Y ∼ Bin(ni, πi), a estatística é dada por
X2 = n X i=1 (yi− niπi)2 niπi(1 − πi) = n X i=1 (yi− niπi)2 niπi + n X i=1 ((ni− yi) − ni(1 − πi))2 ni(1 − πi) (4.42) = n X i=1 (oi− ei)2 ei ,
4.2 Regressão Logística 53
onde oi e ei são, respetivamente, o número de sucessos observados e de sucessos esperados na célula i.
Esta estatística, sob H0 e para amostras grandes, apresenta uma distribuição assin- tótica de um χ2
n−k−1, onde k é o número de parâmetros estimados.
Portanto, para o modelo logístico, a estatística de Pearson generalizada coincide com a estatística original de Pearson.
A título de curiosidade, re ra-se que acontece a mesma situação quando considerado o modelo Poisson.
Função Desvio - Deviance D(y; ˆµ) :
Alguns autores, como por exmplo, McCullagh e Nelder (1989) utilizam a estatística de teste Deviance ou Desvio.
Esta medida é baseada na estatística de razão de verosimilhanças e avalia a discre- pância entre o modelo saturado (S), isto é, o modelo com tantos parâmetros quanto observações, e o modelo corrente (C).
A estatística Deviance é dada por
D∗(y; µ) = −2{ln LC( ˜β) − ln LS( ˆβ)}, (4.43)
onde ln LS( ˆβ) corresponde à verosimilhança máxima alcançada para um ajusta- mento exato, no qual existem tantos parâmetros quanto observações, normalmente. Por outro lado, ln LC( ˜β)representa a verosimilhança do modelo corrente.
Considerando o modelo logístico com dados em forma de proporções, como já fora mencionado, para o modelo saturado (S), cada parâmetro πi é estimado com base no valor observado, isto é, ˆπi = yi. Por outro lado, para o modelo corrente (M), existem q parâmetros, com q < n e os valores de ˆπi são estimados com recurso aos
valores ajustados, isto é, ˆπi = ˆyi. Desta forma, a função desvio vem dada por: D(y; µ) = 2l(y; y) − 2l(µ; y) = −2{l(µ; y) + l(y; y)}
= −2 n X i=1 ( ni yiln ˆ yi 1 − ˆyi + ln(1 − ˆyi) + ln ni yini − − ni yiln yi 1 − yi + ln(1 − yi) + ln ni yini ) = −2 n X i=1 ( ni yiln ˆ yi 1 − ˆyi + ln(1 − ˆyi) − − ni yiln yi 1 − yi + ln(1 − yi) ) = −2 n X i=1 {{niyiln(ˆyi) − niyiln(1 − ˆyi) + niln(1 − ˆyi)} − − {niyiln(yi) − niyiln(1 − yi) + niln(1 − yi)}} = −2 n X i=1 niyiln ˆyi yi − niyiln 1 − ˆyi 1 − yi + niln 1 − ˆyi 1 − yi = −2 n X i=1 niyiln ˆyi yi + (ni− niyi) ln 1 − ˆyi 1 − yi = −2ni n X i=1 yiln ˆyi yi + (1 − ˆyi) ln 1 − ˆyi 1 − yi
De acordo com o desvio obtido, é possível aferir sobre a qualidade do ajustamento, em que:
- Deviance pequena: Signi ca que a explicação do modelo ajustado é pratica- mente igual à do modelo completo, pelo que se pode concluir que se trata de um bom ajustamento, Neste caso, deve-se optar pelo modelo ajustado, uma vez que tem menos variáveis independentes, tornando-se num modelo parcimonioso; - Deviance grande: Indica que a explicação do modelo ajustado é pobre, invali-
dando a utilização do mesmo.
A noção de desvio é frequentemente utilizada quando se pretende comparar modelos encaixados ou aninhados.
Sejam M0 e M dois modelos onde M0 é um submodelo de M com q < k, isto é, M0 ⊂ M. Se φ for conhecido, a estatística de teste re razão de verosimilhanças para comparar estes dois modelos é dada por
DM0 − DM
4.2 Regressão Logística 55
A esta estatística de teste dá-se o nome de diferença de deviances, onde DM0 é o desvio para o modelo M0 e DM é o desvio para o modelo M. Sob a validade do modelo M0, a distribuição assintótica da estatística de teste apresentada em (4.44) é um χ2
k−q.
A função desvio (ou deviance) é mais utilizada do que a estatística de Pearson Generali- zada, uma vez que o valor do desvio diminui quando se adiciona variáveis ao modelo e tal não acontece com a estatística de Pearson.
Todavia, se o modelo apresentar variáveis quantitativas, caso em que o número de células é aproximadamente igual ao número de elementos da amostra, as duas estatísticas atrás apresentadas (Estatística de Pearson Generalizada e Desvio) não podem ser usadas com dados individuais. Perante este cenário, a distribuição χ2 da estatística de teste não é, geralmente, válida (relembre-se que existem condições para a aplicação do teste do Qui- quadrado, em particular, a condição que exige que 80% das células com valor esperado maior ou igual a 5). Importante re r que se trata de uma regra empírica e a qual não inviabliza a utilização desta estatística.
Estatística de Hosmer-Lemeshow :
Hosmer and Lemeshow (2000) propuseram uma outra estatística que permite testar o ajustamento do modelo aos dados, baseada na estimativa das probabilidades de sucesso de cada uma das n observações. A estatística de teste é obtida com um teste de Qui-quadrado a uma tabela de contingência 2 × g. Esta tabela é construída classi cando as duas classes (ou categorias) da variável dependente dicotómica por g grupos dicotómicos de nidos pelos decis das probabilidades de "sucesso" (isto é, [0; 0, 1[,[0, 1; 0, 2[,· · · ,[0, 9; 1]) estimadas pelo modelo para cada uma das observações. Geralmente, g = 10, porém, se o modelo tiver variáveis independentes qualitativas, g pode ser inferior ou igual a 10, em função do número de células distintas resultantes do cruzamento das classes das variáveis independentes. O número de "sucessos"da variável dependente em cada classe de nida pelos decis (oi) e os valores esperados nessas classes, usando a média das probalidades estimadas para cada um dos grupos da variável dependente e cada uma das classes decílicas (ei = niπi) são usadas no cálculo da estatística de teste:
XHL2 = g X i=1 (oi− ei) 2 ei (4.45)
Para amostras de grande dimensão, a estatística de teste, anteriormente apresen- tada, tem distribuição assintótica χ2
Análise de resíduos
Para avaliar a qualidade do modelo é importante analisar os resíduos. Os resíduos, assim como características construídas a partir deles, constituem a base de ferramentas de diagnóstico utilizadas para veri car a validade dos pressupostos do modelo.
Existem várias ferramentas para realizar a análise de resíduos, das quais se destacam as ferramenteas grá cas, tendo em conta que são intuitivas.
Os tipos de resíduos mais utilizados no MLG são:
Resíduos correntes:
ri = yi− ˆµi , i = 1, · · · , n , (4.46) onde yi são os valores observados e µi os valores ajustados. Uma vez que a variável resposta é binária (assume os valores 0 e 1) e os valores ajustados variam no intervalo [0,1], os resíduos do modelo variam no intervalo [-1,1]. Quando ri>0, yi = 1 e, para ri<0, yi = 0. Para ri = 0, o ajustamento é perfeito, isto é, yi = ˆµi (os valores observados são iguais aos valores ajustados).
Resíduos de Pearson: rpi = (yi− ˆµi)ωi q ˆ φ(var(ˆµi)) , i = 1, · · · , n. (4.47)
Para o modelo logístico, com Yi ∼ Bin(ni, πi), tem-se, como já fora mencionado,
ˆ
µi = niπi, V (µi) = niπi(1 − πi)e φ = ω = 1
E, portanto, os resíduos de Pearson, para o modelo logístico, são dados por
rpi = (yi− ˆµi)ωi q ˆ φ(var(ˆµi)) = (yi− ˆµi) p(var(ˆµi)) = (yi− niπi) pniπi(1 − πi) , i = 1, · · · , n. 5 (4.48)
Resíduos de Pearson padronizados:
rPpi = (yi− ˆµi)ωi pvar(ˆµi)(1 − hii)
, i = 1, · · · , n, (4.49)
5Para o modelo logístico com dados agrupados, isto é, na forma de proporções o procedimento é
semelhante, considerando ˆµi= πi, V (ˆµi) =
πi(1 − πi)
ni , φ = 1 e ω = n i.
4.2 Regressão Logística 57
onde hii é o i-ésimo elemento da diagonal da matriz de projeção generalizada H (também chamada de hat matrix, uma vez que ˆµi = Hy). Este termo pode ser calculado através da expressão hii = xTi XTX xi. A desvantagem dos resíduos de Pearson é que a sua distribuição é, geralmente, bastante assimétrica para modelos não Normais, do qual é exemplo o modelo de regressão logística.
Tal como referido anteriormente, a análise de resíduos do modelo é feita, principal- mente, com recurso a ferramentas grá cas, das quais se destacam as seguintes:
Scatterplot dos resíduos - Conhecido como diagrama de dispersão. Este grá co permite veri car se os resíduos não apresentam qualquer tipo de padrão e se os mes- mos se encontram bem distribuídos no intervalo [-2,2]. De acordo com a literatura existente, 95% dos resíduos devem encontrar-se nesse intervalo;
Resíduos vs Valores ajustados - Permite avaliar se a variáncia dos resíduos é não constante ou, por outras palavras, permite vei car a existência de heteroce- dasticidade. É assumido que os resíduos são independentes dos valores ajustados, querendo isto dizer que a correlação entre resíduos e valores preditos deve toma o valor 0;
Q-Q plot Normal dos resíduos - Permite avaliar se os resíduos seguem uma dis- tribuição Normal(0,1), através da comparação entre os quantis teóricos e amostrais; Histograma dos resíduos - Permite avaliar a simetria (ou falta dela) dos resíduos,
ajudando, eventualmente, na deteção de padrões nos resíduos.