Comparação entre medidas clássicas e robustas para identificação de outliers em regressão

(1)

Comparac

¸˜

ao entre medidas cl´

assicas e

robustas para identificac

¸˜

ao de outliers em

regress˜

ao

Gabriela Isabel L. Alves

(1)

, Verˆ

onica Maria C. Lima

(2)

(1)_{Curso de Gradua¸c˜}_{ao em Estat´ıstica} (2)_{Departamento de Estat´ıstica}

Universidade Federal da Bahia Salvador/BA, 40170–110, Brazil

{gabbybel@hotmail.com; cadena@ufba.br}

Resumo

A técnica de análise de regressão linear não está completa sem o estudo dos res´ıduos para a identifica¸cão de poss´ıveis outliers e de alguns outros diagnósticos. Outliers estão presentes em praticamente todos os conjuntos de dados, em qualquer dom´ınio de aplica¸cão. Pesquisas realizadas com grandes quantidades de observa¸cões tornam mais dif´ıceis sua deteçcão visual. O objetivo deste trabalho é comparar as medidas clássicas com as medidas robustas para identifica¸cão de outliers. Entre as medidas clássicas foram consideradas: Leverage, DFBeta DFFit, Cook, Covratio e a distância de Mahalanobis. As medidas robustas consideradas foram Elipsóide de Volume M´ınimo e Covariância de Determinante M´ınimo. Através da análise de vários conjuntos de dados, os resultados revelaram que as medidas robustas, que utilizam es-timadores “resistentes”a uma propor¸cão de dados contaminados, mostraram-se mais eficientes na identifica¸cão de outliers.

Palavras-Chaves: Outliers, diagnósticos clássicos, diagnósticos robustos.

1 Introdu¸

c˜

ao

Segundo Rousseeuw and van Zomeren (1990), outliers são observa¸cões que não seguem o padrão da maioria dos dados. Outliers estão presentes em praticamente todos os conjuntos de dados, em qualquer dom´ınio de aplica¸cão. A maioria das pesquisas em ciência, indústria e economia, lidam com grandes quantidades de observa¸cões, o que aumenta a possibilidade de se encontrar outliers (Todorov and Filzmoser (2009)).

Em regressão, após o ajuste do modelo, é comum a utiliza¸cão de várias medidas de diagnósticos para identifica¸cão de poss´ıveis outliers no conjunto de dados. Várias medidas de diagnósticos foram planejadas para detectar observa¸cões individuais ou grupo de observa¸cões que diferem do restante dos dados. Muitas delas estão baseadas em res´ıduos de m´ınimos quadrados ordinários (MQO). Entretanto, como o método de MQO tenta evitar grandes res´ıduos, um outlier apenas pode com-prometer completamente as estimativas dos parâmetros do modelo de regressão. Outras medidas de diagnóstico estão baseadas em deletar uma observa¸cão por vez, e observar a diferen¸ca nas estima-tivas dos parâmetros do modelo entre os valores ajustados com e sem a i-ésima observa¸cão. Pode acontecer que um subconjunto das observa¸cões seja altamente influente, mas não uma observa¸cão

(2)

individualmente (Rousseeuw and Leroy (1987)). Neste trabalho, vamos considerar as medidas de diagn´osticos Leverage, DFBeta, DFFit, Cook, Covratio e a distˆancia de Mahalanobis.

Devido a fragilidade destas medidas na identifica¸cão de outliers, tem sido propostas na literatura diversas medidas robustas. Neste trabalho, vamos considerar as distâncias robustas Elipsóide de Volume M´ınimo e Covariância de Determinante M´ınimo. Ambas estas distâncias estão baseadas em estimadores robustos para o vetor de médias e matriz de covariâncias. O objetivo deste trabalho é realizar uma compara¸cão entre as várias medidas, clássicas e robustas, para identifica¸cão de outliers. Este trabalho está organizado como segue. A Se¸cão 2, descreve o modelo de regressão linear e o método de estima¸cão de m´ınimos quadrados ordinários. As Se¸cões 3 e 4, apresentam as medidas, clássicas e robustas, respectivamente, e a aplica¸cão destas medidas a dados da literatura. Por fim, na Se¸cão 5, conclui este trabalho.

2 Modelo de Regress˜

ao Linear

O modelo de regressão linear tem o objetivo de descrever a rela¸cão existente entre as variáveis explanatórias X e a variável resposta y. Essa rela¸cão pode ser escrita como: y = Xβ + , em que y ´

e um vetor (n × 1) de respostas, X é uma matriz (n × p) (p < n) de variáveis independentes, β é um vetor (p × 1) de parâmetros desconhecidos e é um vetor (n × 1) de erros aleatórios independentes, cada um com média zero e apresentando a propriedade de homocedasticidade, ou seja, variância constante. Os propósitos da regressão linear são: a descri¸cão e controle dos dados, estima¸cão dos parâmetros e predi¸cão (Montgomery and Peck (1992)).

A estima¸cão dos parâmetros do modelo é comumente realizada utilizando o método de m´ınimos quadrados ordinários (MQO). Este método consiste na minimiza¸cão da soma dos quadrados dos erros e fornece estimadores com propriedades desejáveis como não viés, consistência e eficiência. O estimador de m´ınimos quadrados pode ser escrito na forma matricial como: ˆβ = (X0X)−1(X0Y ).

Os res´ıduos são definidos como a diferen¸ca entre os valores observados e os valores estimados pelo modelo em questão. Uma análise de regressão linear não está completa sem o estudo dos res´ıduos para a identifica¸cão de outliers e de alguns outros diagnósticos. Se o modelo for apropriado para amostra em questão, os res´ıduos devem refletir as caracter´ısticas dos erros.

3 Diagn´

osticos Cl´

assicos de Regress˜

ao

Outliers ocorrem muito freqüentemente em dados reais e eles, muitas vezes, não são observados pelo usuário. Tanto a variável resposta como as variáveis explanatórias do modelo podem conter outliers. Neste último caso, eles são chamados de pontos de alavanca. Ambos os tipos de outliers podem afetar as estimativas de m´ınimos quadrados ordinários. Existem na literatura várias medidas para identifica¸cão de outliers (ver por ex. Montgomery and Peck (1992), Mendes (1999) e Rousseeuw and Leroy (1987)). Abaixo, descrevemos algumas delas.

1. Medida de Leverage (hii)

A medida de leverage (hii) mede a importância da i-ésima observa¸cão na determina¸cão do

ajuste do modelo, em que hii ´e o valor do i-´esimo elemento da diagonal principal da matriz

H. Valores de hii > 2p/n devem ser verificados, pois, podem ser pontos de alavanca. Al´em

disso, podem ser consideradas observa¸cões não problemáticas aquelas com hii menores que

0,2, enquanto que observa¸c˜oes extremamente influentes seriam aquelas com hii maiores que

0,5.

2. DFBetaj(i)

Esta estat´ıstica mede a influência da i-ésima observa¸cão sobre o valor estimado do j-ésimo β, ou seja, avalia a influência de uma dada observa¸cão na estima¸cão dos parâmetros. A estat´ıstica

(3)

´

e dada por: DFBeta(j)i = ˆ βj− ˆβj(−i)

√

CjjQMRes(−i)

, em que Cjj ´e o (jj)-´esimo elemento da diagonal da

matriz (X0X)−1. Os valores de | DFBeta(j)i |> 2/

√

n indicam que a observa¸c˜ao pode ser considerada influente.

3. DFFiti

O DFFiti mede a influência provocada no valor ajustado pela retirada da i-ésima observa¸cão.

´

E definido por: DFFiti = ˆ yi−ˆy(−i)

√

hiiQMRes(−i)

. Valores absolutos excedendo 2pp/n nos fornece ind´ıcios de observa¸c˜oes influentes.

4. Distˆancia de Cook (Di)

A distˆancia de Cook, representada por Di mede o afastamento do vetor de estimativas dos

coeficientes da regressão provocado pela retirada da i-ésima observa¸cão. A estat´ıstica é dada por Di =

( ˆβ(i)− ˆβ(−i))0X0X( ˆβ(i)− ˆβ(−i))

pQMRes . Valores de Di > 1 sugerem a avalia¸c˜ao de observa¸c˜oes

influentes. Outra recomenda¸cão é comparar Di com a mediana da distribui¸cão F com graus

de liberdade p e n − p (F0.5,p,n−p).

5. COVRATIOi

Uma medida que pode nos informar sobre a precisão geral da estima¸cão é o COVRATIO. Esta mede o efeito da retirada da i-ésima observa¸cão no determinante da matriz de co-variância das estimativas. É definida por COVRATIOi =

det[QMRes(−i)(X(−i)0 X(−i))−1]

det[QMRes(X0_X)−1_] . Valores de

|COV RAT IOi| > 1 + 3p/n indicam que essas observa¸c˜oes podem ser consideradas influentes.

6. Distˆancia de Mahalanobis (M Di)

A distância de Mahalanobis é baseada na matriz de covariâncias amostrais e no vetor de médias amostrais. Ela é definida como M Di =

q

(xi− ˆµ)0 ˆ

P−1

(xi− ˆµ), em que ˆµ representa

a média amostral e ˆP é a matriz (p − 1) × (p − 1) das covariâncias amostrais. Os valores de M Di devem ser comparados com a raiz quadrada do percentil de probabilidade de uma

qui-quadrado com (p − 1) graus de liberdade.

3.1 An´

alise de dados

Vamos agora investigar o uso destas medidas em alguns conjuntos de dados.

Exemplo 1: Oxida¸cão de amônia em ácido n´ıtrico. Rousseeuw and Leroy (1987) con-sideram um banco de dados referente ao funcionamento de uma fábrica para oxida¸cão de amônia em ácido n´ıtrico. Este conjunto de dados é composto por 21 observa¸cões com 3 variáveis indepen-dentes, sendo elas: a taxa de funcionamento, a temperatura de entrada da água de resfriamento e a concentra¸cão do ácido. Segundo Rousseeuw and van Zomeren (1990), as observa¸cões 1, 2, 3 e 21 são outliers.

A Tabela 1 apresenta as medidas Leverage, DFBeta, DFFit, Cook, Covratio e Mahalanobis avaliando os pontos influentes. De acordo com a Tabela 1, a medida de Leverage identificou er-roneamente a observa¸cão 17, enquanto o DFBeta identificou corretamente uma observa¸cão (21) e uma observa¸cão erroneamente (4). Com rela¸cão a medida de Covratio, esta identificou as ob-serva¸cões 17 e 21 como pontos influentes sendo, uma observa¸cão identificada corretamente (21) e uma identificada erroneamente (17). Já o DFFit, Cook e Mahalanobis não consideraram nenhuma observa¸cão como sendo influente.

Exemplo 2: Gravidade espec´ıfica da madeira. Rousseeuw (1984) consideram os dados descritos em Draper and Smith (1966) sobre a influˆencia de fatores anatˆomicos na gravidade

(4)

es-Tabela 1: Resultados da verifica¸cão das medidas influentes para os dados sobre oxida¸cão de amônia em ácido n´ıtrico. As observa¸cões 1, 2, 3 e 21 são outliers.

Medidas Pontos detectados Resultados

Leverage 17 O ponto identificado não é influente. DFbeta x1 21 O ponto identificado é influente.

DFbeta x2 4 e 21 Identificou 1 ponto corretamente e 1 erroneamente. DFbeta x3 - Nenhum dos 4 pontos foram identificados.

DFfit - Nenhum dos 4 pontos foram identificados. Cook - Nenhum dos 4 pontos foram identificados. Covratio 17 e 21 Identificou 1 ponto corretamente e 1 erroneamente. Mahalanobis - Nenhum dos 4 pontos foram identificados.

MVE 1, 2 e 3 Todos os pontos identificados s˜ao influentes. MCD 1, 2, 3, 15, 16, 17, 18, 19 e 21 Identificou 4 pontos corretamente e 5 erroneamente.

pec´ıfica da madeira. Este conjunto de dados contém 20 observa¸cões com 5 variáveis independentes. As observa¸cões (4, 6, 8 e 19) foram substitu´ıdas por outliers.

A Tabela 2 apresenta as medidas de Leverage, DFBeta, DFFit, Cook, Covratio e Mahalanobis avaliando os pontos influentes para esse banco de dados. De acordo com a Tabela 2, as medidas de Leverage, Cook e distância de Mahalanobis não consideram nenhum dos pontos como sendo influente. O DFFit, DFBeta e Covratio consideraram várias observa¸cões como influentes, entretanto nenhuma delas são outliers.

Tabela 2: Resultados da verifica¸cão das medidas influentes para os dados sobre gravidade espec´ıfica da madeira. As observa¸cões 4, 6, 8 e 19 são outliers.

Medidas Pontos detectados Resultados

Leverage - Nenhum dos 4 pontos influentes foram identificados. DFbeta x1 3, 7, 12 e 16 Todos os pontos identificados não são influentes. DFbeta x2 3, 5, 11 e 16 Todos os pontos identificados não são influentes. DFbeta x3 7, 11 e 12 Todos os pontos identificados não são influentes. DFbeta x4 16 O ponto identificado não é influente. DFbeta x5 3, 7 e 11 Todos os pontos identificados não são influentes.

DFfit 7, 11 e 12 Todos os pontos identificados não são influentes. Cook - Nenhum dos 4 pontos influentes foram identificados. Covratio 10 e 16 Todos os pontos identificados não são influentes. Mahalanobis - Nenhum dos 4 pontos influentes foram identificados.

MVE 4, 6, 8, 11, e 19 Identificou 1 ponto erroneamente. MCD 4, 6, 7, 8, 11, 16 e 19 Identificou 3 pontos erronemente.

4 Diagn´

osticos Robustos de Regress˜

ao.

De acordo com os resultados descritos na se¸cão anterior, é poss´ıvel perceber a necessidade de se considerar outras medidas de diagnósticos para identifica¸cão de outliers. Neste trabalho, vamos considerar o Elipsóide de Volume M´ınimo e a Covariância de Determinante M´ınimo.

(5)

Para melhor compreensão dos estimadores robustos é necessário introduzir o conceito de ponto de ruptura, que é uma medida global de robustez. O ponto de ruptura de um estimador mede qual seria a maior porcentagem de contamina¸cão que um estimador poderia suportar e ainda assim fornecer informa¸cão confiável sobre o parâmetro considerado. Quanto mais próximo de 0,5 é o ponto de ruptura, mais resistente é este estimador a outliers.

1. Elips´oide de Volume M´ınimo

Segundo Rousseeuw and van Zomeren (1990), o Elipsóide de Volume M´ınimo (Minimum Volume Ellipsoid - MVE) é baseado no elipsóide de menor volume cobrindo pelo menos k pontos de X, em que k em geral é igual a parte inteira de [n/2] + 1. Este estimador possui ponto de ruptura 0,5 e é equivariante, ou seja, T (x1A + b, ..., xnA + b) = T (x1, ..., xn)A + b

e C(x1A + b, ..., xnA + b) = AtC(x1, ..., xn)A. Este estimador robusto ´e definido pelo par

(T, C) onde T é um vetor de dimensão p da média amostral, e C é a matriz de dimensão p × p da matriz de covariância amostral. A distância robusta definida para o MVE é: RDi = p(xi− T (X))C(X)−1(xi− T (X))t. Rousseeuw e van Zomeren (1990) apresentam

dois algoritmos aproximados para o MVE, o algoritmo de reamostragem e o algoritmo de proje¸c˜ao.

2. Covariˆancia de Determinante M´ınimo

De acordo com Rousseeuw (1985), o estimador Covariˆancia de Determinante M´ınimo (Mi-nimum Covariance Determinant Estimator - MCD) para um conjunto de dados {x1, ..., xn}

em <p é definido pelo subconjunto {xi1, ..., xik} de k observa¸cões, cuja matriz de covariância

tem o menor determinante entre todos os subconjuntos poss´ıveis de tamanho k. O estimador do vetor de loca¸cão é definido como a média aritmética dos k pontos de X para os quais o determinante da matriz de covariância é m´ınimo.

O cálculo do estimador MCD está longe de ser trivial. Um algoritmo ingênuo continuaria investigando exaustivamente por todos os subconjuntos de tamanho k para encontrar o sub-conjunto com o menor determinante de sua matriz de covariância, mas, isso só será viável para conjuntos de dados muito pequenos.

Segundo Todorov and Filzmoser (2009), o MCD foi negligenciado em favor do MVE porque o algoritmo de reamostragem simples foi mais eficiente para MVE. Entretanto, o ponto de ruptura deste estimador coincide com o do MVE (0,5) e tem baixa convergˆencia, tornando-se mais eficiente estatisticamente.

Ambas distâncias estão dispon´ıveis no software R através dos pacotes robustbase e rrcov, desenvolvidos por Todorov and Filzmoser (2009).

4.1 An´

alise de Dados

Vamos agora aplicar essas medidas robustas nos conjuntos de dados em que foram aplicados as medidas cl´assicas de identifica¸c˜ao de outliers.

Voltando ao exemplo do funcionamento da fábrica para oxida¸cão de amônia em ácido n´ıtrico, que apresenta as observa¸cões 1, 2, 3 e 21 como outliers. A Tabela 1 apresenta um resumo das medidas robustas avaliando os pontos influentes desse banco de dados. O MVE identificou as observa¸cões 1, 2 e 3, sendo que todos identificados são realmente outliers, porém, faltou identificar a observa¸cão 21. Já o MCD identificou as observa¸cões 1, 2, 3, 15, 16, 17, 18, 19 e 21, sendo quatro identificados corretamente (1, 2, 3 e 21) e cinco erroneamente (15, 16, 17, 18 e 19).

Retomemos agora aos dados da Gravidade espec´ıfica da madeira (Exemplo 2). De acordo com a Tabela 2, o MVE identificou as observa¸c˜oes 4, 6, 8, 11 e 19, sendo quatro identificados corretamente (4, 6, 8 e 19) e uma erroneamente (11). O MCD identificou as observa¸c˜oes 4, 6, 7, 8, 11, 16 e 19,

(6)

sendo quatro observa¸c˜oes identificadas corretamente (4, 6, 8 e 19) e trˆes identificadas erroneamente (7, 11 e 16).

5 Conclus˜

oes

Com base nos resultados encontrados, observou-se que as medidas de Leverage, DFBeta, DFFit, Cook, Covratio e a distância de Mahalanobis não produzem resultados satisfatórios, deixando de identificar observa¸cões que são, de fato, outliers e, outras vezes, identificando observa¸cões como outliers quando na realidade não o são. Com rela¸cão aos diagnósticos robustos, MVE e MCD, estes apresentaram melhores resultados, pois, identificaram a maioria dos outliers. Entretanto, estas medidas também identificaram observa¸cões que não são outliers.

O próximo passo deste trabalho será considerar outros diagnósticos robustos tais como os res´ıduos padronizados provenientes da regressão do estimador menor mediana dos quadrados dos res´ıduos, proposto por Rousseeuw (1984).

Agradecimentos

Este trabalho recebe apoio do CNPq atrav´es de bolsa de IC.

Referˆ

encias

Draper, N. R. and Smith, H. (1966). Applied Regression Analysis. Wiley, New York.

Mendes, B. V. M. (1999). Regressão Robusta: Conceitos, Aplica¸cões e Aspectos Computacionais. Associa¸cão Brasileira de Estat´ıstica, São Paulo.

Montgomery, D. C. and Peck, E. A. (1992). Introduction to linear regression analysis. J. Wiley, New York.

Rousseeuw, P. J. (1984). Least median of squares regression. Journal of American Statistical Association, 79:871–880.

Rousseeuw, P. J. (1985). Multivariate estimation with high breakdown point. In Grossmann, W., Pflug, G., Vincze, I., and Wetz, W., editors, Mathematical Statistics and Aplications, pages 283–297. Reidel Publishing Company, Dordrecht.

Rousseeuw, P. J. and Leroy, A. M. (1987). Robust Regression and Outlier Detection. Wiley, New York.

Rousseeuw, P. J. and van Zomeren, B. C. (1990). Unmasking multivariate outliers and leverage points. Journal of American Statistical Association, 85:633–639.

Todorov, V. and Filzmoser, P. (2009). An object-oriented framework for robust multivariate anal-ysis. Journal of Statistical Software, 32:1–47.