1
How to estimate spatial models with the use of the likelihood function
André Braz Golgher1
Abstract
This paper is part of a series that discusses introductory concepts of spatial econometrics2. The texts were written in Portuguese and intend to present this field of study to students at upper undergraduate to graduate levels in Economy and in Regional Sciences. The main objective of this third text is to discuss how to apply the likelihood function to estimate different spatial models. First, I present this function in a general perspective and obtain the maximum likelihood estimator for the normal distribution. Then, I show some of the proprieties of this estimator that makes it very popular as an estimation method, in particular for spatial models. Afterwards, I develop the mathematical expressions of the maximum likelihood estimators for the OLS, spatial error and spatial lag models. Next, I present some illustrative simulations using Matlab that address the concepts discussed in the text. Finally, I obtain the covariance matrix for the spatial lag model as an example for the other spatial models.
Key words: spatial models; likelihood function; maximum likelihood estimators.
1
Associate Professor at the Economics Department at the Cedeplar/FACE/UFMG, visiting scholar at the Regional Research Institute (RRI) at the West Virginia University (WVU) and visiting scholar at the Carolina Population Center (CPC) at the University of North Carolina (UNC) in Chapel Hill.
2 A large part of the references selected for these texts comes from the readings assigned by professor Donald Lacombe in his course ARE 693L Spatial Econometrics (spring 2012) at the WVU (http://community.wvu.edu/~djl041/teaching.html).
2
Estimando modelos espaciais com a função de verossimilhança
André Braz Golgher3
Resumo
Esse texto faz parte de uma série que apresenta pontos introdutórios da econometria espacial. O objetivo principal deste terceiro texto é discutir como utilizar a função de verossimilhança para estimar diferentes modelos espaciais. Inicialmente, apresenta-se essa função e discute-se como obter o estimador de máxima verossimilhança utilizando a distribuição normal como exemplo. Em seguida, apresentam-se algumas das propriedades do estimador, que o tornam muito popular em diversos tipos de estimação, em particular na estimação dos modelos espaciais. Depois, desenvolvem-se as expressões matemáticas que são utilizadas na obtenção dos estimadores de máxima verossimilhança para os modelos de mínimos quadrados ordinários, de lag espacial e de erro espacial. Posteriormente, apresentam-se simulações feitas no Matlab que ilustram a aplicação dos conceitos discutidos no texto. Por fim, apresenta-se a matriz de covariância para o modelo de lag espacial como exemplo para os demais modelos espaciais.
Palavras chave: modelos espaciais; função de verossimilhança; estimador de máxima verossimilhança.
3 Professor do Cedeplar/FACE/UFMG, pesquisador visitante do Regional Research Institute (RRI) da West Virginia University (WVU) e pesquisador visitante do Carolina Population Center (CPC) na University of North Carolina (UNC) em Chapel Hill.
3
1 - Introdução
Esse texto faz parte de uma série que apresenta a econometria espacial em pontos introdutórios4. No primeiro texto, “Introdução à Econometria Espacial”, foram discutidos alguns conceitos introdutórios sobre a econometria espacial, onde foram apresentados alguns dos modelos espaciais, incluindo motivações teóricas para o uso desses modelos. No segundo texto da série, “Interpretando os coeficientes dos modelos espaciais”, discutiu-se como interpretar os coeficientes obtidos nos diversos modelos, e também como calcular os efeitos diretos, indiretos e totais de diversas ordens.
Neste terceiro texto, discute-se como utilizar a função de verossimilhança para estimar diferentes modelos espaciais. Inicialmente, apresenta-se a função de verossimilhança e discute-se o estimador de máxima verossimilhança, utilizando a distribuição normal como exemplo. Em seguida, apresentam-se algumas das propriedades do estimador, que o tornam muito popular em diversos tipos de estimação. Depois, desenvolve-se passo-a-passo as expressões que são utilizadas na obtenção dos estimadores de máxima verossimilhança de diferentes modelos espaciais. Uma vez discutidos os conceitos teóricos envolvidos na estimação dos modelos espaciais com estimadores de máxima verossimilhança, apresenta-se simulações feitas no Matlab que exemplificam a aplicação desses conceitos. Por fim, apresenta-se a matriz de covariância para o modelo de lag espacial como exemplo para os demais modelos espaciais.
Segundo Elhorst (2010), são três os principais métodos desenvolvidos para a estimação de modelos espaciais: método da máxima verossimilhança (ML), variáveis instrumentais ou o método de momentos generalizados (IV/GMM), e a abordagem Bayesiana com Monte Carlo via cadeias de Markov (MCMC).
Segundo Anselin (1988), o uso da função de máxima verossimilhança era a abordagem mais familiar para a estimação e teste de hipóteses de modelos espaciais na época de publicação de seu influente livro. Greene (2003) afirmou que os modelos Bayesianos estavam se tornando muito populares em aplicações da econometria, mas que o método da máxima verossimilhança permanecia sendo o preferido na maioria dos campos de estudo. Neste texto discutimos o método
4 Grande parte do material citado aqui foi selecionado da ementa do curso ARE 693L Spatial Econometrics (spring 2012) (http://community.wvu.edu/~djl041/teaching.html) ministrado por Donald Lacombe do RRI da WVU.
4 mais usado que é o de máxima verossimilhança. Para uma discussão sobre o método Bayesiano ver LeSage e Pace (2009).
Uma das razões principais do desenvolvimento do método com variáveis instrumentais ou o método de momentos generalizados (IV/GMM) foi para facilitar os cálculos computacionais na estimação dos modelos, que podem ser demandantes devido a matrizes de ordem n x n presentes no processo de obtenção dos estimadores. Segundo Elhorst (2010), LeSage e Pace (2009) mostram evidências conclusivas que essas limitações computacionais são coisas do passado. Para uma discussão sobre esse método ver a extensiva série de publicações de Kelejian e Prucha (Kelejian, 2011) .
Este texto foi dividido em dez seções, incluindo essa introdução. Na seção 2 é apresentado o estimador de máxima verossimilhança, utilizando como exemplo a distribuição normal. Em seguida, discutem-se algumas das propriedades desse estimador. A seção 4 apresenta os modelos espaciais e discute algumas das similaridades entre eles que facilitam a estimação dos modelos. Nas seções 5, 6 e 7 são desenvolvidos respectivamente os estimadores de máxima verossimilhança para o MQO, para o modelo de lag espacial e para o modelo de erro espacial. A seção 8 mostra simulações ilustrativas no Matlab sobre os conceitos discutidos nas seções anteriores. Na seção seguinte, obtém-se a matriz de covariância do modelo de lag espacial, onde, como veremos, os cálculos são bastante extensos. A última seção conclui o texto. Além dessas seções são incluídos três apêndices econométricos no fim do texto, como forma de tornar a discussão dos conceitos do corpo do texto mais completa.
2-O estimador de máxima verossimilhança
Nesta seção apresentamos alguns pontos relacionados com a função de verossimilhança e com a utilização desta para a obtenção de estimadores. Inicialmente, apresenta-se a função de densidade de probabilidade (pdf), utilizando a distribuição normal como exemplo. Em seguida, obtém-se a função de verossimilhança e derivam-se os estimadores de máxima verossimilhança para essa distribuição. O objetivo é dar ao leitor uma ideia inicial desse método de estimação, que será posteriormente utilizada na obtenção das funções de verossimilhança dos modelos espaciais.
5 As funções de densidades de probabilidade, f(x), de distribuições contínuas, como a normal,
têm as seguintes propriedades: f(x)0,
b a dx x f b x a ob( ) ( ) , Pr e 0Prob(a xb)1 (Greene, 2003).No caso particular da distribuição normal com média e variância 2,N(,2), essa função
tem o seguinte formato: .
) 2 ( 1 ) , ; ( 2 2 2 1 2 1 2 2 e y y f
Se tivermos duas observações independentes, y1e y2,obtemos a densidade conjunta destas multiplicando as respectivas expressões:
. ) 2 ( 1 ) 2 ( 1 ) , ; , ( 2 2 2 2 1 2 2 1 2 1 2 2 1 2 1 2 2 2 1 e y e y y y F
Note que para distribuição normal temos dois parâmetros, e 2. Para simplificar e generalizar a notação, definimos (,2), como o vetor composto por esses parâmetros ey(y1,y2)
como o vetor com as observações. Reescrevemos a expressão acima como:
. ) 2 ( 1 ) ; ( 2 1 2 1 2 1 2 2 2
i yi e y F Seguindo esse raciocínio, a densidade conjunta de n observações independentes e identicamente distribuídas, que no caso acima é a distribuição normal, é dada pelo produto das densidades individuais, e é denominada função de verossimilhança:
. ) ( ) ( 1
n i i y f y L Ao contrário da expressão da pdf, f(yi),onde temos os dados condicionados aos parâmetros )
(yi , note que na função de verossimilhança, L( y ), temos ( y ), ou seja, os parâmetros são condicionados aos dados. Assim, o objetivo do uso da função de verossimilhança (FV) eh, a
6 partir dos dados empíricos, estimar os parâmetros da função. Estima-se os parâmetros que maximizam essa função, isto eh, maximizam a probabilidade de ocorrência dos dados empíricos. Seguindo a discussão com a distribuição normal, a FV para n observações é escrita como:
n i i i i y n n i y n n i y e e e y L 1 2 2 2 2 2 2 2 1 2 2 1 2 1 2 2 1 2 1 2 1 2 2 ) 2 ( 1 ) 2 ( 1 ) 2 ( 1 ) , ( Para acharmos o máximo dessa função, podemos derivar parcialmente essa expressão com relação aos dois parâmetros, e 2, igualando cada uma das derivadas a zero. Entretanto, em geral, é mais simples trabalhar com o logaritmo dessa função. Note que o máximo da FV é o mesmo ponto que o máximo do logaritmo dessa função, pois o logaritmo é uma função monotonicamente crescente. Vejamos.
. 2 1 ln 2 2 ln 2 2 1 ) 2 ( ln ) 2 ( 1 ln ) , ( ) , ( ln 1 2 2 2 1 2 2 2 2 2 1 2 2 2 2 1 2 2 n i i n i i n y n y n n y e y l y L n i i Uma vez obtido o logaritmo da FV, derivamos a expressão, inicialmente com relação a
, obtemos o estimador de máxima verossimilhança (MV) para esse parâmetro:
y n y n y y y n n y l MV n i i n i i n i i 0 0 0 1 2 1 ln 2 2 ln 2 ) , ( 1 1 2 1 2 2 2 2O estimador de MV para MVé a média entre as observações.
7
1
0 2 1 2 1 2 2 1 ln 2 2 ln 2 ) , ( 1 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 n i i n i i n i i y y n y n y n n y l
n i i MV n i i y y n y y n 1 2 2 1 2 2 1 0 1 Como discutido, a FV é muito utilizada na obtenção de estimadores em diversos campos de aplicação e, em particular, também são aplicados aos modelos espaciais. Esse fato é devido as interessantes propriedades desses estimadores (ver Greene 2003 para uma discussão mais detalhada). A próxima seção discute algumas delas.
3 – Propriedades do estimador de MV
Os estimadores de MV apresentam algumas características que os tornam muito populares em diversos tipos de aplicações, inclusive na estimação dos modelos espaciais. Os estimadores de MV são consistentes e assintoticamente eficientes, com matriz de covariância assintótica
definida no limite inferior de Cramér-Rao:
1 2 1 ' ln )] ( [ ) ˆ ( I E L
Var . Além disso, os
estimadores são assintoticamente normalmente distribuídos: ˆ~ ~ [, ()1]
I N
a (ver apêndice
econométrico 1 para maiores detalhes sobre esses conceitos).
Para que esses estimadores tenham essas propriedades, existem certas condições formais que devem ser satisfeitas. Para o caso particular dos modelos espaciais, essas foram descritas em estudos realizados na década de 80 (Anselin, 1988). Dentre outras, essas condições formais são: o logaritmo da FV deve existir para os valores dos parâmetros sendo considerados; essa função deve ser continuamente derivável até a segunda ou a terceira ordens; e as derivadas parciais devem assumir valores finitos.
8 Como vimos na seção anterior quando foram obtidos os estimadores de MV da distribuição normal, todas essas condições são satisfeitas para essa distribuição. Uma vez apresentadas as propriedades desses estimadores, continua-se esse exemplo, obtendo a matriz de covariância dos estimadores, que deve ser positivamente definida.
Obtivemos os estimadores na seção anterior com o uso das derivadas de primeira ordem:
n i i y l 1 2 1
n i i y y n l 1 2 2 2 2 1 2 1 As covariâncias dos estimadores da distribuição normal são obtidas a partir do limite de Cramér-Rao, com a seguinte matriz:
2 2 2 2 2 2 2 2 2 2 ) ( ln ln ln ln ' ln ) ( L L L L E L E I
Para determinar matriz de covariância, calculamos as derivadas de segunda ordem:
. 1 2 1 2 2 2 n y l n i i
. ) ( 1 1 1 2 2 1 2 2 2 2 2 2 2 n i i n i i y y l l l
1
. ) ( 2 1 2 1 1 ) ( 2 1 1 2 1 ) ( 1 2 3 2 2 2 1 2 2 2 2 1 2 2 2 2 1 2 2 2 2 2 2 2 n i i n i i n i i n i i y y n y y y y n y y n l 9 Em seguida, obtemos os valores esperados dessas expressões, lembrando que E
yi e que
2
2 ) (y n E i : 2 2 2 2 n n E l E
1
0 ) ( 1 1 4 1 2 2 2 2 n i i n i i y E y E l E
2 2 2 3 2 2 2 1 2 3 2 2 2 1 2 3 2 2 2 2 2 2 ) ( 2 ) ( 1 ) ( 2 1 ) ( 2 1 ) ( 2 ) ( n n n y y E n y y n E l E n i i n i iObtemos assim a matriz de covariância com o limite de inferior de Cramér-Rao:
4 2 2 2 2 2 2 2 2 2 2 2 0 0 ) ( ln ln ln ln )] ( [ n n L L L L E I n n I 4 2 1 2 0 0 )] ( [
Além dessas propriedades discutidas, outra propriedade do estimador de MV é que ele é invariante a uma mudança por uma função injetiva e continuamente derivável. Ou seja, se temos um estimador ˆ para um parâmetro e temos uma função injetiva e continuamente derivável
), (x
f como uma reta f(x)axb,então o estimador de f() será f(ˆ). Essa propriedade será utilizada na obtenção dos estimadores para os modelos econométricos.
Uma vez obtidos os estimadores de MV para a distribuição normal, utilizaremos esses mesmos conceitos para discutir os estimados de MV dos modelos espaciais. A próxima seção apresenta
10 esses modelos e discute algumas regularidades apresentadas por eles, que simplificarão a discussão subsequente.
4-Modelos espaciais
Antes de discutirmos como estimar cada um dos modelos espaciais, eles são analisados em pares, pois isso vai simplificar em muito a discussão futura. A figura 1, similar a figure 1 em Elhorst (2010), mostra a relação entre diversos modelos espaciais.
Como mostra essa figura, o 7 - modelo de lag de X (SLX) é descrito pela seguinte equação:
, X WX Y ~N(0,2In).
Note que podemos reescrever esse modelo com Z[X,WX] e [,] da seguinte forma:
,
Z
y ~N(0,2In).
Essa expressão é exatamente igual ao 8 - MQO. Assim, os modelos são estimados de forma similar depois de feitas essas mudanças no modelo SLX e, assim, não abordaremos este ultimo em separado o modelo SLX.
De forma similar, o 4 - modelo de erro espacial de Durbin (SDEM) é descrito pela seguinte equação: , u WX X Y Wu u , ~ (0, 2 ) n I N
Fazendo a mesma transformação acima, obtemos a equação do 6 - modelo de erro espacial. Assim, também não abordaremos o modelo SDEM em separado.
Por sua vez, o 2 - modelo espacial de Durbin (SDM) pode ser escrito como o 5 - modelo de lag espacial com essas mesmas transformações (LeSage e Pace, 2009) e esse primeiro também não é discutido em separado. Fazendo uso dessa mesma transformação, 8 - modelo de Manski pode ser escrito como o 3 - modelo de Kelejian-Prucha. Assim, esse primeiro também não é discutido.
11 Em todos os modelos mostrados na figura 1 assumimos que ~N(0,2In). Assim, utilizamos a distribuição normal como base para toda a discussão subsequente. Seguimos a discussão de como estimar os modelos fazendo uso da FV inicialmente com o MQO, e em seguida com o modelo de lag espacial e o modelo de erro espacial.
O modelo de Kelejian-Prucha engloba esses dois últimos modelos. Assim, pode-se estender a discussão apresentada sobre a metodologia de estimação dos modelos de lag espacial e de erro espacial na obtenção das expressões dos estimadores de MV desse primeiro. Assim, para não estender em demasiado este texto, esse modelo não é discutido em separado.
12 Figura 1 – Modelos espaciais
Se 0 Se 0 Se 0 0 Se 0 Se 0 Se 0 Se 0 Se 0 Se 0 Se0 Se 0 8 - MQO 6 – Modelo de erro espacial (SEM) 5 – Modelo de lag espacial (SAR)
1 - Modelo de Manski
4 - Modelo erro espacial de Durbin (SDEM)
3 - Modelo de Kelejian-Prucha (SAC)
2 - Modelo espacial de Durbin (SDM)
13
5-Estimadores de MV para o MQO
Essa seção apresenta os estimadores de MV para o MQO, que, apesar de não ser um modelo espacial, serve de base de comparação para os modelos espaciais, em particular para os modelos de lag espacial e de erro espacial. Além disso, como vimos na seção anterior, os estimadores do modelo de lag de X (SLX) são similares aos do modelo de MQO. O apêndice econométrico 3 apresenta algumas das hipóteses do MQO, além de mostrar o processo de obtenção do estimador de mínimos quadrados ordinários. Essa apresentação é incluída neste texto para que seja feita uma comparação entre este estimador e o estimador de MV.
O MQO tem como equação a seguinte expressão:
, i i
i X
y i ~N(0,2)
Note que o erro tem distribuição normal, com média zero e variância 2. Assim, a função de densidade de probabilidade para o erro tem o seguinte formato:
2 2 2 2 2 2 2 1 2 1 2 0 2 1 2 1 2 2 1 2 1 2 ) 2 ( 1 ) 2 ( 1 ) 2 ( 1 i i e e e f x
A função de verossimilhança é escrita como:
' 2 1 2 2 2 1 2 2 2 1 2 2 ) 2 ( 1 ) 2 ( 1 e e L n n n i i
Entretanto, no modelo MQO desejamos obter o estimador para e 2a partir das variáveis dependentes e independentes, obtidas empiricamente. Assim, reescrevemos a expressão acima com:
i yi Xi
O Jacobiano da transformação de n variáveis por m funções (ver apêndice econométrico 4) é dado por:
14 . ... ... ... ... ... 1 1 1 1 n n n n y x y x y x y x abs J
Assim, para o caso particular do MQO, o Jacobiano da transformação deiparay tem o i
seguinte valor: 1 i i y J .
Incorporando essas expressões na FV do erro, obtemos a FV do MQO:
( )'( ) 2 1 2 2 ) ( )' ( 2 1 2 2 2 2 ) 2 ( 1 1 ) 2 ( 1 X y X y n X y X y n e e L Tomando o logaritmo da função, utilizando a relação para matrizes (AB)' A'B', e a relação para vetores X'YY'X, temos:
( )'( ) 2 1 ln 2 2 ln 2 2 2 n y X y X n l
' ( )' ' ( )'( )
2 1 ln 2 2 ln 2 2 2 n y y X y y X X X n
' 2( )' ( )'( )
. 2 1 ln 2 2 ln 2 2 2 n y y X y X X n Derivando com relação ao vetor , obtemos o estimador para esses parâmetros:
y X X X X X y X X X y X l MQO ( ' ) ' ˆ ' ' 0 ' 2 ' 2 2 1 1 2 Note que esse estimador é exatamente igual ao obtido para o estimador de mínimos quadrados ordinários, discutido no apêndice econométrico 3.
15 Derivando com relação a2, obtemos o estimador para a variância:
0 ) ( )' ( ) ( 2 1 2 2 2 2 2 y X y X n l . ' ) ( )' ( 1 ˆ2 n e e X y X y n MQO
Por fim, obtemos a matriz de covariância utilizando o limite de Cramér-Rao.
2 2 2 ' ' 2 2 1 ' 2 ' 2 2 1 ' X X X X X X y X l 2 2 ' ' X X l E
X y X X X y X X l ' 2 ' 2 ) ( 2 1 ' 2 ' 2 2 1 ' 2 2 2 2 2
' '
0 ) ( 1 ' ' ) ( 1 2 2 2 2 2 2 E X y X X E X y X X l E ' ) ( 1 ) ( 2 ) ( )' ( ) ( 1 ) ( 2 ) ( )' ( ) ( 2 1 2 3 2 2 2 3 2 2 2 2 2 2 2 2 2 n X y X y n X y X y n l
2 2 2 3 2 2 2 3 2 2 2 3 2 2 2 2 2 2 ) ( 2 ) ( ) ( 1 ) ( 2 ' ) ( 1 ) ( 2 ' ) ( 1 ) ( 2 ) ( n n n E n n E l E16 n X X L L L L E I 4 2 1 2 2 2 2 2 2 2 2 2 1 2 0 0 ' ) ( ln ' ln ln ln )] ( [
Como discutido na seção anterior, esse procedimento descrito aqui também é utilizado para o modelo SLX.
6 – Estimadores de MV para o modelo de lag espacial
Segue a discussão de como obter os estimadores para o modelo de lag espacial e, como vimos, também para o modelo espacial de Durbin. A matriz de covariância será obtida posteriormente na seção nove do texto, devido a extensão dos cálculos. A discussão abaixo é baseada em Doreian (1981).
Como vimos, o modelo de lag espacial é expresso pela seguinte equação:
WY X Y
Seguindo os mesmos procedimentos da seção anterior, isolamos o termo do erro, obtemos o Jacobiano da transformação deiparay , e substituindo os resultados na FV do erro: i
y WyX (I W)yX W I y J i i .
Assim, a FV do modelo de lag espacial é dada por:
2 2 / 2 2 ) ( )' ( exp ) 2 ( ) , ; , , ( y X I W y Wy X y Wy X L n
17 } 2 ) ( )' ( exp ) 2 ln{( ) , ; , , ( 2 2 /2 2 y X I W y Wy X y Wy X l n ] 2 ) ( )' ( ln[exp ln ) 2 ln( 2 /2 2 n I W y Wy X y Wy X
( )'( )
2 1 ln ) ln( ) 2 ln( 2 2 2 I W y Wy X y Wy X n Derivando com relação a 2, obtemos o estimador da variância:
( )'( )
0 ) ( 2 1 2 2 2 2 2 y Wy X y Wy X n l
1 ( )'( ) 0 2 1 2 2 n y Wy X y Wy X ) ( )' ( 1 ˆ2 y Wy X y Wy X n SAR Entretanto, não podemos estimar a variância, pois não sabemos os valores de nem de , que estão presentes na expressão. Assim, devemos utilizar alguma expressão para estimarmos esses parâmetros para depois estimarmos ˆ2.
Assim, derivando o log da verossimilhança com relação a , temos:
'( )
1
'(( ) )
0 1 2 2 X y Wy X X I W y X lPara prosseguir o raciocínio, fazemos uma mudança de variável com z(I W)y. Daí ficamos com:
X'(zX)
0Manipulando essa expressão, obtemos o estimador do modelo:
z X X X SAR ( ' ) ' ˆ 1
18 Note que para estimarmos ˆSAR devemos estimar primeiro o parâmetro , para depois substituirmos em z.
Substituindo a mudança de variável z(IW)y e o resultado para ˆSARna expressão do estimador da variância, lembrando que (AB)'B'A', ficamos com:
) ( )' ( 1 ˆ2 z X z X n SAR , ' 1 ) ' ) ' ( ( ( ' 1 ) ' ) ' ( ' ) ) ' ) ' ( ( ' 2 ' ( 1 ) ' ) ' ( ' ) ' ( ' ) ' ) ' ( ( ' 2 ' ( 1 ) ' ) ' ( )( )' ' ) ' ( ( ' ' ( 1 ) ' ) ' ( ( )' ' ) ' ( ( 1 ˆ 1 1 1 1 1 1 1 1 1 1 2 Mz z n z X X X X I z n z IX X X X z z X X X X z z z n z X X X X X X X X z z X X X X z z z n z X X X X z X X X X z z n z X X X X z z X X X X z n SAR onde M I(X(X'X)1X'.
Note que agora o estimador da variância depende somente de . Ou seja, neste ponto da discussão os dois estimadores já discutidos são função desse parâmetro: ˆSAR()e ˆSAR2 (). Mas ainda não sabemos o valor de . Assim, devemos estimar o parâmetro para depois estimarmos os demais via essas expressões.
Retomamos a expressão do log da FV.
( ˆ)'( ˆ)
ˆ 2 1 ln ) ˆ ln( ) 2 ln( 2 ) , ; ), ( ˆ ), ( ˆ ( 2 2 2 y X n I W y Wy X y Wy X l Sabendo que ˆ2 1 (y Wy Xˆ)'(y Wy Xˆ) n SAR , temos: 19
y Wy X y Wy X I W n n n X Wy y X Wy y n X Wy y X Wy y W I n l ln ) ˆ ( )' ˆ ( 1 ln 2 ) 2 ln( 1 2 ) ˆ ( )' ˆ ( ) ˆ ( )' ˆ ( 2 1 ln ) ˆ ln ) 2 ln( 2 2Um ponto chave na obtenção do estimador de MV é o logaritmo do Jacobiano. Para simplificar essa relação devemos reescrevê-lo. Note que podemos calcular o determinante de uma matriz A como o produto de seus autovalores:
i i A . Daí, temos:
i iW , onde isão os autovalores da matriz de peso.
) (
i i W I , ) 1 (
i i W I .Tomando o logaritmo, temos:
. ) 1 ln( ) 1 ( ln ln
i i i i W I Note que o logaritmo só é definido para valores positivos. Assumindo que os autovalores são reais, dessa relação, temos para todo i:
0 ) 1 ( i i 1 Se i é positivo: i
1 . Como essa relação é valida para todo i, daí temos que
max
1
, onde
max
20 Se i é negativo:
i
1 . Como essa relação também é valida para todo i, dai temos que
min
1
, onde min é o menor autovalor real negativo.
Assim obtemos o intervalo para os valores de , onde a FV é definida: max min 1 , 1 .
Se a matriz de peso for normalizada temos os seguintes valores: min 1 e max 1.
Esse mesmo raciocínio é valido para o parâmetro de correlação espacial do modelo de erro espacial.
Substituindo a relação acima na função de log de FV e substituindo
1 ln(2 )
2 n K constante, temos:
I W n X Wy y X Wy y n n l ln ( ˆ)'( ˆ) ln 2 ) 2 ln( 1 2
i i n K l ln ˆ ln(1 ) 2 2 Sabemos que: ) ' ' ' 2 ' ( 1 ) ( ) ' ' ' ( 1 ) ( )' ( 1 ) ( )' ) (( 1 ' 1 ˆ 2 2 MWy W y MWy y My y n Wy y M W y y n Wy y M Wy y n y W I M y W I n Mz z n Substituindo essa expressão na função do log da FV, obtemos a seguinte equação:
i i i i MWy W y MWy y My y n n K n K l ) 1 ln( ) ' ' ' 2 ' ( 1 ln 2 ) 1 ln( ˆ ln 2 2 2 21 Simplificando essa expressão, suprimindo os valores constantes e reescrevendo, temos:
i i n MWy W y MWy y My y X y g(; , ) ln ' 2 ' 2 ' ' 2 ln(1 )Devemos obter o mínimo dessa função para obtermos o valor do parâmetroque maximiza a FV. Em vez de resolvermos essa expressão analiticamente, ela é minimizada por procedimentos numéricos com a utilização de métodos computacionais. Isto é, variam-se os valores de passo-a-passo em pequenos degraus em um intervalo pré-definido e obtém-se o mínimo da função. Normalmente se utiliza o intervalo[0,1). Os exemplos de correlação positiva são muito mais numerosos que os de correlação negativa, o que justifica essa escolha. Valores negativos para os parâmetros espaciais são observados em alguns trabalhos empíricos, como na competição entre empresas em um mesmo espaço urbano ou na disputa por espaço geográfico entre espécies vegetais ou animais (Griffth e Arbia, 2010) .
Ou seja, na prática os parâmetros e não são incluídos na otimização da função de verossimilhança. Isso facilita em muito os procedimentos de maximização. Para uma discussão mais aprofundada ver LeSage e Pace (2009).
Uma vez obtido o parâmetro que minimiza a expressão acima, são estimados os demais parâmetros, ˆ()e ˆ2(), e o processo de obtenção dos parâmetros se encerra.
A seção seguinte discute o modelo de erro espacial de forma similar ao apresentado aqui.
7- Estimadores de MV do modelo de erro espacial
Seguindo um raciocínio similar ao descrito acima obtemos os estimadores do modelo de erro espacial (SEM). Como vimos, o modelo tem a seguinte equação:
u X Y Wu u , ~N(0,2In).
22 Em seguida, isolamos : 1 ) ( X I W Y (I W)Y(I W)X ). )( ( I W YX
A partir dessa expressão, calculamos o Jacobiano da transformação deparaY :
). (I W Y J
De posse dessa informação, obtemos a FV do modelo:
2 2 / 2 2 )] )( [( )]' )( [( exp ) 2 ( ) , ; , , ( y X I W I W Y X I W Y X L n 2 2 / 2 2 )] )( ][( )' ( )' [( exp ) 2 ( ) , ; , , ( y X I W Y X I W I W Y X L n
Tomando o logaritmo dessa função, temos:
) )( ( )' ( )' ( 2 1 ln ) 2 ln( 2 ) , ; , , ( 2 2 y X n I W Y X I W I W Y X l
Derivando com relação a , obtemos o estimador ˆSEM:
] ) [( ]' ) [( ] ) [( ]' ) [( ) ( ]' ) [( ) ( ]' ) [( 0 ) )( ( ]' ) [( 0 ) )( ( )' ( ' 0 ) )( ( )' ( )' )( 2 ( 2 1 2 X W I X W I Y W I X W I X W I X W I Y W I X W I X Y W I X W I X Y W I W I X X Y W I W I X l
23 Y W I X Y W I Y ) ( ) ( * * Ficamos com: * *) ( *)) ( *) (( ˆ *) ( *) ( * *) ( ' 1 ' ' ' Y X X X X X Y X SEM
Note que o estimador acima, assim como observado no modelo de lag espacial, depende do valor da variável de correlação espacial, que no caso do modelo de erro espacial é o valor de , que ainda não conhecemos.
Prosseguindo, derivamos com relação à 2 e obtemos o estimador da variância:
0 ) )( ( )' ( )' ( ) ( 2 1 2 2 2 2 2 Y X I W I W Y X n l 0 ) )( ( )' ( )' ( 1 2 1 2 2 n Y X I W I W Y X ) ˆ )( ( ))' ˆ )( (( 1 ˆ2 I W Y X I W Y X n SEM
Note que esse estimador também depende do valor de . Ou seja, ambos estimadores, ˆSEMe
2
ˆSEM
, dependem de . Assim devemos estima-lo e em seguida obtemos os demais.
Retornamos a expressão do log da FV.
) )( ( )' ( )' ( ˆ 2 1 ln ) ˆ 2 ln( 2 ) , ; ), ( ˆ ( 2 2 2 y X n I W Y X I W I W Y X l
Para simplificar essa relação devemos reescrever o logaritmo do determinante como:
, ) 1 ln( ln
i i WI onde i são os autovalores da matriz de peso (utiliza-se essa nomenclatura para autovalores para não confusão com o parâmetro espacial ).
24 Substituindo a expressão do estimador da variância, ficamos com:
) ˆ )( ( )' ( )' ˆ ( ˆ 2 1 ) 1 ln( ) ˆ 2 ln( 2 ) , ; , ˆ , ˆ ( 2 2 2 y X n Y X I W I W Y X l i i
2 ) 1 ln( ) ˆ ln ) 2 ln( 2 2 n n i i Simplificando, suprimindo as constantes e reescrevendo, obtemos a função que será minimizada por procedimentos numéricos:
i i n g() lnˆ2 2 ln(1 )Na próxima seção todo o procedimento discutido para os modelos MQO, de lag espacial e de erro espacial é implementado em simulações ilustrativas no Matlab.
8 – Simulação ilustrativa
Este seção apresenta simulações ilustrativas feitas no Matlab que trata dos conceitos discutidos nas seções anteriores. Como ponto de partida, temos o DGP do modelo de Kelejian-Prucha:
u X WY Y Wu u , ~N(0,2In)
Nas simulações estipulamos valores arbitrários para os termos desse DGP. Esses valores são baseados em Florax et al (2003) e em Anselin et al (1996). Maiores detalhes das simulações discutidas por esses autores são apresentados no próximo texto dessa serie.
As simulações foram feitas com 100 observações, como sugerido em Mur e Angulo (2009) como número mínimo para uma estimativa confiável. As observações foram definidas como regiões, que foram dispostas em uma estrutura quadrada regular, tipo tabuleiro de xadrez, com cada lado de dimensão 10. Assim temos 10 x 10 = 100 observações.
Um ponto importante de toda essa análise é referente a relação entre o tamanho da amostra e dificuldades computacionais de estimação. Note que para uma amostra com n observações, a
25 matriz de peso é n x n. Assim, uma amostra maior aumenta a acurácia da estimação, mas implica em maior dificuldade computacional, pois as matrizes a serem manipuladas no processo de estimação tem n2 elementos. Note, porém, que, de forma geral, as matrizes de peso têm muitos elementos nulos, sendo que a proporção destes tende a aumentar quando o tamanho da amostra aumenta. O uso de técnicas de matrizes esparsas, não utilizada aqui, pode ser usado para facilitar a estimação dos parâmetros (Pace, 1997).
A matriz de peso foi definida como de contiguidade por torre, pelos lados, como uma torre se movimento no xadrez, como mostra o diagrama abaixo. Note que a contiguidade em uma estrutura regular pode ser definida de outras maneiras, como por exemplo, pelo movimento da rainha no xadrez, que incluem também as regiões que se tocam apenas no vértice. A matriz foi normalizada na linha.
Uma vez definida a matriz de peso, o próximo passo é obter a matriz X das variáveis independentes. Assume-se que temos apenas uma variável exógena, sendo que o valor de cada uma das 100 observações foi obtido a partir de uma distribuição uniforme com valores entre 0 e 10: X ~U[0,10]. Os valores são mantidos os mesmos em todas as simulações. Para os parâmetros temos 0 1 , referente ao intercepto, e 1 1, referente a variável exógena X.
Esses valores foram incorporados ao DGP do modelo de Kelejian-Prucha. Foram analisados três casos particulares desse modelo: o modelo MQO com 0 e 0; o modelo de lag espacial com
2 1
e 0; e o modelo de erro espacial com 0 e 2 1
26 Em seguida, determinam-se os erros estocásticos. Esses foram obtidos a partir de uma distribuição normal com média zero, e assumindo 2 1. Foram gerados 100 valores a partir dessa distribuição para cada uma das simulações. No total são 100 simulações para o MQO, 20 para o modelo de lag espacial e 20 para o modelo de erro espacial. Foram assim gerados 1040 vetores com 100 valores aleatórios para o erro estocástico.
De posse de toda essa informação, obtêm-se com o DGP do modelo de Kelejian-Prucha, os valores da variável dependente para esses modelos, também em 1040 vetores com 100 valores cada um. Ou seja, sabemos quais são os parâmetros que geraram os valores da variável dependente para cada um dos modelos. Os resultados são discutidos em separado para o MQO, o modelo de lag espacial e o modelo de erro espacial.
8.1 – MQO
Com a informação descrita acima, geramos os 100 valores da variável dependente e os 100 valores da variável independente para cada uma das 1000 simulações. De posse dessa informação, estima-se o modelo MQO 1000 vezes utilizando as expressões:
Y X X X MQO ( ' ) ' ˆ 1 . ' ˆ2 n e e MQO
Compara-se, assim, o modelo real que gerou os dados com o modelo estimado.
Como vimos, o valor real para os parâmetros são 0 1, 1 1 e 2 1. O valor médio das 1000 estimações para esses parâmetros foi respectivamente de 1,0103, 0,9977 e 0,9749. Ou seja, os valores estimados são muito próximos dos reais.
Os histogramas a seguir mostram a distribuição de cada um dos parâmetros, todos aproximadamente normais, com a média descrita acima. Note que a dispersão dos valores de 1, que é o coeficiente de maior interesse empírico, era menor que para os demais parâmetros. Na
27 grande maioria das simulações, os valores ficaram entre 0,95 e 1,05, variações relativamente pequenas em torno do valor real. Porém, note que os valores absolutos dessas dispersões dependem dos valores arbitrários incluídos nas estimações.
Histograma 1 – Dispersão dos valores de 0
Histograma 2 – Dispersão dos valores de 1
0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 0 50 100 150 200 250 0.85 0.9 0.95 1 1.05 1.1 1.15 1.2 0 50 100 150 200 250 300
28 Histograma 3 – Dispersão dos valores de 2
8.2 – Modelo de lag espacial
Também com a informação descrita acima, foram obtidos os 100 valores da variável dependente e da variável independente para o modelo de lag espacial. Estimou-se o modelo empírico 20 vezes. Note que para cada uma dessas estimativas devemos fazer um procedimento que demanda mais do computador do que o MQO. Essa é a razão desse número menor de simulações.
O primeiro passo é obter o valor de que minimiza a expressão abaixo:
'. ) ' ( ( onde , ) 1 ln( 2 ' ' ' 2 ' ln ) , ; ( 1 2 X X X X I M n MWY W Y MWY Y MY Y X Y g i i
Assim, inicialmente, obtém-se a matriz M, e estimam-se os autovalores da matriz de peso. Substituem-se esses resultados em conjunto com o vetor Y e a matriz W na expressão acima. Esses valores serão constantes para todos os valores de .
Qual valor de minimiza essa expressão? Isso é obtido numericamente. No caso da simulação aqui, variou-se o parâmetro de 0,05 até 0,95 em acréscimos de 0,05, em um total de 19 valores. Note que poderíamos ter feito de 0 a 0,95 em acréscimos de 0,01. A única diferença seria o tempo maior do computador. Com cada um dos valores de , calculou-se o valor da função g.
0.5 0.6 0.7 0.8 0.9 1 1.1 1.2 1.3 1.4 1.5 0 50 100 150 200 250 300
29 Esse mesmo procedimento foi feito 20 vezes. Note que dependendo do erro gerado na simulação, temos um valor de variável dependente distinto, o que leva a estimações de distintas. Lembrando que o valor real foi estipulado como ,
2 1
o diagrama abaixo mostra os resultados
obtidos nas 20 simulações. Na maioria das simulações, o valor de que minimizava a expressão acima ficou em torno desse valor real. O valor médio das 20 simulações foi 0,485.
Gráfico 1 – Valores de g(;Y,X)para diferentes valores de
Uma vez obtido o valor deque minimiza a expressão acima, estima-se os demais parâmetros do modelo a partir das expressões abaixo:
Y W I X X X SAR ( ' ) '( ) ˆ 1 Y W I M Y W I n SAR ( ) ' ( ) 1 ˆ2
A média dos valores das 20 replicações para 0, 1 e 2 foram respectivamente 1,0318, 0,9981 e 0,9729, também muito próximos dos valores reais.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 4 4.5 5 5.5 6 6.5
30
8.3 – Modelo de erro espacial
De forma similar, de posse da informação descrita acima, foram obtidos os valores para a variável dependente e independente do modelo de erro espacial e estimaram-se os modelos empíricos. O primeiro passo foi estimar os 100 autovalores da matriz de peso, W, que são expressos aqui como i. Depois, deve-se obter o valor de que minimiza a expressão abaixo, sendo n o número de observações:
ln ˆ
2 ln(1 ), ) ( 2
i i n g ), ˆ )( ( ))' ˆ )( (( 1 ˆ onde2 I W Y X I W Y X n *, *) ( *)) ( *) (( ˆ ' 1 ' Y X X X , ) ( * X W I X e Y*(IW)YInicialmente, substituem-se os valores encontrados para os autovalores, e os vetores X, Y e a matriz W nesta expressão. Assim, o único parâmetro a determinar é .Varia-se o valor do parâmetro numericamente e calcula-se o valor da função g para cada valor de. No caso da simulação aqui, variou-se o parâmetro de 0,05 até 0,95 em acréscimos de 0,05, em um total de 19 valores.
O diagrama abaixo mostra os resultados, onde na maioria das simulações, o valor ficou em torno
de ,
2 1
31 Gráfico 2 – Valores de g(;Y,X)para diferentes valores de
De posse do valor de , utilizamos as expressões acima para obter os valores dos demais parâmetros. As médias dos valores das 20 replicações para 0 , 1 e
2
foram respectivamente 0,9970, 0,9954 e 1,0009, também muito próximos dos valores reais.
9 - Matriz de covariância
Nas seções 3 e 5 foram obtidas as matrizes de covariância respectivamente para a distribuição normal e para o MQO. Devido à extensão dos cálculos para a obtenção dessa matriz para os modelos espaciais, a obtenção da matriz de covariância desses modelos será feita apenas para o modelo de lag espacial. As passagens são feitas passo-a-passo e, assim, procedimentos análogos podem ser adaptados para os demais modelos.
Como vimos, o estimador de máxima verossimilhança tem com propriedade ser assintoticamente eficiente com covariância assintótica positivamente definida no limite inferior de Cramér-Rao:
1 2 1 ' ln )] ( [ ) ˆ ( I E L Var . 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 4.4 4.6 4.8 5 5.2 5.4 5.6 5.8 6
32 Para o modelo de lag espacial, essa matriz de covariância tem o seguinte formato:
1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 ' ln ' ln ' ln ' ln ' ln ' ln ' ln ' ln ' ln )] ( [ L L L L L L L L L E I
Então partimos do log da FV do modelo:
( )'( )
, 2 1 ) 1 ln( ) ln( ) 2 ln( 2 2 2 y Wy X y Wy X n l i i
e obtemos as derivadas de primeira ordem. As duas primeiras já foram feitas anteriormente:
X y X X l ' 2 ' 2 2 1 2
( )'( )
) ( 2 1 2 2 2 2 2 y Wy X y Wy X n l A terceira é realizada aqui pela primeira vez:
( )'( )
1 ) 1 ( ) ( )' ( 2 1 ) 1 ln( ) ln( ) 2 ln( 2 2 2 2 X Wy y Wy X Wy y X Wy y n l i i i i i
Em seguida, obtemos as derivadas de segunda ordem de todas as expressões acima, lembrando que a matriz é simétrica. Além disso, estimamos os valores esperados de cada uma das expressões.
( )'( )
) ( 2 2 ) ( 2 ) ( )' ( ) ( 2 1 2 ' ln 3 2 2 2 2 2 2 2 2 2 2 2 2 X Wy y X Wy y n X Wy y X Wy y n l L 33 Obtemos o valor esperado dessa expressão:
) ( 2 ) ( 2 2 ) ( 2 ' ) ( 2 2 ) ( 2 ' ) ( 2 2 ) ( 2 ) ( )' ( ) ( 2 2 ) ( 2 4 2 3 2 4 3 2 2 2 3 2 2 2 3 2 2 2 n n n E n n E X Wy y X Wy y n E
Wy y Wy X
Wy X Wy y X Wy y n l L ' ) ( 1 ) ( )' ( ) ( 1 ) ( )' ( ) ( 2 1 2 ln 2 2 2 2 2 2 2 2 2 2 Para simplificar a notação na obtenção do valor esperado definimos a matrizBW
I W
1 . Utilizamos as seguintes expressões: E[X']E[X']0; para uma matriz 1 x 1, tr(a11)a11;e temos a seguinte relação para o traço de uma matriz, tr(AB)tr(BA). O valor esperado da derivada acima tem o seguinte valor:
BE
tr
BI
tr
B tr B tr E B E X B E X W I W E Wy E Wy E 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 1 ) ( 1 ' ) ( 1 ) ' ( ) ( 1 ) ' ( ) ( 1 )) ( ' ) ( 1 ) ( ' ) ( 1 ' ) ( 1 ' ) ( 1
' ) ( 1 ) ( )' ( ) ( 1 ) ( )' ( ) ( 2 1 2 ' ln 2 2 2 2 2 2 2 2 2 2 X X Wy y X X Wy y X Wy y n l L 34 Obtemos o valor esperado dessa expressão:
'
0 ) ( 1 2 2 X E Utilizando a notação
i i i 2 2 ) 1 ( ) ( para simplificar, obtemos a próxima expressão:
