Regressão Linear Múltipla

(1)

Prof. Lorí Viali, Dr.

http://www.pucrs.br/famat/viali/

viali@pucrs.br

Curso: Engenharia de Processos e de Sistemas de Produção - Prof. Lorí Viali, Dr. – PUCRS – FAMAT: Departamento de Estatística

O modelo de regressão linear múltipla

Introdução

Definição e terminologia

Interpretação

Estimação

Interpretação revisitada

Qualidade do ajuste

Propriedades estatísticas

R

egressão

L

inear

M

últipla

Definição

Maior

Maior desvantagem

desvantagem::

Não

Não éé muito

muito adequado

adequado para

para modelar

modelar

relações

relações Ceteris

Ceteris Paribus

Paribus entre

entre variáveis,

variáveis,

pois

pois dificilmente

dificilmente

u

+

x

β

+

β

=

y

₀

₁

0 =

)

u

E(

=

)

x

|

u

E(

M

odelo

odelo de

de

R

egressão

L

inear

SS

imples

Outros

fatores

relevantes

permanecem

fixos.

Ajuda

Ajuda aa encontrar

encontrar relações

relações Ceteris

Paribus entre

entre variáveis

variáveis;;

Melhora

Melhora oo ajuste

ajuste ao

ao dados

dados;;

Maior

Maior flexibilidade

flexibilidade..

M

odelo

odelo de

de

R

egressão

L

inear

M

últipla

Sejam

Sejam Y

Y ee X

X

11 ,,...

...,, X

X

kk

–

– ““kk +

+ 11”” variáveis

variáveis

popula

populacionais

cionais..

O

O objetivo

objetivo éé explicar

explicar Y

Y em

em função

função de

de

X

11 ,,...

...,, X

X

kk

,, isto

isto éé,, como

como Y

Y se

se altera

altera se

se uma

uma

ou

ou todas

todas as

as variáveis

variáveis X

X

11 ,, ...

...,, X

X

kk

se

alteram

alteram..

D

efinição

efinição e

efinição

e

T

erminologia

Como

Como não

não há

há uma

uma relação

relação precisa

precisa entre

entre Y

Y ee

X

11 ,,...

...,, X

X

kk

,, como

como levar

levar em

em conta

conta outros

outros fatores

fatores

que

que afetam

afetam Y

Y??

Qual

Qual aa verdadeira

verdadeira relação

relação funcional

funcional entre

entre Y

Y ee

X

ii

,, ii =

= 11,, 22,, ...

...,, kk??

Como

Como capturar

capturar uma

uma relação

relação ceteris

ceteris paribus

paribus

entre

entre Y

Y ee X

X

ii

,, ii =

= 11,, 22,, ...

...,, kk (se

(se este

este for

for oo caso)?

caso)?

P

(2)

O

O (MLRM)

(MLRM) Modelo

Modelo Linear

Linear

de

Regressão

Regressão Múltipla

Múltipla éé dado

dado pela

pela seguinte

seguinte

equação

equação::

U

X

β

X

β

X

β

Y

=

₀

+

₁

+

₂

+

L

+

_k

+

O

M

odelo

Y

:: variável

variável dependente,

dependente, variável

variável explicada,

explicada,

variável

de

resposta,

variável

prevista,

regressando,

regressando, saída,

saída, efeito

efeito..

X

_ii

::

variáveis

independentes,

variáveis

explicativas,

explicativas, variáveis

variáveis de

de controle,

controle, preditores

preditores,,

regressores

regressores,, entradas,

entradas, causas

causas..

U

U:: erro,

erro, distúrbio

distúrbio ou

ou ruído

ruído..

T

erminologia

erros de medida;

forma funcional inadequada;

variabilidade

inerente

das

variáveis

envolvidas;

outros fatores além de

X

1 ,...,

X

k

que afetam

a variável

Y

.

O termo

U

representa:

Média nula

E(U) = 0

Média condicional

Média condicional nula

nula

E(U| X

1,

X

2,

...,

..., X

X

kk

) = E(U) = 0

H

ipóteses

A

dicionais

SS

obre

U

Para

estimar

os

parâmetros

β

₀

,

β

₁

,...,

β

_k

da equação de regressão

múltipla é necessário uma amostra da

população

!

(

)

{

x

₁

_i

,

x

₂

_i

,

K

,

x

_ki

,

y

_i

:

i

=

1 ,

K

,

n

}

O M

étodo dos

M

ínimos

Q

uadrados

Considere uma amostra aleatória de

tamanho

n

nn

n

da população.

Supondo que esta amostra satisfaça o

modelo pode-se escrever:

i

ki

k

i

2

2 i

1

0 i

β

X

β

X

β

X

U

Y

=

+

L

+

Onde a letra i refere-se a i-ésima

observação.

(3)

A descrição do modelo de regressão

múltipla é normalmente apresentado de

forma matricial.

A equação anterior pode ser escrita

como:

U

β

X

Y

=

+

Onde:













=













=













=













=

U

...

U

β

...

β

X

...

X

...

X

...

X

...

X

Y

...

Y

n

2

1 k

1

0 nk

2 n

1 n

k

2

22

21 k

1

12

11 n

2

1 (nx1)

U

kx1

β

(nxk)

X

)

1 nx

(

Y

→

Note-se que cada linha da matriz X

representa um conjunto de valores das variações

independentes referentes a

uma

uma observação

observação

, ao

passo cada coluna representa um conjunto de

valores de

uma

uma variável

variável

variável independente

independente

nas

n

nn

n

observações amostrais. A primeira coluna de X é

composta inteiramente de valores iguais a um.

As hipóteses vistas para a regressão linear

simples podem ser colocadas na forma

matricial da seguinte forma:

)

Σ

,

0 (

N

~

U

Onde “0” é um vetor-coluna de zeros e Σ é

uma matriz nxn.

Onde I

n

é uma matriz-identidade

de ordem nxn, com unidades na

diagonal principal e zeros em todo o

resto.

I

σ

2 n

Σ =

Os elementos da matriz X são não

estocásticos com valores fixados em

amostras

repetidas,

e

a

matriz

((((1111/n)(X’X)

/n)(X’X)

é não singular e tal que, para

qualquer

tamanho

amostral,

seus

(4)

Da mesma forma que na regressão linear

simples os estimadores de mínimos quadrados

dos coeficientes de regressão podem ser

obtidos, minimizando a soma dos quadrados

dos resíduos, isto é:

∑

=

−

=

n

1 i

2 ki

k

i

1

0 i

n

1 i

2 i

(

Y

β

X

β

X

)

U

Φ

L

E

stimação dos

P

arâmetros

∑

=

−

=

∂

−

=

∂

−

=

∂

n

1 i

ki

i

0

1

1 i

k

ki

k

n

1 i

i

0

1

1 i

k

ki

2 n

1 i

i

0

1

1 i

k

ki

1 )

X

β

X

β

Y

(

X

2 Φ

....

...

)

X

β

X

β

Y

(

X

2 Φ

)

X

β

X

β

Y

(

2 Φ

β

L

Diferenciando

Φ

em relação aos parâmetros de

regressão:

β

₁

,

β

₂

, ...,

β

_k

, tem-se:

∑

=

+

=

+

=

+

=

n

1 i

2 k

n

1 i

2 i

ki

1 n

1 i

ki

0 n

1 i

ki

_i

n

1 i

2 i

ki

k

n

1 i

2 i

2

1 n

1 i

2 i

0 n

1 i

2 i

i

n

1 i

ki

k

n

1 i

i

1

0 n

1 i

i

X

Y

X

Y

X

Y

ki

β

ˆ

...

X

β

ˆ

X

β

ˆ

....

...

X

β

ˆ

...

β

ˆ

X

β

ˆ

X

β

ˆ

...

X

β

ˆ

β

ˆ

n

Igualando cada derivada a zero e

reagrupando os termos, tem-se:

X

β

ˆ

X

β

ˆ

k

2

1

0 β

ˆ

β

ˆ

Y

−

=

L

Para resolver as equações normais de

mínimos quadrados, escreve-se a primeira

equação da seguinte forma:

Onde:

X

n

1 X

e

Y

n

1 Y

n

1 i

ki

k

n

1 i

i

∑

=

∑

=

E

stimação dos

P

arâmetros

Substituindo a equação anterior nas demais

equações, obtém-se após algumas simplificações:

k

kk

2 k

2

1 k

1 Yk

k

3 k

2

23

1

13

3 Y

k

2 k

2

22

1

12

2 Y

β

ˆ

β

ˆ

β

ˆ

...

β

ˆ

β

ˆ

β

ˆ

β

ˆ

β

ˆ

β

ˆ

m

−

=

−

=

−

=

L

Onde:

(

)

(

)

(

)

(

)

K

,..,

2 ,

1 k

,

j

Y

n

1 i

ij

j

ik

k

jk

n

1 i

k

ki

i

Yk

X

m

X

Y

m

=

−

=

−

=

∑

=

(5)

E

stimação dos

P

arâmetros

Estas equações podem ser resolvidas

para

. A solução é simples,

porém trabalhosa. Se K = 2, isto é, para o

caso de duas variáveis, tem-se:

k

2

1 ,

β

ˆ

,

..,

β

ˆ

β

ˆ

E

stimação dos

P

arâmetros

m

12

22

11

12

1 Y

11

2 Y

22

12

11

2 Y

12

1 Y

11

2

12

22

11

2 Y

12

22

1 Y

22

12

11

22

2 Y

12

1 Y

1 β

ˆ

β

ˆ

−

=

−

=

E

xemplo

U

m

Considere os dados como sendo das

variáveis: Y = Quantidade vendida de um

produto, X

1 = Preço do produto e X

2 = Gasto

com a divulgação do produto. Determinar a

equação de regressão de Y em função de X

1 e

de X

2 .

Q (kg)

Preço (R$)

Investimento (R$ mil)

55

100

550

70

90

630

90

80

720

100

70

700

90

70

625

105

70

735

80

70

560

110

65

715

125

60

750

115

60

690

130

55

715

130

50

650

650 Y

X

1 X

2 Y

2 Y X

1 YX

2 X

1 X

2

55

100

550

70

90

630

90

80

720

100

70

700

90

70

625

105

70

735

80

70

560

110

65

715

125

60

750

115

60

690

130

55

715

130

50

650

650 X

1

2 X

2

2 Onde

:

6300

75 ,

125 3550

m

YY

2 Y

Y1

=

−

=

670

70

100 Y

X

2

1 =

=

5400

49000

250

2 m

m

12

22

11 −

=

(6)

Então:

1578

,

116 1125

,

0

70 ).

3077

,

1 (

100 1125

,

0 )

(

49000

.

2250

)

3550

).(

5400

(

75 ,

125 .

2250

3077

,

1 )

(

49000

.

2250

75 ,

125 ).

5400

(

49000

.

3550

βˆ

5400

βˆ

5400

βˆ

0

2

1 =

−

=

−

=

−

=

−

=

−

Assim a equação procurada, será:

X

1

0 ,

11

2 1,31

-116,16

Yˆ

=

+

Desta forma, uma redução de R$10 no preço

do produto, sem investimento em publicidade,

aumentaria as vendas em em aproximadamente 13

kg. Um aumento na publicidade de 100 mil, sem

alteração no preço, aumenta as vendas em 11 kg.

E

xercício

U

m (Gujarati

m (Gujarati –

– 7.18)

7.18)

A tabela apresenta dados sobre o produto bruto

real, trabalho e capital real no setor industrial de

Taiwan.

(a) Ajuste os seguintes modelos aos dados da

tabela:

U

X

ln

α

X

ln

α

Y

ln

'

t

2

2 t

1

0 t

=

+

U

Y

t

=

β

0 +

β

1 X

1 t

+

β

2 X

2 t

+

t

(b) Qual modelo oferece melhor ajuste e por

quê?

Ano

Y

X

1 X

2 1958

1958

8911,4

281,5

120753

1959

10873,2

284,4

122242

1960

11132,5

289,0

125263

1961

12086,5

375,8

128539

1962

12767,5

375,2

131427

1963

16347,1

402,5

134267

1964

19542,7

478,0

139038

1965

21075,9

553,4

146450

1966

23052,0

616,7

153714

1967

26128,2

695,7

164783

1968

29563,7

790,3

176864

1969

33376,6

816,0

188146

1970

38354,3

848,4

205841

1971

46868,3

873,1

221748

1972

54308,0

999,2

239715

E

xercício

U

m (Gujarati

m (Gujarati –

– 7.18)

7.18)

Onde

Y = Produto Bruto real (em milhões de NT $)*

X

₁

= Trabalho (por mil pessoas)

X

₂

= Capital Real (em milhões deNT $)

() Dólares Novos de Taiwan*

Fonte: Thomas Pei-Fan Chen”, “Economic Growth and Structural

Change in Taiwan - 1952/1972, A Production Function Approach”, tese de

doutorado não-publicada, Departamento de Economia, Centro de

Graduação, City University of New York, Junho de 1976, Tabela II.

(7)

F

orma

M

atricial

As equações normais do método dos

mínimos quadrados podem (e devem) ser

apresentadas em notação matricial, da

seguinte forma:

β

ˆ

)

X

'

X

(

Y

'

X

=

Onde:

βˆ

...

βˆ

X

...

X

...

X

...

X

...

X

n

X

X'

Y

X

...

Y

X

Y

'

X

k

1

0 ik

ik

2 i

_ik

ik

2 i

1 i

ik

2 i

ik i

1 i

i













=













=













∑

=

A

A SS

olução

)

Y

'

X

(

β

ˆ

₌

₍

_X

_'

_X

₎

−

1 A solução para

_β

ˆ

será, então:

E

xemplo

D

ois

Considere os dados como sendo de três

variáveis, sendo uma dependente Y e duas

independentes X

₁

e X

₂

. Determinar a

equação de regressão de Y em função de X

₁

e de X

₂

.

Y

X

1 X

2

33

22

11

22

33

55

44

55

33

55

77

66

88

77 i

i

2

1

0 i

β

X

β

X

U

Y

=

+

O modelo para este caso será dado por:

E

Y

E

Y

E

Y

E

Y

E

Y

5

2

1

0

5

4

2

1

0

4

3

2

1

0

3

2

1

0

2

1

2

1

0

1 β

ˆ

7 β

ˆ

.

8 β

ˆ

.

1

8 β

ˆ

.

6 β

ˆ

.

7 β

ˆ

.

1

5 β

ˆ

.

3 β

ˆ

.

5 β

ˆ

.

1

4 β

ˆ

.

5 β

ˆ

.

3 β

ˆ

.

1

2 β

ˆ

.

1 β

ˆ

.

2 β

ˆ

.

1

3 +

+

=

+

=

+

=

+

=

+

=

(8)

As equações podem ser expressas de

forma matricial, fazendo:













=

8

5

4

2

3 Y













=

7

8

1

6

7

1

3

5

1

5

3

1

2

1 X













=

β

ˆ

β

ˆ

β

ˆ

2

1

0 β

ˆ













=

e

5

4

3

2

1 E

Tem-se, então:













+

























=













=

e

β

ˆ

β

ˆ

β

ˆ

5

4

3

2

1

2

1

0

7

8

1

6

7

1

3

5

1

5

3

1

2

1

8

5

4

2

3 y

A forma matricial é, então: y = βx + e

A solução é dada por:

β

ˆ

=

(

X

'

X

)

−

1 Xy

'

Assim, para os valores dados, tem-se:

























=













































−

8

5

4

2

3

7

6

3

5

1

8

7

5

3

2

1

1 β

ˆ

7

8

1

6

7

1

3

5

1

5

3

1

2

1

7

6

3

5

1

8

7

5

3

2

1

1 Resolvendo por partes:













=

120

130

22

130

151

25

22

25

5 X

X

'

_













=

111

131

22 y

X

'













−

=

−

130

100

72

100

116

140

72

140 1220

1016

1 )

X

(

'

1 Os coeficientes serão:













−

=

























−

=

25 ,

0

00 ,

1

50 ,

0

111

131

22

130

100

72

100

116

140

72

140 1220

1016

1 β

ˆ

A equação de regressão, será:

2

1 i

0 ,

50 X

0 ,

25 .

X

Yˆ

=

+

−

Yˆ

Y

E

i

=

i

−

_i

)

Y

Yˆ

(

)

Y

(

Yˆ

Y

i

−

_i

=

i

−

_i

−

Na ANOVA a variabilidade entorno da

média geral é decomposta em variabilidade

dentro e entre tratamentos. Na Análise de

Regressão a variabilidade total é decomposta

em variabilidade sobre a regressão (Explicada)

e variabilidade devido a regressão

(Não-Explicada). Para mostrar esta decomposição

vamos partir da seguinte identidade:

(9)

)]

Y

Yˆ

(

)

Y

(

[

)

Yˆ

Y

(

i

_i

2 i

i

−

2 =

−

Elevando os dois lados ao quadrado, tem-se:

∑

−

∑

−

=

−

=

∑

=

+

n

1 i

i

2 n

1 i

i

2 n

1 i

i

2 )

Y

Yˆ

(

)

Yˆ

Y

(

)

Y

(

Manipulando algebricamente, tem-se:

∑

−

=

n

1 i

2 i

Y

)

Y

(

SQT

VT

SQT (Soma dos Quadrados Total )

(

TSS = Total Sum of Squares

)

∑

−

=

n

1 i

2 i

Y

)

Yˆ

(

SQE

VE

SQE (

SS

S

oma dos

Q

uadrados

E

xplicados ou

Ajustados)

(

ESS = Explained Sum of Squares

)

∑

−

=

∑

=

n

1 i

2 n

1 i

2 i

(

Y

Yˆ

)

E

SQR

VR

_i

SSR (

S

SS

S

oma dos

Q

uadrados dos

R

esíduos)

(

RSS = Residual Sum of Squares

)

∑

−

∑

−

=

−

=

∑

=

+

n

1 i

i

2 n

1 i

i

2 n

1 i

i

2 )

Y

Yˆ

(

)

Yˆ

Y

(

)

Y

(

Assim:

SQT

=

SQR

+

SQE

n -1

=

(n - k - 1) +

k

G.L.

Assim, a tabela da ANOVA para a

Análise de Regressão, fica:

Fonte

Soma dos

Quadrados

GL

Média dos

Quadrados

F

Regressão

SQE

kk

MQE=SQE/k

Resíduo

(Erro)

SQR

n

n –

– k

k -- 11

MQS =

SQR/

(n

(n –

– k

k –

– 1)

1)

MQE/MQS

(10)

SQT

SQR

1 SQT

SQE

R

2 =

=

−

(

)

(

)

(

)

(

)











 ∑

−











 ∑

−











 ∑

−

=

n

1 i

2 i

n

1 i

2 i

2 n

1 i

i

2 Y

Yˆ

Y

Yˆ

Y

R

Como

Como na

na regressão

regressão simples

simples pode

pode--se

se

definir

definir oo coeficiente

coeficiente de

de determinação

determinação ou

ou R

R

22 R

2 _{é uma função não decrescente do}

número de regressores. Conforme aumenta o

número

de variáveis

explicativas

R

2 geralmente também aumenta. Para verificar

isto, basta lembrar que:

VT

VR

1 VT

VE

R

2 =

=

−

Então

é

independente do número de variáveis X

no modelo.

(

)

(

)

∑

(

−

)

∑

−

=

∑

−

∑

₋

−

=

n

1 i

2 i

n

1 i

2 i

n

1 i

2 i

n

1 i

2

2 Y

Y

E

1 Y

Y

Yˆ

Y

1 R

i

(

)

∑

−

=

n

1 i

2 i

Y

VT

Mas

depende

do

número

de

variáveis

independentes existentes no modelo.

Assim, pelo menos intuitivamente, a

medida que aumenta o número de variáveis

X, VR deve diminuir ou não aumentar.

(

)

∑

−

=

∑

=

n

1 i

2 n

1 i

2 i

Y

_i

Yˆ

_i

E

VR

Assim

R

2 _,

_conforme

_definido

_irá

aumentar. Desta forma ao se comparar dois

modelos de regressão com a mesma variável

dependente mas diferente número de variáveis

independentes,

deve-se

ter

cautela

na