Regress˜ao Linear M´ultipla

(1)

Regress˜ ao Linear M´ ultipla

Anna Regina Corbo

CEFET/RJ - UnED NI

Aula Te´orica 6

(2)

Muitas aplica¸cões da análise de regressão envolvem situa¸cões em que há mais de um regressor.

Um modelo de regressão que contenha mais de um regressor é chamado de um modelo de regressão múltipla e tem a forma

Y =β₀+β₁x₁+β₂x₂+· · ·+β_kx_k+ε com k regressores.

Os parâmetros β_j,j = 0,1,· · · ,k, são chamados de coeficientes de regressão.

Anna Regina Corbo Regress˜ao Linear M´ultipla

(3)

Introdu¸c˜ ao

Modelos de regressão linear múltipla são frequentemente usados como aproxima¸cões de fun¸cões. Isto é, a verdadeira rela¸cão funcional entreY ex1,x2,· · · ,x_k é desconhecida, porém, em certas faixas das variáveis independentes, o modelo de regressão linear é uma aproxima¸cão adequada.

De modo similar ao modelo de regress˜ao linear simples, podemos utilizar o m´etodo dos m´ınimos quadrados para estimar os

coeficientes de regressão no modelo de regressão múltipla.

(4)

Suponha quen>k observa¸c˜oes estejam dispon´ıveis e fa¸caxij

denotar a i-ésima observa¸cão da variávelx_j. As observa¸cões são:

y x₁ x₂ · · · x_k

y₁ x₁₁ x₁₂ · · · x_1k

y2 x21 x22 · · · x2k

... ... ... ...

y_n x_n1 x_n2 · · · x_nk

(5)

Estima¸c˜ ao dos parˆ ametros pelo m´ etodo dos m´ınimos quadrados

Cada observa¸c˜ao (y_i,x_i1,x_i₂,· · · ,x_ik) satisfaz o modelo

y1=β0+β1x11+β2x12+· · ·+β_kx_1k+ε1

y₂=β₀+β₁x₂₁+β₂x₂₂+· · ·+β_kx_2k+ε₂ ...

y_i =β0+β1x_i1+β2x_i2+· · ·+β_kx_ik +ε_i ...

yn=β0+β1xn1+β2xn2+· · ·+βkxnk+εn

(6)

Ou seja,

yi =β0+

k

X

j=1

βjxij +εi, para todoi variando de 1 a n.

A fun¸c˜ao dos m´ınimos quadrados ´e

L=

n

X

i=1

ε²_i =

n

X

i=1



yi−

k

X

j=1

βjxij





2

eL deve ser minimizada com rela¸c˜ao a β₀, β₁,· · · , β_k.

(7)

Estima¸c˜ ao dos parˆ ametros pelo m´ etodo dos m´ınimos quadrados

As estimativas de m´ınimos quadrados deβ₀, β₁,· · · , β_k tˆem de satisfazer

∂L

∂β0

=−2

n

X

i=1

(y_i −βˆ₀−βˆ_jx_ij) = 0

∂L

∂βj

=−2

n

X

i=1

(yi −βˆ0−βˆjxij)·xij = 0 para j = 1, 2, ..., k.

(8)

Simplificando as equa¸c˜oes acima, obtemos as equa¸c˜oes normais de m´ınimos quadrados:

nβˆ₀+ ˆβ₁

n

X

i=1

x_i1+ ˆβ₂

n

X

i=1

x_i₂+· · ·+ ˆβ_k

n

X

i=1

x_ik =

n

X

i=1

y_i

βˆ0 n

X

i=1

x_i1+ ˆβ1 n

X

i=1

x_i1² + ˆβ2 n

X

i=1

x_i1x_i₂+· · ·+ ˆβ_k

n

X

i=1

x_i1x_ik =

n

X

i=1

x_i1y_i

... ... ... ... ...

βˆ0 n

X

i=1

x_ik + ˆβ1 n

X

i=1

x_ikx_i₁+ ˆβ2 n

X

i=1

x_ikx_i2+· · ·+ ˆβ_k

n

X

i=1

x_ik² =

n

X

i=1

x_iky_i

Hák+ 1 equa¸cões normais, para cada um dos coeficientes desconhecidos de regressão.

A solu¸cão para as equa¸cões normais serão os estimadores de m´ınimos quadrados dos coeficientes de regressão

β0, β1,· · ·, βk.

As equa¸cões normais podem ser resolvidas por qualquer método apropriado para resolver um sistema de equa¸cões lineares.

(9)

Estima¸c˜ ao dos parˆ ametros pelo m´ etodo dos m´ınimos quadrados

O modelo

Y =β0+β1x1+β2x2+· · ·+βkxk +ε expresso a cada observa¸c˜ao (y_i,x_i1,x_i₂,· · · ,x_ik) por

y_i =β₀+β₁x_i₁+β₂x_i2+· · ·+β_kx_ik+ε_i

é sistema den equa¸cões que pode ser expresso na nota¸cão matricial como:

Y =XB+E

(10)

Y =XB+E, onde:

Y =





 y₁ y2

... y_n





 X =







1 x₁₁ x₁₂ · · · x_1k

1 x21 x22 · · · x2k

... ... ... ... ...

1 x_n1 x_n2 · · · x_nk





 B =





 β₀ β1

... β_k







E =





 ε₀ ε1

... ε_n







A solu¸c˜ao do sistema ser´a o vetor dos coeficientesβj.

(11)

Regress˜ ao Linear M´ ultipla - Exemplo 1

Construir um modelo de regressão linear para a resistência ao puxamento de um fio utilizado na fabrica¸cão de semicondutores.

Obs. Res. Comp. Alt.

(y) (x1) (x2)

1 9,95 2 50

2 24,45 8 110

3 31,75 11 120

4 35,00 10 550

5 25,02 8 295

6 16,86 4 200

7 14,38 2 375

8 9,60 2 52

9 24,35 9 100

10 27,50 8 300

11 17,08 4 412

Obs. Res. Comp. Alt.

(y) (x1) (x2)

14 11,66 2 360

15 21,65 4 205

16 17,89 4 400

17 69,00 20 600

18 10,30 1 585

19 34,93 10 540

20 46,59 15 250

21 44,88 15 290

22 54,12 16 510

23 56,63 17 590

24 22,13 6 100

(12)

Desejamos obter o modelo de regress˜ao linear m´ultipla:

Y =β₀+β₁x₁+β₂x₂+ε em que

Y = resistˆencia ao puxamento;

x₁ = comprimento do fio e x2 = altura da garra.

(13)

Regress˜ ao Linear M´ ultipla - Exemplo 1

Com dados da tabela calculamos:

n = 25

25

X

i=1

yi = 725,82

25

X

i=1

xi1 = 206

25

X

i=1

x_i²₁= 2396

25

X

i=1

xi2 = 8294

25

X

i=1

x_i2² = 3.531.848

25

X

i=1

x_i₁x_i2 = 77177

25

X

i=1

x_i1y_i = 8008,37

25

X

i=1

x_i2y_i = 274.811,33

(14)

Para o modeloY =β0+β1x1+β2x2+εas equa¸c˜oes normais s˜ao:

nβˆ₀+ ˆβ₁

n

X

i=1

x_i1+ ˆβ₂

n

X

i=1

x_i₂=

n

X

i=1

y_i

βˆ0 n

X

i=1

x_i₁+ ˆβ1 n

X

i=1

x_i1² + ˆβ2 n

X

i=1

x_i1x_i2 =

n

X

i=1

x_i1y_i

βˆ₀

n

X

i=1

x_i₂+ ˆβ₁

n

X

i=1

x_i1x_i2+ ˆβ₂

n

X

i=1

x_i2² =

n

X

i=1

x_i2y_i

(15)

Regress˜ ao Linear M´ ultipla - Exemplo 1

Substituindo as somas calculadas nas equa¸c˜oes normais, obtemos:

25 ˆβ0 + 206 ˆβ1 + 8294 ˆβ2 = 725,82 206 ˆβ₀ + 2396 ˆβ₁ + 77.177 ˆβ₂ = 8.008,37 8294 ˆβ0 + 77.177 ˆβ1 + 3.531.848 ˆβ2 = 274.811,31 A solu¸cão desse sistema linear é ˆβ₀ = 2,263, ˆβ₁= 2,744, βˆ2= 0,0125. Logo, a equa¸cão ajustada de regressão é

ˆ

y = 2,263 + 2,744x₁+ 0,0125x₂

(16)

(17)

Modelo de regress˜ ao polinomial

Modelos de regressão polinomial são largamente usados quando a resposta for curvil´ınea, porque os princ´ıpios gerais da regressão múltipla podem ser aplicados.

Y =β0+β1x+β11x²+ε

(18)

Os painéis laterais para o interior de um avião são formados em uma prensa de 1500 toneladas. O custo da unidade de fabrica¸cão varia com o tamanho do lote de produ¸cão. Os dados mostrados a seguir fornecem o custo médio por unidade (em centenas de reais) para este produto (y) e o tamanho do lote de produ¸cão (x). Qual o modelo de regressão ajustado para esta situa¸cão?

(19)

Modelo de regress˜ ao polinomial - Exemplo 2

(20)

Para o modelo quadr´atico, a tabela de entrada dos dados ser´a:

y x x²

1,81 20 400 1,70 25 625 1,65 30 900 1,55 35 1225 1,48 40 1600 1,40 50 2500

y x x²

1,30 60 3600 1,26 65 4225 1,24 70 4900 1,21 75 5625 1,20 80 6400 1,18 90 8100

(21)

Modelo de regress˜ ao polinomial - Sa´ıda Computacional

(22)

O modelo ajustado ser´a ˆ

y = 2,1982−0,02252x+ 0,000125x²

(23)

Decis˜ ao sobre o modelo de regress˜ ao polinomial

No ajuste polinomial, geralmente gostamos de usar o modelo de menor grau que seja consistente com os dados.

Investigar a possibilidade de retirar o termo quadrático do modelo: teste de hipóteses ou correla¸cão entre as variáveis.

(24)

Se Fsign =p-value< α= 0,05 ent˜ao rejeite H0.

(25)

Decis˜ ao sobre o modelo de regress˜ ao polinomial Correla¸c˜ ao

Modelo quadr´atico: coeficiente de correla¸c˜ao r² = 0,9974.

Modelo de regress˜ao simples: r=−0,9688 como consequencia r² = 0,9385.

Devemos aceitar o modelo de melhor r² como o de melhor ajuste para os dados.