Proje¸c˜ oes Obl´ıquas

Qualquer matriz idempotente P , isto ´e, P2_{= P , ´e uma proje¸c˜ao}

sobre R (P ) com rela¸c˜ao a R PT
_{. Se P ´e tamb´em sim´etrica}

ent˜ao P ´e uma proje¸c˜ao ortogonal. Projetores que n˜ao s˜ao or- togonais s˜ao usualmente chamados de projetores obl´ıquos para enfatizar o fato que os subespa¸cos envolvidos n˜ao s˜ao, necessari- amente, ortogonais.

Considere dois subespa¸cosX e Y de IRn. Uma interpreta¸c˜ao geom´etrica pode ser dada considerando a decomposi¸c˜ao de um vetor arbitr´ario s_{∈ IR}n em trˆes componentes

x_{∈ X , y ∈ Y e s ∈ (X + Y)}⊥. (3.3) ilustrado pela Figura 3.1. O vetor x ´e a proje¸c˜ao obl´ıqua de z em_{X com rela¸c˜ao a Y e denotamos}

x= EX ,Yz. Se X + Y = IRn ent˜ao s = 0. x X X+ Y (X+ Y)? Y y s z

Defini¸c˜ao 3.1. SejamX e Y subespa¸cos de IRn _{com intersec¸c˜ao}

trivial, isto ´e, _{X ∩ Y = {0}. Ent˜ao a proje¸c˜ao obl´ıqua sobre X} com rela¸c˜ao a _{Y ´e o operador linear E}X ,Y que satisfaz as trˆes

seguintes condi¸c˜oes:

(a) EX ,Yx= x, ∀ x ∈ X ;

(b) EX ,Yy= 0, ∀ y ∈ Y;

(c) EX ,Yz∈ X , ∀ z ∈ IRn.

Na Figura 3.1 temos EX ,Ys= x e EY,Xs= y.

Em busca da representa¸c˜ao matricial do projetor EX ,Y con-

sideremos matrizes X _{∈ IR}n×p com posto(X) = p e Y _{∈ IR}n×q com posto(Y ) = q tais que _{R (X) = X e R (Y ) = Y. Como} X ∩Y = {0} segue que p+q ≤ n onde p = dim(X) e q = dim(Y ).

Assim, dado z_{∈ IR}n podemos escrevˆe-lo como

z _{= b}z+ z (3.4) com bz _{∈ X + Y e z ∈ (X + Y)}⊥, o que significa que existem vetores α_{∈ IR}p e β_{∈ IR}q tais que

b

z= Xα + Y β = PR(A)

com A = [X Y ] de posto coluna completo e_{X + Y = R (A) =} R (X) + R (Y ).

J´a que P_R(A)= AA†_{, segue da Proposi¸c˜ao A.2 que}

b z = AA†z (3.5) = [X Y ] " P_Y⊥X
† (P_X⊥Y )† # z (3.6) = X P_Y⊥X
† z+ Y (P_X⊥Y )†z

o que sugere que

EX ,Y = X PY⊥X

†

Note ainda que das propriedade das matrizes de proje¸c˜ao temos X P_Y⊥X
† = X XTP_YT⊥PY⊥X
† P_Y⊥X
T = X XTP_Y2⊥X
† P_Y⊥X
T = X XTP_Y⊥X
† P_Y⊥X
T = X P_Y⊥X
T X† P_Y⊥X
T .

Assim, denotando Y0≡ PY⊥X temos

XY₀†= X Y₀TX
†Y₀T. (3.7) O teorema 3.1 mostra que EX ,Y = XY₀†.

Lema 3.1. Sejam X _{∈ IR}p×n e Y _{∈ IR}n×m. Ent˜ao _{R (XY ) ⊂} R (X) e se Y tem linhas linearmente independentes, R (X) ⊂ R (XY ).

Demonstra¸c˜ao. Se y _{∈ R (XY ) ⊂ IR}p ent˜ao existe x _{∈ IR}m tal que XY x = y, isto ´e, X(Y x) = y. Logo, y ∈ R (X). Por outro lado, para y ∈ R (X) ⊂ IRp _{existe x ∈ IR}n _{tal que Xx = y.}

Como Y tem n linhas linearmente independentes e_{R (Y ) ⊂ IR}n temos R (Y ) = IRn. Assim, existe z ∈ IRm tal que Y z = x. Portanto, y = XY z e y∈ R (XY ).  Teorema 3.1. Sejam_{X e Y subespa¸cos de IR}ncom_{X ∩Y = {0},} e X e Y0 como anteriormente. Ent˜ao a representa¸c˜ao matricial

do projetor EX ,Y ´e dada por

EX ,Y = X Y0TX

†

Y₀T. (3.8) Demonstra¸c˜ao. Vamos verificar que a matriz dada em (3.8) ´e idempotente. Note que, usando a propriedade (ii) da Defini¸c˜ao A.1 temos

E_{X ,Y}2 = X Y₀TX
†Y₀TX Y₀TX
†Y₀T = Xh Y₀TX
†Y₀TX Y₀TX
†iY₀T = X Y₀TX
†Y₀T

Para verificar a condi¸c˜ao (a) da Defini¸c˜ao 3.1 devemos mostrar que EX ,YX = X. Primeiramente, vamos mostrar que a matriz

P_Y⊥X ∈ IRn×p tem posto completo. De fato, note que

P_Y⊥X =



P_Y⊥x1 PY⊥x2 . . . PY⊥xp

 .

Para α_{∈ IR}p considere a combina¸c˜ao linear nula α1PY⊥x1+ α2PY⊥x2+ . . . αpPY⊥xp = 0.

Como P_Y⊥= I − PY segue que

PYXα = Xα,

Assim Xα ∈ R (PY), Xα ∈ R (X) e Xα = 0 j´a que X e Y

tem intersec¸c˜ao trivial. Logo α = 0, o que prova que as colunas de P_Y⊥X ∈ IRn×p s˜ao linearmente independentes. Ou seja Y0 =

P_Y⊥X tem posto coluna completo e igual a p. Agora, como

P_Y⊥ ´e um projetor ortogonal portanto idempotente e sim´etrico,

podemos reescrever EX ,YX como

EX ,YX = X XTP_YT⊥X
† XTP_YT⊥X = X XTP_YT⊥PY⊥X
† XTP_YT⊥PY⊥X = X Y₀TY0
† Y₀TY0

Como Y0tem posto completo, segue que Y0TY0tamb´em tem posto

p. De fato, se y_{∈ N Y}T

0 Y0
ent˜ao 0 = Y0TY0y e, assim

0 = yTY₀TY0y=kY0yk22 ⇒ Y0y= 0.

Mas, como Y0 tem colunas linearmente independentes, segue que

y= 0. Logo,_{N Y}T 0 Y0

=_{{0}. Isto implica que Y}T 0 Y0

†

YT 0 Y0 =

Ip e, portanto, EX ,YX = X.

Para (b), tome y_{∈ Y ent˜ao} Y₀Ty= PY⊥X

T

y= XTP_YT⊥y= XT0 = 0

Finalizando, da express˜ao para EX ,Y dada em (3.8) implica

R (EX ,Y) ⊂ R (X) = X , o que demonstra (c) da Defini¸c˜ao 3.1.

Portanto, EX ,Y = X Y0TX

†

Y₀T, com Y0 = PY⊥X ´e de fato a

representa¸c˜ao matricial da proje¸c˜ao sobre_{X com rela¸c˜ao a Y. } Note da prova do teorema anterior que R (Y0) ⊂ Y⊥. O

seguinte corol´ario mostra que o projetor obl´ıquo EX ,Y pode ser

constru´ıdo de maneira an´aloga ao caso anterior mas usando uma matriz Y0 tal que

R (Y0) =Y⊥. (3.9)

Corol´ario 3.1. Sejam _{X e Y subespa¸cos de IR}n com _{X ∩ Y =} {0}. Assuma que s˜ao dadas matrizes X e Y0 tais que R (X) =

X e Y0 uma matriz satisfazendo (3.9). Ent˜ao a representa¸c˜ao

matricial do projetor EX ,Y ´e dada por

EX ,Y = X Y0TX

†

Y₀T. (3.10)

A demonstra¸c˜ao deste corol´ario segue os mesmos passos da prova do teorema 3.1.

Esta forma de representar o projetor EX ,Y pode ser mais con-

veniente para a an´alise te´orica.

Seguindo um processo an´alogo, ´e poss´ıvel provar que

EY,X = Y (PX⊥Y )†.

Observa¸c˜ao 3.1. Note que EX ,Y n˜ao ´e sim´etrica e, da rela¸c˜ao

E_{X ,Y}T = Y0 XTY0
†

XT, (3.11)

segue que ET

X ,Y n˜ao ´e necessariamente um projetor obl´ıquo, de-

pendendo das dimens˜oes de X e Y.

Se _{X = R (X) e Y = X}⊥, ent˜ao denotamos E_{X ,X}⊥ = PX o

projetor ortogonal sobre_{X com rela¸c˜ao a X}⊥ ou simplesmente, sobre X . A representa¸c˜ao matricial PX = XX† j´a ´e bastante

conhecida e, obviamente, coincide com a forma apresentada no Teorema 3.1

PX = X XTX
†

A simetria de PX, necess´aria para que este seja um projetor

ortogonal, segue das propriedades de Moore-Penrose sobre X†. Projetores ortogonais tamb´em obedecem a rela¸c˜ao

PX + PX⊥ = I_n, (3.13)

para P_X⊥ = E_X⊥_,X.

Em geral, se _{X + Y = IR}n, o teorema a seguir mostra que E_{X ,Y}T torna-se um projetor e que h´a uma rela¸c˜ao semelhante `a (3.13) para projetores obl´ıquos.

Teorema 3.2. Se PX +Y denota a proje¸c˜ao ortogonal sobreX +Y

ent˜ao

EX ,Y+ EY,X = PX +Y e EX ,Y+ EY,X+ P_{(X +Y)}⊥= I. (3.14)

Em particular, se X + Y = Rn _ent˜ao

E_{X ,Y}T = E_Y⊥_,X⊥ e EY,X = In− EX ,Y. (3.15)

Demonstra¸c˜ao. A equa¸c˜ao (3.14) segue de (3.6) e do Teorema 3.1. Agora considereX + Y = IRn. ComoX ∩ Y = {0} segue que X = Y⊥ e _{Y = X}⊥. Assim

E_{X ,Y}T = E_{X ,X}T ⊥ = EX ,X⊥ = E_Y⊥_,X⊥, (3.16)

enquanto EX ,Y+ EY,X = In decorre do fato de (X + Y)⊥ ={0}

e de (3.14). 

Defini¸c˜ao 3.2. Se x, y _{∈ IR}n e A _{∈ IR}m×n ent˜ao definimos x⊥Ay por

Ax_{⊥ Ay ⇔ x}TATAy = 0. (3.17) Defini¸c˜ao 3.3. Se X ´e um subespa¸co de IRn _{e A ∈ IR}m×n _de

posto r ent˜ao definimos o complemento obl´ıquo de_{X com rela¸c˜ao} a A como

X⊥A _{={y ∈ IR}n _{; x⊥}

Ay∀ x ∈ X } . (3.18)

´

E simples verificar que _X⊥A _{´e um subespa¸co de R}n _satis-

i) N (A) ⊂ X⊥A_;

ii) SeN (A) ∩ X = {0} ent˜ao IRn_{=X + X}⊥A_.

O item (i) ´e imediato da defini¸c˜ao 3.3 pois se Ay = 0 ´e claro que 0 = (Ay)T Ax = yTATAx para todo x_{∈ X .}

A propriedade (ii) justifica a denomina¸c˜ao complemento obl´ıquo e pode ser verificada como segue.

Seja X ∈ IRn×p com posto coluna completo tal queR (X) = X . Vamos mostrar primeiramente que dim R (AX) = p.

De fato, se X = [x1 x2 . . . xp] considere a igualdade

α1Ax1+ α2Ax2+· · · + αpAxp = 0,

que pode ser reescrita como:

A (α1x1+ α2x2+· · · + αpxp) = 0.

Assim, se α = [α1 α2 αp]T, temos Xα∈ N (A). Mas, Xα ∈ X .

Como _{N (A) ∩ X = {0} segue que Xα = 0. Do fato de X} tem colunas linearmente independentes temos que α = 0.

Agora, como posto(A) = r e _{R (AX) ⊆ R (A), existem ve-} tores vp+1, vp+2, . . . , vr de IRm linearmente independentes tais

que, para cada j = p + 1, p + 2, . . . , r

v_{j ∈ R (A) , vj} ∈ R (AX) e v/ j ⊥ R (AX) . (3.19)

Assim, podemos encontrar y_p+1, y_p+2, . . . , y_rde IRntais que Ay_j = vj, j = p + 1, p + 2, . . . , r. Em particular podemos tomar

y_j = A†vj e, neste caso, yj ∈ N (A)⊥ pois

y_j = A†vj = A†AA†vj = PR(AT₎A†v_j

e assim y_{j ∈ R A}T
_{=N (A)}⊥_.

Da equa¸c˜ao (3.19) temos

Isto ´e, y_j ∈ X⊥A _{e y}

j ∈ X ∀j, pois se o ´ultimo ocorrer ter´ıamos/

para algum x_{∈ IR}p

y_j = Xx_{⇒ v}j = AXx⇒ vj ∈ R (AX) .

Vamos verificar que os vetores y_p+1, y_p+2, . . . , y_r formam um conjunto linearmente independente. De fato, multiplicando por A a igualdade

αp+1yp+1+ αp+2yp+2+· · · + αryr= 0

temos

αp+1yp+1+ αp+2Ayp+2+· · · + αrAyr= 0.

Usando o fato que Ay_j = vj para j = p + 1, . . . , r, resulta

αp+1vp+1+ αp+2vp+2+· · · + αrvr= 0,

o que implica

αp+1, αp+2, . . . , αr = 0

pois os vj formam um conjunto linearmente independente.

Portanto, temosX de dimens˜ao p,

dimN (A) = n − r e N (A) ⊂ X⊥A

de (i) e para j = p + 1, p + 2, . . . , r

y_{j ∈ N (A)}⊥ e y_{j ∈ X}⊥A_.

Da´ı, dimX⊥A ≥ n − r + (r − p) = n − p. Como N (A) ∩ X = {0}

e y_{j ∈ X , segue que}/

IRn=X + X⊥A_.

De agora em diante, assume-se que_{N (A) ∩ X = {0}.} Quanto aos projetores denotamos EX = EX ,X⊥A.

Teorema 3.3. Seja A∈ IRm×n _{e X = R (X), com X ∈ IR}n×p _e

p = posto(X). Ent˜ao a representa¸c˜ao matricial de EX ´e

EX = X (AX)†A, (3.20)

e para todo x ∈ IRn temos uma decomposi¸c˜ao x = EXx+

(I_{− E}X) x tal que

EXx⊥A(I− EX) x. (3.21)

Demonstra¸c˜ao. Primeiramente, vamos mostrar que EX ´e um pro-

jetor. De fato,

EX2 = X (AX)†AX (AX)†A = X (AX)†A = EX, (3.22)

e assim, EX ´e idempotente. Agora vamos verificar as condi¸c˜oes

da Defini¸c˜ao 3.1. Para (a), note que AX ´e de posto completo, portanto

EXX = X (AX)†AX = X.

Para (b), considere y _{∈ X}⊥A_{. Ent˜ao, x}T_AT_{Ay = 0, ∀x ∈ X .}

Assim

EXy = X (AX)†Ay = X XTATAX
†

XTATAy = 0.

pois XTATAy = 0. O item (c) pode ser verificado do fato que R (EX) ⊆ R (X) = X . Para verificar (3.21) vamos verificar que

os vetores EXxe (I− EX) x satisfazem a defini¸c˜ao 3.2. Note que

E_XTATA (I_{− E}X) = AT

h

(AX)†iTXTATAI_{− X (AX)}†A = AT h(AX) (AX)†iT AI_{− X (AX)}†A = ATAX (AX)†A− ATAX (AX)†AX (AX)†A = ATAX (AX)†A_{− A}TAX (AX)†A

= 0.

Assim, tomando x_{∈ IR}n temos xT_ET

Defini¸c˜ao 3.4. Dada uma matriz X ∈ IRp×n _{com p ≤ n e um}

subespa¸co _{Y ⊆ IR}n tal que _{N (X) e Y tem intersec¸c˜ao trivial,} definimos a pseudo-inversa obl´ıqua X_Y† como a matriz n_{× p}

X_Y† = EY,N (X)X†. (3.23)

Para o caso em queY = N (X)⊥=R XT
_temos

E_{N (X)}⊥_{,N (X)}= P_{N (X)}⊥ = X†X (3.24)

e assim,

X_Y† = X†XX†= X†.

Para algumas manipula¸c˜oes te´oricas, ´e importante conhecer a representa¸c˜ao matricial de X_Y† com rela¸c˜ao as matrizes que geram os espa¸cos envolvidos. Sendo assim, vamos obter tais express˜oes. Para dois espa¸cos_{X e Y com intersec¸c˜ao trivial, temos E}X ,Y =

X YT 0 X

†

YT

0 , em queR (X) = X . Se Y0 ´e como em (3.9) a ex-

press˜ao se mant´em. Para o caso em que Y0 = PY⊥X podemos

escrever

EX ,Y = X XTP_YT⊥X

†

XTP_YT⊥. (3.25)

Para EY,N (X) com R (Y ) = Y, tomando X0 = PN (X)⊥Y

temos EY,N (X) = Y X0TY
† X₀T = Y YTP_{N (X)}T ⊥Y † YTP_{N (X)}T ⊥. (3.26)

De P_{N (X)}⊥= X†X, podemos reescrever (3.26) como

EY,N (X) = Y  YTX†XY†YTX†X. (3.27) e assim X_Y† = E_{Y,N (X)}X† = Y YTX†XY†YTX†X X† = Y YTX†XY†YTX† (3.28)

onde usamos a condi¸c˜ao (ii) da Defini¸c˜ao A.1.

No entanto, tomando X0 tal que R (X0) =N (X)⊥ e do fato

de _{N (X)}⊥=_{R X}T
_{, temos}

EY,N (X)= Y (XY )†X (3.29)

e assim

X_Y† = Y (XY )†XX†. (3.30) Para o caso em que X tem posto completo, o que implica XX†= Ip, temos

X_Y† = Y (XY )†. (3.31)

Teorema 3.4. Sejam X eY como na defini¸c˜ao 3.4 e R (Y ) = Y. Assuma posto(X) = p e Y ∈ IRn×q _{com posto(Y ) = q. A pseudo-}

inversa obl´ıqua X_Y† satisfaz as seguintes rela¸c˜oes

(a) XX_Y† = P_{R(XY )}

(b) X_Y†X = E_{YN (X)}

(c) X†= P_R(XT₎X_Y†

Demonstra¸c˜ao. Vamos usar E_{Y,N (X)} como na equa¸c˜ao (3.29) e, consequentemente, X_Y† como na equa¸c˜ao (3.30). Como X tem posto linha completo segue que XX†= Ip.

O item (a) segue de

XX_Y† = XY (XY )†XX†= XY (XY )†= PR(XY ).

O item (b) segue de

X_Y†X = Y (XY )†XX†X = Y (XY )†X = E_{Y,N (X)} (3.32)

Para (c) usamos o item (a) pois

P_R(XT₎X_Y† = X†XX_Y† = X†P_X = X†XX†= X†.

Em geral, como dimN (X) = n − p e R (Y ) , N (X) ⊂ IRn

ent˜ao q_{≤ p pois q + (n − p) ≤ n. Para o caso em que p = q, que} significa que _{Y + N (X) = IR}n, as condi¸c˜oes (b) e (c) do teorema 3.4 continuam v´alidas e a propriedade (a) pode ser escrita com XX_Y† = PR(X). De fato, se X∈ IRp×n e Y ∈ IRn×p ent˜ao

posto(XY ) = posto(Y )− dim(R (X) ∩ R (Y )) = posto(Y ) como verificado em [37]. Tamb´em, _{R (XY ) ⊂ R (X) e como} X e Y tem posto p ent˜ao dimR (XY ) = dim R (X). Logo R (XY ) = R (X).

Observa¸c˜ao 3.2. Em [28] e [30], o autor apresenta o teorema 3.4 com a condi¸c˜ao (a) sendo XX_Y† = PR(X) para quaisquer

p e q. O caso p = q, como visto acima, ´e v´alido no entanto, para q < p, n˜ao ´e verdade que XX_Y† = P_R(X). De fato, note que XX† = XY (XY )†. Como Y tem posto q menor que p, ´e imediato que

posto(XY (XY )†)≤ q.

Se XX†= PR(X) ent˜ao ter´ıamos que PR(X)tem posto, no m´aximo,

q. Isso n˜ao pode ocorrer pois posto(PR(X)) = posto(R (X)) = p.

Como ser´a visto na se¸c˜ao 3.2, a transforma¸c˜ao para a forma padr˜ao usa somente o caso p = q.

Quando X _{∈ IR}p×n com p_{≥ n temos}

X_Y† = X†EX ,Y (3.33)

para_{X = R (X) e Y com intersec¸c˜ao trivial. Neste caso ´e v´alido} o teorema a seguir, similar ao teorema 3.4.

Teorema 3.5. Seja X_Y† como na equa¸c˜ao (3.33) ent˜ao

(a) XX_Y† = EX ,Y

(b) X†= X_Y†PX

A demonstra¸c˜ao do Teorema 3.5 ´e an´aloga a do Teorema 3.4.

Observa¸c˜ao 3.3. Dadas matrizes A _{∈ IR}m×n e X _{∈ IR}p×n, se Y = N (X)⊥A _{ent˜ao a pseudo-inversa obl´ıqua X}†

N (X)⊥A ´e dada

por X† N (X)⊥A =  In−  A(In− X†X) † A  X† (3.34)

De fato, se temos uma matriz W tal que_{R (W ) = N (X), ent˜ao} X† N (X)⊥A = EN (X)⊥A,N (X)X †₌_I n− E_{N (X),N (X)}⊥A  X†= = In− EN (X)
X†=In− W (AW )†A  X†= =  In−  AW W††A  X† = In− APN (X)
† AX† =  In−  A(In− X†X) † A  X†.

3.2

Transforma¸c˜ao do Problema de Regu-

No documento Métodos de projeção para regularização com informação a priori (páginas 72-84)