Aula11

ANÁLISE DE COMPONENTES PRINCIPAIS

A análise de componentes principais (A.C.P) é uma técnica de análise multiva-riada que consiste em explicar uma estrutura de variâncias e covariâncias complicada de conjunto de variáveis através de poucas combinações lineares dessas próprias va-riáveis, com o objetivo de reduzir a dimensionalidade do conjunto de variáveis e fa-cilitar a interpretação da interdependências entre elas.

SITUAÇÃO: Observamos as variáveis X₁, X₂, ..., X em cada um de n indivíduos _p ou unidades experimentais. Este conjunto de n x p medidas origina uma matriz de dados X (nxp), como apresentada no Quadro 1.

Quadro 1. Matriz de dados de n indivíduos e p variáveis. Variáveis Indivíduo 1 X X₂ ... X_i ... X _p 1 X₁₁ X₂₁ ... X_i1 ... X _p1 2 X₁₂ X₂₂ ... X_i2 ... X_p2 M M M M M j X _1j X _2j ... X _ij ... X _pj M M M M M n X_1n X_2n ... X_in ... X_pn

Embora sejam necessários p componentes para reproduzir a variabilidade total do sis tema, muitas vezes muito dessa variabilidade pode ser explicada por número pequeno de k (k < p) componentes principais. Nesses casos, os k componentes podem substituir as p variáveis originais, e o conjunto original de dados é reduzido para um conjunto consistindo de n medidas feitas em k componentes principais.

Vale salientar que a ACP é um passo intermediário em muitas investigações, como por exemplo, na regressão múltipla, análise de agrupamentos (cluster analysis) etc.

ALGUNS CENÁRIOS DE APLICAÇÃO DA TÉCNICA DE ANÁLISE DE COMPONENTES PRINCIPAIS:

ver: SHARMA, S. Applied multivariate techniques. New York: John Wiley, 1996, 493p.

• Um analista financeiro está interessado em determinar a saúde financeira de algu-mas empresas. Algualgu-mas pesquisas identificaram um grande número de taxas ou ín-dices econômicos/financeiros que podem ser utilizados para esse propósito. O ana-lista, ao invés de interpretar toda a informação de todos esses índices, pretende re-duzí-los a poucos índices que sejam combinações lineares dos índices originais e usá-los no seu estudo.

• O departamento de controle de qualidade está interessado em desenvolver alguns (poucos!) índices para estudar numerosas características com informações sobre o processo de manufatura, com o intuito de determinar se o processo está ou não sob controle.

• Um diretor de marketing está interessado em desenvolver um modelo de regressão para fazer previsões de vendas. Entretanto, as variáveis independentes considera-das são correlacionaconsidera-das entre si e a existência de multicolinearidade entre elas pode resultar em estimativas instáveis do modelo de regressão. Neste caso, seria extremamente útil obter novas variáveis, que sejam combinações lineares das va-riáveis originais, mas não correlacionadas entre si. E essas novas vava-riáveis poderão ser usadas para desenvolver o modelo de regressão.

A análise de componentes principais (ACP) é uma técnica para criar novas

variáveis que são combinações lineares das variáveis originais. O número máximo de novas variáveis é igual ao número de variáveis originais e as novas variáveis não são

correlacionadas entre si.

ASPECTOS GEOMÉTRICOS DA ANÁLISE DE COMPONENTES PRIN-CIPAIS

A Tabela 1 apresenta um pequeno conjunto de dados consistindo de 12 obser-vações e duas variáveis. Apresenta também a matriz de covariâncias e de correlações amostrais. Podemos ver que as variâncias das variáveis x₁ e x₂ são 23,091 e 21,091, respectivamente e que a variância total das duas variáveis é igual a 44,182 (isto é, 23,091 + 21,091). Também x₁ e x₂ são correlacionadas, com um coeficiente de cor-relação igual a 0,746. As porcentagens da variância total explicadas por x₁ e x₂ são, respectivamente, 52,26% e 47,74%.

Tabela 1. Dados originais e corrigidos pela média

Variável x₁ Variável x₂

Observação Original

Corrigida

pela média Original

Corrigida pela média 1 16 8 8 5 2 12 4 10 7 3 13 5 6 3 4 11 3 2 –1 5 10 2 8 5 6 9 1 –1 –4 7 8 0 4 1 8 7 –1 6 3 9 5 –3 –3 –6 10 3 –5 –1 –4 11 2 –6 –3 –6 12 0 –8 0 –3 Média 8 0 3 0 Variância 23,091 23,091 21,091 21,091

Como mostrado na Figura 1, seja X₁∗ um novo eixo no espaço bidimensional fazendo um ângulo de θ graus com o eixo X₁. A projeção de cada ponto em X₁∗ dará as coor-denadas dessas observações com respeito a X₁∗.

X1 X2 -10 -8 -6 -4 -2 0 2 4 6 8 10 -10 -8 -6 -4 -2 0 2 4 6 8 10 X1* θ

A coordenada das observações com respeito ao novo eixo X₁∗ é uma combina-ção linear das coordenadas (antigas) do ponto com respeito aos eixos originais. Isto é:

∗

1

x = x₁cos(θ) + x₂sen(θ)

onde x₁∗é a coordenada na observação com respeito a X₁∗, e x₁ e x₂, as coordenadas das observações com respeito aos eixos X₁ e X₂, respectivamente.

Por exemplo, para θ = 10°, a equação para a combinação linear é

∗

1

x = 0,985x₁ + 0,174x₂

que pode ser usada para obter as novas coordenadas das observações com respeito ao novo eixo X₁∗.

Tabela 2. Dados corrigidos pela média e a nova variável (x₁∗) para uma rotação de 10° Observação x₁ x₂ x₁∗ 1 8 5 8,747 2 4 7 5,155 3 5 3 5,445 4 3 –1 2,781 5 2 5 2,838 6 1 –4 0,290 7 0 1 0,174 8 –1 3 −0,464 9 –3 –6 −3,996 10 –5 –4 −5,619 11 –6 –6 −6,951 12 –8 –3 −8,399 Média 0 0 0 Variância 23,091 21,091 28,659

A partir das coordenadas dos pontos com respeito a esse novo eixo (Tabela 2) pode-se perceber que:

i) a nova variável também está corrigida pela média (i.e. sua média é igual a zero); ii) a variância de x₁∗ é 28,659 e explica 64,87% (= 28,659/44,182) da variância total

dos dados. Essa porcentagem é superior à porcentagem da variância explicada por qualquer uma das variáveis originais.

Fazendo variar o ângulo entre X₁ e X₁∗, vamos obter valores diferentes para as coordenadas x₁∗. A Tabela 3 apresenta as variâncias e as porcentagens explicadas pe-las novas coordenadas x₁∗ (em relação à variância total de 44,182), para diferentes ângulos θ.

Tabela 3. Porcentagem explicada pelas novas variáveis x₁∗ para vários novos eixos

Ângulo (θθ) Variância de _∗ 1 x % 0 23.091 52.263 10 28.659 64.866 20 33.434 75.676 30 36.841 83.387 40 38.469 87.072 43,261 38.576 87.312 50 38.122 86.282 60 35.841 81.117 70 31.902 72.195 80 26.779 60.597 90 21.091 47.772 Ângulo Porcentagem 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90

Pela Tabela 3 e pela Figura 2, podemos ver que a porcentagem da variância ex-plicada aumenta até o ângulo θ = 43,261° e depois desse valor máximo, a porcenta-gem da variância explicada por x₁∗ começa a diminuir. A equação correspondente a esse ângulo, a ser usada para calcular as novas coordenadas é

∗

1

x = 0,728x₁ + 0,685x₂

Note que x₁∗ não explica toda a variabilidade dos dados. É possível identificar um segundo eixo que corresponde a uma segunda nova variável que explique o máxi-mo da variância que não foi explicada por x₁∗. Se o ângulo entre X₁ e X₁∗ é θ, o ângulo entre e X∗₂ também será θ e a combinação linear para x∗₂ será

∗

2

x = − x₁ sen(θ) + x₂cos(θ) e para θ = 43, 261° a equação anterior fica

∗

2

x = − 0,685x₁ + 0,728x₂

Tabela 4. Dados corrigidos pela média e x₁∗ e x∗₂para o novo eixo e θ = 43, 261°

Observação x₁ x₂ x₁∗ x∗₂ 1 8 5 9,253 –1,841 2 4 7 7,710 2,356 3 5 3 5,697 –1,242 4 3 –1 1,499 –2,784 5 2 5 4,883 2,271 6 1 –4 –2,013 –3,598 7 0 1 0,685 0,728 8 –1 3 1,328 2,870 9 –3 –6 –6,297 –2,313 10 –5 –4 –6,382 0,514 11 –6 –6 –8,481 –0,257 12 –8 –3 –7,882 3,298 Média 0 0 0 0 Variância 23,091 21,091 38,576 5,606

A partir da Tabela 4 e Figura 3, podemos fazer as seguintes observações:

i) A orientação ou a configuração dos pontos ou observações no espaço bidimen-sional não se altera. As observações podem, entretanto, ser representadas com respeito aos eixos originais e aos novos eixos.

ii) As projeções dos pontos sobre os eixos originais fornecem os valores das variáve-is originavariáve-is e as projeções dos pontos sobre os novos eixos fornecem os valores das novas variáveis. Os novos eixos ou as novas variáveis são chamados compo-nentes principais e os valores das novas variáveis são chamados de escores dos componentes principais.

iii) As novas variáveis (x₁∗ e x∗₂) são combinações lineares das variáveis originais e permanecem corrigidas pela média.

iv) A variância total das novas variáveis é igual a das variáveis originais (44,182), ou seja, não se altera com a combinação linear sugerida.

v) As porcentagens da variância total explicada por x₁∗ e x∗₂ são, respectivamente, 87,31% (= 38,576/44,182) e 12,69% (= 5,606/44,182). A porcentagem explicada pela primeira nova variável, x₁∗, é maior que a porcentagem explicada por qual-quer uma das variáveis originais. A segunda nova variável explica a variância que não foi explicada pela primeira nova variável. As duas novas variáveis explicam toda a variância dos dados.

vi) A correlação entre as duas novas variáveis é zero, isto é, x₁∗ e x∗₂ não são corre-lacionadas. X1 X2 -10 -8 -6 -4 -2 0 2 4 6 8 10 -10 -8 -6 -4 -2 0 2 4 6 8 10 X1* X2*

Figura 3. Gráfico dos dados corrigidos pela média e novos eixos

OBS: Essa ilustração geométrica desenvolvida para os componentes principais pode

A técnica de análise de componentes principais pode ser vista como uma técni-ca para reduzir a dimensão dos dados originais, já que um número pequeno de

com-ponentes principais pode explicar uma grande porcentagem da variabilidade original

dos dados.

Geometricamente, o objetivo principal da análise de componentes principais é identificar um novo conjunto de eixos ortogonais tais que:

1. As coordenadas das observações com respeito a cada um dos eixos fornece os valores das novas variáveis. Os novos eixos ou novas variáveis são chamados

componentes principais e os valores das novas variáveis são chamados de escores dos componentes principais.

2. Cada nova variável é uma combinação linear das variáveis originais.

3. A primeira nova variável (primeiro componente principal) explica o máximo da variância dos dados.

4. A segunda nova variável (segundo componente principal) explica o máximo da variância que não foi explicada pela primeira nova variável ... e a p-ésima nova variável explica a variância que não foi explicada pelas p − 1 primeiras novas va-riáveis.

5. As p novas variáveis não são correlacionadas.

COMPONENTES PRINCIPAIS POPULACIONAIS

Algebricamente, os componentes principais são combinações lineares particu-lares das p variáveis aleatórias X₁, X₂, ..., X . Geometricamente, essas combina-_p ções representam a seleção de novos sistemas de coordenadas obtidos pela rotação do sistema original que tem X₁, X₂, ..., X como eixos das coordenadas. Os novos _p eixos representam as direções com máxima variabilidade e fornecem uma descrição simples e parcimoniosa da estrutura de covariâncias (e a correspondente interdepen-dência entre as variáveis).

Os componentes principais dependem somente da estrutura de covariâncias ΣΣ (ou da matriz de correlações ρρ). O desenvolvimento da análise não requer uma supo-sição de normalidade multivariada. Por outro lado, os componentes principais deriva-dos para populações com distribuição normal multivariada têm interpretações úteis em termos de elipsóides de confiança, além da possibilidade de se fazer algumas infe-rências sobre os componentes amostrais.

Seja o vetor aleatório X' = [X₁, X₂, ..., X ] que tem matriz de covariâncias _p ΣΣ com autovalores λ₁ ≥ λ₂ ≥ ... ≥ λ_p ≥ 0. Considere as combinações lineares

1 Y = a₁tX = a₁₁ X₁+ a₁₂ X₂ + ... + a_1p X _p 2 Y = a₂tX = a₂₁X₁+ a₂₂X₂ + ... + a_2pX _p x x xx xx (8.1) p Y = a X = _pt a_p1X₁+ a_p2 X₂ + ... + a_pp X _p Então: Var(Y_i) = a_it ΣΣa_i i = 1, 2, ..., p (8.2) Cov (Y_i,Y_k) = a_it ΣΣa_k, i ≠ k = 1, 2, ..., p (8.3)

Resultado 8.1. Seja ΣΣ a matriz de covariâncias associada ao vetor aleatório X' = [X₁, X₂, ..., X ]. Seja _p ΣΣ com os pares autovalor-autovetor (λ_i, e_i), para i = 1, 2, ..., p, onde λ₁ ≥ λ₂ ≥ ... ≥ λ_p ≥ 0. Então o i-ésimo componente principal é dado por:

Y_i =e_it X = e_i1X₁+ e_i2X₂+ ... + e_ipX_p, i = 1, 2, ..., p (8.4) com essas características:

Var(Y_i) = e_it ΣΣe_i e Cov (Y_i,Y_k) = e_it ΣΣe_k = 0, para i ≠ k (8.5) (ver Prova na página 460)

Resultado 8.2. Seja X' = [X₁, X₂, ..., X ] com matriz de covariâncias _p ΣΣ e com pares autovalor-autovetor (λ_i, e_i), para i = 1, 2, ..., p onde λ₁ ≥ λ₂ ≥ ... ≥ λ_p ≥ 0. Sejam Y₁ =e₁t X, Y₂ =e₂t X, ..., Y =_p e_pt X os componentes principais. Então

11 σ + σ₂₂ +... + σ_pp =

∑

= p 1 i i) X ( Var = λ₁ + λ₂ + ... + λ_p =

∑

= p 1 i i) Y ( Var (ver prova na pág. 461) Desse resultado, podemos calcular a proporção da variância total devida (ou explicada) pelo i-ésimo componente principal através da fórmula

p 2 1 i λ + + λ + λ λ L i = 1, 2, ..., p (8.7) Em situações ideais, 80-90% da variância total, para grandes valores de p, pode ser explicada por 1, 2 ou 3 componentes principais e então, esses componentes podem

Cada componente do vetor de coeficientes e_it = [e_i1+ e_i2+ ... + e ] deve ser _ip inspecionado, já que a magnitude de e_ik avalia a importância da k-ésima variável no i-ésimo componente principal. Em particular, e_iké proporcional ao coeficiente de correlação entre Y_i e X_k.

Resultado 8.3. Se Y₁ =e₁t X, Y₂ =e₂t X, ..., Y =_p e_pt X são os componentes prin-cipais obtidos da matriz de covariâncias ΣΣ, então

k i,X Y ρ = kk i ik e σ λ , i, k = 1, 2, ..., p (8.8) são os coeficientes de correlação entre os componentes Y_i e as variáveis X_k.

(ver prova na pág. 462) Embora as correlações entre as variáveis com os componentes principais auxi-liem, muitas vezes, a interpretação dos componentes, eles medem somente a contri-buição univariada de uma variável X a um componente Y. Eles não indicam a impor-tância de uma variável X em um componente Y na presença das outras variáveis X.

Alguns estatísticos recomendam que somente os coeficientes e_ike não as corre-lações sejam usadas para interpretar os componentes. Embora essas duas abordagens possam levar a conclusões diferentes sobre a importância das variáveis, JOHNSON & WICHERN (1999) afirmaram que elas não são apreciavelmente diferentes.

Na prática, variáveis com coeficientes relativamente grandes (em valor absolu-to) tendem a ter correlações relativamente grandes, de tal maneira que as duas medi-das de importância, a primeira multivariada e a segunda univariada, apresentem re-sultados similares. A recomendação é que ambos (coeficientes dos autovetores e coe-ficientes de correlação) sejam examinados para auxiliar na interpretação dos compo-nentes principais.

Exemplo 8.1 (pág. 462-463)

Suponha que as variáveis aleatórias X₁, X₂ e X₃ tenham a seguinte matriz de

covariâncias ΣΣ =           − − 2 0 0 0 5 2 0 2 1

1 λ = 5.83 e e₁t = [0.383, -0.924, 0] 2 λ = 2.00 e et₂ = [0, 0, 1] 3 λ = 0.17 e et₃ = [0.924, 0.383, 0 ] e os componentes principais ficam

1

Y = 0.383X₁ −−0.924X₂ −− explica 72.9% da variação total

2

Y = X₃ − explica 25.0% da variação total 3

Y = 0.924X₁ + 0.383X₂ −− explica 2.1% da variação total

As correlações entre as variáveis originais e os componentes principais são apresenta-dos no quadro seguinte:

1 Y Y₂ Y₃ 1 X 0.925 0 0.269 2 X −0.998 0 0.112 3 X 0 1 0

MATRIZ X TEM DISTRIBUIÇÃO NORMAL MULTIVARIADA

Considerando que X ~ N_p(µµ,ΣΣ), sabemos de (4.7) que a densidade de X é constante nos elipsóides centrados em µµ.

) (

)

(x − µµ t ΣΣ−1 x − µµ = c2

que tem eixos ± c λ_i e_i, i = 1, 2, ..., p, onde (λ_i, e_i) são pares de autovalor-autove-tor de ΣΣ.

Tomando µµ = 0, podemos escrever que 2 c = xtΣΣ−1x =

∑

( )

= λ p 1 i 2 t i i 1 x e

onde y_i = e_itx, i = 1, 2, ..., p são reconhecidos como os componentes principais de x e a equação define um elipsóide (λ₁ > λ₂ > ... > λ_p > 0) no sistema de coordenadas com eixos y₁, y₂, ..., y nas direções de _p e₁, e₂, ..., e . Se _p λ₁ é o maior autovalor, então o eixo maior segue na direção de e₁. Qualquer ponto no i-ésimo eixo do elip-sóide tem coordenadas proporcionais a e_it = [e_i1+ e_i2+ ... + e ]. _ip

COMPONENTES PRINCIPAIS OBTIDOS DE VARIÁVEIS PADRONIZA-DAS

Componentes principais podem ser obtidos de variáveis padronizadas i Z = ii i i X σ µ − , i = 1, 2, ..., p (8.9) e na notação matricial Z =

( )

V12 −1

(

X−µµ

)

(8.10)

onde a diagonal da matriz de desvios padrões V12 é definido em (2-35) na pág.74. Claramente temos que E(Z) = 0 e

cov(Z) =

( )

V12 −1ΣΣ

( )

V12 −1 = ρρ

por (2-37) na pág. 74. Os componentes principais de Z podem ser obtidos dos auto-vetores da matriz de correlações ρρ. Todos os resultados prévios se aplicam a essa si-tuação, com algumas simplificações adicionais, já que a variância de cada Z_i é a uni-dade. Entretanto, os pares (λ_i, e_i) derivados de ΣΣ são, em geral, diferentes daqueles obtidos de ρρ.

Resultado 8.4. O i-ésimo componente principal do vetor de variáveis padronizadas Z' = [Z₁, Z₂, ..., Z ] com cov(Z) = _p ρρ é dado por

i Y = e_it Z = e_it

( )

V12 −1

(

X−µµ

)

i = 1, 2, ..., p Ainda

∑

= p 1 i i) Y ( Var =

∑

= p 1 i i) Z ( Var = p (8-11) e k i,Z Y ρρ = e_ik λ_i i, k = 1, 2, ..., p

COMPONENTES PRINCIPAIS PARA MATRIZES DE COVARIÂNCIAS COM ESTRUTURAS ESPECIAIS

Existem certas estruturas de matrizes de covariâncias e de correlações cujos componentes principais podem ser expressos de uma forma simples.

Suponhamos que ΣΣ = diag(σ₁₁, σ₂₂, ..., σ_pp_ é uma matriz diagonal. Toman-do e_it = [ 0, ..,0, 1, 0,..., 0], com o 1 na i-ésima posição, observamos que ΣΣe_it = σ_ii e_it e concluímos que (σ_ii,e_i) é o i-ésimo par de autovalor-autovetor de ΣΣ.

Neste caso, o i-ésimo componente principal é definido pela combinação linear i

Y = e_itX = X_i, que corresponde à variável original X_i. Neste caso, não ganhamos nada extraindo os componentes principais porque as variáveis originais já são não correlacionadas e então, não existe necessidade de rotacionarmos o sistema de coor-denadas.

/*COMPONENTES PRINCIPAIS DE UMA MATRIZ DIAGONAL*/

proc iml;

reset print; SIGMA={7.5 0 0, 0 6 0, 0 0 5};

CALL EIGEN( eigenvalues, eigenvectors, SIGMA);

/*

AUTOVALOR=eigval(SIGMA); AUTOVETOR=eigvec(SIGMA); */

quit;

Para mais detalhes sobre outras estruturas da matriz de covariâncias ou de cor-relações, ver JOHNSON & WICHERN (1999), pág. 469-471.

8.3. RESUMINDO A VARIAÇÃO AMOSTRAL POR COMPONENTES PRINCIPAIS

Suponha que x₁, x₂, ..., x_n represente uma amostra aleatória de n indivíduos de uma população p-dimensional com vetor de médias µµ e matriz de covariâncias ΣΣ. Esses dados produzem um vetor de médias amostrais x, uma matriz de covariâncias amostrais S e uma matriz de correlações amostrais R. Essas matrizes S e R represen-tam a estrutura de interdependência das variáveis.

Buscaremos construir combinações lineares não correlacionadas das caracterís-ticas medidas que expliquem muito da variação amostral. Essas combinações lineares com o máximo da variância amostral serão chamadas de componentes principais

Se S =

{ }

s_ik (p x p) é uma matriz de covariâncias amostrais com pares de autovalor-autovetor (λˆ_i, ˆe_i), i = 1, 2, ..., p, o i-ésimo componente principal amostral é dado por

i yˆ = ˆe_it x =

∑

= p 1 j ij i x eˆ , para i = 1, 2, ..., p

onde λˆ₁ ≥ λˆ₂ ≥ ... ≥ λˆ_p ≥ 0 e x é uma matriz de observações das variáveis X₁, X₂, ..., X . Também, _p

• Variância amostral (yˆ_i) = λˆ_i, i = 1, 2, ..., p (8-20) • Covariância amostral (yˆ_i,yˆ_k) = 0, i ≠ k

• Variância amostral total =

∑

= k 1 i ii s =

∑

= λ p 1 i i ˆ

• Correlação amostral entre a k-ésima variável original e o i-ésimo componente principal amostral: k i,x y ˆ r = kk i ik s ˆ eˆ λ i , k = 1, 2, ..., p

Denotaremos por yˆ₁, yˆ₂, ..., yˆ os componentes principais amostrais obtidos _p de S ou de R, mesmo sabendo que os componentes obtidos de S e R não são os iguais geralmente. Tomaremos o cuidado de explicitar no contexto qual matriz está sendo usada.

Geralmente, as observações x_i são "centradas" ou "corrigidas para a média", subtraindo-se x, o que não afeta a matriz de covariâncias amostrais S. Nesse caso, o i-ésimo componente principal é

i

yˆ = ˆe_it (x−x), i = 1, 2, ..., p (8-21) para qualquer vetor de observação x. Se considerarmos os valores do i-ésimo compo-nente, teremos

ji

yˆ = ˆe_it (x_j −x), i = 1, 2, ..., p (8-22) E a média de cada componente principal amostral é igual a zero. A variância amostral continua igual a λˆ_i, como em (8-20).

Exemplo 8.3. (pág. 473) com o dados apresentados na Tabela 8.5 (pág. 508)

Um censo fornece informações, por região, sobre as seguintes variáveis socioeconô-micas: X1: população total (milhares); X2: mediana do tempo de escolaridade (anos);

X3: total de empregados (milhares); X4: total de empregados em serviços de saúde (milhares) e X5: mediana do valor da terra (value home) (milhares de dólares)

Vamos utilizar o PROC PRINCOMP para fazer a análise de componentes principais desse conjunto de dados amostrais, utilizando os comandos:

data Tabela85; input X1 X2 X3 X4 X5; cards; 5.935 14.2 2.265 2.27 2.91 1.523 13.1 0.597 0.75 2.62 2.599 12.7 1.237 1.11 1.72 4.009 15.2 1.649 0.81 3.02 4.687 14.7 2.312 2.50 2.22 8.044 15.6 3.641 4.51 2.36 2.766 13.3 1.244 1.03 1.97 6.538 17.0 2.618 2.39 1.85 6.451 12.9 3.147 5.52 2.01 3.314 12.2 1.606 2.18 1.82 3.777 13.0 2.119 2.83 1.80 1.530 13.8 0.798 0.84 4.25 2.768 13.6 1.336 1.75 2.64 6.585 14.9 2.763 1.91 3.17 ;

proc princomp cov; var X1 X2 X3 X4 X5;

proc corr;

run;

resultando em:

Principal Component Analysis 14 Observations 5 Variables Simple Statistics X1 X2 X3 X4 X5 Mean 4.323285714 14.01428571 1.952285714 2.171428571 2.454285714 StD 2.075465191 1.32946325 0.894800831 1.403379751 0.710197310 Covariance Matrix X1 X2 X3 X4 X5 X1 4.307555758 1.683680220 1.802775989 2.155325714 -0.253474396 X2 1.683680220 1.767472527 0.588026374 0.177978022 0.175549451 X3 1.802775989 0.588026374 0.800668527 1.064828022 -0.158339011 X4 2.155325714 0.177978022 1.064828022 1.969474725 -0.356806593 X5 -0.253474396 0.175549451 -0.158339011 -0.356806593 0.504380220 Total Variance = 9.3495517582

• apresenta um resumo do conjunto de dados (n = 14 observações e p = 5 variáveis), as médias e os desvios padrões amostrais para cada variável, a matriz de covariân-cias amostrais e a variância total ( = 9,3496).

Eigenvalue Difference Proportion Cumulative PRIN1 6.93107 5.14593 0.741327 0.74133 PRIN2 1.78514 1.39549 0.190934 0.93226 PRIN3 0.38965 0.16012 0.041676 0.97394 PRIN4 0.22953 0.21537 0.024550 0.99849 PRIN5 0.01415 . 0.001514 1.00000 Eigenvectors

PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.781208 0.070872 0.003657 -.541710 -.302040 X2 0.305649 0.763873 -.161817 0.544799 -.009280 X3 0.334448 -.082908 0.014841 -.051016 0.937255 X4 0.426008 -.579458 0.220453 0.636013 -.172145 X5 -.054354 0.262355 0.961760 -.051276 0.024583

• os autovalores e a proporção (absoluta e acumulada) explicada pelos componentes principais, além dos coeficientes que definem os 5 componentes principais.

Resumindo temos:

• Y1 = 0,7812X1 + 0,3056X2 + 0,3344X3 + 0,4250X4 − 0,0543X5 é o primeiro componente principal e explica 74,1% da variação amostral total. Pode ser inter-pretado como uma média ponderada das quatro primeiras variáveis originais

• Y2 = 0,0719X1 + 0,7639X2 − 0,0829X3 − 0,5795X4 + 0,2624X4 é o segundo componente e explica 19,1% da variação total. Pode ser interpretado como um contraste entre os empregados em serviços de saúde com uma média ponderada da mediana da idade escolar e a mediana dos valores da terra (value home).

• Os dois primeiros componentes explicam 93,2% da variação total;

• A redução da dimensão de 5 variáveis originais para 2 componentes principais é bastante razoável.

Para calcularmos a correlação entre as variáveis originais e os componentes principais, com o intuito de entendermos a importância de cada variável na cons-trução dos dois componentes, precisamos incluir as alterações no programa:

proc princomp cov out=result; var X1 X2 X3 X4 X5;

proc corr data=result;

var X1 X2 X3 X4 X5 PRIN1 PRIN2; run;

resultando em:

Correlation Analysis

7 'VAR' Variables: X1 X2 X3 X4 X5 PRIN1 PRIN2 Simple Statistics

Variable N Mean Std Dev Sum Minimum Maximum X1 14 4.323286 2.075465 60.526000 1.523000 8.044000 X2 14 14.014286 1.329463 196.200000 12.200000 17.000000 X3 14 1.952286 0.894801 27.332000 0.597000 3.641000 X4 14 2.171429 1.403380 30.400000 0.750000 5.520000 X5 14 2.454286 0.710197 34.360000 1.720000 4.250000 PRIN1 14 0 2.632693 0 -3.534876 4.957486 PRIN2 14 0 1.336093 0 -2.856346 2.097283

• onde são apresentadas algumas estatísticas descritivas das variáveis e componentes principais

Pearson Correlation Coefficients / Prob > |R| under Ho: Rho=0 / N = 14

X1 X2 X3 X4 X5 PRIN1 PRIN2 X1 1.00000 0.61019 0.97073 0.73998 -0.17196 0.99095 0.04562 0.0 0.0205 0.0001 0.0025 0.5566 0.0001 0.8769 X2 0.61019 1.00000 0.49430 0.09539 0.18593 0.60527 0.76768 0.0205 0.0 0.0724 0.7456 0.5245 0.0218 0.0013 X3 0.97073 0.49430 1.00000 0.84796 -0.24916 0.98402 -0.12380 0.0001 0.0724 0.0 0.0001 0.3903 0.0001 0.6733 X4 0.73998 0.09539 0.84796 1.00000 -0.35800 0.79918 -0.55168 0.0025 0.7456 0.0001 0.0 0.2088 0.0006 0.0408 X5 -0.17196 0.18593 -0.24916 -0.35800 1.00000 -0.20149 0.49357 0.5566 0.5245 0.3903 0.2088 0.0 0.4897 0.0729 PRIN1 0.99095 0.60527 0.98402 0.79918 -0.20149 1.00000 0.00000 0.0001 0.0218 0.0001 0.0006 0.4897 0.0 1.0000 PRIN2 0.04562 0.76768 -0.12380 -0.55168 0.49357 0.00000 1.00000 0.8769 0.0013 0.6733 0.0408 0.0729 1.0000 0.0

• pode-se perceber uma correlação alta e positiva entre as variáveis X1 a X4 com o primeiro componente principal (PRIN1);

• com o segundo componente (PRIN2), estão correlacionadas as variáveis X2, X4 e X5.

O NÚMERO DE COMPONENTES PRINCIPAIS

Sempre vai aparecer a questão de quantos componentes escolher. E não existe uma resposta definitiva para essa questão. Alguns aspectos devem ser considerados, como a quantidade da variância amostral explicada, os tamanhos relativos dos auto-valores (isto é, as variâncias dos componentes principais) e as interpretações subjeti-vas associada aos componentes. Podemos adiantar que um componente associado a um autovalor próximo a zero será pouco importante, mas indica alguma dependência linear nos dados.

Para determinar o número de componentes principais podemos utilizar o scree

plot, que é construído com os valores de λˆ_i versus i (a magnitude de um autovalor

versus seu número). Neste caso, o número de componentes é tomado como o ponto

onde os autovalores restantes são relativamente pequenos e têm tamanhos aproxima-damente iguais.

Ordem Autovalor 0 1 2 3 4 5 6 7 8 1 2 3 4 5

Figura 8.2. Scree plot associado à análise do exemplo 8.3

O "cotovelo" que ocorre na Figura 8.2 por volta de i = 3, indica que os autova-lores superiores a λˆ₂ são relativamente pequenos e têm valores parecidos, ou seja, somente os dois primeiros componentes principais resumem efetivamente a variância amostral total.

INTERPRETAÇÃO DOS COMPONENTES PRINCIPAIS AMOSTRAIS

(ver páginas 478-480)

PADRONIZANDO OS COMPONENTES PRINCIPAIS AMOSTRAIS

Geralmente, os componentes principais amostrais não são invariantes a mu-danças na escala das variáveis. As variáveis medidas em escalas diferentes ou em escalas comuns mas com variabilidades muito diferentes são, muitas vezes, padroni-zadas.

i z = D−12

(

x_i −x

)

=                       − − − pp p jp 22 2 2 j 11 1 1 j s x x s x x s x x M , j = 1, 2, ..., n (8-25)

onde D12 é uma matriz diagonal com as variâncias amostrais de cada variável. Então

Z =               t n t 2 t 1 z z z =             np 2 n 1 n p 2 22 21 p 1 12 11 z z z z z z z z z L M M M L L z = (1'Z)' n 1 = Z'1 n 1 = 0 z S =       −       − − Z 11'Z Z n11'Z 1 n 1 1 n 1 t =

(

Z−1z'

) (

Z−1z'

)

− t 1 n 1 = Z'Z 1 n 1

− = R (matriz de correlações amostrais)

Usando (8-29) podemos ver que a proporção da variância amostral total explicada pelo i-ésimo componente principal é λˆ_i p, i = 1, 2, ..., p.

Uma regra consiste em reter somente os componentes principais cujas variân-cias λˆ_isão maiores que a unidade ou, equivalentemente, somente aqueles componen-tes que individualmente explicam, no mínimo, 1/p da variância total. Essa regra não tem qualquer suporte teórico e não deve ser aplicada cegamente.

Se z₁, z₂, ..., z_n são as observações padronizadas com matriz de covariâncias R, o i-ésimo componente principal é

i yˆ = ˆe_itz =

∑

= p 1 j i ijz eˆ , para i = 1, 2, ..., p

onde (λˆ_i, ˆe_i) é o i-ésimo par autovalor-autovetor de R com λˆ₁ ≥ λˆ₂ ≥ ... ≥ λˆ_p ≥ 0. • Variância amostral (yˆ_i) = λˆ_i, i = 1, 2, ..., p (8-29) • Covariância amostral (yˆ_i,yˆ_k) = 0, i ≠ k

• Variância amostral total = tr(R) =

∑

= λ p 1 i i ˆ = p

• Correlação amostral entre a k-ésima variável original e o i-ésimo componente principal amostral: k i,x y ˆ r = eˆ_ik λˆ_i i , k = 1, 2, ..., p

Ver Exemplo 8.5 (página 482-483).

GRÁFICOS DOS COMPONENTES PRINCIPAIS

Gráficos de componentes principais podem revelar observações suspeitas, além de possibilitar a verificação da suposição de normalidade. Como os componentes principais são combinações lineares das variáveis originais, não é razoável esperar que sejam normalmente distribuídos, já que não fizemos qualquer suposição sobre essas variáveis.

Muitas vezes é necessário verificar que os primeiros componentes têm distri-buição aproximadamente quando eles são utilizados como variáveis de entrada em análises adicionais.

Os últimos componentes principais podem auxiliar a identificar observações suspeitas. Cada observação pode ser escrita como uma combinação linear de todo o conjunto de autovalores ˆe₁, ˆe₂,... , ˆe de S: _p

j

x = (xt_j ˆe₁)ˆe₁ + (xt_j ˆe₂)ˆe₂ + ... + (xt_j ˆe )_p ˆe = _p yˆ_j1 ˆe₁ + yˆ_j2 ˆe₂ + ... + yˆ_jp ˆe _p Assim, a magnitude dos últimos componentes principais determina quão bem os primeiros ajustam as observações. Isto é, yˆ_j1 ˆe₁ + yˆ_j2 ˆe₂ + ... + yˆ_j,q−1eˆ_q−1 difere de x por _j yˆ_jq ˆe + ... + _q yˆ_jp ˆe , cujos quadrados dos seus comprimentos são _p yˆ , ..., 2_jq

2 jp

yˆ . Observações suspeitas serão aquelas que, no mínimo, em uma das coordena-das,yˆ , ... , _jq yˆ contribuem para que o quadrado do seu comprimento seja grande. _jp

Resumindo:

1. Para auxiliar a verificar a suposição de normalidade, construir gráficos de disper-são para os pares dos primeiros componentes principais. Também fazer Q-Q plots para os valores amostrais gerados por cada um dos componentes principais. 2. Construir diagramas de dispersão e Q-Q plots para os últimos componentes

prin-cipais, o que auxilia na identificação de observações suspeitas. (Ver Exemplo 8.7 - página 485-486)

Um gráfico dos escores dos dois primeiros componentes principais pode tam-bém ser útil na identificação grupos de indivíduos similares, com altos (ou baixos) valores desses componentes. Essa avaliação, apesar de subjetiva, pode auxiliar a in-pretar os resultados obtidos, mas nem sempre é conclusiva.

CP-1 CP-2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 -3 -2 -1 0 1 2 3 -6 -4 -2 0 2 4 6

Figura 4. Dispersão dos indivíduos em relação aos dois primeiros componentes

principais.

Na Figura 4, podemos identificar, por exemplo, o grupo dos indivíduos 3, 10 e 11 que têm valores negativos para os dois componentes; o grupo dos indivíduos 8 e 14 que têm valores positivos e altos para esses componentes e o indivíduo 9, que tem um valor positivo e alto para o componente 1, mas negativo e grande (em módulo) para o componente 2.