MAE 5905: Introdu¸cão à Ciência de Dados

(1)

MAE 5905: Introdu¸ c˜ ao ` a Ciˆ encia de Dados

Pedro A. Morettin

Instituto de Matem´atica e Estat´ıstica Universidade de S˜ao Paulo

pam@ime.usp.br http://www.ime.usp.br/∼ pam

Aula 14 23 de junho de 2021

(2)

1 An´alise Fatorial

(3)

Primeiramente observemos que para explicar as rela¸cões entrepvariáveis são necessáriaspcomponentes principais; por esse motivo, o modelo adotado não é o ideal.

O fato de as componentes principais não serem correlacionadas e ordenadas com variâncias decrescentes e o fato de que a técnica corresponde a uma fatora¸cão da matriz de covariâncias da variáveis originais fazem com que a aproxima¸cão obtida quando consideramos apenas as primeiras componentes principais seja razoável.

No entanto, essa técnica pode introduzir um erro sistemático na reprodu¸cão das correla¸cões originais, pois podem existir uma ou mais dessas variáveis que sejam muito correlacionadas com as componentes principais desprezadas do que com aquelas retidas na análise.

Outra observa¸cão importante, é que essa técnica utiliza toda a informa¸cão sobre cada uma das variáveis originais, embora seja razoável imaginar que uma parcela de sua variabilidade seja espec´ıfica, nada tendo a ver com as demais variáveis do conjunto sob investiga¸cão.

Além disso, pode-se suspeitar que os “verdadeiros fatores” responsáveis pela gera¸cão das observa¸cões tenham todos a mesma importância ou que sejam correlacionados entre si.

(4)

Alguns desses problemas podem ser solucionados por meio da técnica de Análise Fatorial. A ideia que a fundamenta está baseada na parti¸cão da variância de cada variável do sistema multivariado numavariância comum e numavariância espec´ıfica. Além disso, supõe-se que as correla¸cões entre aspvariáveis são geradas por um númerom<pdevariáveis latentes(ou fatores).

Avantagemdessa técnica relativamente àquela de componentes principais está na habilidade de reprodu¸cão da estrutura de correla¸cões originais por meio de um pequeno número de fatores sem os erros sistemáticos que podem ocorrer quando simplesmente desprezamos algumas componentes principais.

Asdesvantagensda Análise Fatorial estão na maior dificuldade de cálculo dos escores fatoriais e na existência de múltiplas solu¸cões. Na realidade a estrutura de correla¸cões das variáveis originais pode ser igualmente reproduzida por qualquer outro conjunto de variáveis latentes de mesma dimensão. A não ser que se imponham restri¸cões adicionais, infinitas solu¸cões equivalentes sempre existirão.

(5)

Consideremos um vetorX= (X1, . . . ,Xp)^>com m´ediaµ= (µ1, . . . , µp)^>

e matriz de covariˆanciasΣcom elementosσij,i,j= 1, . . . ,p.

O modelo utilizado para Análise Fatorial de dados provenientes da observa¸cão dasp variáveis agrupadasX1, . . . ,Xp é

Xi−µi =λi1F1+. . .+λimFm+ei =

m

X

j=1

λijFj+ei, i = 1, . . . ,p (1)

em queFjé oj-ésimofator comuma todas as variáveis,λijé o parâmetro (chamado decarga fatorial) que indica a importância desse fator na composi¸cão dai-ésima variável eejé umfator espec´ıficopara essa variável.

Os coeficientes dos fatores,λij,identificam o peso relativo de cada variável no componente. Quanto maior for o valor absoluto do coeficiente, mais importante é a variável correspondente ao estimar o fator. Osescores fatoriaissão os valores estimados dos fatores.

(6)

Como dito acima, as cargas fatoriais indicam o quanto um fator explica uma vari´avel e variam de -1 a +1.

Cargas próximas de -1 ou +1 indicam que o fator explica fortemente a variável. Cargas próximas de zero indicam que o fator tem pouca influência sobre a variável.

Cargas fatoriais são dif´ıceis de interpretar quando não houver rota¸cão.

Esta simplifica a estrutura das cargas e torna os fatores mais claramente distingu´ıveis e f´aceis de interpretar.

Há diversos métodos de rota¸cão (ver abaixo) e devemos escolher aquele que proporciona melhor interpreta¸cão.

(7)

Em nota¸c˜ao matricial, o modelo pode ser escrito como

X−µ=Λf+e (2)

em queΛé a matriz com dimensãop×mde cargas fatoriais, f= (F1, . . . ,Fm)^>é o vetor cujos elementos são os fatores comuns e e= (e1, . . . ,ep) é um vetor cujos elementos são os fatores espec´ıficos.

Adicionalmente, supomos queE(f) =0,Cov(f) =Im,E(e) =0e Cov(e) =ψ= diag(ψ1, . . . , ψp) e queCov(f,e) =0. Os elementos deψ s˜ao asvariˆancias espec´ıficas.

(8)

Para avaliar a rela¸c˜ao entre a estrutura de covariˆancias deXe os fatores, observemos que

Cov(Xi,Xk) = Cov(

m

X

j=1

λijFj,

m

X

`=1

λk`F`)

=

m

X

j=1 m

X

`=1

λijλk`E(FjF`) +E(eiej) (3)

=

m

X

j=1 m

X

`=1

λijλk`+E(eiej)

Consequentemente,Cov(Xi,Xk) =σik =Pm

j=1λijλkj sei 6=k e Cov(Xi,Xi) =σii=Pm

j=1λ²_ij. O termoPm

j=1λ²_ijé conhecido por comunalidadedai-ésima variável.

Em nota¸c˜ao matricial, podemos escrever Σ=ΛΛ^>+ψ e o objetivo ´e estimar os elementos deΛeψ.

(9)

A comunalidade de cada variável é a propor¸cão da variabilidade explicada pelos fatores.

Quanto mais próxima de 1, melhor é a explica¸cão da variável pelo fator.

Decidimos acrescentar um fator se ele contribuir significativamente ao ajuste de algumas vari´aveis.

A variância de um fator fornece a variabilidade nos dados explicada pelo fator. Se usarmos CP para extrair fatores, e não usarmos rota¸cão, a variância de cada fator é igual ao seu autovalor.

Rota¸cão muda a distribui¸cão da propor¸cão da variabilidade explicada por cada fator. Mas a varia¸cão total explicada por todos os fatores se mantém.

Quanto maior a variˆancia de um fator, mais ele explica a variabilidade nos dados. A porcentagem da variˆancia explixada por cada fator varia de zero a 1.

(10)

Em Análise de Componentes Principais, consideramos o modelo linear Y=BXem queYé o vetor cujos elementos são as componentes principais eB= (β^>₁, . . . ,β^>_p)^>é a matriz cujai-ésima linha contém os coeficientes dai-ésima componente principal.

A matriz de covariâncias deXé fatorada comoΣ=ΛΛ^>. Em Análise Fatorial, consideramos o modelo linearX=Λf+ee a matriz de covariâncias deXé fatorada comoΣ=ΛΛ^>+ψ.

Uma diferen¸ca entre os dois enfoques é que enquanto a fatora¸cão deΣé

´

unica em Análise de Componentes Principais, ela não o é em Análise Fatorial, pois seTfor uma matriz ortogonal (i.e.,TT^>=Im), obteremos

Σ=ΛΛ^>+ψ=ΛTT^>Λ^>+ψ=ΛT(ΛT)^>+ψ

e embora as cargas fatoriaisΛTsejam diferentes das cargas fatoriaisΛ, a habilidade de reproduzir a matriz de covariˆanciasΣn˜ao se altera.

Escolhendo matrizes ortogonais diferentes, podemos determinar cargas fatoriais diferentes. A escolha de uma transforma¸c˜ao conveniente ser´a discutida posteriormente.

(11)

Uma an´alise fatorial consiste dos seguintes passos:

a) Estima¸cão dos parâmetros do modelo (λijeψi) a partir de um conjunto de observa¸cões das variáveisX1, . . . ,Xp.

b) Interpreta¸cão dos fatores determinados a partir das cargas fatoriais obtidas em a). Com esse objetivo considera-se arota¸cãodos fatores por meio de transforma¸cões ortogonais.

c) Estima¸c˜ao dos valores dos fatores comuns, chamadosescores fatoriaispara cada unidade amostral a partir dos valores das cargas fatoriais e das vari´aveis observadas.

(12)

Existem duas classes de métodos para estima¸cão dos parâmetros do modelo fatorial. Na primeira classe consideramos ométodo de máxima verossimilhan¸cae na segunda, métodos heur´ısticos como ométodo do fator principalou ométodo do centroide.

Para o método de máxima verossimilhan¸ca, supomos adicionalmente que as variáveisX1, . . . ,Xp seguem uma distribui¸cão normal (multivariada) e que o número de fatoresmé conhecido. Os estimadores são obtidos por meio da solu¸cão do sistema de equa¸cões (ver Nota de Cap´ıtulo 3)

Sψ⁻¹Λ = Λ(Im+Λ^>ψ⁻¹Λ) (4) diag(S) = diag(ΛΛ^>+ψ)

que deve ser resolvido por meio de m´etodos iterativos. Detalhes podem ser encontrados em Morrison (1972).

Uma das vantagens desse método é que as mudan¸cas de escala das variáveis originais alteram os estimadores apenas por uma mudan¸ca de escala.

(13)

Se uma das variáveisX1, . . . ,Xp for multiplicada por uma constante, os estimadores das cargas fatoriais correspondentes ficam multiplicados pela mesma constante e o estimador da variância espec´ıfica associada fica multiplicado pelo quadrado da constante. Dessa forma, podemos fazer os cálculos com as variáveis padronizadas (substituindo a matriz de

covariˆancias amostralSpela correspondente matriz de correla¸c˜oes amostraisRe posteriormente escrever os resultados em termos das unidades de medida originais).

O método do fator principal está intimamente relacionado com a técnica utilizada na análise de componentes principais. Segundo esse método, os fatores são escolhidos obedecendo à ordem decrescente de sua

contribui¸c˜ao `a comunalidade total do sistema multivariado.

Nesse contexto, o processo tem in´ıcio com a determina¸c˜ao de um fatorF1

cuja contribui¸cão à comunalidade total é a maior poss´ıvel; em seguida, um segundo fator não correlacionado comF1e tal que maximize a

comunalidade residual ´e obtido. O processo continua at´e que a comunalidade total tenha sido exaurida.

(14)

Na prática, as comunalidades e as variâncias espec´ıficas devem ser estimadas com base nos dados amostrais. Embora existam vários métodos idealizados para essa finalidade, nenhum se mostra superior aos demais. Dentre os estimadores mais comuns para a comunalidade de uma variávelXi, destacamos:

i) o quadrado docoeficiente de correla¸cão múltiplaentre a variávelXi e as demais;

ii) o maior valor absoluto dos elementos dei-´esima linha da matriz de correla¸c˜oes amostrais;

iii) estimadores obtidos de an´alises preliminares por meio de processos iterativos.

(15)

Outro problema prático é a determina¸cão do número de fatores a incluir na análise. Os critérios mais utilizados para esse fim são:

i) determina¸c˜ao do n´umero de fatores por meio de algum conhecimento a priori sobre a estrutura dos dados;

ii) n´umero de componentes principais correspondentes a autovalores da matrizRmaiores que 1;

iii) explica¸cão de certa propor¸cão (escolhida arbitrariamente) da comunalidade ou da variância total.

(16)

Um algoritmo comumente utilizado para a obten¸cão das cargas fatoriais e das variâncias espec´ıficas é

i) Obter aspcomponentes principais com base na matriz de correla¸c˜oes amostraisR.

ii) Escolhermfatores segundo um dos crit´erios mencionados.

iii) Substituir os elementos da diagonal principal deRpor estimadores das comunalidades correspondentes por meio de um dos m´etodos descritos acima, obtendo a chamadamatriz de correla¸c˜oes reduzida,R^∗. iv) Extrairmfatores da matrizR^∗, obtendo novos estimadores das

comunalidades que v˜ao substituir aqueles obtidos anteriormente na diagonal principal.

v) Repetir o processo dos itens ii) - iv) at´e que a diferen¸ca entre dois conjuntos sucessivos de estimadores das comunalidades seja desprez´avel.

(17)

O método do centroide foi desenvolvido por Thurstone (1947) para simplificar os cálculos mas não é muito utilizado em virtude das recentes facilidades computacionais; os resultados obtidos por intermédio desse método não diferem muito daqueles obtidos pelo método do fator principal.

Como a interpreta¸cão dos fatores numa análise fatorial é uma

caracter´ıstica importante em aplica¸cões práticas, pode-se utilizar a técnica derota¸cão dos fatorespara obter resultados mais palatáveis.

Consideremos um exemplo em que cinco variáveisA,B,C,D eE são representadas num espa¸co fatorial bidimensional conforme a representa¸cão da Figura 1.

(18)

Figura:Representa¸c˜ao de cinco vari´aveis num espa¸co vetorial bidimensional.

(19)

Como ilustrado na Tabela 1, as cargas fatoriais relativas ao fatorF1são altas e positivas para todas as variáveis. Por outro lado, apenas as variáveisA,B eC têm cargas positivas no fatorF2; as cargas das variáveisD eE são negativas nesse fator.

Tabela:Cargas fatoriais para as vari´aveisA,B,C,DeE

Fatores iniciais Fatores rotacionados Vari´avel F1 F2 FR1 FR2

A 0,75 0,63 0,14 0,95

B 0,69 0,57 0,14 0,90

C 0,80 0,49 0,18 0,92

D 0,85 -0,42 0,94 0,09

E 0,76 -0,42 0,92 0,07

(20)

Dois aglomerados de variáveis podem ser identificados na Figura 1: um formado pelas variáveisA,B eC e o outro pelas variáveisDeE. Apesar disso, esses aglomerados não são evidentes nas cargas fatoriais da Tabela 1. Uma rota¸cão do fatores (com os eixos rotuladosFR1eFR2) como aquela indicada na figura juntamente com as novas cargas fatoriais apresentadas na Tabela 1 ressaltam a separa¸cão entre os dois conjuntos de variáveis.

Na solu¸cão inicial, cada variável é explicada por dois fatores enquanto que na solu¸cão obtida com a rota¸cão dos fatores, apenas um deles é suficiente para explicar a correspondente estrutura de covariância.

Em princ´ıpio, também podemos considerar rota¸cões obl´ıquas, que são bem mais flex´ıveis, pois os fatores não precisam ser necessariamente ortogonais.

Essa caracter´ıstica pode até ser considerada mais realista, pois a ortogonalidade não é determinante da rela¸cão entre os fatores. Os eixos real¸cados em vermelho na Figura 1 correspondem a uma dessas rota¸cões obl´ıquas.

(21)

O objetivo de qualquer rota¸cão é obter fatores interpretáveis e com a estrutura mais simples poss´ıvel. Nesse sentido, Thurstone (1947) sugere condi¸cões para se obter uma estrutura mais simples, nomeadamente:

i) Cada linha da matriz de cargas fatoriais Λ deve conter pelo menos um valor nulo.

ii) Cada coluna da matriz de cargas fatoriais deveria ter pelo menos tantos valores nulos quantas forem as colunas.

iii) Para cada par de colunas deve haver algumas vari´aveis com cargas fatoriais pequenas numa delas e altas na outra.

iv) Para cada par de colunas uma grande porcentagem das vari´aveis deve ter cargas fatoriais n˜ao nulas em ambas.

v) Para cada par de colunas deve haver somente um pequeno n´umero de vari´aveis com cargas fatoriais altas em ambas.

(22)

Como consequˆencia dessas sugest˜oes,

i) Muitas vari´aveis (representadas como vetores no espa¸co dos fatores) devem ficar pr´oximas dos eixos.

ii) Muitas variáveis devem ficar próximas da origem quando o número de fatores for grande.

iii) Somente um pequeno n´umero de vari´aveis ficam longe dos eixos.

(23)

A principal cr´ıtica às sugestões de Thurstone é que na prática poucas são as situa¸cões que admitem uma simplifica¸cão tão grande. O que se procura fazer é simplificar as linhas e colunas da matriz de cargas fatoriais e os métodos mais comumente empregados com essa finalidade são:

M´etodo Varimaxem que se procura simplificar a complexidade fatorial, tentando-se obter fatores com poucos valores grandes e muitos valores nulos ou pequenos na respectiva coluna da matriz de cargas fatoriais.

Após uma rota¸cão Varimax, cada variável original tende a estar associada com poucos (preferencialmente, um) fatores e cada fator tende a se associar com poucas variáveis. Esse é o método mais utilizado na prática.

Método Quartimaxem que se procura maximizar o número de fatores necessários para explicar cada variável. Em geral, esse método produz um fator associado em que muitas variáveis têm cargas altas ou médias, o que nem sempre é conveniente para a interpreta¸cão.

M´etodo Equimax, uma mistura dos m´etodos Varimax e Quartimax.

M´etodo Promax, utilizado para rota¸c˜oes obl´ıquas.

(24)

Um dos objetivos tanto da Análise de Componentes Principais quanto da Análise Fatorial, é substituir aspvariáveis originaisX1, . . . ,Xp por um número menor, digamos,mem análises subsequentes.

No caso de componentes principais, podem-se utilizar as estimativas Ybik =βb_ixk, i= 1, . . . ,mpara substituir os valoresxkobservados para a k-´esima unidade amostral.

Esse processo é mais complicado quando lidamos com a obten¸cão dos valores dos fatoresF1, . . . ,Fm(denominadosescores fatoriais) em Análise Fatorial, que não podem ser estimados no sentido estat´ıstico usual, pois os fatores não são observáveis.

Com esse objetivo, ométodo de Bartlett(1937) consiste em considerar (2) como um modelo de regressão heterocedático em que se supõe que as matrizes de cargas fatoriais,Λe de variâncias espec´ıficasψ, são conhecidas e se considera o termoecomo um vetor de erros.

(25)

Minimizando

Q(f) =e^>ψ⁻¹e= (x−µ−Λf)^>ψ⁻¹(x−µ−Λf) obtemos

bf= [Λ^>ψ⁻¹Λ]⁻¹Λ^>ψ⁻¹(x−µ)

e substituindoΛ,ψeµ, respectivamente, por estimativasΛ,b ψb ex, podemos construir os escores fatoriais para ak-´esima unidade amostral como

bfk= [bΛ^>ψb⁻¹bΛ]⁻¹bΛ^>ψb⁻¹(xk−x).

(26)

Alternativamente, nométodo de regressão, supõe-se que os fatores comuns,fe espec´ıficosesão independentes e têm distribui¸cões normais multivariadas com dimensõesmep, respectivamente, de forma que o par (X−µ,f) também tem uma distribui¸cão normal multivariada de dimensão p+mcom matriz de covariâncias

ΛΛ^>+ψ Λ Λ^> Im

.

Utilizando propriedades da distribui¸cão normal multivariada, segue que a distribui¸cão condicional def dadoX−µtambém é normal multivariada com vetor de médias

E(f|X−µ) =Λ^>[ΛΛ^>+ψ]⁻¹(X−µ) e matriz de covariˆancias

Cov(f|X−µ) =Im−Λ^>[ΛΛ^>+ψ]⁻¹Λ.

(27)

multivariada tendo os fatores como variáveis respostas eX−µcomo variáveis explicativas. Utilizando as estimativasbΛ,ψ, podemos calcular osb escores fatoriais para ak-ésima unidade amostral (com valores das variáveis originaisxk) por meio de

bfk=Λb^>[bΛbΛ^>+ψ]b ⁻¹(xk−x).

Pacotes do R que podem ser utilizados para a AF s˜ao opsych, o GPArotatione orobustfa.

Para determinar o número de fatores a considerar, podemos usar vários critérios:

[1]Teste Scree: devido a Cattel (1966), consiste do gráfico dos autovalores contra o número de fatores (ou CPs, de uma ACP). Procura-se o ponto (elbow) onde a inclina¸cão muda drasticamente.

[2]Regra de Kaiser–Guttman: devida a Guttman(1954) e Kaiser (1960), é similar ao teste scree, mas consideram-se componentes ou fatores com autovalores maiores do que 1. Esse é o gráfico que temos usado.

[3]An´alise paralela: devida a Horn (1965), prop˜oe reter somente

autovalores que sejam superiores ou iguais `a m´edia dos autovalores obtidos

(28)

(a) Gerenv.a.s de acordo com uma N(0,1) independentemente parap vari´aveis;

(b) calcule a matriz de correla¸c˜oes de Pearson;

(c) calcule os autovalores dessa matriz;

(d) repita passos (a)-(c)k vezes;

(e) calcule uma medida de localiza¸c˜ao, ML, para oskvetores de autovalores:

m´edia, mediana,p-quantil etc;

(f) Substitua o valor 1 da regra de Guttman–Kaiser, ou seja, conte o n´umero de autovalores maiores que ML.

Há, também, solu¸cões não gráficas a esses testes.

Otima coordenada:´

noc= #{(λi≥1) e (λi ≥λ previsto pelo teste scree K-G}

ou

noc = #{(λi ≥ML e (λi ≥λ previsto pelo teste scree da AP}

Fator de acelera¸cão: coloca ênfase na coordenada onde a inclina¸cão da curva muda abruptamente

(29)

Exemplo 1. Num estudo planejado para avaliar o n´ıvel de polui¸cão atmosférica por meio de medidas de elementos qu´ımicos depositados em cascas de árvores, obtiveram-se observa¸cões da concentra¸cão de Al, Ba, Cu, Fe, Zn, P, Cl, Sr e Ca entre outros elementos em 193 unidades da espécieTipuana tipuna cidade de São Paulo.

Esses dados constituem um subconjunto daqueles dispon´ıveis em http://www.ime.usp.br/~jmsinger/MorettinSinger/arvores.xlsO objetivo aqui é obter um conjunto de fatores que permitam identificar caracter´ısticas comuns a essas variáveis. Os resultados provenientes de uma análise de componentes principais estão dispostos na Tabela 2.

(30)

Tabela:Coeficientes de componentes principais (CP) para os dados do Exemplo 1

CP1 CP2 CP3 CP4 CP5 CP6 CP7 CP8 CP9

Al 0.90 -0.11 0.09 0.21 -0.16 0.19 -0.08 -0.17 0.17

Ba 0.88 -0.16 0.09 0.10 -0.10 0.27 0.09 0.31 -0.01

Cu 0.82 0.18 -0.05 -0.23 0.31 -0.18 -0.31 0.08 0.01

Fe 0.95 -0.10 0.07 0.10 -0.03 0.10 0.00 -0.18 -0.19

Zn 0.83 0.16 -0.13 -0.22 0.29 -0.21 0.31 -0.05 0.05

P 0.25 0.69 -0.25 0.53 -0.20 -0.28 0.00 0.05 -0.01

Cl 0.17 0.53 0.60 -0.42 -0.39 -0.07 0.01 0.00 0.00

Mg -0.24 0.22 0.78 0.35 0.40 0.05 0.02 0.00 0.00

Ca -0.20 0.77 -0.33 -0.12 0.15 0.47 0.00 -0.04 0.00

% Var 0.45 0.17 0.13 0.08 0.07 0.06 0.02 0.02 0.01

% Acum 0.45 0.61 0.75 0.83 0.89 0.95 0.97 0.99 1.00

(31)

Uma análise da porcentagem da variância explicada pelas componentes principais juntamente com um exame do gráfico da escarpa sedimentar (scree plot) correspondente, apresentado na Figura 2 sugere que três fatores, que explicam 75% da variância total do sistema de variáveis originais poderiam contemplar uma representa¸cão adequada.

2 4 6 8

01234

scree plot

component number

Eigen values of components

Figura:Gr´afico da escarpa sedimentar para os dados do Exemplo 1.

(32)

As cargas fatoriais correspondentes trˆes fatores rotacionados obliquamente juntamente com as comunalidades e especificidades correspondentes est˜ao dispostos na Tabela 3.

Tabela:Cargas fatoriais, comunalidades e especificidades correspondentes a uma an´alise fatorial para os dados do Exemplo 1

Fator 1 Fator 2 Fator 3 Comunalidade Especificidade

Al 0.91 -0.11 0.03 0.82 0.18

Ba 0.86 -0.13 0.00 0.75 0.25

Cu 0.75 0.27 -0.04 0.66 0.34

Fe 0.97 -0.08 0.01 0.95 0.05

Zn 0.74 0.27 -0.13 0.68 0.32

P 0.20 0.47 0.05 0.25 0.75

Cl 0.22 0.27 0.39 0.22 0.78

Mg -0.04 0.02 0.73 0.54 0.46

Ca -0.21 0.67 0.01 0.49 0.51

(33)

Os gr´aficos das Figuras 3 e 4 tamb´em podem ser utilizados para identificar os fatores.

MR1

−1 0 1 2 3 4

0.00.10.20.30.40.5

−3 −2 −1 0 1 2 3

−3−2−10123

MR2

MR1

BaAl Cu Fe

Zn

P Cl Mg

Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

−3 −2 −1 0 1 2 3

−3−2−10123

MR3

MR1

BaAl Cu Fe Zn

P Cl

Mg Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

−3 −2 −1 0 1 2 3

−3−2−10123

MR1

MR2 AlBa

Cu

Fe Zn P Cl Mg Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

MR2

−2 −1 0 1 2

0.00.10.20.30.40.50.6

−3 −2 −1 0 1 2 3

−3−2−10123

MR3

MR2 AlBa

Cu

Fe Zn

P Cl

Mg Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

−3 −2 −1 0 1 2 3

−3−2−10123

MR3 AlBaCuFe

Zn P Cl Mg

Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

−3 −2 −1 0 1 2 3

−3−2−10123

MR3 AlBa CuFe

Zn P Cl Mg

Ca

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

MR3

−2 −1 0 1 2 3

0.00.10.20.30.40.5

Figura:Gr´aficobiplotcorrespondente aos trˆes fatores considerados para os dados do Exemplo 1.

(34)

MR1

0.0 0.2 0.4 0.6

−0.20.00.20.40.60.81.0

0.00.20.40.6

MR2

−0.2 0.0 0.2 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6

0.00.20.40.6

MR3 Factor Analysis

Figura:Gr´afico cartesiano correspondente aos trˆes fatores considerados para os dados do Exemplo 1.

O Fator 1 tem cargas fatoriais concentradas nos elementos Al, Ba, Cu, Fe e Zn, que estão associados à polui¸cão de origem veicular gerada por desgaste de freios e ressuspensão de poeira; o Fator 2 está tem cargas fatoriais

concentradas em P e Ca, caracter´ısticas da sa´ude arb´orea e o Fator 3 tem as cargas fatoriais concentradas em Cl e Mg.

(35)

Exemplo 2. Vamos retomar o Exemplo 1 da Aula 15, em que se pretendia avaliar os efeitos de variáveis climáticas na ocorrência de suic´ıdios por enforcamento na cidade de São Paulo.

Nesse exemplo obtivemos duas CPs que explicavam 82% da variˆancia total.

Vamos usar a fun¸cãofactanal()do pacotestats. Essa fun¸cão usa MV numa matriz de covariâncias ou numa matriz de dados.

Obtemos os resultados abaixo:

Call:

factanal(x = clima1, factors = 2, rotation = "varimax") Uniquenesses:

tempmax tempmin tempmed precip nebmed 0.061 0.020 0.005 0.890 0.482 Loadings:

Factor1 Factor2 tempmax 0.932 -0.266 tempmin 0.883 0.447 tempmed 0.997

precip 0.323

nebmed -0.142 0.706 Factor1 Factor2 SS loadings 2.668 0.874 Proportion Var 0.534 0.175 Cumulative Var 0.534 0.708

Test of the hypothesis that 2 factors are sufficient.

(36)

propor¸cão da variabilidade quenão pode ser explicadapela combina¸cão linear dos fatores(variância espec´ıfica). Valor alto para uma variável indica que o fator não contribui bem para a sua variância. É a diagonal da matriz ψ. Nesse caso, os fatores não contribuem para a variância de Precipita¸cão e Nebulosidade.

A matrizλdas cargas fatoriais ´e dada a seguir:

> load<-fafit\$loadings[,1:2]

Factor1 Factor2 tempmax 0.93205114 -0.26553163 tempmin 0.88305960 0.44690513 tempmed 0.99713621 0.02715943 precip 0.07422757 0.32313465 nebmed -0.14166420 0.70579832 A matrizψ´e dada por

> Psi <-diag(fafit\$uniquenesses)

[,1] [,2] [,3] [,4] [,5]

[1,] 0.0607741 0.00000000 0.000 0.0000 0.0000000 [2,] 0.0000000 0.02048162 0.000 0.0000 0.0000000 [3,] 0.0000000 0.00000000 0.005 0.0000 0.0000000 [4,] 0.0000000 0.00000000 0.000 0.8901 0.0000000 [5,] 0.0000000 0.00000000 0.000 0.0000 0.4817635

A comunalidade ´e obtida tomando os quadrados das cargas:

> apply(fafit\$loadings^2,1,sum)

(37)

Não foi poss´ıvel considerar 3 fatores, pois o programa não aceita valor maior do que 2 para 5 variáveis.

A propor¸cão da variância explicada pelos fatores é 70,8%, menor do que as CPs.

A estimativa da matriz Σ ´e dada por

tempmax tempmin tempmed precip tempmax 1.00000048 0.7043893 0.92217026 -0.01661858 tempmin 0.70438926 1.0000001 0.89266839 0.20995790 tempmed 0.92217026 0.8926684 1.00001826 0.08279115 precip -0.01661858 0.2099579 0.08279115 1.00002576 nebmed -0.31945006 0.1903270 -0.12208942 0.21755251

nebmed tempmax -0.3194501 tempmin 0.1903270 tempmed -0.1220894 precip 0.2175525 nebmed 0.9999835

(38)

Amatriz residualestimada ´e

tempmax tempmin tempmed precip nebmed tempmax 0.000000 -0.000390 0.000104 -0.015332 0.009215 tempmin -0.000390 0.000000 0.000035 -0.008720 0.000870 tempmed 0.000104 0.000035 -0.000018 0.003171 -0.000927 precip -0.015332 -0.008720 0.003171 -0.000026 0.072404 nebmed 0.009215 0.000870 -0.000927 0.072404 0.000017 e vemos que os valores são próximos de zero, indicando que o modelo fatorial está adequado.

Para determinar o n´umero de fatores podemos obter os autovalores da matriz de correla¸c˜oes estimada:

> ev<-eigen(cor(clima1)) eigen() decomposition values

[1] 2.70399548 1.41461150 0.71677349 0.14576231 0.01885722 mostrando que tomamos 2 fatores, correspondentes aos valores pr´oprios maiores que 1.

(39)

A seguir temos alguns gráficos mencionados anteriormente sobre a determina¸cão do número de fatores.

0.0 0.2 0.4 0.6 0.8 1.0

−0.20.00.20.40.6

Factor1

Factor2

tempmax tempmin

tempmed precip

nebmed

Figura:Gr´afico do fator 1 vs fator 2 para o Exemplo2

(40)

1 2 3 4 5

0.00.51.01.52.02.5

scree plot

component number

Eigen values of components

Figura:Scree plot para Exemplo 2.

(41)

−3 −2 −1 0 1 2 3

−3−2−10123

Biplot from fa

PC1

PC2

tempmax tempmin

tempmed precip

nebmed

−1.0 −0.5 0.0 0.5 1.0

−1.0−0.50.00.51.0

Figura:Biplot para Exemplo 2.

(42)

1 2 3 4 5

0123

Parallel Analysis

Factors

Eigenvalues

Adjusted Ev (retained) Adjusted Ev (unretained) Unadjusted Ev Random Ev

Figura:An´alise Paralela para Exemplo 2.

(43)

1 2 3 4 5

0.00.51.01.52.02.5

Non Graphical Solutions to Scree Test

Components

Eigenvalues

Eigenvalues (>mean = 2 ) Parallel Analysis (n = 2 ) Optimal Coordinates (n = 2 )

Acceleration Factor (n = 1 )

(OC) (AF)

Figura:Solu¸cões não gráficas para Exemplo 2.

(44)

Bartlett, M.S. (1937). The statistical conception of mental factors. British Journal of Psychology, 28, 97-104.

Hastie, T., Tibshirani, R. and Friedman, J. (2017). The Elements of Statistical Learning, 2nd Edition, Springer.

H¨ardle, W.K. and Simar, L. (2015). Applied Multivariate Statistical Analysis.

Springer.

James, G., Witten, D., Hastie, T. and Tibshirani, R. (2017). Introduction to Statistical Learning. Springer.

Morettin, P. A. e Singer, J. M. (2021). Estat´ıstica e Ciˆencia de Dados. Texto Preliminar, IME-USP.

Morrison, D.F. (1976).Multivariate Statistical Methods, 2nd Ed. New York:

McGraw-Hill.

Thurstone, L.L. (1947). Multiple Factor Analysis: A development and expansion of vectors of the mind.. Chicago: University of Chicago Press.