ANÁLISE MULTIVARIADA MAE 5776

(1)

MAE 5776

ANÁLISE MULTIVARIADA

Júlia M Pavan Soler [email protected]

1º Semestre IME/2019

(2)

MAE5776

 

^{n p}

n p ij

X

_

 X 

^

Matriz de Dados: Estatísticas descritivas multivariadas

- Definidas no espaço das colunas (p-vetores n-dimensionais):

- Definidas no espaço das linhas (n-vetores p-dimensionais):

1

, , ,

p p p p p p p

X

_

S

_

R

_

S

^_

 

ij²

^,

Pij²

^,

Mij² n

n

d d d

D

_



Propriedades em Espaços Duais

Matriz Aleatória: Propriedades distribucionais

_{n p}

 

_ij ^{n p}; _{n p} ~ _{n p}



1_n _p ¹; _{np np} _{n n} _{p p}



;

^ ^

1 ~ _np



1_n _p ¹;



X _  X  ^ X _ N _  _  _   _  _ vecX np_ N  _ 

- Estimadores e Distribuições Amostrais sob : Xi_p_₁ ^iid^~ Np



^;

 X

_p_₁

, S

_{p p}_

- Episóides de Concentração e Regiões de Confiança

n p

X

n p_



^

 ^{X X} ^ 

_{p p}_

^

^{p p}^

 ^XX ^ 

_{n n}_

^

^{n n}^

- MANOVA: Decomposição de Matrizes em ^pxp

(3)

Intervalos de Confiança - Regiões de Confiança

(Everitt, 2007)

X1 X2

P

Q

 Valores de ₀  ² iguais a P e Q estão na região de aceitação ou de rejeição de possíveis valores do parâmetro ?

 

1

. a 100(1- )%

/ 2

k

kk

k n

I C

X t s

n

 

 

 

  

    

¹

 ^ _ ^ _

3,(17)

 

; 20 1

20 3

R X ^^ n X  ^S^ X   ^ pF  ^^

   

2 1

T  n X  ^ S^ X 

 

     

2 2

2

2 1

2

(n 1) 1,(n 1)

t X

s n

n X s X

t F



 ^ 

 

 

  

 X



_P₁^, _P₂



^; ^Q



_Q₁^, _Q₂



P      



X_i X

 

^ S^¹ X_i X



  2²

^

0,10

^

 4, 61

 Elipse de concentração:

(4)

MAE5776

Big/Little “n”

Big/Little “p”

Dimensão e Estrutura dos Dados

Casos Clássicos: n > p e observações iid

n: unidade amostral p: variáveis

Casos mais Gerais: n << p e observações iid (soluções regularizadas, penalizadas) n >> p e observações iid (soluções por amostragem, estatísticas suficientes, visualização de dados)

observações estruturadas: dependências (medidas repetidas, dados de famílias)

n p

X

n p_



^

(5)

Big_n: n=500 p=5 (n >> p) Big_p: n=20 p=100 (n << p)

Representação BiPlot

n p

X

n p_



^

(6)

Redução de Dimensionalidade -  ^pxp

 

n p

;

p p

X

_

Cov X  

_



¹ ¹



¹² ²²¹ ²¹

1 11 12 22 21 11 1

11

; ' , ' 1

'

a a

f a a a X a

a a

   

      

 Σ Σ

1/2

;

k k k

Z 

^

F

 

 

( ) 1 2

n p q n p n q

X

_{ }

 X

_

X

_

  ^'

max ; max , ' 1

a a

'

a a

f a a a

a a

     F

_k

 Xa

_k

  ^, ^' ¹

'

; '

1

 



 



^

a a

a a a

f

_w

w b b

w









 '



¹ ¹



²¹ ¹¹¹ ¹²

2 22 21 11 12 22 2

22

; ' , ' 1

'

b b

f b b b X b

b b

   

      

 Σ Σ

 Componentes Principais (PC):

 Análise de Fatores Latentes: solução via PC

 Análise Discriminante (Linear de Fisher):

 Análise de Correlação Canônica:

(7)

Exemplo 1

Exemplo 2

Exemplo 3

Exemplo 4

Exemplo 5

Exemplo 6

Onde estão os vetores reducionistas?

(8)

Componentes Principais – n<<p

Representação Biplot: n=15 p=30

R-SPCA do pacote ElasticNet:

Componentes Principais Esparsos R-prcomp: Componentes Principais

em Espaços Duais

(9)

Um Único BD

Múltiplos BD (Multimodais, Multivisão)

X: Matriz(es) de Dados Y: Respostas de interesse (Classes de doenças ou Variáveis quantitativas)

Análise Não- Supervisionada

Análise Supervisionada

X

1 2

… n

nxp n<<p

P-Integração: mesmas variáveis em diferentes unidades amostrais (estudos multicentros)

Análise Não-Supervisionada

An. Supervisionada

N-Integração de Bancos de Dados

1 2

… n

X nxp

Y

1 2 2 3 1

Y nxq

X₁

1 2

… n

nxp₁ nxp₂

Y

1 2 2 3 1

X₂

nxp_k X_K

…

Y nxq

(10)

1/ 2

n p n n r p p

X

_

 U

_

D V 

_

Soluções via Fatoração do espaço 

^{n x p}

Matriz de Escores

(valores latentes) Matriz de Cargas

(direções de projeção) nxK x Kxp Matriz de dados

n p

: X

_

 F  W F W

Redução de Dimensionalidade e Integração de BD

Soluções via Decomposição do Espaço do espaço 

^{n x p}

Xn p_  H  E

Tabela de MANOVA: Decomposição em ^pxp Decomposição em ^nxp

Realizar as análises (de redução ou integração) em components de X

(11)

Aprendizado de Estruturas – Inferência Causal

n p

X

n p_



^ Aprender/Estimar a Estrutura de Dependência entre entre Variáveis ^pxp

Grafo Gaussiano de Independência Condicional (p=87 variáveis em E. coli.)

Dados multivariados (n>p)

 diagonal (independência)



Não Estruturada

“Aprender” a estrutura de dependência entre variáveis:

 Grafo Não-Direcionado (UDG): Testes de correlação parcial

 Grafo Direcionado (DAG): orientar é descobrir V-estruturas (XZY)

 

~ ;

p iid

X

i

  



ANÁLISE MULTIVARIADA MAE 5776

MAE 5776