Série de Relatórios Técnicos em Ciência da Computação. Num 07/2017 Dezembro IV Escola de Verão do MACC. Thelmo Pontes de Araujo

(1)

Universidade Estadual do Ceará

Av. Dr. Silas Munguba, 1700. CEP: 60.714.903 Fortaleza - Ceará – Brasil

Universidade Estadual do Ceará

UECE

Série de Relatórios Técnicos em Ciência da Computação

Num 07/2017

Dezembro 2017

IV Escola de Verão do MACC

Thelmo Pontes de Araujo

Mestrado Acadêmico em Ciência da Computação

(2)

An´

alise de Componentes Principais

Aula 1

Thelmo de Araujo

(3)

Um Experimento

Iniciemos com um experimento de reconhecimento de faces.

Escolhemos o banco de imagens ORL, suportado pelos Laborat´orios AT&T e pela Universidade de Cambridge.

Nele há 400 imagens monocromáticas de dimensão 92× 112 de 40 faces de indiv´ıduos diferentes em 10 posi¸cões de cabe¸ca cada.

Para compor o conjunto de treinamento, retiramos uma imagem de cada indiv´ıduo de maneira quase aleat´oria: retiramos a primeira imagem dos indiv´ıduos 1, 11, 21 e 31; a segunda imagem dos indiv´ıduos 2, 12, 22 e 32; e assim por diante.

A ilumina¸cão não varia muito, mas variam as expressões faciais, além do uso ou não de óculos (num mesmo indiv´ıduo).

(4)

Um Experimento

Ao experimento...

O computador deve reconhecer cada imagem que n˜ao foi treinada, associando-a `a pessoa correta.

Em∼/uece/cursos/pca/matlab/, fa¸ca:

carregar dados; q = 20;

(5)

Reconhecimento Autom´

atico da Faces

Como um computador reconhece faces humanas? Uma pergunta mais dif´ıcil (acredite) seria:

Como vocˆe reconhece faces humanas?

Para resolver esse problema, devemos:

Apresentar ao computador imagens das pessoas a serem reconhecidas.

Ensinar ao computador como diferenciar pessoas (treinamento).

Definir o que seriam “imagens parecidas”.

(6)

Imagens Digitais

Figura:Imagem Lena 512× 512 em n´ıveis de cinza e amplia¸c˜ao de uma regi˜ao de 25× 25 pixels.

(7)

Imagens Digitais

Um computador “vˆe” a imagem da Lena assim:

Figura:N´ıveis de intensidade da regi˜ao de 25× 25 pixels da imagem original.

(8)

Imagens Digitais

A primeira ideia seria usar diretamente matrizes para representar as imagens.

Mas, quando duas matrizes (imagens) s˜ao parecidas?

Matrizes nos remetem a uma disciplina. Qual?

(9)

´

Algebra Linear

Mas do que trata a ´Algebra Linear?

Simplificadamente, a ´Algebra Linear trata de vetores e suas combina¸c˜oes lineares.

Para quem só os vê na F´ısica da escola, vetores são flechas que representam grandezas caracterizadas por comprimento, dire¸cão e sentido.

(10)

Espa¸cos Vetoriais

Definic¸˜ao

Um espa¸co vetorial consiste de

1 um conjunto n˜ao vazio V , cujos elementos s˜ao chamados de

vetores;

2 um corpo F de escalares;

3 uma opera¸c˜ao, chamada adi¸c˜ao vetorial, que associa dois

vetores u e v em V ao vetor u+ v em V ;

4 e uma opera¸c˜ao, chamada multiplica¸c˜ao por escalar, que

associa um escalar α∈ F e um vetor u ∈ V ao vetor αu em V , que obedecem `as seguintes propriedades, ∀ u, v, w ∈ V e

(11)

Espa¸cos Vetoriais

Definição (continuação)

1 u+ v = v + u (comutativa);

2 u+ (v + w) = (u + v) + w (associativa); 3 existe um (´unico) vetor 0 em V , chamado de vetor nulo, tal

que u+ 0 = u (elemento neutro);

4 existe um (´unico) vetor −u em V tal que u + (−u) = 0

(sim´etrico);

5 (αβ)u = α(βu) (associativa);

6 α(u + v) = αu + αv (distributiva); 7 (α + β)u = αu + βu (distributiva);

(12)

Espa¸cos Vetoriais – Exemplos

S˜ao exemplos de espa¸cos vetoriais:

Os vetores do R2 sobre o corpo dos reais, com as opera¸c˜oes (usuais) de adi¸c˜ao vetorial:

u+ v = [ u1 u2 ] + [ v1 v2 ] = [ u1+ v1 u2+ v2 ] ,

e multiplica¸c˜ao por escalar:

αu= α [ u1 u2 ] = [

αu1

(13)

Espa¸cos Vetoriais – Exemplos

Os vetores do Rn sobre o corpo dos reais, com as opera¸c˜oes (usuais) de adi¸c˜ao vetorial:

u+ v = ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ u1 u2 ⋮ un ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ + ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ v1 v2 ⋮ vn ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ = ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ u1+ v1 u2+ v2 ⋮ un+ vn ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ ,

e multiplica¸c˜ao por escalar:

αu= α ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ u1 u2 ⋮ un ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ = ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ αu1 αu2 ⋮ αun ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ .

(14)

Combina¸c˜

ao Linear

Note que as únicas opera¸cão que definimos num espa¸co vetorial foram a adi¸cão vetorial e a multiplica¸cão por escalar.

Isso nos basta para definir combina¸c˜ao linear de vetores.

Definic¸˜ao

Seja V um espa¸co vetorial. Uma combina¸c˜ao linear dos vetores u1, . . . , un de V ´e um vetor da forma

α1u1+ α2u2+ ⋅ ⋅ ⋅ + αnun,

sendo α1, . . . , αn escalares do corpo de V , com as opera¸c˜oes de

(15)

Combina¸c˜

ao Linear – Exemplo

Por exemplo, o vetor w pode ser escrito como uma combina¸c˜ao linear dos vetores u e v:

w=⎡⎢⎢⎢ ⎢⎢ ⎣ 2 3 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ = 2⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ + 3⎡⎢⎢⎢ ⎢⎢ ⎣ 0 1 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ = 2u + 3v .

(16)

Vetores e Imagens

Mas, o que as imagens tˆem a ver com vetores?

Podemos tratar uma imagem M× N como um vetor com MN componentes, concatenando suas colunas.

Esse processo nos permite considerar imagens como vetores em um espa¸co vetorial, que sabemos manipular por meio das t´ecnicas de ´algebra linear.

Entretanto, isso nos leva a espa¸cos de dimens˜oes muito elevadas, por exemplo, uma imagem 512× 512 ´e um vetor no R262144.

(17)

Metodologia do Experimento

Voltando ao nosso experimento, a metodologia usada foi a seguinte.

A matriz de dados foi composta, alinhando-se as colunas de cada imagem para formar um vetor(-coluna) com 112× 92 = 10304 coordenadas. Essa matriz tem dimens˜ao 10304× 400 e foi normalizada para que seus elementos estejam no intervalo[0, 1]. Para compor o conjunto de treinamento, retiramos uma imagem de cada indiv´ıduo de maneira quase aleat´oria: retiramos a primeira imagem dos indiv´ıduos 1, 11, 21 e 31; a segunda imagem dos indiv´ıduos 2, 12, 22 e 32; e assim por diante.

Foi ent˜ao composta a matriz de dados de treinamento X de dimens˜ao 10304× 360.

(18)

Treinamento

Conseguimos “resolver” nosso primeiro problema:

Apresentar ao computador imagens das pessoas a serem reconhecidas.

Quem diria que vetores com mais de trˆes coordenadas seriam ´uteis um dia...

Voltemo-nos ao nosso segundo problema: Como ensinar o computador a diferenciar pessoas.

(19)

Comprimento e Distˆ

ancia

Qual vetor ´e mais “parecido” com o vetor v?

v u w

(20)

Comprimentos e Distˆ

ancias

Se observarmos as distˆancias entre as pontas dos vetores,

v u w

dist(u, v) dist(w, v)

(21)

Comprimentos e Distˆ

ancias

Notemos, ainda, que as distˆancias entre as pontas dos vetores s˜ao. . . v u w u− v w− v

os comprimentos dos vetores diferen¸cas, i.e.,

(22)

Norma

No R3, com a ajuda da geometria anal´ıtica, ´e f´acil conceber o comprimento de um vetor.

No Rn, isso complica e precisamos de uma defini¸c˜ao mais geral do an´alogo do comprimento.

Definic¸˜ao

Uma norma em um espa¸co vetorial V é uma fun¸cão que associa a cada vetor v∈ V um número real não negativo ∥v∥, satisfazendo, para quaisquer u, v∈ V e qualquer escalar α, as propriedades:

1 ∥u∥ ≥ 0, com ∥u∥ = 0 se, e somente se, u = 0; 2 ∥αu∥ = ∣α∣∥u∥;

(23)

Norma Euclidiana

Neste minicurso, s´o usaremos a norma euclidiana para vetores no Rn, definida por:

∥u∥ =√u₁2+ u2₂+ ⋅ ⋅ ⋅ + u2 n.

Ent˜ao, por exemplo, a norma de u= [1 2 − 1]T ´e: ∥u∥ =√(1)2+ (2)2+ (−1)2=√_{6 .}

A distˆancia euclidiana entre dois vetores u e v em Rn ´e definida por:

(24)

Experimento – Distˆ

ancias

Calculemos a distˆancia entre duas imagens de uma mesma pessoa em nosso banco de imagens:

load orl data

norm(I(:,1) - I(:,7))

E entre duas imagens de pessoas diferentes:

norm(I(:,1) - I(:,17))

(25)

Experimento – Distˆ

ancias

Mas...

norm(I(:,1) - I(:,2)) norm(I(:,1) - I(:,17))

Note que a distˆancia entre imagens de pessoas diferentes foi menor que entre duas imagens da mesma pessoa!

Não podemos usar um método tão ingênuo assim...

(26)

Subespa¸cos Vetoriais

Definic¸˜ao

Um subconjunto n˜ao vazio U do espa¸co vetorial V ´e dito um subespa¸co vetorial de V se, para quaisquer u e v em U e qualquer escalar α,

1 _u+ v ∈ U e 2 αu∈ U,

(27)

Subespa¸cos Vetoriais – Exemplos

Assim, o plano xy ´e um subespa¸co vetorial do R3. A reta y= 2x ´e um subespa¸co vetorial do R2,

mas a reta r dada pela equa¸cão y = 2x + 1 não é um subespa¸co vetorial do R2, pois, u∈ r, v ∈ r, mas:

u+ v = [ 0 1 ] + [ 1 3 ] = [ 1 4 ] ∉ r .

(28)

Subespa¸co Gerado

Definic¸˜ao

Seja S um subconjunto de vetores de um espa¸co vetorial V . O subespa¸co vetorial gerado pelos vetores de S (ou por S ) ´e o conjunto de todas as combina¸c˜oes lineares

α1u1+ α2u2+ ⋅ ⋅ ⋅ + αnun

de vetores de S . Alternativamente, dizemos que S gera o subespa¸co U se todo vetor u em U puder ser escrito como uma combina¸c˜ao linear de vetores em S .

Por exemplo, os vetores

u=⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ e v=⎡⎢⎢⎢ ⎢⎢ ⎣ 0 1 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦

(29)

Independˆ

encia Linear

Definic¸˜ao

Dizemos que os vetores u1, . . . , un s˜ao linearmente independentes

(abreviadamente, L.I.) se

α1u1+ ⋅ ⋅ ⋅ + αnun= 0

somente quando α1= α2= ⋅ ⋅ ⋅ = αn= 0. Caso contr´ario, eles s˜ao

linearmente dependentes (abreviadamente, L.D.).

Por exemplo, tomando os vetores u= [1 0 0]T, v= [0 1 0]T e w= [2 3 0]T, observamos que

α1u+ α2v= 0

(30)

Independˆ

encia Linear

De fato, o sistema ⎡⎢ ⎢⎢ ⎢⎢ ⎣ ∣ ∣ u v ∣ ∣ ⎤⎥ ⎥⎥ ⎥⎥ ⎦ [ α1 α2 ] = ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 1 0 0 1 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ [ α1 α2 ] = ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 0 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ tem solu¸cão única α1= α2= 0. Ou seja u e v são vetores L.I.

De forma análoga, podemos concluir que u e w são L.I. e v e w são L.I.

Mas u, v e w n˜ao s˜ao L.I., mas linearmente dependentes, pois

2u+ 3v − 1w = 2⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ + 3⎡⎢⎢⎢ ⎢⎢ ⎣ 0 1 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ − 1⎡⎢⎢⎢ ⎢⎢ ⎣ 2 3 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ =⎡⎢⎢⎢ ⎢⎢ ⎣ 0 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ = 0 .

(31)

Base

Definic¸˜ao

Um conjunto n˜ao vazio S de vetores (de V ) ser´a chamado de base do espa¸co vetorial V se

1 os vetores de S forem linearmente independentes e 2 os vetores de S gerarem V .

O conjunto vazio ´e a base do subespa¸co trivial span{0}.

Exemplo: A base mais simples do Rn ´e a base canˆonica, formada pelos n vetores da forma

e1= ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ 1 0 0 ⋮ 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ , e2= ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ 0 1 0 ⋮ 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ , . . . , en= ⎡⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎢⎢ ⎣ 0 0 ⋮ 0 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎥⎥ ⎦ .

(32)

Base – Exemplo

O vetor v= [2 − 3]T do plano, por exemplo, é a seguinte combina¸cão linear dos vetores da base canônica do R2:

v= [ 2 −3 ] =2[ 1 0 ] − 3 [ 0 1 ] .

(33)

Base Ordenada

Definic¸˜ao

Diz-se que uma baseB de um espa¸co vetorial de dimensão finita é uma base ordenada, se os elementos deB são considerados em uma ordem fixa (isto é, primeiro elemento, segundo elemento etc.).

Podemos considerar a base canˆonica{e1, e2, e3} como uma base

ordenada do R3, bem como os vetores ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 1 1 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ , ⎡⎢⎢⎢ ⎢⎢ ⎣ 1 2 3 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ e ⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 −2 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ .

(34)

Coordenadas de um Vetor

Definic¸˜ao

SejaB = {u1, u2, . . . , un} uma base ordenada de um espa¸co vetorial

V de dimens˜ao finita. Se

v= α1u1+ α2u2+ ⋅ ⋅ ⋅ + αnun,

ent˜ao os escalares α1, α2, . . . , αn s˜ao as coordenadas do vetor

v∈ V em rela¸c˜ao `a base ordenada B.

Então, 2, 3 e−1 são as coordenadas do vetor w = [2 3 − 1]T em rela¸cão à base canônicaC do R3, pois:

⎡⎢ ⎢⎢ ⎢⎢ ⎣ 2 3 −1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ = 2⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ + 3⎡⎢⎢⎢ ⎢⎢ ⎣ 0 1 0 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ − 1⎡⎢⎢⎢ ⎢⎢ ⎣ 0 0 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ .

(35)

Base Ordenada

Assim como−9, 6 e 5 são as coordenadas desse mesmo vetor em rela¸cão à base ordenada:

B =⎧⎪⎪⎪_⎨⎪⎪ ⎪⎩ ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 1 1 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C , ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 1 2 3 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C , ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 1 0 −2 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C ⎫⎪⎪⎪ ⎬⎪⎪ ⎪⎭. De fato, ⎡⎢ ⎢⎢ ⎢⎢ ⎣ −9 6 5 ⎤⎥ ⎥⎥ ⎥⎥ ⎦B = −9⎡⎢⎢⎢ ⎢⎢ ⎣ 1 1 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C + 6⎡⎢⎢⎢ ⎢⎢ ⎣ 1 2 3 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C + 5⎡⎢⎢⎢ ⎢⎢ ⎣ 1 0 −2 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C =⎡⎢⎢⎢ ⎢⎢ ⎣ 2 3 −1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C .

(36)

Base Ordenada de um Subespa¸co Vetorial

No caso do vetor v pertencente ao subespa¸co do R3 com base ordenada B =⎧⎪⎪⎪_⎨⎪⎪ ⎪⎩ ⎡⎢ ⎢⎢ ⎢⎢ ⎣ 0 2 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C ,⎡⎢⎢⎢ ⎢⎢ ⎣ 3 3 5 ⎤⎥ ⎥⎥ ⎥⎥ ⎦C ⎫⎪⎪⎪ ⎬⎪⎪ ⎪⎭ e dado por v= 1⎡⎢⎢⎢ ⎢⎢ ⎣ 0 2 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ + 1⎡⎢⎢⎢ ⎢⎢ ⎣ 3 3 5 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ ,

suas coordenadas s˜ao 1, 1 e 0, pois:

v=⎡⎢⎢⎢ ⎢⎢ 1 1 ⎤⎥⎥⎥ ⎥⎥ = 1 ⎡⎢ ⎢⎢ ⎢⎢ 0 2 ⎤⎥⎥⎥ ⎥⎥+ 1 ⎡⎢ ⎢⎢ ⎢⎢ 3 3 ⎤⎥⎥⎥ ⎥⎥+ 0 ⎡⎢ ⎢⎢ ⎢⎢ ∗ ∗ ⎤⎥⎥⎥ ⎥⎥,

(37)

Base Ordenada de um Subespa¸co Vetorial

n˜ao importando o vetor escolhido para completar uma base do R3. Ent˜ao, se conhecermos uma base de uma dado subespa¸co vetorial, podemos representar seus vetores utilizando somente as

coordenadas associadas aos vetores da base do subespa¸co.

No exemplo anterior, podemos representar v por:

v= [ 1 1 ] B = 1⎡⎢⎢⎢ ⎢⎢ ⎣ 0 2 1 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ + 1⎡⎢⎢⎢ ⎢⎢ ⎣ 3 3 5 ⎤⎥ ⎥⎥ ⎥⎥ ⎦ .

Isso é um tipo de compressão de dados, pois “economizamos” a quantidade de informa¸cão (coordenadas) a ser processada.

(38)

Bibliografia I

Math is Fun – Correlation.

http://www.mathsisfun.com/data/correlation.html.

Accessado em: 2014-09-05.

James E. Gentle.Matrix Algebra: Theory, Computations, and Applications in Statistics.Springer, New York, 2007.

William W. Hines, Douglas C. Montgomery, David M. Goldsman, and Connie M. Borror.Probabilidade e Estat´ıstica na Engenharia.

LTC, Rio de Janeiro, 4a_{edition, 2006. Trad. Vera Regina Lima de}

Farias e Flores.

Ian T. Jolliffe.Principal Component Analysis.Springer-Verlag, New York, 2nd _{edition, 2010.}

(39)

Bibliografia II

Heysem Kaya, Pınar T¨ufekci, and Sadık Fikret G¨urgen.Local and global learning methods for predicting power of a combined gas & steam turbine.In Proceedings of the International Conference on Emerging Trends in Computer and Electronics Engineering ICETCEE 2012, pages 13 – 18, 2012.

Gilbert Strang.Linear Algebra and Its Applications. Harcourt, Orlando, Fl, 3 edition, 1998.

Lloyd N. Trefethen and David Bau, III.Numerical Linear Algebra.

SIAM, Philadelphia, 1997.

Pınar T¨ufekci. Prediction of full load electrical power output of a base load operated combined cycle power plant using machine learning methods.International Journal of Electrical Power & Energy Systems, 60(0):126 – 140, 2014.

(40)

PCA e Redu¸c˜

ao de Dimensionalidade

Fim

Estas notas est˜ao dispon´ıveis na p´agina

http://sites.google.com/site/thelmodearaujo/⤸