Aula9Tratamento Dados IV[MododeCompatibilidade]

(1)

Universidade Federal de Pernambuco Centro de Tecnologia e Geociênciasg Departamento de Engenharia Química

TRATAMENTO DE DADOS

MULTIVARIADOS IV

MULTIVARIADOS - IV

Prof. Fernanda A. Honorato 2011.2

(2)

ROTEIRO ROTEIRO ROTEIRO ROTEIRO

Tratamento

Tratamento dede dadosdados multivariadosmultivariados

- Pré-processamentos;p ;

- Calibração Multivariada;

- Controle de Qualidade da Calibração;Q ç ; - Validação;

(3)

TRATAMENTO DE DADOS TRATAMENTO DE DADOS Et t t t d d d lti i d Et t t t d d d lti i d TRATAMENTO DE DADOS TRATAMENTO DE DADOS

Etapas para tratamento de dados multivariados Etapas para tratamento de dados multivariados

- Exame dos dados; - Exame dos dados;

- Pré-processamentos (quando necessário); - Estimar o modelo;Estimar o modelo;

- Exame dos resultados/validação do modelo; - Uso do modelo para previsão;Uso do modelo para previsão;

(4)

PRÉ

(5)

PRÉ PRÉ--PROCESSAMENTOSPROCESSAMENTOS PRÉ PRÉ PROCESSAMENTOSPROCESSAMENTOS Ex.: Ex.: Faixa de trabalho

(6)

PRÉ PRÉ--PROCESSAMENTOSPROCESSAMENTOS PRÉ PRÉ PROCESSAMENTOSPROCESSAMENTOS Pré Pré--processamentosprocessamentos

¾ Qualquer manipulação matemática prévia dos dados antes da modelagem

pp

modelagem.

¾Visa remover ou reduzir fontes de variação irrelevantes para o objetivo da modelagem 1. 1. SuavizaçãoSuavização: j g 9 Minimizar o ruído; 1.1. Média Móvel

(7)

1.1. Média Móvel 1 1,2

∑

− = + = p p j j i j novo i c x x ₍ ₎ 0 2 0 0,2 0,4 0,6 0,8 1 4 7 10 13 16 19 22 25 28 p j -0,4 -0,2 ₁ ₄ ₇ ₁₀ ₁₃ ₁₆ ₁₉ ₂₂ ₂₅ ₂₈ 1 3 t

¾ Substitui o valor do ponto central do intervalo pelo valor médio do intervalo

Janela 3 pontos: p =1, c_j = 1/3 _0,20,4 0,6

0,8 3 pontos

intervalo pelo valor médio do intervalo

Tamanho da janela

¾ grande demais perda de sinal e resolução

-0,2 0

1 4 7 10 13 16 19 22 25 28

¾ grande demais - perda de sinal e resolução ¾ pequena demais - ruído se mantém

0 2 0,4 0,6 0,8

5 pontos

Desvantagem: aproximação linear para os

pontos (distorce o sinal original) -0,2 0 0,2

(8)

PRÉ

PRÉ--PROCESSAMENTOSPROCESSAMENTOS

1.2 Filtro de Savitsky-Golay

PRÉ

PRÉ PROCESSAMENTOSPROCESSAMENTOS

Modelos quadráticos ou cúbicos

Melhores aproximações no centro dos picos

Janela de 7 pontos – filtro cúbico

3 2 i b i b i b b ^

Janela move se ao longo dos dados ponto por ponto

3 3 2 2 1 0 b i b i b i b x_i = + + + 9Cálculo demorado 9S i k G l 1964 d fi i

Janela move-se ao longo dos dados, ponto por ponto

(9)

PRÉ

PRÉ--PROCESSAMENTOSPROCESSAMENTOS PRÉ

Gasolinas do NE – NIR (percurso ótico de 1 mm)

SG 7 pontos SG 7 pontos

SG 11 pontos

(10)

22.. DerivadasDerivadas

9 Melhoram a resolução (removem deslocamentos constantes e 9 Melhoram a resolução (removem deslocamentos constantes e variação linear da linha de base)

Original 1a _derivada (sinais diferentes do espectro original) 2a _derivada (sinais semelhantes/ mais complexos)p )

(11)

9 Minimizam efeitos de linha de base st = s + (a + bx) st´ = s´ + (0 + b) st´´ = s´´ + (0 + 0) Sinal original Primeira derivada

Segunda deri ada

st = s + (0 + 0) Segunda derivada

Efeito aditivo

Efeito linear Efeito linear

(12)

PRÉ

22 11 CálculoCálculo porpor diferençasdiferenças

PRÉ

22..11 CálculoCálculo porpor diferençasdiferenças

Primeira derivada em λ = w (xw – xw 1) Primeira derivada em λ = w (xw xw-1) S d d i d ( ) ( ) Segunda derivada em λ = w (xw+1 – xw) - (xw – xw-1) x_w+1 – 2x_w – y_{w 1} x_w+1 2x_w y_w-1 Desvantagens •Trabalhoso •Aumenta o ruído Suavizar

(13)

PRÉ

2.2 Cálculo por

2.2 Cálculo por SavitzkySavitzky--GolayGolay

PRÉ

s = a + bx + cx2 _{s´ = b + 2cx}2 _{s´´ = 2c}

Efeito do tamanho da janela Efeito do tamanho da janela

21 21 11 11 7 11 7 7 3 ₃

(14)

Original

SG

SG, 11 pontos

Primeira derivada

S d d i d

(15)

PRÉ

33..CorreçãoCorreção multiplicativamultiplicativa dodo sinalsinal -- MSCMSC ((MMultiplicativeultiplicative SignalSignal CorrectionCorrection))

9 Correção de efeitos aditivos e multiplicativosç p

9 Espalhamento – comum em pós, grãos, suspensões 9 Vantagens – mantém espectro original

- pode simplificar o modelo de calibração - pode melhorar a linearidade

(16)

PRÉ

Modelo MSC para cada espectro

ik k i i ik a b x e x = + +

i- número da amostra k – comprimento de onda

a_i– efeito aditivo bi – efeito aditivo

Média de todas as amostras naquele λ

∑

= = N i ik k x N x 1 1

a_i e b_i - estimados individualmente para cada amostra usando todos ou um subconjunto de λ

um subconjunto de λ

e_ik – todos os efeitos no espectro que não podem ser modelados por uma constante aditiva e multiplicativa

(17)

PRÉ

¾ Usar uma faixa de λ que não tem informação

PRÉ

química

¾ Cada espectro x espectro médio – estimam-se e b a_ie b_i ¾ Faz-se a correção MSC Completa i i ik novo ik b a x x ₍ ₎ = − Após MSC Linear i ik novo ik x a x ₍ ₎ = − Multiplicativa ik novo ik b x x ₍ ₎ = b

(18)

PRÉ

4.Centrar na média e auto escalonar 4.Centrar na média e auto escalonar

no 1 Subtrai o valor de _{d l} _d Centrar na média no i ij j x no x = ∑ =1 1 _{cada elemento do}

vetor coluna pelo valor médio dos j

ij c

ij x x

x ₍ ₎ = − elementos dessa coluna.

Auto escalonar

x

_ij

−

x

_j

Os valores originais em cada coluna são

bt íd d

x

s

ij as ij j j

( )

=

_{respectivas médias}subtraídos das

e divididos pelo desvio padrão

(19)

PRÉ

S édi C d édi

(20)

PRÉ

5 Pré

5 Pré processamentos nos objetosprocessamentos nos objetos 5. Pré

5. Pré--processamentos nos objetosprocessamentos nos objetos

x_ij= x_ij

x_i

Normalização pela média

x_ij= x_ij

Max |x | Normalização pelo valor máximo Max |x_i|

x_ij= x_ij

Max (x_i) - Min (x_i)

(21)

CALIBRAÇÃO

MULTIVARIADA

(22)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA

CALIBRAÇÃO UNIVARIADA

CALIBRAÇÃO UNIVARIADA _{Em λi}

Ai

Ad

λi _Cd

Comprimento de onda _{Concentração dos padrões(x)}Cd

y = b_o + b₁x + ε x = (y – b_o) /b₁

Calibração

^ _Previsão

(23)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Matematicamente: CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA 11 12 1 p x x x ⎡ ₁₁ ₁₂ _L ₁ ⎤ 21 22 2 p p ij x x x x ⎡ ⎤ ⎢ ⎥ ⎢ _{⎥ ⎡ ⎤} = _{= ⎣ ⎦} ⎢ ⎥ X L M M O M 1 2 n n n p x x x ⎣ ⎦ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ M M O M L

MATRIZ: n objetos (linhas) e p variáveis (colunas) Dimensão n×p

ij

x

_ij Linha i, coluna j

(24)

y₁ 1 x1 b0 ε1 y₁ y₂ y₃ 1 x₁ 1 x₂ 1 x₃ b₀ b₁ ε₁ ε₂ ε₃ = ₊ 3 . . . . . . = ₊ . y_n . 1 x_n . ε_n y = X b + ε Notação matricial _y _ε b = (X´X)-1X´y y = X b x ^ ^ ε = y - y^

(25)

X b + b (X´X) 1X´ Regressão Linear Múltipla (MLR)

y = X b + ε b = (X X)-1X y ε = y - y y = X b ^ ^ Comprimento de onda y₁ y₂ y₃ x₁₁x₁₂x₁₃. . . x_1p x₂₁x₂₂x₂₃. . . x_2p x x x x b₁ b₂ b₃ ε₁ ε₂ ε₃ y₃ y₄ . x₃₁x₃₂x₃₃. . . x_3p x₄₁x₄₂x₄₃. . . x_4p . b₃ . . 3 ε₄ . = + . . y_n . . x_n1x_n2x_n3. . . x_np . b_p . . ε_n

(26)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA MODELAGEM R íd

Dados

Modelo

Resíduos

Modelo: Parte relevante/sistemática (Sinal)

(27)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA O QUE É CALIBRAÇÃO ? O QUE É CALIBRAÇÃO ? O QUE É CALIBRAÇÃO ? O QUE É CALIBRAÇÃO ?

Desenvolver, validar e usar um modelo para fazer previsões de , p p determinados dados (em geral valiosos, demorados e difíceis de medir (Y) a partir de outros dados, em geral de fácil obtenção (X)

Por exemplo:

9 Usar espectros NIR (X) para prever características de umUsar espectros NIR (X) para prever características de um produto ou processo (Y).

(28)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Matematicamente: X y Modelo Equação

(29)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA

Modelos deixam resíduos:

ˆ

_Modelo

_y

X

Resíduos ^ X X E = − ^ y y f = y − y f

(30)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Modelos têm limites Modelos têm limites Modelos têm limites Modelos têm limites

9 Um modelo não pode ser melhor que os dados usados para construí-lo

9 Um modelo só pode tentar explicar aquilo que pode ser 9 Um modelo só pode tentar explicar aquilo que pode ser explicado

9 Sobreajuste (Overfitting) – O modelo tenta explicar mais do que pode

9 Subajuste (Underfitting) – O modelo não consegue explicar tudo o que poderiaq p

(31)

Etapas de uma calibração

Etapas de uma calibraçãopp çç

1 – Definição do problema:

• Quais as medidas? • Qual a população?

• Otimização das medidas

2 – Seleção das amostras p/coleta dos dadosç p 3 – Realização das determinações

(32)

Etapas de uma calibração Etapas de uma calibração

4 – Análise exploratória dos dados

p ç p ç 5 – Desenvolvimento do modelo 6 – Validação do modelo 7 – Implantação na rotina 8 – Monitoramento/Atualizaçãoç

(33)

4 – Análise exploratória dos dados • Estatísticas básicas

• Gráficos de linhaG á cos de a

• Diagramas de dispersão • Histogramas

• Gráficos normais • Gráficos matriciais

P j ã iá i l

(34)

5 – Desenvolvimento do modelo 5 Desenvolvimento do modelo

• Seleção do conjunto de calibração • Escolha do método

(35)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Matematicamente: Matematicamente: X X Conjunto de calibração y Modelo Modelo

Conjunto de teste

ˆy

(36)

O conjunto de calibração ideal O conjunto de calibração ideal

Representativas de todos os componentes químicos esperados Contém amostras...

... Representativas de todos os componentes químicos esperados nas amostras desconhecidas

... Com faixas de variação dos y’s excedendo a variação esperada nas amostras desconhecidas

...Com valores de y uniformemente distribuídos em toda a amplitude de variação

a p tude de va ação

...Em número suficiente para dar confiabilidade ao modelo de lib ã

(37)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Quantas amostras? Quantas amostras?

¾ Depende da complexidade das amostras e do modelo de calibração

calibração

ASTM – E1655 – 0, excluindo anomalias: ASTM E1655 0, excluindo anomalias:

K ≤ 3 n ≥ 24

Amostras de calibração Variáveis X

(38)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Quantas amostras? Quantas amostras? Q Q K > 3 n ≥ 6(K+1)

Portanto: Só se pode determinar se um certo conjunto de calibração é adequado depois de desenvolver um modelo baseado nele.

(39)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA ESCOLHA DO MÉTODO ESCOLHA DO MÉTODO ESCOLHA DO MÉTODO ESCOLHA DO MÉTODO

¾ Regressão linear múltipla (MLR)

¾ Regressão em componentes principais (PCR)

(40)

Regressão linear simples Regressão linear simples

X Modelo y Equação x Equação x b b y ₀ ₁ ^ + = Vetor Vetor Vetor Vetor

(41)

Ajuste por mínimos quadrados

Ajuste por mínimos quadradosjj pp qq

95 95 95 95 95 75 85 75 85 75 85 i y75 85

{

i y 75 85

{

y y 65 y 65 y 65 i y y 65

{

ˆy_i i e i y y 65 75

{

ˆy_i i e i y 55 55 55 55 55 i y x 38 42 46 50 54 58 62 45 x 38 42 46 50 54 58 62 45 x 38 42 46 50 54 58 62 45 i x x 38 42 46 50 54 58 62 45 i x x 38 42 46 50 54 58 62 45 i x x

(42)

Regressão linear múltipla Regressão linear múltipla

k k x b x b x b b y = ₀ + ₁ + ₂ ₂ + ... + ^

Combinação linear dos valores das variáveis x_i, com pesos dados por b_i

(43)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Qualidade do ajuste Qualidade do ajuste

Erro médio quadrático de calibração (root mean square error of calibration)

Q j Q j 2

ˆ

(

−

)

∑

nC i cal i cal

y

(root mean square error of calibration)

, , 1

(

)

1

=

− −

∑

i cal i cal i C

y

RMSEC

n

K

ˆ

(

−

)

∑

nC

y

1

(

)

1

=

−

=

− −

∑

i i i C C

y

Bias

n

K

Tendência C

(44)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Qualidade do ajuste Qualidade do ajuste Q j Q j

Erro padrão de desempenho (standard error of performance)

2 ˆ ( )

∑

nC y y Bias 1 ( ) 1 = − − = − −

∑

i i i C y y Bias SEC n_C K 2 2 2 R M S E C = S E C + B ias

(45)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Dois problemas: Dois problemas: Falta de seletividade:

Nenhuma das variáveis x isoladamente tem informação Nenhuma das variáveis x_i isoladamente tem informação suficiente para prever o valor de y

Colinearidade:

(46)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Solução: Solução:

¾ Regressão em componentes principais (PCR)

¾ Regressão por mínimos quadrados parciais (PLS) ¾ Regressão por mínimos quadrados parciais (PLS)

(47)

Relação entre duas variáveis Relação entre duas variáveis Relação entre duas variáveis Relação entre duas variáveis

0.16 0.16 0.160.16 0 12 0 12 0 12 i x − x 0 12 i x − x V olume 0.12 Vol u me 0.12 + Vol u m e 0.12 + Vol u m e 0.12 + i y − y V 0.08 0.08 0.08_0.08 Peso 0.10 0.15 _Peso0.20 0.25 0.10 0.15 0.20 0.25 Peso 0.10 0.15 0.20 0.25 Peso 0.10 0.15 0.20 0.25

(48)

Relação entre duas variáveis Relação entre duas variáveis

( )( ) 1 ( ) Cov x y =

∑

x − x y − y Covariância _{( , )} ( )( ) 1 i i Cov x y x x y y N = − − −

∑

1 ( , ) 1 i i x x y y r x y N ⎛ ⎞ ⎛ − ⎞ − = _⎜ _⎟⎜_⎜ _⎟_⎟ ⎝ _⎠⎝ _⎠

∑

Coeficiente de correlação Coeficiente de correlação ₁ x y N −

∑

⎜_⎝ s ⎟⎜_⎠⎝ s ⎟_⎠ Coeficiente de correlação Coeficiente de correlação 1 r x y( , ) 1 − ≤ ≤ +

(49)

Relação entre duas variáveis Relação entre duas variáveis

A variância de uma variável é uma medida de sua _{informação,} mede a dispersão dos valores em torno da média.

A covariância entre duas variáveis é uma medida da

redundância da informação. É uma medida da co-dispersão, ou

seja, a tendência de duas variáveis se desviarem ao mesmo tempo para o mesmo lado da média.

Desvantagem: A covariância depende da unidade Desvantagem: A covariância depende da unidade.

(50)

Análise de Componentes Principais

O que é uma PCA? O que é uma PCA?

9 U é i d j ã d á i d i f ã í i

9 Uma técnica de projeção do máximo de informação no mínimo de dimensões não correlacionadas

Decomposição de uma matriz de dados em eixos ortogonais de máxima variância

Projeção do máximo de informação no mínimo de dimensões não correlacionadas

(51)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA x _{C 2} CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA x₂ CP 1 CP 2 i

Pesos (loadings) –

Co-senos dos ângulos que as componentesp principaisp p fazem com os eixos das variáveis.

Escores – Coordenadas dos

objetos no sistema de eixos definido pelas CP’s.

x₁ x₁

(52)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Variáveis originais 14 16 12 Mn ( ug/ L) 8 10 4 6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2 2.4 2.6 2.8 3.0 2 4 Cu (ug/L)

(53)

PC2 1 2 PC1 0 1 e s c al ona do -1 Mn a u to e -2 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 Cu autoescalonado

(54)

PC2

Escores – coordenadas dos

objetos nos eixos das PCs

PC2 2 PC1 1 n ad o PC1 0 M n au to es c a lo n -1 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 Cu autoescalonado -2 Cu autoescalonado

(55)

PC2 Pesos (loading) – co-senos dos

ângulos entre o eixo PC e as ângulos entre o eixo PC e as

variáveis originais 2 o PC1 0 1 s ca lo n a d o -1 0 n aut o e s -2 M -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 Cu autoescalonado

(56)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Quem são as Quem são as PC’sPC’s Quem são as Quem são as PC sPC s

PC1: Eixo de máxima variância

PC2: De máxima variância, ortogonal a PC1

PC3: De máxima variância ortogonal a PC1 e PC2

, g

PC3: De máxima variância, ortogonal a PC1 e PC2

PCk: De máxima variância, ortogonal ao espaço das k-1, g p ç primeiras componentes

(57)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Para cada PC: Para cada PC:

λ

V iâ i li d l t k Para cada PC: Para cada PC: k

λ

Variância explicada pela componente k k

v

Pesos (loadings): co-senos dos ângulos que o eixo PC_k k _{faz com os eixos originais}

k

(58)

Para que serve uma PCA? Para que serve uma PCA?

Redução da dimensionalidade

Para que serve uma PCA? Para que serve uma PCA?

Redução da dimensionalidade

Reconhecimento de padrões Detecção de anomalias

Separação sinal ruído

Separação sinal-ruído Seleção de variáveis Classificação

(59)

0.5

Biodiesel - MIR

0.3 0.4 Soja Gordura 0.1 0.2 Gordura Mamona -0.1 0 4000 3500 3000 2500 2000 1500 1000 500

DAEM100EG100ES100OM100OG100OS100

Samples DAEM100EG100ES100OM100OG100OS100

(60)

Misturas biodiesel/diesel

DE DE DE

Adulterações com óleo in natura

0.4 0.6 _Petrodiesel DO DEO 0.4 0.6 _Petrodiesel DO DEO 0.4 0.6 0.4 0.6 _Petrodiesel DO DEO 0.2 2 0.2 2 0.2 0.2 2 -0.2 0.0 PC 2 -0.2 0.0 PC 2 -0.2 0.0 -0.2 0.0 PC 2 -0.4 -0.4 -0.4 -0.4 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 -0.6 PC 1 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 -0.6 PC 1 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 -0.6 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 -0.6 PC 1

(61)

Óleo lubrificante - NIR

% variância NOVOS _{PC 1} _99.062 PC 2 99.877 PC 3 99.984 PC 4 99 997 NOVOS MÉDIO USO PC 4 99.997

(62)

Regressão em Componentes Principais (PCR) Regressão em Componentes Principais (PCR)

1. PCA na matriz X

2. Regressão das variáveis y nos escores obtidos na PCA

(63)

Regressão por Mínimos Quadrados Parciais (PLS) Regressão por Mínimos Quadrados Parciais (PLS)

9 Semelhante à PCR, mas os escores são escolhidos de modo a, maximizar a covariância entre X e y

(64)

Quantas componentes devemos manter? Quantas componentes devemos manter?

9 %de variância descrita (ex. 90%)

9 Inspeção dos gráficos dos escores e loadings aletórios, depois de toda a informação relevante ser incluída no modelo

9 _{Validação cruzada (cross validation):}

- Parte dos dados é usada para modelar e a parte restante para validar - N0 _{de componentes que minimiza o erro de previsão de CV}

Menor RMSECV Modelo Previsão

RMSECV Modelo

(65)

9 Conjunto de teste

Conjunto de treinamento e conjunto de teste Conjunto de treinamento e conjunto de teste

N0 _{de componentes que minimiza o erro de previsão do conjunto} de teste

9 Variância residual versus número de CP

RMSEP

CP n0

(66)

CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA Outliers Outliers CALIBRAÇÃO MULTIVARIADA CALIBRAÇÃO MULTIVARIADA

Leverage e resíduo em X altos

Al íd X

L lt

Alto resíduo em X

Leverage alto

(67)

Ex.: Determinação

Ex.: Determinação de MON / RONde MON / RON

(68)

Gasolina

Gasolina-- RONRON

sem outiliers, sem pre-processamento, CV, 4 fatores, d d l t

(69)

Gasolina

Gasolina -- RONRON sem

sem outiliersoutiliers, sem pré, sem pré--processamento, CVprocessamento, CV, ,

4

(70)

Previsões com o número de componentes selecionado por CV (sem amostras de previsão) selecionado por CV (sem amostras de previsão)

(71)

Previsões Previsões Previsões Previsões

(72)

Amostra Previsto Desvio Referência

Previsões Previsões

Amostra Previsto Desvio Referência

CE 005 93.236 0.358 93.300 CE 002 94.128 0.387 94.200 CE 001 94 288 0 484 94 400 CE 001 94.288 0.484 94.400 RN 013 94.479 0.499 94.200 CE 029 94.642 0.281 94.300 CE 031 94.708 0.182 94.600 CE 031 94.708 0.182 94.600 CE 030 94.880 0.183 94.800 CE 022 94.989 0.290 95.000 RN 027 95.075 0.237 94.700 RN 003 95.437 0.275 95.300 RN 967 95.536 0.228 95.500 RN 029 95.619 0.500 96.000 RN 965 95.745 0.184 95.600 BA 198 96.281 0.263 96.200 CE 212 96.319 0.333 95.800 PE 391 96.417 0.398 96.400 RN 963 96.483 0.299 96.000 EP (0 ) d b l d d (0 0) EP (0 ) d b l d d (0 0)

RMSEP (0,27) < Reprodutibilidade ASTM (0,70) RMSEP (0,27) < Reprodutibilidade ASTM (0,70)

(73)

PLS, 4 componentes, PLS, 4 componentes,

F ll

F ll lid tilid ti Full

Full crosscross validationvalidation, , espectros originais, espectros originais, sem amostras PE311, sem amostras PE311,

CE204 CE204

(74)

C

l d Q l d d

C

l d Q l d d

Controle de Qualidade

da Calibração

(75)

Controle de Qualidade da Calibração Controle de Qualidade da CalibraçãoQQ çç

Instrumento Instrumento

& Modelo

Checagem periódica

Amostras de Controle (AC) - Valores de referência são

conhecidos e correspondem a interpolacões do modelo

Valores obtidos pelo modelo são comparados com os obtidos pelo MR empregando o RMSEC (que usam os valores de referência) – MR, empregando o RMSEC (que usam os valores de referência) – não é uma indicação sensível.

(76)

Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ)

São selecionadas já no desenvolvimento da calibração São selecionadas já no desenvolvimento da calibração Devem:

Devem:

9

Ser quimicamente e fisicamente compatíveis com os materiais que estão sendo analisados

estão sendo analisados

9

Ser estáveis durante amostragem e estocagem

9

Ter espectros compatíveis com o modelo (bandas não devem

9

Ter espectros compatíveis com o modelo (bandas não devem exceder a resposta linear do instrumento), mas podem representar

t l õ extrapolações.

(77)

Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ) Amostras de Controle de Qualidade (ACQ)

São selecionadas já no desenvolvimento da calibração São selecionadas já no desenvolvimento da calibração Devem:

Devem:

9

Ser quimicamente e fisicamente compatíveis com os materiais que estão sendo analisados

estão sendo analisados

9

Ter espectros compatíveis com o modelo (bandas não devem

9

Ter espectros compatíveis com o modelo (bandas não devem exceder a resposta linear do instrumento), mas podem representar

t l õ extrapolações.