Métodos Quantitativos e Qualitativos

(1)

Métodos Quantitativos e Qualitativos

Prof. Dr. Marco Antonio Stephano Laboratório de Imunobiológicos e Biofármacos Departamento de Tecnologia Bioquímico‐Farmacêutica Faculdade de Ciências Farmacêuticas Universidade de São Paulo [email protected]

(2)

O QUE É DESEMPENHO????

Desempenho (ou performance) é um conjunto de características ou capacidades de comportamento e rendimento de um de comportamento e rendimento de um indivíduo, de uma organização ou grupo de seres humanos, de animais ou de outros seres vivos, de máquinas ou outros seres vivos, de máquinas ou equipamentos, de produtos, sistemas, empreendimentos ou processos, em especial quando comparados com metas,p q p , requisitos ou expectativas previamente definidos.

(3)

O QUE É DESEMPENHO????

A partir de um modelo matemático aceitável e representativo deste ente

b li ã d d h

sob avaliação de desempenho, e utilizando a abordagem da teoria de controle e otimização de sistemas dinâmicos pode se até mesmo em dinâmicos, pode‐se até mesmo, em determinadas situações, calcular matematicamente qual deva ser seu comportamento para que atinja o comportamento para que atinja o máximo desempenho almejado.

(4)

SÃO AS MESMAS COISAS?? VALIDAÇÃO VALIDAÇÃO QUALIFICAÇÃO AVALIAÇÃO AVALIAÇÃO

(5)

Avaliação o Desenpenho

FASES DA VALIDAÇÃO

Design

Design InstalaçãoInstalação Preparação Implantaçãop ç

Desenpenho Tempo Definição de Sistemas e Subsistemas Qualificação de Instalação (IQ) Qualificação Operacional (OQ) Qualificação de Performance Prospectiva Revisões Anuais de Produto

Subsistemas _(IQ) _(OQ) _Prospectiva

(PQ) Calibrações Change Control Treinamento Fase IQ / OQ _Fase PQ Validação Treinamento

(6)

Por que fazemos a avaliação do desempenho????

d d d i l i

Tudo tende ao desgaste, material, equipamentos e pessoas. A avaliação desempenho vai ser a ferramenta que mostrará quando devemos trocar de material,

t t d i t b t

consertar ou trocar de equipamento ou submeter as pessoas a um novo treinamento ou até mesmo a um novo desafio.

O impacto da avaliação de desempenho é direto sobre: 1º A comparação entre operadores;

1º A comparação entre operadores; 2º A característica dos reagentes;

3º A estabilidade dos padrões de referência; 4º O desgaste do equipamentog q p

(7)

Quantos ensaios são necessários para

d

i

ã

f

id d ?

determinar uma não conformidade?

Quantos culpados vamos ter para que o

teste volte a ser satisfatório?

Quanto tempo vamos esperar para

consertar um equipamento?

Quanto lotes de referência vamos usar

para atender os requisitos?

Qual será o custo de se resolver muitas

vezes um único problema.?

(8)

Como dito no início ‐ A partir de um modelo

p

matemático aceitável e representativo ‐

logo todas as relações expressas podem ser

avaliadas por mecanismos matemáticos e

estatísticos.

Sendo assim a através de modelos podemos

ter uma previsão ou até mesmo estipular

um índice de desempenho.

(9)

Avaliação de Desempenho em Métodos Quantitativos Se os resultados do padrão de referência têm Se os resultados do padrão de referência têm distribuição NORMAL pode se usar parâmetros relacionados em torno da média aritmética ou média geométrica geométrica. Média Aritmética ‐ quando as diferentes concentrações do padrão de referência são analisados em progressão aritmética (p.ex. 5, 10, 15, 20, 25 e

em progressão aritmética (p.ex. 5, 10, 15, 20, 25 e 30g/mL – PA = 5). Média Geométrica – quando as diferentes concentrações do padrão de referência são analisadas ç p em progressão geométrica (p.ex. 2, 4, 8, 16, 32, 64 g/mL – PG = 2).

(10)

Pad.Ref. a 500g Pad. Ref. a 250g Pad. Ref a125mg 505 251 126 512 253 127 499 254 125 508 255 125 508 255 125 504 250 126 502 248 124 503 253 126 503 257 125 504 253 124 505 256 123 510 255 127 505 255 125 505 255 125 502 254 125 498 254 126 507 251 123 503 252 126

(11)

Média 504,375 253,1875 125,1875 Erro padrão 0,90772 0,58608 0,30576 Mediana 504 253,5, 125 Modo 505 253 126 Desvio padrão 3,63089 2,34432 1,22304 Variância da amostra 13,18333, 5,49583, 1,49583, Curtose 0,39740 0,19254 ‐0,43405 Assimetria 0,37992 ‐0,57644 ‐0,40507 Intervalo 14 9 4 Mínimo 498 248 123 Máximo 512 257 127 Soma 8070 4051 2003 Contagem 16 16 16 Maior(1) 512 257 127 Menor(1)( ) 498 248 123 Nível de confiança(95,0%) 1,934763 1,249200 0,651713

(12)

Com os dados acima é possível calcular os Limites de Confiança pela formula t de student, onde G.L. é igual a 15 para um N = 16, para um nível de significância ( = 0,05). t_0,0515=2,131 Logo:

95

0 

















t

X



t

P

₀_,₀₅ ₁₅ ₀_,₀₅ ₁₅





0 ,

95 





t

 



s



t

 

P

X

1124

,

512 6376

,

496

95 ,

0

131 ,

2

375 ,

504

131 ,

2 _













_

_





_

_

P

2 ,

131

0 ,

95

496 ,

6376

512 ,

1124

63089

,

3

131 ,

2 _















P

1832

,

258 1918

,

248

95 ,

0

131 ,

2 1875

,

253

131 ,

2 _















_







P

2 ,

131

0 ,

95

248 ,

1918

258 ,

1832

34432

,

2

131 ,

2 _















P

5812

,

122 7938

,

127

95 ,

0

131 ,

2 1875

,

125

131 ,

2 _















_







P

2 ,

131

0 ,

95

127 ,

7938

122 ,

5812

22304

,

1

131 ,

2 _















P

(13)

Limites de Confiança para Padrão de Referência para 500g 512 514  506 508 510 502 504 506 498 500 494 496 0 2 4 6 8 10 12 14 16 18 Pad. Ref. 500 micrograma Limite Superior Limite Inferior

(14)

Análises de Métodos Qualitativos

Um método é considerado qualitativos quando não apresenta uma das seguintes características:

Expressão vetorial: sentido direção e tamanho Expressão vetorial: sentido, direção e tamanho Relação numérica mensurável

Geralmente são ensaios do tipo: Geralmente são ensaios do tipo: Tudo ou nada (quantal) positivo/negativo mortos/totais/ vivos/totais Ensaio que envolva os sentidos olfato sabor visão tato ruído

(15)

b l d i ê i 2 2 d i ã d Tabela de contigência 2 X 2 com descrição da

sensibilidade, especificidade, valor preditivo e testes estimados de eficiência.

Método em Estudo Diagnóstico Verdadeiro Método em Estudo Diagnóstico Verdadeiro

Positivo Negativo Totais

Positivo A B A + B Negativo C D C + D Totais A + C B + D N Sensibilidade estimada (sens%) = [A/(A+C)]*100 Especificidade estimada (esp %) = [D/(B+D)]*100 Prevalência % = [(A+C)/N]*100 Estudo do valor preditivo para um resultado de esnasio positivo (PVP%) = [A/(A+B)]*100 Estudo do valor preditivo para um resultado de ensaio negativo (PVN%) = [D/(C+D)]*100 Eficiência estimada % = [A+D)/N]*100

(16)

Análise Comparativa de métodos Limites de confiança Método de Clopper‐Pearson “Score confidence interval” EP 12 A Intervalo de confiança 95% para sensibilidade e especificidade [((Q1‐Q2)/Q3)*100, ((Q1 + Q2)/Q3)*100))] Para sensibilidade



196



2( ) 7 68 2 3 ) /( 4 84 , 3 96 , 1 ) ( 4 96 , 1 96 . 1 2 84 , 3 2 96 , 1 2 1 2 2 2           D B D B Q C A AC C A AC Q A A Q



1,96



2( ) 7,68 2 3 BD  2  BD  Q Para A Especificidade 84 3 2 96 1 2 1 D 2 D Q 68 7 ) ( 2 ) 96 1 ( 2 3 ) /( 4 84 , 3 96 , 1 ) /( 4 96 , 1 96 , 1 2 84 , 3 2 96 , 1 2 1 2 2 2                 D B D B Q D B BD D B BD Q D D Q 68 , 7 ) ( 2 ) 96 , 1 ( 2 3 B D  B D  Q

(17)

Requisito Mínimo Interesse Requisito Mínimo Interesse

Amostras Grande quantidade Possibilitar a comparação Número de Amostras 50 positivas e 50 negativas Resultados falso‐positivos (1)

l d f l ( )

resultados falso‐negativos (1) Duração Diária durante 10 a 20 dias Obtenção de número

representativo de amostras, li ã b di õ d ti avaliação sob condições de rotina Inspeção de dados

durante a colheta

Registro e exame imediatos Possibilitar a detecção precoce de quaisquer fontes de erros pré‐ analíticos tal como o humano analíticos tal como o humano Resultados discrepantes Ensaio por “gold standard” Fornecimento de resultados que

possam ser úteis à clarificação de discrepâncias discrepâncias Painéis de amostras de referência Amostras previamente ensaiadas ou referenciadas por métodos bem definidos Fornecer crédito significativo ao processo de avaliação

(18)

Os métodos estatísticos empregados nos

ensaios quantais são:

Spearman‐Karber

Probitos

Logit

Todos os testes transformam as frequências

em probabilidade, levando a linearidade dos

resultados A comparabilidade é por meio de

resultados. A comparabilidade é por meio de

análise de 

2

_.

(19)

Métodos Qualitativos Sensoriais Métodos Qualitativos Sensoriais Difícil de padronizar; Os procedimentos devem estar muito detalhado;p ; A validação se dá por método de normalização; Muito importante descrever o impacto da diferença em relação a qualidade da amostras;ç ç q O treinamento é fundamental e deve ser sempre reavaliado; Na área de alimentos (vinho, cerveja, café, chá, chocolates, yogurts, etc... São especialistas que conseguem diferenciar pequenas alterações do flavor (gosto, cheiro e textura ao mesmo tempo)

(20)

OBRIGADO

Marco Antonio Stephano [email protected]