Pre-assessment Question 1

30 

Texto

(1)

©2008 Pharmaceutical Product Development, Inc. Todos os direitos reservados. Financiado total ou parcialmente com recursos federais oriundos do National Institute of Allergy and Infectious Diseases, do National Institutes of Health e do Department of Health and Human Services, nos termos do convênio n.° HHSN26620050022C and N01-AI-50022.

Verificação de especificações de

desempenho

Versão 3.0, março de 2009

©2008 Pharmaceutical Product Development, Inc. Todos os direitos reservados.

Pre-assessment Question 1

• A rapid HIV test would likely be classified as a: • High complexity, modified assay

• Moderate complexity, unmodified assay • FDA-approved, modified assay

• Waived, FDA-approved, unmodified assay

Pre-assessment Question 2

• The precision of a test method gives information related to the method’s:

• Systematic error

• Comparison of results to a reference method • Reproducibility

• Likelihood of being effected by hemolysis, lipemia, and icterus.

(2)

Pre-assessment Question 3

• The accuracy of a test method gives information related to the method’s:

• Systematic error

• Comparison of results to a reference method • Reproducibility

• Likelihood of being effected by hemolysis, lipemia, and icterus.

• Both 1 and 2 above

Pre-assessment Question 4

• The analytical measurement range: • Allows for additional pretreatment of sample (e.g.,

dilution) beyond the routine procedure

• Gives information related to reference intervals (normal ranges)

• Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity

• None of the above

A verificação assegura que o teste:

• Quando usado em seu laboratório • Por seu pessoal de testes • Para a sua população de pacientes

esteja se desempenhando como esperado pelo fabricante na sua instituição com seus instrumentos.

Visão geral da verificação de

especificações de desempenho

(3)

Visão geral

Elementos da verificação

Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalo reportável Intervalos de referência

Visão geral

Validação de método é simplesmente uma avaliação de erro e tendência.

Visão geral

Quando eu devo verificar? Antes de informar os resultados

(4)

Visão geral

Critérios para validação:

• Introdução de uma nova substância em análise ao repertório de testes • Alteração ou reformulação da

metodologia analítica

• Alteração na população de pacientes (Intervalos de referência)

Visão geral

Quais testes eu devo verificar?

• Testes dispensados

• Como exigido pelo

patrocinador

42 CFR § 493.15

Visão geral

Quais testes eu devo verificar?

• Testes não-dispensados

• Requerem

verificação/validação • Testes não-modificados, aprovados

pela FDA (p. ex., sódio no analisador Dade Dimension Max Suite) • Testes modificados, aprovados pela

FDA (método alterado, diferente indicação clínica, etc.)

• Testes aprovados por terceiros que não a FDA (p. ex., ELISPOT)

(5)

Visão geral

Quais testes eu devo verificar?

• Testes não-modificados, não-dispensados e aprovados pela FDA devem ter os seguintes itens verificados:

• Exatidão • Precisão

• Intervalo reportável (linearidade, AMR, CRR)

• Intervalos de referência

Visão geral

Quais testes eu devo verificar?

• Testes modificados e aprovados pela FDA, ou testes aprovados por terceiros que não a FDA, devem ter os seguintes itens verificados:

• Todos os componentes do teste não-modificado e aprovado pela FDA

• Exatidão • Precisão

• Intervalo reportável (linearidade, AMR, CRR) • Estabelecer intervalos de referência • Sensibilidade analítica

• Especificidade analítica

Visão geral

É crucial consultar guias de referência apropriados:

• Website da Westgard

• Clinical and Laboratory Standards Institute (CLSI, antes NCCLS) • Literatura do fabricante

• Folhetos informativos fornecidos na embalagem

(6)

Visão geral

O software de avaliação disponível na Internet inclui:

www.analyse-it.com (compra)

www.dgrhoads.com (compra)

Ferramentas on-line disponíveis em:

www.westgard.com (gratuito!)

Visão geral

Elementos da verificação

Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalo reportável Intervalos de referência

1. Exatidão

• Os resultados de seus testes

estão corretos?

• Quão próximo do valor "verdadeiro" fica o valor do sistema de testes

• Fornece informações sobre o erro

(7)

Estimativas de

exatidão

Erros sistemáticos (ES)

• ocorrem em uma direção e são previsíveis

• produzem um resultado que difere do real por um valor relativamente fixo • resultam de tendências introduzidas

pelo método instrumental ou por fatores humanos

Estimativas de

exatidão

Comparação de métodos de execução • Métodos de teste

• Novo método (teste) vs. método estabelecido (referência, comparativo)

• Calibradores disponíveis comercialmente com valores conhecidos

• Amostras de proficiência com valores estabelecidos

• Mínimo de 40 amostras, realizadas em duplicat

• Realizar testes de 5 a 20 dias

Estimativas de

exatidão

Comparação de métodos de execução • Comparações devem ser realizadas no máximo

dentro de 2 horas do teste original

• Os pacientes devem cobrir todo o intervalo de estados da doença para a aplicação de rotina

(8)

Estimativas de

exatidão

Análise dos dados da comparação de métodos • Coloque os dados em um gráfico • Inspecione os dados visualmente • Calcule as estatísticas

Apresentar os dados

graficamente

Gráficos sempre são necessários! Os gráficos revelam: –Grau de dispersão –Divergência –Não-linearidade –Erros grosseiros

A avaliação estatística sozinha não é suficiente

Inspeção visual de

exatidão

N

o

vo

m

é

to

d

o

Este método parece que se compara!

Método de referência

(9)

Inspeção visual de

exatidão

N

o

vo

m

é

to

d

o

Isso parece ser uma comparação deficiente de métodos

Método de referência

Exatidão

significa:

1. A reprodutibilidade de um sistema de testes 2. O quão próximo do valor

“verdadeiro” o valor do sistema de testes consegue chegar

Calcule as estatísticas

apropriadas

• Westgard e Hunt avaliaram os testes estatísticos normalmente realizados

Inclinação

Intersecção

Erro padrão

Coeficiente de correlação • A análise de regressão linear está

disponível na maioria dos programas e calculadoras estatísticas

(10)

Eu gosto deste sistema de

resposta da audiência.

1. Verdadeiro 2. Falso

Calcule as estatísticas

apropriadas

Comparação qualitativa

de métodos

Compare dois métodos que fornecem resultados como Positivos ou Negativos. A estatística principal é a concordância

• Os dois métodos fornecem o

mesmo diagnóstico?

• Percentual do total de casos nos

quais os dois métodos fornecem o

mesmo resultado

(11)

Comparação qualitativa

de métodos

Assuma que o método de referência é exato:

Verdadeiro positivo:

• Espécime cujo teste é positivo por ambos

os métodos

Verdadeiro negativo:

• Espécime cujo teste é negativo por ambos

os métodos

Comparação qualitativa

de métodos

Assuma que o método de referência é exato:

Falso positivo:

• Espécime que é positivo pelo método de teste, mas negativo pelo método de referência

Falso negativo:

• Espécime que é negativo pelo método de teste, mas positivo pelo método de referência

2. Precisão

Você consegue obter o mesmo resultado do teste seguidamente? A concordância entre medições replicadas

Fornece mais informações sobre

(12)

Precisão

Erro aleatório

• Pode ser positivo ou negativo e a direção não é previsível

• A distribuição de erros aleatórios segue uma curva gaussiana em forma de sino

Medição da precisão

Teste replicado

Duas fases de experimento da precisão

• Precisão na corrida • Precisão entre corridas

Medição da precisão

Método mais fácil:

• Materiais de controle

• Em duas ou mais concentrações • Preferencialmente próximos de

pontos de decisão

• Analisados pelo menos 2 vezes diariamente por 10 dias sucessivos

• São calculados coeficientes de variação e os DP médios na corrida e entre corridas. • Gráficos de Levy Jennings (LJ) são

(13)

Precisão representa:

1. A concordância entre medições replicadas 2. A informação referente a erro aleatório 3. Ambas as respostas acima são corretas

Precisão – Gráficos LJ

V

a

lor

e

s

Corrida

Boa precisão

Precisão – Gráficos LJ

V

a

lor

e

s

Corrida

Precisão não tão boa!

(14)

Cálculos de precisão

Média Desvio padrão Coeficiente de variação ∑ (Xi – X)2 (n-1) DP= DP / CV=

Xi

/

n =

X

X

Critérios de precisão

• O julgamento sobre a aceitabilidade depende

do total de erros analíticos que são permitidos sem afetar ou limitar o uso e a interpretação do resultado de um teste.

• Compare com os dados de precisão do fabricante

• Use oscritérios CLIAcomo um guia para definir a quantidade permitida de erros.

(15)

3. Sensibilidade

analítica

A mais baixa concentração que pode ser medida confiavelmente

• Fornece informações sobre

o limite inferior de

detecção do ensaio

Pode ser obtida do fabricante para os testes aprovados pela FDA

Sensibilidade analítica

4. Especificidade

analítica

• Relaciona a capacidade do ensaio de discriminar entre a substância em análise e as substâncias interferentes

• Pode ser obtida do fabricante para os testes aprovados pela FDA

• Verificar o efeito de

hemólise, lipemia e icterícia

é uma boa

(16)

Especificidade

analítica

Especificidade

analítica

Se o seu laboratório precisa avaliar a especificidade analítica, considere:

• O número de drogas em uso comum • Pessoas seriamente doentes recebem de

8 a 12 drogas diferentes!

Verification of Performance

Specifications

(17)

5. Intervalos

reportáveis

Realize experimentos de intervalo reportável (linearidade)

• Também conhecido como

Determinação de linearidade

• Soluções padrão com valores

conhecidos

• Cobre o intervalo inteiro

• Replica

Intervalos reportáveis

A validação de intervalo reportável consiste em dois componentes:

• Intervalo de Medição Analítica (IMA) • Intervalo Clinicamente Reportável (ICR)

• O ICR depende do IMA

Intervalos reportáveis

Intervalo de Medição Analítica (IMA)

• O intervalo de valores da substância em análise que um método pode medir diretamente sem

• Diluição • Concentração

• Outros pré-tratamentos (que não fazem parte do processo usual do ensaio)

(18)

Intervalos reportáveis

Intervalo de Medição Analítica (IMA) -Requisitos mínimos

• Estabeleça o IMA inicialmente

• Mínimo de 3 pontos

• Cubra a faixa do intervalo linear publicado pelo fabricante (p. ex., valores da faixa inferior, da faixa média e da faixa alta)

• Avalie os resultados segundo critérios de aceitação predeterminados

Intervalos reportáveis

V

a

lor

d

o

i

ns

tr

u

m

e

n

to

Valor atribuído

Intervalos reportáveis

V

a

lor

d

o

i

ns

tr

u

m

e

n

to

Valor atribuído

Vê como a linearidade cai?

(19)

Intervalos reportáveis

Intervalo Clinicamente Reportável (ICR)

• O intervalo de valores da substância em análise que um método pode reportar como um resultado quantitativo que permite:

• Diluição do espécime • Concentração

• Outros pré-tratamentos

(que não fazem parte do processo usual do ensaio) • Utilizado para estender o IMA direto

Intervalos reportáveis

Intervalo Clinicamente Reportável (ICR) – Requisitos mínimos

• Documente o ICR no

procedimento

• Protocolos de diluição

•Mais alta diluição aceitável •Diluente a ser usado

• Quando relatar “>” ou “<”

6. Intervalos de

referência

Definidos como os intervalos dentro dos quais se situam 95% (o intervalo de +2 desvios padrão até -2 desvios padrão) da população saudável

Usados para auxiliar na interpretação dos resultados de participantes

(20)

Intervalos de

referência

Geralmente estudados por último • Não entram de decisão sobre a aceitabilidade do

método

• Desnecessários se o desempenho do método for inaceitável

Pode variar de laboratório para laboratório

• Afetados por população, clima, altitude, etc.

Que componente da verificação do intervalo aferível (Measurable Range) leva em conta a capacidade de realizar diluição ou concentração de amostras, ou outras etapas de pré-tratamento?

1. Intervalo de medição analítica (Analytical Measurement Range -AMR) 2. Intervalo clinicamente reportável (Clinically Reportable Range -CRR)

Intervalos de

referência

Estabelecimento de intervalos de referência

• Demandam muitos recursos

• Definem a população normal utilizando protocolos, como os desenvolvidos pelo CLSI (NCCLS)

• Mínimo de 120 indivíduos normais de cada grupo (p. ex., indivíduos de referência independentes de sexo 2 x 120 = 240)

• Metodologia não aprovada pela FDA, ou aprovada pela FDA e modificada

(21)

Intervalos de

referência

Transferência de intervalos de referência

• “Medição da mesma substância em análise pelo mesmo método analítico para o qual estão disponíveis estudos de valores de referência de outro laboratório ou do fabricante” -CLSI

• Métodos

• Verificação com 20 amostras • Estimativa com 60 amostras (mínimo

de 40)

• Métodos aprovados pela FDA não modificados

Intervalos de

referência

Transferência de intervalos de referência

• De 20 amostras de indivíduos saudáveis

• Se 2 ou menos ficarem fora do intervalo

de referência informado – considera-se verificado

• Se mais de 2 ficarem fora do intervalo de referência informado, é necessário analisar

20 ou mais

Passos iniciais

Como eu faço isso

(22)

Passos iniciais

Etapas da validação do método:

1. Período de familiarização 2. Validação preliminar 3. Validação final 4. Implementação

Período de

familiarização

• Configurar o instrumento • Preparar os reagentes • Aprender como executar o

método corretamente

Período de

familiarização

Estabeleça um procedimento de trabalho

• Consulte o folheto informativo fornecido na embalagem do fabricante

• Assegure que a validação siga um formato padronizado

Verifique a calibração

• Etapa crítica!

• Assegura que o método esteja funcionando corretamente

• Caso contrário, erros afetarão

adversamente todos os

experimentos de validação

(23)

Validação preliminar

• Realize experimentos de intervalo reportável (linearidade)

• Verifique o limite de detecção (sensibilidade), caso aplicável

• Desnecessário para

métodos aprovados pela

FDA não modificados

Validação preliminar

Realize a precisão na corrida

Realize experimentos de especificidade (substâncias interferentes) se aplicável

• Desnecessário para métodos

aprovados pela FDA não

modificados

Validação final

Realize a precisão entre corridas Realize a comparação de métodos Verifique o intervalo de referência (faixa normal)

(24)

Validação final

Documente os estudos

• Compile os resultados estatísticos brutos e calculados para cada experimento

• precisão, exatidão, etc.

• Verifique os registros de datas de desempenho

• Obtenha assinaturas de aprovação

Pergunta

É aceitável levar seus reagentes e amostras para outro laboratório

e analisá-los para qualquer parte da validação do método?

NÃO!

A validação do método deve ser realizada utilizando o

seuinstrumento, osseus

reagentes e assuas

amostras de pacientes para que ela seja válida.

(25)

Implementação

Escreva o protocolo / procedimento de operação

• Com base na sua experiência em experimentos de validação.

Implementação

Apresente o método para o serviço

• Notifique os indivíduos e os grupos apropriados

• Médicos

• Órgão regulamentados (se exigido)

• DAIDS

• Documente a notificação!

Implementação

Monitore o desempenho da rotina pelo menos nos primeiros 30 dias do uso

• Identifique / corrija fontes de problemas • Integridade do espécime • Estabilidade do reagente • Aprimore os procedimentos e a documentação da manutenção preventiva

• Atualize os dados de controle de qualidade; informe aos analistas

(26)

Qual a freqüência da validação?

Freqüência da

validação

Freqüência da

validação

• Valide antes de informar o resultado dos testes do paciente quando iniciar um novo procedimento ou instrumento

• Valide em intervalos periódicos para avaliar o desempenho contínuo do sistema

• p. ex. intervalos reportáveis, intervalos

de referência

• Valide quando estiver pesquisando problemas de desempenho questionável do sistema

Freqüência da

validação

Valide logo após uma IMPORTANTE reformulação pelo fabricante de um reagente

• Normalmente notificado pelo fabricante

• Carta de certificação • Aviso altamente visível na

(27)

Como posso aprender mais?

Materiais de

referência

Existem vários websites muito bons que estão disponíveis para uso como

referências. Elementos desta apresentação foram baseados em

informações disponíveis em: http://www.westgard.com/

Materiais de

referência

• O software de avaliação disponível na Internet inclui:

http://www.analyse-it.com/(compra)

http://www.dgrhoads.com/(compra)

• Ferramentas on-line disponíveis em:

http://www.westgard.com/ (gratuito!)

Materiais de

(28)

A ciência é um sistema de afirmativas baseado na experiência direta,

controlado por verificação experimental. A verificação na ciência não é, todavia, realizada para uma única afirmativa, mas em todo um sistema ou subsistema de tais afirmativas.

Rudolf Carnap (1891–1970), filósofo austríaco-americano, transcrito por Max Black, K. Paul, Trench, Trubner & Co. (1934). Unity of Science, pág. 42.

Referências

• www.westgard.com

• www.cap.org

• www.dgrhoads.com

• Burtis, C.A., & Ashwood E.R. (Eds.).(1999).

Tietz Textbook of Clinical Chemistry, 3aEdição.

• Snyder, J. R., & Wilkinson, D.S. (Eds.). (1998). Laboratory Management, 3aEdição.

Pre-assessment Question 1

• A rapid HIV test would likely be classified as a: • High complexity, modified assay

• Moderate complexity, unmodified assay • FDA-approved, modified assay

(29)

Pre-assessment Question 2

• The precision of a test method gives information related to the method’s:

• Systematic error

• Comparison of results to a reference method • Reproducibility

• Likelihood of being effected by hemolysis, lipemia, and icterus.

• Both 1 and 2 above

Pre-assessment Question 3

• The accuracy of a test method gives information related to the method’s:

• Systematic error

• Comparison of results to a reference method • Reproducibility

• Likelihood of being effected by hemolysis, lipemia, and icterus.

• Both 1 and 2 above

Pre-assessment Question 4

• The analytical measurement range: • Allows for additional pretreatment of sample (e.g.,

dilution) beyond the routine procedure

• Gives information related to reference intervals (normal ranges)

• Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity

(30)

Imagem

temas relacionados :