©2008 Pharmaceutical Product Development, Inc. Todos os direitos reservados. Financiado total ou parcialmente com recursos federais oriundos do National Institute of Allergy and Infectious Diseases, do National Institutes of Health e do Department of Health and Human Services, nos termos do convênio n.° HHSN26620050022C and N01-AI-50022.
Verificação de especificações de
desempenho
Versão 3.0, março de 2009
©2008 Pharmaceutical Product Development, Inc. Todos os direitos reservados.
Pre-assessment Question 1
• A rapid HIV test would likely be classified as a: • High complexity, modified assay
• Moderate complexity, unmodified assay • FDA-approved, modified assay
• Waived, FDA-approved, unmodified assay
Pre-assessment Question 2
• The precision of a test method gives information related to the method’s:
• Systematic error
• Comparison of results to a reference method • Reproducibility
• Likelihood of being effected by hemolysis, lipemia, and icterus.
Pre-assessment Question 3
• The accuracy of a test method gives information related to the method’s:
• Systematic error
• Comparison of results to a reference method • Reproducibility
• Likelihood of being effected by hemolysis, lipemia, and icterus.
• Both 1 and 2 above
Pre-assessment Question 4
• The analytical measurement range: • Allows for additional pretreatment of sample (e.g.,
dilution) beyond the routine procedure
• Gives information related to reference intervals (normal ranges)
• Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity
• None of the above
A verificação assegura que o teste:
• Quando usado em seu laboratório • Por seu pessoal de testes • Para a sua população de pacientes
esteja se desempenhando como esperado pelo fabricante na sua instituição com seus instrumentos.
Visão geral da verificação de
especificações de desempenho
Visão geral
Elementos da verificação
Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalo reportável Intervalos de referência
Visão geral
Validação de método é simplesmente uma avaliação de erro e tendência.
Visão geral
Quando eu devo verificar? Antes de informar os resultados
Visão geral
Critérios para validação:• Introdução de uma nova substância em análise ao repertório de testes • Alteração ou reformulação da
metodologia analítica
• Alteração na população de pacientes (Intervalos de referência)
Visão geral
Quais testes eu devo verificar?
• Testes dispensados
• Como exigido pelo
patrocinador
42 CFR § 493.15
Visão geral
Quais testes eu devo verificar?
• Testes não-dispensados
• Requerem
verificação/validação • Testes não-modificados, aprovados
pela FDA (p. ex., sódio no analisador Dade Dimension Max Suite) • Testes modificados, aprovados pela
FDA (método alterado, diferente indicação clínica, etc.)
• Testes aprovados por terceiros que não a FDA (p. ex., ELISPOT)
Visão geral
Quais testes eu devo verificar?
• Testes não-modificados, não-dispensados e aprovados pela FDA devem ter os seguintes itens verificados:
• Exatidão • Precisão
• Intervalo reportável (linearidade, AMR, CRR)
• Intervalos de referência
Visão geral
Quais testes eu devo verificar?
• Testes modificados e aprovados pela FDA, ou testes aprovados por terceiros que não a FDA, devem ter os seguintes itens verificados:
• Todos os componentes do teste não-modificado e aprovado pela FDA
• Exatidão • Precisão
• Intervalo reportável (linearidade, AMR, CRR) • Estabelecer intervalos de referência • Sensibilidade analítica
• Especificidade analítica
Visão geral
É crucial consultar guias de referência apropriados:
• Website da Westgard
• Clinical and Laboratory Standards Institute (CLSI, antes NCCLS) • Literatura do fabricante
• Folhetos informativos fornecidos na embalagem
Visão geral
O software de avaliação disponível na Internet inclui:
www.analyse-it.com (compra)
www.dgrhoads.com (compra)
Ferramentas on-line disponíveis em:
www.westgard.com (gratuito!)
Visão geral
Elementos da verificação
Exatidão Precisão Sensibilidade analítica Especificidade analítica Intervalo reportável Intervalo reportável Intervalos de referência
1. Exatidão
• Os resultados de seus testesestão corretos?
• Quão próximo do valor "verdadeiro" fica o valor do sistema de testes
• Fornece informações sobre o erro
Estimativas de
exatidão
Erros sistemáticos (ES)
• ocorrem em uma direção e são previsíveis
• produzem um resultado que difere do real por um valor relativamente fixo • resultam de tendências introduzidas
pelo método instrumental ou por fatores humanos
Estimativas de
exatidão
Comparação de métodos de execução • Métodos de teste
• Novo método (teste) vs. método estabelecido (referência, comparativo)
• Calibradores disponíveis comercialmente com valores conhecidos
• Amostras de proficiência com valores estabelecidos
• Mínimo de 40 amostras, realizadas em duplicat
• Realizar testes de 5 a 20 dias
Estimativas de
exatidão
Comparação de métodos de execução • Comparações devem ser realizadas no máximo
dentro de 2 horas do teste original
• Os pacientes devem cobrir todo o intervalo de estados da doença para a aplicação de rotina
Estimativas de
exatidão
Análise dos dados da comparação de métodos • Coloque os dados em um gráfico • Inspecione os dados visualmente • Calcule as estatísticas
Apresentar os dados
graficamente
Gráficos sempre são necessários! Os gráficos revelam: –Grau de dispersão –Divergência –Não-linearidade –Erros grosseiros
A avaliação estatística sozinha não é suficiente
Inspeção visual de
exatidão
N
o
vo
m
é
to
d
o
Este método parece que se compara!Método de referência
Inspeção visual de
exatidão
N
o
vo
m
é
to
d
o
Isso parece ser uma comparação deficiente de métodos
Método de referência
Exatidão
significa:
1. A reprodutibilidade de um sistema de testes 2. O quão próximo do valor“verdadeiro” o valor do sistema de testes consegue chegar
Calcule as estatísticas
apropriadas
• Westgard e Hunt avaliaram os testes estatísticos normalmente realizados
•Inclinação
•Intersecção
•Erro padrão
•Coeficiente de correlação • A análise de regressão linear está
disponível na maioria dos programas e calculadoras estatísticas
Eu gosto deste sistema de
resposta da audiência.
1. Verdadeiro 2. FalsoCalcule as estatísticas
apropriadas
Comparação qualitativa
de métodos
Compare dois métodos que fornecem resultados como Positivos ou Negativos. A estatística principal é a concordância
• Os dois métodos fornecem o
mesmo diagnóstico?
• Percentual do total de casos nos
quais os dois métodos fornecem o
mesmo resultado
Comparação qualitativa
de métodos
Assuma que o método de referência é exato:
Verdadeiro positivo:
• Espécime cujo teste é positivo por ambos
os métodos
Verdadeiro negativo:
• Espécime cujo teste é negativo por ambos
os métodos
Comparação qualitativa
de métodos
Assuma que o método de referência é exato:
Falso positivo:
• Espécime que é positivo pelo método de teste, mas negativo pelo método de referência
Falso negativo:
• Espécime que é negativo pelo método de teste, mas positivo pelo método de referência
2. Precisão
Você consegue obter o mesmo resultado do teste seguidamente? A concordância entre medições replicadas
Fornece mais informações sobre
Precisão
Erro aleatório
• Pode ser positivo ou negativo e a direção não é previsível
• A distribuição de erros aleatórios segue uma curva gaussiana em forma de sino
Medição da precisão
Teste replicado
Duas fases de experimento da precisão
• Precisão na corrida • Precisão entre corridas
Medição da precisão
Método mais fácil:
• Materiais de controle
• Em duas ou mais concentrações • Preferencialmente próximos de
pontos de decisão
• Analisados pelo menos 2 vezes diariamente por 10 dias sucessivos
• São calculados coeficientes de variação e os DP médios na corrida e entre corridas. • Gráficos de Levy Jennings (LJ) são
Precisão representa:
1. A concordância entre medições replicadas 2. A informação referente a erro aleatório 3. Ambas as respostas acima são corretasPrecisão – Gráficos LJ
V
a
lor
e
s
Corrida
Boa precisãoPrecisão – Gráficos LJ
V
a
lor
e
s
Corrida
Precisão não tão boa!Cálculos de precisão
Média Desvio padrão Coeficiente de variação ∑ (Xi – X)2 (n-1) DP= DP / CV=∑
Xi/
n =X
X
Critérios de precisão
• O julgamento sobre a aceitabilidade dependedo total de erros analíticos que são permitidos sem afetar ou limitar o uso e a interpretação do resultado de um teste.
• Compare com os dados de precisão do fabricante
• Use oscritérios CLIAcomo um guia para definir a quantidade permitida de erros.
3. Sensibilidade
analítica
A mais baixa concentração que pode ser medida confiavelmente
• Fornece informações sobre
o limite inferior de
detecção do ensaio
Pode ser obtida do fabricante para os testes aprovados pela FDA
Sensibilidade analítica
4. Especificidade
analítica
• Relaciona a capacidade do ensaio de discriminar entre a substância em análise e as substâncias interferentes
• Pode ser obtida do fabricante para os testes aprovados pela FDA
• Verificar o efeito de
hemólise, lipemia e icterícia
é uma boa
Especificidade
analítica
Especificidade
analítica
Se o seu laboratório precisa avaliar a especificidade analítica, considere:
• O número de drogas em uso comum • Pessoas seriamente doentes recebem de
8 a 12 drogas diferentes!
Verification of Performance
Specifications
5. Intervalos
reportáveis
Realize experimentos de intervalo reportável (linearidade)
• Também conhecido como
Determinação de linearidade
• Soluções padrão com valores
conhecidos
• Cobre o intervalo inteiro
• Replica
Intervalos reportáveis
A validação de intervalo reportável consiste em dois componentes:
• Intervalo de Medição Analítica (IMA) • Intervalo Clinicamente Reportável (ICR)
• O ICR depende do IMA
Intervalos reportáveis
Intervalo de Medição Analítica (IMA)• O intervalo de valores da substância em análise que um método pode medir diretamente sem
• Diluição • Concentração
• Outros pré-tratamentos (que não fazem parte do processo usual do ensaio)
Intervalos reportáveis
Intervalo de Medição Analítica (IMA) -Requisitos mínimos
• Estabeleça o IMA inicialmente
• Mínimo de 3 pontos
• Cubra a faixa do intervalo linear publicado pelo fabricante (p. ex., valores da faixa inferior, da faixa média e da faixa alta)
• Avalie os resultados segundo critérios de aceitação predeterminados
Intervalos reportáveis
V
a
lor
d
o
i
ns
tr
u
m
e
n
to
Valor atribuído
Intervalos reportáveis
V
a
lor
d
o
i
ns
tr
u
m
e
n
to
Valor atribuído
Vê como a linearidade cai?Intervalos reportáveis
Intervalo Clinicamente Reportável (ICR)
• O intervalo de valores da substância em análise que um método pode reportar como um resultado quantitativo que permite:
• Diluição do espécime • Concentração
• Outros pré-tratamentos
(que não fazem parte do processo usual do ensaio) • Utilizado para estender o IMA direto
Intervalos reportáveis
Intervalo Clinicamente Reportável (ICR) – Requisitos mínimos
• Documente o ICR no
procedimento
• Protocolos de diluição
•Mais alta diluição aceitável •Diluente a ser usado
• Quando relatar “>” ou “<”
6. Intervalos de
referência
Definidos como os intervalos dentro dos quais se situam 95% (o intervalo de +2 desvios padrão até -2 desvios padrão) da população saudável
Usados para auxiliar na interpretação dos resultados de participantes
Intervalos de
referência
Geralmente estudados por último • Não entram de decisão sobre a aceitabilidade do
método
• Desnecessários se o desempenho do método for inaceitável
Pode variar de laboratório para laboratório
• Afetados por população, clima, altitude, etc.
Que componente da verificação do intervalo aferível (Measurable Range) leva em conta a capacidade de realizar diluição ou concentração de amostras, ou outras etapas de pré-tratamento?
1. Intervalo de medição analítica (Analytical Measurement Range -AMR) 2. Intervalo clinicamente reportável (Clinically Reportable Range -CRR)
Intervalos de
referência
Estabelecimento de intervalos de referência
• Demandam muitos recursos
• Definem a população normal utilizando protocolos, como os desenvolvidos pelo CLSI (NCCLS)
• Mínimo de 120 indivíduos normais de cada grupo (p. ex., indivíduos de referência independentes de sexo 2 x 120 = 240)
• Metodologia não aprovada pela FDA, ou aprovada pela FDA e modificada
Intervalos de
referência
Transferência de intervalos de referência
• “Medição da mesma substância em análise pelo mesmo método analítico para o qual estão disponíveis estudos de valores de referência de outro laboratório ou do fabricante” -CLSI
• Métodos
• Verificação com 20 amostras • Estimativa com 60 amostras (mínimo
de 40)
• Métodos aprovados pela FDA não modificados
Intervalos de
referência
Transferência de intervalos de referência
• De 20 amostras de indivíduos saudáveis
• Se 2 ou menos ficarem fora do intervalo
de referência informado – considera-se verificado
• Se mais de 2 ficarem fora do intervalo de referência informado, é necessário analisar
20 ou mais
Passos iniciais
Como eu faço issoPassos iniciais
Etapas da validação do método:
1. Período de familiarização 2. Validação preliminar 3. Validação final 4. Implementação
Período de
familiarização
• Configurar o instrumento • Preparar os reagentes • Aprender como executar ométodo corretamente
Período de
familiarização
Estabeleça um procedimento de trabalho
• Consulte o folheto informativo fornecido na embalagem do fabricante
• Assegure que a validação siga um formato padronizado
Verifique a calibração
• Etapa crítica!
• Assegura que o método esteja funcionando corretamente
• Caso contrário, erros afetarão
adversamente todos os
experimentos de validação
Validação preliminar
• Realize experimentos de intervalo reportável (linearidade)
• Verifique o limite de detecção (sensibilidade), caso aplicável
• Desnecessário para
métodos aprovados pela
FDA não modificados
Validação preliminar
Realize a precisão na corrida
Realize experimentos de especificidade (substâncias interferentes) se aplicável
• Desnecessário para métodos
aprovados pela FDA não
modificados
Validação final
Realize a precisão entre corridas Realize a comparação de métodos Verifique o intervalo de referência (faixa normal)
Validação final
Documente os estudos
• Compile os resultados estatísticos brutos e calculados para cada experimento
• precisão, exatidão, etc.
• Verifique os registros de datas de desempenho
• Obtenha assinaturas de aprovação
Pergunta
É aceitável levar seus reagentes e amostras para outro laboratório
e analisá-los para qualquer parte da validação do método?
NÃO!
A validação do método deve ser realizada utilizando o
seuinstrumento, osseus
reagentes e assuas
amostras de pacientes para que ela seja válida.
Implementação
Escreva o protocolo / procedimento de operação
• Com base na sua experiência em experimentos de validação.
Implementação
Apresente o método para o serviço
• Notifique os indivíduos e os grupos apropriados
• Médicos
• Órgão regulamentados (se exigido)
• DAIDS
• Documente a notificação!
Implementação
Monitore o desempenho da rotina pelo menos nos primeiros 30 dias do uso• Identifique / corrija fontes de problemas • Integridade do espécime • Estabilidade do reagente • Aprimore os procedimentos e a documentação da manutenção preventiva
• Atualize os dados de controle de qualidade; informe aos analistas
Qual a freqüência da validação?
Freqüência da
validação
Freqüência da
validação
• Valide antes de informar o resultado dos testes do paciente quando iniciar um novo procedimento ou instrumento
• Valide em intervalos periódicos para avaliar o desempenho contínuo do sistema
• p. ex. intervalos reportáveis, intervalos
de referência
• Valide quando estiver pesquisando problemas de desempenho questionável do sistema
Freqüência da
validação
Valide logo após uma IMPORTANTE reformulação pelo fabricante de um reagente
• Normalmente notificado pelo fabricante
• Carta de certificação • Aviso altamente visível na
Como posso aprender mais?
Materiais de
referência
Existem vários websites muito bons que estão disponíveis para uso como
referências. Elementos desta apresentação foram baseados em
informações disponíveis em: http://www.westgard.com/
Materiais de
referência
• O software de avaliação disponível na Internet inclui:
http://www.analyse-it.com/(compra)
http://www.dgrhoads.com/(compra)
• Ferramentas on-line disponíveis em:
http://www.westgard.com/ (gratuito!)
Materiais de
A ciência é um sistema de afirmativas baseado na experiência direta,
controlado por verificação experimental. A verificação na ciência não é, todavia, realizada para uma única afirmativa, mas em todo um sistema ou subsistema de tais afirmativas.
Rudolf Carnap (1891–1970), filósofo austríaco-americano, transcrito por Max Black, K. Paul, Trench, Trubner & Co. (1934). Unity of Science, pág. 42.
Referências
• www.westgard.com
• www.cap.org
• www.dgrhoads.com
• Burtis, C.A., & Ashwood E.R. (Eds.).(1999).
Tietz Textbook of Clinical Chemistry, 3aEdição.
• Snyder, J. R., & Wilkinson, D.S. (Eds.). (1998). Laboratory Management, 3aEdição.
Pre-assessment Question 1
• A rapid HIV test would likely be classified as a: • High complexity, modified assay
• Moderate complexity, unmodified assay • FDA-approved, modified assay
Pre-assessment Question 2
• The precision of a test method gives information related to the method’s:
• Systematic error
• Comparison of results to a reference method • Reproducibility
• Likelihood of being effected by hemolysis, lipemia, and icterus.
• Both 1 and 2 above
Pre-assessment Question 3
• The accuracy of a test method gives information related to the method’s:
• Systematic error
• Comparison of results to a reference method • Reproducibility
• Likelihood of being effected by hemolysis, lipemia, and icterus.
• Both 1 and 2 above
Pre-assessment Question 4
• The analytical measurement range: • Allows for additional pretreatment of sample (e.g.,
dilution) beyond the routine procedure
• Gives information related to reference intervals (normal ranges)
• Is typically measured using a minimum of three solutions of known concentration, and plotted to determine linearity