Validación de Métodos Cualitativos
Anuncio
Validación de Métodos Cualitativos “Caso de Aplicación” Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Introducción La validación de métodos debe llevarse a cabo cada vez que se incorpore un nuevo método en el laboratorio. VALIDAR / VERIFICAR EL DESEMPEÑO DEL MÉTODO ASEGURAR LA CALIDAD DE LOS RESULTADOS Introducción En el laboratorio existen métodos: - Cuantitativos - Semi-cuantitativos - Cualitativos Introducción Existen guías claramente definidas para la validación de métodos cuantitativos. No existen lineamientos claros para los métodos cualitativos y semi-cuantitativos. Los parámetros de calidad que caracterizan a los métodos cualitativos son distintos. Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Definiciones Métodos Cualitativos “Aseguran la presencia o ausencia de uno o más analitos en una muestra considerando sus propiedades físicas, biológicas o químicas”. “Métodos de análisis cuya respuesta es la presencia o ausencia de un analito, detectado en forma directa o indirecta en una muestra”. Se emplean para saber si una muestra contiene uno o más analitos. Presencia/ausencia con respecto a un nivel de concentración. Por debajo de ese límite la concentración del analito se considera despreciable. Definiciones Puede ser necesario un instrumento para la detección del analito o se puede aplicar únicamente los sentidos. La respuesta de estos métodos suele ser binaria (más allá del tipo de detección) -SI / NO -POSITIVO / NEGATIVO -REACTIVO / NO REACTIVO Existen otros tipos de respuesta -POSITIVO / Zona Gris / NEGATIVO -REACTIVO / Zona Gris / NO REACTIVO Definiciones Métodos Semi-cuantitativos Se encuentran entre los métodos cualitativos y cuantitativos. Ofrecen una cuantificación somera con una incertidumbre importante. Los resultados se terminan agrupando en clases: - Positivo (+ + +) - Positivo Débil (+) - Zona Gris (+ / -) - Negativo (-) Definiciones “Los métodos cualitativos o semi-cualitativos se emplean como métodos de screening” Métodos (tests) de “Screening” - Separan o discriminan muestras de un grupo más grande. - Uno o más analitos por encima o por debajo de un valor preestablecido. - Este valor preestablecido puede haber sido establecido de distintas formas: 1) Organismo oficial Límite de Especificación 2) Control de Calidad Interno Valor de Corte 3) Requerimientos del Cliente Definiciones Hay analito por encima de un determinado valor, Xsl? >Xsl <Xsl SISTEMA DE SCREENING MUESTRAS NO NO SE ANALIZA SI ANÁLISIS CUANTITATIVO Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Clasificación Existen distintos criterios de clasificación. Clasificación Detección sensorial • • A través de la vista Ejemplos:¿? Detección Instrumental • • • La respuesta instrumental se transforma en respuesta binaria Se trabaja con la respuesta del límite de especificación o calor de corte Ejemplos: ¿? Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Validaciones Los métodos cualitativos deben Validarse / Verificarse VALIDACIÓN Validation es la confirmación mediante el exámen y la provisión de una evidencia objetiva de que se han satisfecho unos requisitos particulares para un uso retendido y específico (1). (1) Definición según la norma ISO 8402 – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis. Validaciones Establecer parámetros de desempeño. ¿Los mismos que en los métodos cuantitativos? Validaciones Verificar o Validar los parámetros de desempeño 9 Trazabilidad 9 Sensibilidad 9 Especificidad 9 Tasa de Falsos positivos 9 Tasa de falsos negativos 9 Límite de corte y su incertidumbre 9 Límite de detección Validaciones Trazabilidad y Veracidad - Algunas consideraciones 1)- Por lo general no existen CRMs para métodos cualitativos 2)- El uso de CRMs en métodos cualitativos es complicado 3)- Comparación frente a Métodos de Referencia 4)- Los métodos de referencia suelen ser métodos cuantitativos 5)- Participación en esquemas interlaboratorio Validaciones Valor de corte “Cut Off” En un mundo ideal!!! En el mundo real!!! Validaciones Falso Positivo (FP) “Muestras (+) por el “test de screening” y (-) por el método de referencia” Falso Negativo (FN) “Muestras (-) por el “test de screening” y (+) por el método de referencia” Validaciones Positivo Verdadero (TP) “Muestra (+) por el “test de screening” y (+) por el método de referencia” Negativo Verdadero (TN) “Muestra (-) por el “test de screening” y (-) por el método de referencia” Validaciones Tasa de Falsos Positivos “Probabilidad de que una muestra con valor verdadero negativo dé un valor positivo por el test de screening” Tasa de FP = FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero FP FP + TN Validaciones Tasa de Falsos Negativos “Probabilidad de que una muestra con valor verdadero positivo dé un valor negativo por el test de screening” Tasa de FN = FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero FN FN + TP Validaciones Sensibilidad “Capacidad o habilidad de un test de screening de detectar muestras positivas cuando realmente son positivas” TP Sensibilidad = TP + FN FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero Validaciones Especificidad “Capacidad o habilidad de un test de screening de detectar muestras negativas cuando realmente son negativas” TN Especificidad = TN + FP FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero Validaciones Zona de Incertidumbre “Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)” Validaciones Límite de Detección y Cut Off Error Beta: Tasa de FN Error Alfa: Tasa de FP “Menor cantidad de analito que puede ser detectada en una matriz” Error: Tipo Beta 5 % Máximo nivel de concentración permitido Límite superior de la zona de incertidumbre Sensibilidad 95% Cut Off Validaciones Límite de Detección y Cut Off Error Beta: Tasa de FN Error Alfa: Tasa de FP “Si consideramos el caso de mínima concentración permitida” Error Alfa: 5 % Límite inferior de la Zona de incertidumbre Validaciones Cut Off “Nivel de concentración en el cual el test de screening diferencia las muestras con una probabilidad de error aceptable ( 5 %)” Si hablamos de máximo nivel permitido: - Cut Off se relaciona con sensibilidad - Corresponde a la concentración donde la sensibilidad es del 95 % y el error de tipo Beta (Falso negativo) ha sido fijado al 5 % Error Beta: Tasa de FN Error Alfa: Tasa de FP Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Evaluación de Métodos Cualitativos Básicamente existen varias formas de evaluar los parámetros de desempeño de los métodos cualitativos Destacamos cuatro, todas ellas con ventajas y desventajas: - Tablas de Contingencias - Teorema de Bayes - Test Estadísticos de Hipótesis - Curvas Características de Desempeño Evaluación de Métodos Cualitativos Tablas de Contingencia Diferencian las muestras en 2 categorías ( + y -) por el test de screening y establecen una tabla de comparación con respecto al método de referencia o confirmación. Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis. FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero N: Número total de ensayos Evaluación de Métodos Cualitativos Tablas de Contingencia Permiten calcular 4 parámetros de desempeño - Falsos Positivos - Falsos Negativos - Sensibilidad - Especificidad Permiten calcular 2 valores predictivos - Probabilidad de Resultado positivo (PVP) - Probabilidad de Resultado negativo (PVN) Validaciones Probabilidad de Resultado Positivo (PVP) “Probabilidad de que un individuo con un resultado positivo del test tenga una enfermedad o característica, que el test está diseñado para detectar” TP PVP = TP + FP FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero Validaciones Probabilidad de Resultado Negativo (PVN) “Probabilidad de que un individuo con un resultado negativo del test no tenga una enfermedad o característica, que el test está diseñado para detectar” TN PVN = TN + FN FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero Evaluación de Métodos Cualitativos Tablas de Contingencia – Desventajas Asume que las muestras desconocidas tienen el mismo comportamiento que las que se emplearon en el estudio. Su capacidad depende del número de muestras analizadas. Requiere el procesamiento de las muestras por 2 métodos. Evaluación de Métodos Cualitativos Teorema de Bayes Calcula la probabilidad de dar un resultado correcto (+ o -) cuando realmente lo es. Trabaja con probabilidades condicionales. Requiere de muchos análisis. Terminología compleja. Muchos cálculos (Probabilidades intermedias) Evaluación de Métodos Cualitativos Test Estadísticos de Hipótesis Aplica únicamente a test con una respuesta instrumental. Se establece la respuesta a nivel del corte. Se compara la respuesta de la muestra con el valor previamente establecido de corte. Comparación a través de Test de Hipótesis Trabaja con los errores alfa y beta. Permite estimar la incertidumbre o probabilidad de equivocarnos empleando el test de screening. Evaluación de Métodos Cualitativos Curvas Características de Desempeño Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis. Evaluación de Métodos Cualitativos Curvas Características de Desempeño “Probabilidad de tener un resultado positivo en función de la concentración del analito” - Permiten calcular los 4 parámetros clásicos - Permiten calcular el límite de detección - Permiten calcular el Cut Off - Permiten calcular la zona de incertidumbre Desventajas - Requieren realizar el ensayo repetidas veces por cada concentración Evaluación de Métodos Cualitativos Guía para la Evaluación de Desempeño de Tests Cualitativos. Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión 9 Recomienda desarrollar experimentos de precisión en concentraciones cercanas al Cut Off. Intervalo 95 % (C5-C95) C5 Cut Off – C50 C95 5 % (+) 95 % ( -) 50 % (+) 50 % ( -) 95 % (+) 5 % ( -) Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión Establecer la concentración de Cut Off Establecer que el Cut Off +/- un 20 % está dentro del intervalo del 95%. El Cut Off puede estar en el inserto del reactivo El Cut Off puede ser estimado por repeticiones de diluciones sucesivas de una muestra +. Preparar muestras en las siguientes concentraciones: 1) Cut Off + 20 % 3) Cut Off 2) Cut Off – 20 % Repetir las muestras 20 veces Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión Para cada una de las tres muestras determinar el % de resultados + y-. Verificar los resultados. Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Puntos Críticos: - Muestras - Número de muestras - Duración - Inspección de datos - Manejo de datos discordantes - Método de comparación Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Análisis de Datos de acuerdo al Comparador El comparador es Criterio de Exactitud Diagnóstica El comparador no es Criterio de Exactitud Diagnóstica Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Si el comparador es Criterio de Exactitud Diagnóstica Se puede estimar: 9 SENSIBILIDAD 9 ESPECIFICIDAD 9 TASA DE FALSOS POSITIVOS 9 TASA DE FALSOS NEGATIVOS 9 PVP 9 PVN Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Si el comparador NO es Criterio de Exactitud Diagnóstica Se puede estimar: 9 Porcentaje de Acuerdo Positivo 9 Porcentaje de Acuerdo Negativo Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Caso de Aplicación Anticuerpos totales para HIV1 y HIV2. Elecsys HIV combi – Modular Analytics E170 Caso de Aplicación EL ENSAYO ECLIA – Principio sandwich El Cut Off se calcula a partir de los calibradores: CAL-1 (negativo) y CAL-2 (positivo). (1) El resultado se expresa como Cot Off Index. (2) Interpretación de resultados: COI < 0.9 No Reactivo COI > 1 Reactivo COI > 0.9 a < 1 Indeterminado (1) (2) Fuente Caso de Aplicación Estudios de Precisión Se ensayan los CONTROLES DE CALIDAD INTERNOS durante 20 días. C 1 – Negativo (Cut Off Index: 0.237) C2 – Positivo (Cut Off index: 9.96) C3 – Positivo (Cut Off index: 11.33) Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS SD Claim = CV inserto x Claim Concentration/100 Laboratorio Dr House INSERTO DEL REACTIVO EP Evaluator R8 Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS EP Evaluator R8 Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS EP Evaluator R8 Caso de Aplicación Estudios de Precisión C5 – C95 Se ensayan dos diluciones con valores de COI cercanos al Cut Off. ¿ Cómo seleccionamos las diluciones ? Se desarrolla un perfil de precisión cercano al Cut Off. C5 dil 1/32 C95 dil 1/16 Caso de Aplicación Estudios de Precisión C5 – C95 Se ensayan las diluciones al menos 20 veces cada una. Se emplean los operadores estadísticos para demostrar que: Ambas poblaciones tienen una distribución normal. Ambas poblaciones son estadísticamente diferentes del Cut Off (1). Ambas poblaciones son estadísticamente diferentes entre sí. Caso de Aplicación Estudios de Precisión C5 – α 0.05 CV= 4.6 % Programa NCSS Caso de Aplicación Estudios de Precisión C95 – β 0.01 CV= 4.1 % Programa NCSS Caso de Aplicación Estudios de Precisión C5 – C95 Programa NCSS Caso de Aplicación Estudios de Precisión C5 – C95 Programa NCSS Caso de Aplicación Estudios de Precisión C5 – C95 CV C5= 4.6 % CV C95= 4.1 % Caso de Aplicación Estudios de Comparación Se estudian dos poblaciones de pacientes: 9 150 pacientes sanos (no reactivos) 9 50 pacientes con diagnóstico de HIV (Western blot y clínica) Caso de Aplicación Estudios de Comparación EP Evaluator R8 Caso de Aplicación Estudios de Comparación EP Evaluator R8 Comparar los valores obtenidos con las especificaciones de performance declaradas por el fabricante. Sensibilidad declarada: 100% Especificidad declarada: 99.63% Caso de Aplicación BUBBLE CHART Falsos Pos.+ Zonas de Acuerdo Falsos Neg.EP Evaluator R8 Las áreas de las circunferencias dependen de la cantidad de muestras Caso de Aplicación ALGUNAS DEFINICIONES ADICIONALES Acuerdo % total de los casos en que los 2 métodos dan el mismo resultado Acuerdo + % de los casos en que hay acuerdo cuando el método de referencia da +: TP/ (TP+FP) Acuerdo – % de los casos en que hay acuerdo cuando el método de referencia da -: TN/ (TN+FN) Caso de Aplicación ALGUNAS DEFINICIONES ADICIONALES Prevalencia: “Frecuencia de datos positivos en una población estudiada” -Dato experimental -Dato de Bibliografía -Cantidad de datos evaluados Caso de Aplicación Estimación de la ZONA DE NO CONFIABILIDAD Se estima a través de resultados de calibraciones y empleando la Ley de Propagación de Errores. 1) Buscar la ecuación utilizada para el cálculo del Cut Off. 2) Calcular el Cut Off. 3) Estimar el CV del cut Off. 4) Comparar el CV del Cut Off con la zona de no confiabilidad declarada por el fabricante. Caso de Aplicación Estimación de la ZONA DE NO CONFIABILIDAD Cut Off Promedio: 23997 RLU S2co = 2 2 ∂CO x Scal12 + ∂CO x Scal2 ∂Cal1 ∂Cal2 S co= 1680 RLU Æ CV co = 7.0% < 10% (ZNC) Evaluación de Métodos Cualitativos Un ejemplo… El comparador no es Criterio de Exactitud Diagnóstica Evaluación de Métodos Cualitativos Evaluación de Métodos Cualitativos Evaluación de Métodos Cualitativos Indica el nivel de acuerdo entre 2 métodos Puede adoptar valores entre -100% y 100% Un valor de 0% indica ausencia de acuerdo Un valor de 100% indica acuerdo perfecto Es deseable un valor por encima de 75% Evaluación de Métodos Cualitativos Indica la probabilidad de que los métodos sean significativamente diferentes. Si son diferentes indica en qué dirección. Evalúa simetría entre los dos métodos. Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones Conclusiones Existen cada vez más métodos cualitativos. Hay confusión en la nomenclatura. Hay confusión en la clasificación de métodos cualitativos. La validación de métodos cualitativos es un tema importante para asegurar la calidad de los resultados que estos métodos generan. No existe consenso sobre cómo realizar estas validaciones. Los parámetros de desempeño están bien definidos. Guía de consenso: EP 12-A2 de la CLSi MUCHAS GRACIAS!
