CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez TITULO: EVALUACION ESTADISTICA (Comparaciones Interlaboratorios - Análisis de Youden) OBJETIVOS: Establecer los criterios a seguir en el procesamiento estadístico de datos provenientes de Ensayos de Aptitud Interlaboratorios (EAI). ALCANCE: Todos los EAI coordinados por el COFILAB. 1. Introducción La aptitud de un laboratorio puede ser evaluada cuando dos o mas laboratorios realizan las mismas determinaciones analíticas sobre muestras extraídas de un mismo reservorio homogéneo. Es frecuente observar que determinaciones repetidas por un laboratorio se distribuyen alrededor de una media diferente a la de otro. La dispersión general resulta así sensiblemente mayor a la que puede anticiparse considerando la dispersión observada en cada uno de los laboratorios. La Fig. 1 ilustra este comportamiento. Siendo: X1 = Valor medio del Lab. 1 X2 = Valor medio del Lab. 2 µ = Valor verdadero εS1 y εS2: Errores Sistemáticos de los Lab. 1 y 2 respectivamente. Nota: La distribución de los resultados del Lab. 1 muestra una dispersión similar a la observada en el Lab. 2 (Errores aleatorios o de precisión equivalentes). Esto es así ya que se supone que ambos laboratorios utilizan el mismo método analítico y tienen equipamiento similar. La diferencia observada en los errores sistemáticos ó apartamiento respecto al valor verdadero obedece a diferentes causas tales como: IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 1 de 10 CPQ//Ley 7020/65 COFILAB • • • • • IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez Diferencias en la aplicación de la metodología analítica. Diferencias en los reactivos utilizados. Diferencias en equipos o partes de ellos. Diferencias en la modalidad de la calibración y sistemas de control. Etc. Etc. Nota: El valor verdadero es desconocido en la práctica, se reemplaza por algún patrón reconocido ó un “valor de consenso” obtenido a partir de la media general de todos los laboratorios participantes una vez descartados los valores aberrantes. También puede utilizarse la mediana en lugar de la media, la mediana es menos vulnerable a la presencia de valores aberrantes. 2. Análisis de Youden El Análisis de Youden está especialmente dirigido a comparaciones interlaboratorios. La ventaja del Análisis de Youden es su habilidad para separar los errores aleatorios de los sistemáticos utilizando un diseño simple y con requerimientos de un mínimo esfuerzo analítico por parte de los participantes. Para su implementación se requieren dos materiales similares (Muestras A y B) con pequeñas diferencias en la concentración de las características (analitos) a determinar. Este requisito es necesario, ya que, tanto los errores aleatorios como los sistemáticos pueden depender de la concentración de la característica considerada, como de posibles interferencias de la matriz presente. Cada laboratorio participante, para una característica dada, genera así, un resultado de X para el caso de la muestra A y un resultado de Y para el caso de la muestra B. Estos resultados permiten la construcción del “Gráfico de Youden” a partir del cual se obtiene el diagnóstico de aptitud motivo del ensayo. 3. Gráfico de Youden El gráfico de Youden se prepara a partir de un eje x como absisa con una escala adecuada para cubrir el rango de los resultados de la característica evaluada en el material A. Y un eje y como ordenada, con escala en las mismas unidades para incluir el rango de los resultados de la misma característica en el material B. El par de resultados de cada laboratorio es así un punto del gráfico. Habrá una cantidad de puntos igual a la de laboratorios participantes y un punto origen cuyas coordenadas son las medianas de X y de Y (valores de consenso) . Una vez graficados los resultados, se dibuja una “línea mediana” horizontal, paralela al eje x. De esta forma habrá puntos arriba de esta línea y puntos por debajo. Una segunda “línea mediana” se dibuja paralela al eje de las y, la cual dejará puntos a su izquierda y a su derecha. Una línea diagonal de 45° y un círculo con centro en el origen completan el gráfico. En la Fig. 2 se muestran los componentes del gráfico y en la Tabla 2 se describen los mismos. IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 2 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez Tabla 2: Descripción de los componentes del Gráfico de Youden Origen Es el punto de coordenadas (xM,yM), siendo xM e yM las medianas respectivas de los resultados de X y de Y de todos los laboratorios participantes. Se utiliza la mediana por ser menos vulnerable a la presencia de resultados aberrantes. Ejes XY Coordenadas con escala adecuada para representar todos los resultados de los laboratorios participantes. Líneas medianas Líneas paralelas a los ejes que pasan por el punto origen y dividen al gráfico en cuatro cuadrantes. Línea de 45° Línea diagonal a 45° que pasa por el origen bisectando los cuadrantes inferior izquierdo y superior derecho. Resultados del Punto de coordenadas (xi,yi), siendo xi y yi los resultados de las Laboratorio i concentraciones de la característica determinada por el laboratorio i en las muestras A y B respectivamente. Círculo Límite Círculo con centro en el origen (valores de consenso) y radio igual del 95% a la desviación estándar multiplicada por un factor de confianza, de tal forma que el círculo contendría al 95% de los resultados si los errores sistemáticos fueran eliminados. En el caso hipotético de ausencia de errores sistemáticos y si sólo operaran errores aleatorios, los puntos de los resultados se distribuirían alrededor del origen o “valores de consenso” ocupando regularmente los cuatro cuadrantes, ya que los errores positivos y negativos son igualmente probables. Si por el contrario, en el caso hipotético de ausencia de IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 3 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez errores aleatorios y sólo operaran errores sistemáticos, los puntos de resultados estarían alineados sobre la línea de 45°, ya que se espera que si un laboratorio tiene desvíos positivos ó negativos en sus resultados, tendrá desvíos con similar magnitud y sentido en ambas muestras analizadas. Operando ambos tipos de errores, se obtendría una combinación de ambos casos extremos y los resultados ocuparían un espacio elíptico con la mayoría de los puntos en los cuadrantes inferior izquierdo y superior derecho. Una simulación por computadora ilustra los casos hipotéticos planteados. Los gráficos obtenidos se muestran en Las Fig. 3a, 3b y 3c y se explican por sí mismos. Nota: Los datos utilizados en la construcción de las Fig. 3a, 3b y 3c simulan un ensayo interalaboratorios con 11 participantes. Los resultados informados por los laboratorios para los valores de X y de Y correspondientes a las muestras A y B respectivamente son muestras aleatorias tomadas de sendas poblaciones de distribución normal de media, µ=30 y desviación estándar, σ=±1 para el caso de la Muestra A y µ= 40 y σ=±1 para el caso de la muestra B. Los errores sistemáticos simulados van de –2.5 a +2.5 para los laboratorios 1 a 11 respectivamente como se muestra en la Tabla 3. Tabla 3: Errores Sistemáticos simulados para los laboratorios participantes. Laboratorio N° 1 2 3 4 5 6 7 8 9 10 11 E. Sistemático -2.5 -2.0 -1.5 -1.0 -0.5 0.0 +0.5 +1.0 +1.5 +2.0 +2.5 IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 4 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez Nota: Los datos generados y los cálculos utilizados para la construcción de la Fig. 3c se muestran en el Anexo. La distribución de los puntos en el gráfico de Youden ponen en evidencia posibles problemas, resultando una excelente herramienta de diagnóstico. • • • • • • • • Puntos conformando una elipse angosta y alargada es señal de problemas con el método analítico utilizado y señalan la necesidad de su modificación. Puntos alejados de ambos ejes indican resultados erráticos. El punto cercano a un eje pero alejado del otro es indicativo de resultados bastante buenos en un material pero bastante malos en el otro. Puntos en el cuadrante inferior izquierdo y superior derecho pero alejados del origen reflejan una tendencia de resultados altos o bajos en ambos materiales. Puntos cercanos a la línea de 45° pero alejados del origen indican errores sistemáticos importantes. Puntos alejados de la línea de 45° indican errores aleatorios grandes y son clara evidencia de desviación importante con el método de ensayo utilizado. Puntos fuera del círculo de confianza (95%) indican errores totales grandes. Alta proporción de puntos fuera del círculo de radio igual a 2.448 x s y cercanos a la línea de 45º indican presencia general de errores sistemáticos. IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 5 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez 4. Análisis de Youden, cálculos En la Fig. 4 se representan nuevamente los resultados del laboratorio i (xi,yi) en un Gráfico de Youden y los vectores involucrados en los cálculos. En la Fig. 4 se representaron los siguientes puntos: Punto R: De coordenadas (xi,yi). Resultados informados por el laboratorio i. Punto O: De coordenadas (xM,yM). Resultados de las medianas ó valores de consenso utilizado. Punto P: De coordenadas (x’i,y’i). Distancia del punto R a la línea de 45°. Los vectores generados y sus ecuaciones de cálculo resultan: OR : Error Total (εT) cometido por el laboratorio i. Es una medida del desvío entre los valores de consenso y los resultados del laboratorio i. εT = Raíz cuadrada [ ( xi - xM )2 + ( yi - yM )2 ] ec. 4.1 OP : Componente Sistemático del error (CS) CS = [ (xi – xM ) + ( yi – yM ) ] / √2 ec. 4.2 PR : Componente Aleatorio del error (CA) CA = Raíz cuadrada [ (x1-(CS/√2+xM))2 + (y1-(CS/√2+yM))2 ] IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 ec. 4.3 FILE:eia005.doc Hoja 6 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez 4.1. Ajuste de los componentes Sistemático y Aleatorio calculados Los componentes Sistemático y Aleatorio calculados requieren ser proporcionados de tal forma que su suma sea igual al módulo del vector Error Total, de esta forma se obtienen los Errores Sistemático y Aleatorio correspondientes: Error Sistemático, εS = [CS / (|CS| + CA)] x εT ec. 4.5 εA = [CA / (|CS| + CA)] x εT ec. 4.6 Error Aleatorio, De esta forma el valor absoluto del error sistemático sumado al error aleatorio resulta igual al error total: εT = |εS| + εA ec. 4.7 4.2. Desviación estándar, Círculo de confianza y puntuación z. La desviación estándar combinada, s se obtiene sumando el cuadrado de los errores aleatorios de todos los laboratorios, dividiendo el resultado por el número de laboratorios menos 1 y extrayendo la raiz cuadrada: σ= Σε Ai2 ec. 4.8 (n − 1) Para el cálculo de radio, r del círculo de confianza se utilizan los factores mostrados en la Tabla 4 Tabla 4: Tabla de probabilidad para una Distribución Normal Circular % f % f 10 0.459 70 1.552 20 0.668 75 1.665 25 0.759 80 1.794 30 0.845 90 2.146 40 1.011 95 2.448 50 1.177 99 3.035 60 1.350 ----% = Porcentaje de puntos dentro del círculo. f = Factor de multiplicación de la desviación estándar. El radio del círculo que demarca un Intervalo de Confianza del 95% será asi de: r = 2.448 x s ec. 4.9 Para graficar el círculo se utiliza su fórmula dada por: IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 7 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez y = raiz cuadrada (x2 – r2) ec. 4.10 La puntuación z La puntuación z es internacionalmente aceptada. Es una medida del desvío de los resultados informados por cada laboratorio, respecto al valor de consenso, expresado en unidades de desviación estándar. Este parámetro es conveniente por su cálculo directo y fácil interpretación. En este caso definimos una puntuación z para cada resultado analítico como el cociente entre el desvío respecto al valor asignado (xi – xM) dividido la desviación estándar sz. ec. 4.11 z = (xi – xM) / sz La puntuación utilizada se muestra en la Tabla 5 Tabla 5: Puntuación z. |z| ≤ 2 2 < |z| < 3 |z| ≥ 3 “Satisfactorio” “Cuestionable” “No satisfactorio” Tabla de presentación de resultados y cálculos En la Tabla 6 se muestran los datos originales y los resultados obtenidos en forma generalizada. Tabla 6: Datos originales y cálculos Lab. N° Muestra A Muestra B 1 x1 y1 2 x2 y2 . . . . . . n xn yn x y M M Mediana : εTi εT1 εT2 . . εTn εSi εAi εAi2 εS1 εA1 εA12 εS2 εA2 εA22 . . . . . . εSn εAn εAn2 Des. Est. = s = (Σ εAi2) / (n –1) Radio = r = f x s 5. Bibliografía 5.1. “The Sample, the Procedure, and The Laboratory”. W.J.Youden. Analytical Chemistry, Vol. 32, N° 13, Dec. 1960. 5.2. “Graphical Diagnosis of Interlaboratory Test Results”. W.J.Youden. Industrial Quality Control, Vol. XV, N°. 11, May 1959. IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 8 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez 7. Anexo Datos originales y cálculos utilizados en la simulación mostrada en la Fig. 3c. Tabla 7.1: Datos simulados a partir de poblaciones normales de medias 30 y 40 respectivamente y desviación estándar igual a ± 1. A= N(30,1) y B= N(40,1). Lab. nro. Mu. A (xi) Mu. B (yi) Error sis. Error ale. (s) 1 27,3 37,7 -2,5 ±1 2 29,1 37,2 -2 ±1 3 29,7 38,3 -1,5 ±1 4 30,6 38,9 -1 ±1 5 29,1 38,9 -0,5 ±1 6 29,4 39,7 0 ±1 7 29,0 41,5 0,5 ±1 8 30,7 40,4 1 ±1 9 32,7 41,9 1,5 ±1 10 30,9 42,5 2 ±1 11 31,5 42,8 2,5 ±1 Tabla 7.2: Análisis de Youden y cálculo de la puntuación z. εT εA xi yi x’i y’i CA CS Lab. εS εA^2 z=εT/s 1 27,3 37,7 27,50 37,50 3,12 0,28 -3,11 0,26 -2,86 0,068 3,9 2 29,1 37,2 28,15 38,15 2,57 1,34 -2,19 0,98 -1,59 0,954 3,3 3 29,7 38,3 29,00 39,00 1,40 0,99 -0,99 0,70 -0,70 0,490 1,8 4 30,6 38,9 29,75 39,75 1,20 1,20 0,07 1,14 0,07 1,293 1,5 5 6 29,1 29,4 38,9 39,7 29,00 29,55 39,00 39,55 1,00 0,30 0,14 0,21 -0,99 -0,21 0,13 0,15 -0,87 -0,15 0,016 0,023 1,3 0,4 7 8 9 10 11 29,0 30,7 32,7 30,9 31,5 41,5 40,4 41,9 42,5 42,8 30,25 30,55 32,30 31,70 32,15 40,25 40,55 42,30 41,70 42,15 1,93 1,22 3,72 3,05 3,58 1,77 0,21 0,57 1,13 0,92 0,78 1,20 3,68 2,83 3,46 1,34 0,18 0,50 0,87 0,75 0,59 1,04 3,22 2,18 2,83 1,799 0,034 0,246 0,758 0,565 2,4 1,5 4,7 3,9 4,5 Mediana: 29.7 39.7 s = raiz (6,240 / (11-1)) = 0,79 Suma: 6,240 r = 2.448 x 0.79 = 1.936 En la copia de la Fig. 3c están representados los resultados mostrados en la Tabla 7.2 IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 9 de 10 CPQ//Ley 7020/65 COFILAB IT003 MANUAL DE PROCEDIMIENTOS Autor: Antonio Pérez (Copia) Los resultados indican errores sistemáticos importantes en los laboratorios 1, 2, 9, 10 y 11. Nótese que el laboratorio 3, a pesar de habérsele impuesto los mismos errores que al laboratorio 9 cayó dentro del círculo de confianza del 95%. Esto puede ocurrir también en los ensayos reales y es propio de un análisis estadístico de este tipo. Los resultados de la puntuación z se muestran en la Tabla 7. Tabla 7.3: Puntuación z. Laboratorio N° 1 2 3 4 5 6 7 8 9 10 11 z 3,9 3,3 1,8 1,5 1,3 0,4 2,4 1,5 4,7 3,9 4,5 Puntuación z No satisfactorio No satisfactorio Satisfactorio Satisfactorio Satisfactorio Satisfactorio Satisfactorio Satisfactorio No satisfactorio No satisfactorio No satisfactorio Los resultados obtenidos están el línea con los observados en el Gráfico de Youden y reflejan muy bien las condiciones impuestas, resultando no satisfactorios aquellos laboratorios cuyos errores sistemáticos son relativamente altos respecto a los errores aleatorios. IDENTIFICACION IT003 COPIA 1 REVISION 0 FECHA DE VIGENCIA 30/06/04 FILE:eia005.doc Hoja 10 de 10
