Estudios interlaboratorios: • Estudios Colaborativos • Estudios de

Estudios interlaboratorios:
• Estudios Colaborativos
• Estudios de Certificación
• Ensayos de Aptitud
• Taller 11
“tested once, accepted everywhere”
Leonardo Merino
NATIONAL FOOD
ADMINISTRATION
Science Department-Swedish National Food Agency
Santiago de Chile, Julio 2013
Estudio Interlaboratorio
Un estudio en el cual varios laboratorios miden una cantidad
en uno o mas porciones idénticas de un material homogeneo y
estable bajo documentadas condiciones, y cuyos resultados
IUPAC 1994
son resumidos en un reporte.
Un laboratorio sólo puede mejorar la exactitud de sus resultados a
través de la comparación de su desempeño con la de otros laboratorios.
( ej, materiales de referencia y Ensayos de Aptitud).
La norma 17025 exige explicitamente participar en Estudios de Aptitud
y usar materiales de referencia (item 5.9)
NATIONAL FOOD
ADMINISTRATION
1
Tipos de Estudios Interlaboratorios
1. Caracterización de un método
(Collaborative study)
2. Certificación de un material
(Certification study - CRM)
3. Desempeño de un laboratorio
(Proficiency Testing - PT)
Estos tres tipos de estudios abarcan los tres principales
aspectos incluidos en el trabajo analítico:
• el método analítico o procedimiento,
• el material a ser analizado,
• el analista en el laboratorio
NATIONAL FOOD
ADMINISTRATION
Estudios Colaborativo (Method-performance Study)
es un estudio interlaboratorio en el cual todos los laboratorios siguen
el mismo procedimiento escrito y usan el mismo método de ensayo para
medir una cantidad en un grupo de muestras de ensayo idénticas.
Objetivo: Caracterización de un método de ensayo
• Los laboratorios deberán usar el mismo método
• Analizan diversas matrices y niveles de concentración
Nota: Participantes pueden ser asesorados en la correcta aplicación del
método.
NATIONAL FOOD
ADMINISTRATION
2
Resultados estadísticos de Ensayos colaborativos.
AOAC International 2002
___________________________________________________
Material (descripción y listado en orden de magnitud de las medias)
___________________________________________________
Número de laboratorios retenidos despues de eliminar anómalos
Número de valores anómalos eliminados
Media
Valor verdadero o aceptado, si es conocido
Desviación estándar de repetibilidad (sr)
Desviación estándar relativa de repetibilidad (RSDr)
Repetibilidad límite, r (2.8 x sr)
Precisión intermedia (sRw- opcional si sr no es válido)
Desviación estándar de reproducibilidad (sR)
Desviación estándar relativa de reproducibilidad (RSDR)
HORRAT
Reproducibilidad límite, R (2.8 x RSDR)
Porcentaje de recuperación (%Rec), si es aplicable
NATIONAL FOOD
_____________________________________________________
ADMINISTRATION
Estudios de Certificación (Material-certification study)
es un estudio interlaboratorio que asigna un valor de referencia a una
cantidad (concentración o propiedad) en una muestra de ensayo,
usualmente con una establecida incertidumbre.
IUPAC 1994
Objetivo: Caracterización de un material
• Participan laboratorios experimentados
• Selección de un espectro amplio y representativo de métodos
analíticos
NATIONAL FOOD
ADMINISTRATION
www.weblab.gr/softcrm/main.htm
3
NATIONAL FOOD
ADMINISTRATION
Ensayo de Aptitud (Proficiency Testing)
un estudio interlaboratorio que consiste de uno o más análisis o
mediciones por un grupo de laboratorios de una o mas muestras
homogéneas y estables empleando un método libremente
elegido por el laboratorio.
Objetivo: Evaluación del desempeño de un laboratorio
• Proveer información objetiva que ayuden a mejorar el
sistema de calidad de las mediciones analíticas
• Demostrar la calidad analítica del desempeño del laboratorio
NATIONAL FOOD
ADMINISTRATION
http://www.eptis.bam.de/en/index.htm
4
Otros beneficios de un Ensayo de Aptitud (PT)
• Obtener información actualizada de las mediciones analíticas
• Comparar y diferenciar el desempeño de métodos analíticos
• Apoyar a los laboratorios en sus actividades para la acreditación
• Proveer (eventualmente) materiales de referencia
NATIONAL FOOD
ADMINISTRATION
Principio de la evaluación del desempeño
Comparar….
• Error observado (sesgo)
- diferencia entre el resultado reportado (xlab) y el valor
asignado ( Xref)
• Rango de precisión aceptable
- una desviación estándar o incertidumbre
… usando un apropiado criterio de aceptabilidad
NATIONAL FOOD
ADMINISTRATION
5
z-scores
z 
Grado de conformidad con los otros resultados o regulación
xlab = Resultado del participante
Xref = Valor asignado
P =Desviación estándar de evaluación del desempeño
x lab  X ref

p
Semejanza del resultado y el valor asignado considerando
las respectivas incertidumbres
µlab = Incertidumbre del resultado del participante
µref = Incertidumbre del valor asignado
xlab  Xref
zeta 
ulab 2  uref 2
Interpretación de los z-scores
|z|  2
2 < |z| < 3
|z|  3
el resultados es satisfactorio
el resultado es cuestionable
el resultado es insatisfactorio
NATIONAL FOOD
ADMINISTRATION
Fig 3. z-Score for fat in cereal-based food (K104)
3,0
Assigned value: 11.3 g/100g
2,0
z-score
1,0
0,0
-1,0
-2,0
-3,0
40
36
NATIONAL FOOD
ADMINISTRATION
16
08
18
19
21
32
13
42
27
50
22
45
14
20
31
17
47
25
33
41
46
12
44
10
01
06
24
51
38
35
07
02
03
Laboratory code
6
Interpretación del desempeño del laboratorio
usando los z-scores
Factores a considerar:
1. El desempeño de todos los participantes en la ronda
2. El resultado en relación a los métodos analíticos usados.
Compararlo con aquellos que usan el mismo o similar método
3. La matriz y niveles de concentración del material de ensayo
4. Problemas en la organización del estudio. La distribución
estadística de los resultados. Criterio de evaluación
NATIONAL FOOD
ADMINISTRATION
Se recomienda que el laboratorio use su propio criterio
(fitnees for purpose) para evaluar su desempeño
Causas de desempeños insatisfactorios
Errores analíticos
• Calibración
• Problemas instrumentales (software, longitud de onda, etc)
• Estabilidad de los reactivos químicos
• Extracción del analito y eliminación de interferencias
• Experiencia del analista en la aplicación del método
Errores no-analíticos
• Cálculos
• Unidades
• Transcripción al formato de reporte de resultados
Ambos errores son igualmente serios
NATIONAL FOOD
ADMINISTRATION
7
Ejemplo de error analítico: Análisis de Grasas
Grupo I: 15 lab
Grupo II: 46 lab
Grupo II:
Mediana = 8.97 g/100g
Grupo I :
Mediana = 3.81 g/100g
NFA Proficiency Testing
Ronda N-39
NATIONAL FOOD
ADMINISTRATION
5
10
15
Importancia de la hidrólisis ácida
Group I (2-6 % )
Lab No Result
17
3.16
19
3.35
20
4.23
21
4.39
23
4.5
26
3.81
37
3.83
41
3.77
43
5.103
46
3.6
52
2.17
58
4.81
65
4.11
67
3.78
75
3.63
M ethod
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
O ther
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Roese G ottlieb
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Soxhlet-Soxtec
Acid Hydrolysi Am m onium a Extraction solvent
Ether-petroleum -ether
No
No
O ther
O ther
Ether-petroleum -ether
Yes
O ther
No
No
Dietyl ether
No
No
Dietyl ether
No
Ether-petroleum -ether
Yes
Ether-petroleum -ether
Dietyl ether
No
No
No
Median
Min
Max
Antal
No
No
Ether-petroleum -ether
Dietyl ether
Dietyl ether
Dietyl ether
Pais
Bolivia
Ecuador
Ecuador
Ecuador
Honduras
M exico
Argentina
Chile
Chile
Chile
El Salvador
Nicaragua
Argentina
Argentina
Chile
3.81
2.17
5.103
15
NATIONAL FOOD
ADMINISTRATION
8
Ejemplo de Error No-Analítico
Analito
(mg/kg)
Resultado
reportado
Z-score
NFA
Resultado
corregido
Z-score
recalculado
Potasio *
643.16
-20.5
6431.6
2.5
Calcio *
418.80
-19.8
4188.0
-0.3
Hierro *
7.47
-11.1
74.7
-1.3
Fósforo *
775.29
-16.7
7752.9
25.6
Grasas
(g/100g)
2.17
-26.4
?
_
* Resultados expresados por error en mg/100g en lugar de mg/kg
Aproximadamente 35-40% de resultados
insatisfactorios son debido a errores no-analíticos
NATIONAL FOOD
ADMINISTRATION
Ejemplo de Error Analítico y caracter pedagógico del EA
Analito
Resultado
reportado
Z-score
NFA
Humedad
2.13
3.7
2.26
2.0
Grasas
4.39
17.8
8.70
-1.0
NATIONAL FOOD
ADMINISTRATION
Resultado
z-score
Corregido recalculado
Teacher or Policeman?
El laboratorio solicitó muestra adicional, efectuó las
correcciones analíticas y envio al coordinador sus
nuevos resultados como información.
Teacher!
Way to go!
9
Test de homogenidad – (Estándar ISO 13528:2005)
• Preparar y empaquetar el material de ensayo
• Seleccionar aleatoriamente 10 o mas unidades
• Analizar el analito en cada unidad por duplicado en orden
aleatorio
– El método debe ser suficientemente preciso
• Calcular usando ANOVA:
– Desviación estándar dentro-grupos (analítica), sd
– Desviación estándar entre-grupos (muestreo), se
• Aplicar el F-test y establezca la significancia estadística de
acuerdo al criterio recomendado
NATIONAL FOOD
ADMINISTRATION
Ejemplo de ISO 13528, Tabla B.1
(pag 62) –Harina de soya
En un ensayo de aptitud se usa harina
de soya como material de ensayo,
usando los resultados de un
experimento de precisión se
establece una desviación estandar
para la evaluación del desempeño de
P = 1.1 µg/g.
Establezca la homogenidad de las
muestras de ensayo
NATIONAL FOOD
ADMINISTRATION
10
Ejemplo ISO 13528-Harina de soya
• Usando ANOVA calcular los cuadrados medios y con ellos las
correspondientes desviaciones estándares entre y dentro de
muestras.
MS e  MS d
n
s sam  s e 
san  sd  MSd
• Comparar las desviaciones estándares entre muestras (ssam) y
la desviación estandar de desempeño (P) siguiendo el siguiente
criterio dado por ISO.
s sam  0 . 3 p
NATIONAL FOOD
ADMINISTRATION
El factor 0.3 asegura que la desviación estándar entre-muestras no
contribuye mas del 10% a la desviación estándar para la evaluación del
desempeño (P ) del ensayo de aptitud.
Ejemplo de ISO 13528, Tabla B.1
ANOVA
Source of variation
Between groups
Within Groups
Totalt
SS
2,545
0,735
3,280
df
11
12
MS
F
p-value
0,2313 3,7767 0,0155
0,0613
F-krit
2,7173
23
san  sd  MS d  0.0613  0.247
ssam  se 
NATIONAL FOOD
ADMINISTRATION
MSe  MSd
0.2313  0.0613

 0.292
n
2
En este caso, el F-test de ANOVA nos indica que
hay diferencia significativa entre y dentro frascos,
pero…
11
Conclusión del ejemplo ISO 13528
s sam  0 . 3 p
0.292  0.3  1.1  0.330
… sin embargo, el material puede ser usado ya que se cumple el
criterio de variación entre muestras de acuerdo a lo
establecido por ISO y las metas fijadas por el coordinador
www.rsc.org/amc/
NATIONAL FOOD
ADMINISTRATION
Taller 11
Usando la información encontrada en los reportes de un Ensayo de aptitud,
discutan en grupo una posible interpretación del desempeño de un laboratorio
Referencias
• ISO/IEC 17043:2010 Conformity assessment – General requirements for proficiency testing
• ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparison
•AOAC International 2002. Guidelines for Collaborative study Procedures to Validate Characteristics of a
Method of Analysis.
• AMC technical brief No 6, 2001. Robust statistic: a method of coping with outliers. www.rsc.org/amc/
• AMC technical brief No 4, 2006. Representing data distribution with kernel density estimates.
• Proficiency Testing Course (2003). LGC Teddington-London www.rsc.org/amc/
NATIONAL FOOD
ADMINISTRATION
12