Z score Z score - Instituto Nacional de Salud

ESTADISTICA APLICADA EN EL
PROGRAMA DE EVALUACIÓN
EXTERNA DEL DESEMPEÑO PARA
TSH NEONATAL (EEDDTSH)
GRUPO GENETICA Y CRÓNICAS
NORMATIVIDAD
ISO/IEC 17043:2010. Evaluación de la conformidad
Requisitos generales para los ensayos de aptitud.
-
ISO 13528:2005. Métodos Estadísticos usados en ensayos de
aptitud para comparación interlaboratorios.
IS/ISO/IEC Guide 43-1:1997. Proficiency testing by
interlaboratory
comparisons
Guidelines,
Part
1:
Development and operation of proficiency testing scheme
[MSD 10: Social Responsibility]
ISO 34, ISO Guide 34:2013. Standard Application Document
for Reference Material Producers. © Copyright National
Association of Testing Authorities, Australia 2013
Ensayo de aptitud
(anexo B, ISO 17043)
1. Determinación del Valor Asignado al
material de control enviado en cada
evaluación.
2. Selección de los estadígrafos usados
para evaluar desempeño.
3. Calificación del desempeño de los
participantes.
4. Evaluación
de
la
estabilidad
y
homogeneidad del material de control.
Valor asignado
(ISO 13.528)
1. Valor atribuido a una propiedad
particular de un material usado en un
ensayo de aptitud (ISO 17043).
2. Valor atribuido a una cantidad
particular y aceptado, por consenso,
con incertidumbre apropiada para el
objetivo del ensayo.(ISO 13528).
3. El valor asignado estima el valor
verdadero con una certeza aceptada.
Asignación
Valor de referencia certificado.
Valor de consenso obtenido de los laboratorios
participantes mediante Estadística tradicional:
Previo al cálculo de media se deben descartar
valores extremos mediante métodos adecuados
(Grubbs, Dixon, Pearson, Healey (X+/-3DS), etc.).
Asignación
Valor de consenso obtenido de los laboratorios
participantes mediante Estadística Robusta
Algoritmo A
Método de Huber
Media robusta
Desviación o Sesgo
7
(ISO 17043)
D = (x – X)
x : valor reportado por laboratorio
X valor asignado
(ISO 13528)
|D| 2σ Satisfactorio.
2σ < |D| 3σ Cuestionable.
|D| > 3σ Insatisfactorio
Z score
Z score (SDI, IDE):
Es el error sistemático o desvío de un
método como un múltiplo del desvío
estándar observado para el grupo.
(Índice de desvío Estándar)
Desvío Relativo Porcentual
(DRP o Sesgo %)
Desviación del resultado informado por el
laboratorio con respecto al valor de consenso:
DRP= ((xi – ͞x ) / ͞x )*100
Z score
Z-score = ( x - ͞x )/SD
Evaluación del Desempeño:
|Z-score| <=2 Satisfactorio.
2< |Z-score| <=3 Cuestionable.
|Z-score| >3 Insatisfactorio
Medida de la dispersión
Para determinar el Z score se establece el
consenso de los laboratorios para el valor
asignado y la Desviación Estándar.
Valor Asignado
Consenso de laboratorios
Media Aritmética:
Es el promedio de una serie de datos.
Incluye valores extremos o outliers y asimetrías.
Valor Asignado
Consenso de laboratorios
Mediana:
Es el número central de un grupo de valores cuando
están ordenados secuencialmente de menor a
mayor.
La mediana es el número central o el promedio de
los dos datos centrales.
Es robusta, no es afectada por valores extremos, y es más
estable frente a distribuciones asimétricas.
Media Robusta
ISO13528
Métodos robustos iterativos
Algoritmo A
Método de Huber
Los datos en ambos extremos de la distribución son
reemplazados, para calcular un nuevo promedio y
volver a hacer un reemplazo iterativamente.
Las asimetrías fuertes en la distribución de datos
afectan el resultado.
Algoritmo A (método de Huber)
Antes de iniciar cálculos, se eliminan
estadísticamente los valores atípicos,
primero los errores obvios, tales como
unidades incorrectas, errores del punto
decimal y resultados correspondientes a un
ítem de ensayo de aptitud diferente.
Algoritmo A (método de Huber)
Promedio robusto x*
Método estadístico de eliminación de datos
extremos.
El x* corresponde a la desviación absoluta a
la mediana
x* = mediana de xi (i = 1, 2, ..., p)
Algoritmo A (método de Huber)
Desviación estándar robusta s*
Corresponde al x* estandarizado:
s* = 1,483 mediana de [ |xi-x*| ] (i = 1, 2, ..., p)
Algoritmo A (método de Huber)
Actualizar los valores de x* y s*:
= 1,5s*
Limite superior
Limite inferior
Ul=mediana+1,5s*
Ll=mediana-1,5s*
Para cada xi (i = 1, 2, ..., p), reemplazar todos los datos
mayores al límite superior por el límite superior y
todos los datos menores al límite inferior por el
límite inferior. Con los datos reemplazados calcular
nuevo valor de media x* y desviación estándar s*.
Algoritmo A (método de Huber)
Las estimaciones robustas x* y s* pueden derivarse por un
cálculo iterativo, es decir, mediante la actualización de los
valores de x* y s * varias veces usando los datos
modificados, hasta que el proceso converge.
Esto se asume cuando no hay cambios de una iteración a
la siguiente en la tercera cifra significativa de la desviación
estándar robusta y de la cifra equivalente en la media
robusta.
Los outliers o valores atípicos se eliminan para los cálculos
del valor asignado pero luego se retoman para seguir en la
evaluación dentro del programa de ensayo de aptitud o de
intercomparación y recibir la evaluación de desempeño
apropiada (ISO/IEC 17043).
Algoritmo A (método de Huber)
Paso 1. Ordenar de menor a mayor los ítems p de ensayo
x1, x2,…..xi,….xp
Paso 2. Calcular valores iniciales de x* y s*
x* = mediana de xi (i = 1, 2, ..., p)
s* = 1,483 mediana de [ |xi-x*| ] (i = 1, 2, ..., p)
Paso 3. Actualizar los valores de x* y s*:
 = 1,5s*
Limite superior
Limite inferior
Ul=mediana+1,5s*
Ll=mediana-1,5s*
Z score
Con los valores obtenidos de media y desviación estándar
robusta ( con base en x* y s*) se calcula el valor Z score.
Z-score = ( x - ͞x )/SD
Z score
El valor de Z – score, se interpreta en cuanto a la magnitud
de la desviación del valor obtenido por el laboratorio frente
al valor asignado, con relación a la desviación del grupo.
Entonces cuando coinciden, el valor de Z – score es igual a
cero, pero se puede alejar hacia valores bajos o altos,
aceptables hasta dos unidades en valor absoluto. La
escala de interpretación, acorde con ISO 17043 es:
|Z-score| ≤2 Satisfactorio
2< |Z-score| ≥3 Cuestionable
|Z-score| >3 Insatisfactorio
INFORME INDIVIDUAL DE DESEMPEÑO
BOGOTÁ DC
EUSALUD
UMELISA
Valor
informado
Técnica
Código
Valor
consenso
SD
Límite
inferior
11001057
Límite
superior
|z-score|
DRP %
Lote
134
Gota 1
Gota 2
Gota 3
Gota 4
Gota 5
Gota 6
16,43
9,31
16,85
19,44
43,15
40,55
5,95
6,27
10,99
11,29
23,69
23,37
2,703194
2,784917
4,542966
4,516713
9,155043
8,886602
1,74
1,96
4,09
4,66
10,91
10,70
9,25
9,64
16,11
16,07
33,59
32,50
3,88
1,09
1,29
1,80
2,13
1,93
176
48
53
72
82
74
37,9
38,75
10,65
11,41
18,57
17,82
23,29
23,52
6,35
6,52
11,45
11,41
8,781061
8,930953
2,83927
3,007529
4,530978
4,784399
11,80
11,64
1,73
1,51
4,93
3,94
32,13
32,72
9,97
10,56
16,47
16,74
1,66
1,71
1,52
1,62
1,57
1,34
63
65
68
75
62
56
20,44
17
41,36
41,75
11,02
8,21
11,59
11,32
22,79
23,33
6,21
6,16
4,802904
4,719473
7,912479
9,459313
2,955383
2,759568
4,47
3,70
13,27
10,46
1,66
1,76
17,03
16,70
29,96
33,82
10,16
9,77
1,84
1,20
2,35
1,95
1,63
0,74
76
50
82
79
78
33
Lote
135
Gota 1
Gota 2
Gota 3
Gota 4
Gota 5
Gota 6
Lote
136
Gota 1
Gota 2
Gota 3
Gota 4
Gota 5
Gota 6
ESCALA DE EVALUACIÓN
2 <
|z-score|
|z-score|
|z-score|
≤
≤
>
2
3
3
SATISFACTORIO
CUESTIONABLE
INSATISFACTORIO
Tabla 2.- Continuación. Resultados (mUI/L) informados según código y z score obtenido por gota
lote
135
Gota
1
2
3
4
5
6
Código
valor mUI/l
z score valor mUI/l
z score valor mUI/l
z score valor mUI/l
z score valor mUI/l
z score valor mUI/l
z score
47001001
83,66 6,87500427
65,05 4,65059904
15,83 3,3404008
12,99 2,15012469
32,04 4,54356654
29,9 3,86514505
50001002
8,7 1,66151166
7,9 1,74846042
1,3 1,77705773
2 1,50407315
4,3 1,57870227
4,3 1,48557813
50001004
46,04 2,59080297
43,89 2,28132348
12,16 2,04782869
12,09 1,85087282
24,76 2,93685721
24,6 2,75737815
50001005
19,71 0,40768241
20,48 0,33988355
2,73 1,27341246
2,77 1,24804655
8,5 0,65175458
8,26 0,65788814
50001006
17,4 0,6707474
18,4 0,5727802
4,7 0,57957947
5,2 0,4400665
8,5 0,65175458
8,3 0,64952763
50001007
33,6 1,17412397
33,21 1,08548875
9,6 1,14619801
10,1 1,18919368
18,19 1,48684617
16,99 1,16679207
50001008
16,14 0,8142374
12,94 1,18413392
4,13 0,78033318
4,65 0,62294264
7,45 0,8834915
7,48 0,82091798
50001009
16,3 0,79601644
16,5 0,78552234
3,55 0,98460888
4,6 0,63956775
5,9 1,22557934
5,6 1,21386172
50001010
26,27 0,33937662
31,38 0,88058448
5,14 0,4246117
8,68 0,71704073
12,3 0,18691238
12,51 0,23041552
Promedio
Valor consenso
SD
Limite inferior
Límite superior
N
26,20
23,29
8,78
11,80
32,13
134
26,08
23,52
8,93
11,64
32,72
134
6,75
6,35
2,84
1,73
9,97
134
6,75
6,52
3,01
1,51
10,56
134
12,49
11,45
4,53
4,93
16,47
134
12,56
11,41
4,78
3,94
16,74
134
Gráfica 1b.- lote 36. Monobind Acubind
Gráfica de barras de sesgo estandarizado por laboratorio
4
3
z - score
2
1
0
-1
-2
-3
1
2
3
4
5
6
Gracias
por su participación
GRUPO DE GENETICA CRONICAS
SUBDIRECCIÓN LABORATORIO NACIONAL DE REFERENCIA
DIRECCIÓN DE REDES EN SALUD PÚBLICA
INSTITUTO NACIONAL DE SALUD
www.ins.gov.co
[email protected]
[email protected]
PBX 2207700 ext 1265