validación de métodos analíticos cualitativos

VALIDACIÓN DE MÉTODOS ANALÍTICOS CUALITATIVOS
Itziar Ruisánchez, Esther Trullols y F. Xavier Rius
Grupo de Quimiometría y Cualimetría. Departamento de Química Analítica y Química
Orgànica. Universitat Rovira i Virgili. Pl. Imperial Tàrraco, 1, 43005 Tarragona.
Es bi en conocida la necesi dad de vali dar los mé todos de análi si s y, e n co ncreto , e n
este art íc ulo se aborda la vali daci ón de los métodos de análi si s cualita ti vos . Si bi en el
concepto de vali daci ón no depende de que ésta sea cua nti tati va o c uali tati va, en la
prácti ca los parámetros de cali dad que caracte ri za n a los mé todos cuali tati vos so n
disti ntos. As í, además de descri bi r las caracter ísti cas de los métodos cua li tati vos, se
defi nen los pri nci pales parámetros de calidad como son: falsos posi ti vos y nega ti vos ,
sensi bi li dad, especifi ci dad, regi ón de i ncerti dumbre, l ími te de corte, etc. F i nalmente ,
se descri ben muy bre veme nte c uatro vías para estab lecer dic hos parámetros .
Introducción
a
los
sistemas
de
medida cualitativos
Estos
En los laboratorios de análisis es cada
habitualmente sistemas de screening o
vez más frecuente la introducción de
de cribado. Desde el punto de vista
sistemas de medida de respuesta rápida
práctico,
que generan respuestas más de tipo
desarrollo de estos sistemas radica en
cualitativo que cuantitativo. La repuesta
que se utilizan como una etapa previa de
cualitativa suele ser binaria del tipo
cribado de las muestras (figura 1), de
SI/NO y puede responder a distintas
manera que se evita así que todas las
situaciones: presencia/ausencia de un
muestras sean sometidas a todo el
determinado analito en una muestra,
proceso de medida químico. Únicamente
presencia/ausencia por encima de un
seguirán
determinado
cuantitativo
nivel
(normalmente
de
sistemas
el
el
se
principal
interés
proceso
aquellas
denominan
de
en
el
análisis
muestras
cuya
concentración) que habitualmente viene
respuesta sea un ‘SI’ (positivo), aquellas
fijado por la legislación o el cliente, etc.
en las que se detecte la presencia de un
1
analito o se detecte que está por encima
realiza en base a los sentidos humanos
del nivel permitido.
como pueden ser la vista, olfato, etc. El
Hay analito por encima de un determinado valor, XSL?
más utilizado es la vista y la mayoría de
>X
SL
< XSL
sistemas se basan en la aparición o no
MUESTRAS
SISTEMA DE
SCREENING
SI
de un determinado color como resultado
ANÁLISIS
CUANTITATIVO
de una reacción química, bioquímica o
NO
inmunológica.
NO SE
ANALIZA
En este tipo de sistemas, la respuesta
Figura 1. Sistemas de cribado (screening).
binaria ‘SI/NO’ se obtiene de forma
Tipos
de
sistemas
de
directa, sin ningún tratamiento de los
medida
cualitativos.
datos. Generalmente , la presencia de un
Hacer clasificaciones siempre resulta
analito se determina por comparación
difícil ya que depende de los criterios
respecto a un blanco (muestra sin el
que se utilicen. Si atendemos al tipo de
analito), por ejemplo si se obtiene un
sistema utilizado para la obtención de la
determinado color hay analito, mientras
respuesta
que si no se obtiene (color del blanco) no
(detección)
podemos
lo hay.
diferenciar dos grandes grupos: análisis
cualitativo clásico o sensorial y análisis
Dentro de este grupo de sistemas
cualitativo instrumental (Tabla 1).
cualitativos
denominados
se
encuentran
‘tests
kits’.
los
Son
ü
ü Detección sensorial
p
Color: cambio, aparición, etc.
p
Olor
p
ELISA
dispositivos comerciales diseñados para
una aplicación concreta que contienen
todos los reactivos necesarios y en
ü
ü Detección instrumental
instrumental
p
UV-Vis, Fluorescencia, Potenciometría, etc.
p
Sensores : químicos, bio- químicos, etc.
p
ELISA
algunos casos incluyen un sistema
instrumental sencillo necesario para la
obtención de la respuesta.
Tabla 1. Tipos de sistemas de utilizados en el
cribado
El otro gran grupo es el que hemos
En el análisis cualitativo clásico la
denominado
detección es de tipo sensorial y se
2
análisis
cualitativo
instrumental. En este caso, la detección
que los test kits, la detección puede ser
se realiza en base a una medida
tanto sensorial como instrumental.
instrumental (colorimetría, fluorescencia,
voltamperometría, etc.). La presencia o
Validación de los sistemas de medida
no de un determinado analito depende
cualitativos
del nivel al que interese detectarlo. Bien
Al igual que los métodos de medida
puede ser al nivel del límite de detección
cuantitativos, los métodos cualitativos
o a un nivel superior que generalmente
también deben validarse. La validación
corresponde al fijado por la legislación.
de un método no depende de que éste
sea cuantitativo o cualitativo, ya que
En este tipo de sistemas de medida, la
validar
respuesta instrumental que se obtiene
documentar su validez, su adecuación a
debe transformarse en respuesta binaria
unos
del tipo SI/NO y por lo tanto implica un
establecidos. Esta es la idea que queda
tratamiento de datos. Primero hay que
recogida en la definición proporcionada
establecer la respuesta instrumental, por
por la norma ISO 8402 (ver cuadro 1) y
ejemplo un valor de absorbancia para la
que implica el concepto de adecuación a
concentración correspondiente al valor al
la finalidad o propósito perseguido, ‘fit-
que
for-purpose’.
se
quiere
concentración
cribar
establecido
(nivel
de
por
la
consiste
en
requisitos
verificar
y
previamente
legislación) y debe compararse con la
Validación
respuesta instrumental obtenida para
Validación es la confirmación mediante la examen
cada muestra. Si es superior, hay analito
y la provisión de una evidencia objetiva de que se
han satisfecho unos requisitos particulares para un
por lo que la respuesta binaria es SI, y si
uso pretendido y específico.
el valor es inferior la respuesta binaria es
NO.
Cuadro 1, Definición de validación según
la norma ISO 8402
Otro grupo de sistemas cualitativos que
podemos considerar aparte son los que
Por
utilizan el método ELISA. Están basados
concreto, la validación implica como
en una reacción inmunológica y al igual
paso previo la definición de los requisitos
3
lo
tanto,
ante
cada
problema
analíticos, o parámetros de calidad (en
segundo es la probabilidad de error
inglés, performance characteristics), que
asociada a la decisión tomada.
se precisan y, una vez definidos, el
siguiente
paso
consiste
Parámetros de calidad
en
determinarlos.
Los sistemas de screening tienen unas
connotaciones especiales que conllevan
La
primera
gran
encontramos
entre
diferencia
el
que
una
cuidadosa
adaptación
de
los
análisis
parámetros de calidad que están bien
cuantitativo y el análisis cualitativo es la
definidos y estudiados en los procesos
forma de expresar el resultado (figura 2).
de medida con finalidad cuantitativa,
Es bien conocido que la expresión de un
bien sean de tipo físico como químico.
resultado cuantitativo se caracteriza por
En la tabla 2 se muestran los parámetros
dos valores numéricos, el primero es la
más relevantes desde el punto de vista
estimación del valor verdadero y el
matemático-estadístico,
segundo corresponde a la incertidumbre
cuantitativos como cualitativos. Algunos
que está asociada a la dispersión del
de los parámetros de tipo cualitativo, han
resultado o intervalo dentro del cual
sido definidos recientemente por la
tenemos cierta fiabilidad de que se
AOAC [Feldsine 2000], mientras que en
encuentra el valor verdadero.
otros se está actualmente trabajando en
tanto
su definición.
A NÁ LISI S
CUA NTI TA TI V O
A NÁ LI SI S
CUA LI TA TIVO /
SCR EE NI NG
Cuantitativo
Cuantitativo
ü Sensibilidad, Especificidad
VA LOR E STI MA DO
±
I NCER TI D UMB R E
ü Selectividad: Interferencias
SI / NO
CO N
P ROBA BIDA D DE
E RO R
ü Probabilidad de falso
positivo y negativo
ü Límite de detección
ü Sensibilidad, Especificidad
ü Rango y Linealidad
ü Selectividad: Interferencias
ü Incertidumbre
ü Límite de detección
ü Exactitud: veracidad,
precisión
ü Robustez
Figura 2, Expresión del resultado analítico.
Binario/Cualitativo
Binario/Cualitativo
ü…
ü Límite de corte (cut -off )
ü Incertidumbre o región de
error
ü Robustez
ü ….
Tabla 2. Parámetros de calidad.
El resultado de un análisis cualitativo
también se caracteriza por dos valores,
el primero es binario ‘SI/NO’, y el
4
Cabe
resaltar
que
algunos
son
tomamos como referencia la presencia
específicos del análisis cualitativo, como
de un contaminante, la legislación fija el
son la proporción de falsos positivos y
contenido
negativos y el límite de corte o cut-off.
contenido máximo de Aflatoxina B1 en
Otros, como especificidad, sensibilidad y
fruto seco es de 2 ng/g [EC No
límite de detección, pueden tener un
257/2002].
máximo,
por
ejemplo
el
significado ligeramente diferente aunque
mantienen el mismo nombre que en el
Centrémonos
en
los
cuantitativo. Finalmente, decir que la
cualitativos sensoriales, concretamente
mayoría de los parámetros cualitativos,
en los test kit que hoy en día son
al ser de naturaleza binaria SI/NO, se
ampliamente
expresan en términos probabilísticos.
concreto sería aquel en que cuando la
utilizados.
métodos
Un
caso
muestra contiene menos de 2 ng/g de
De forma genérica podríamos decir que
Aflatoxina B 1 se obtiene una repuesta
la validación de cualquier método de
negativa (aparece color), mientras que si
análisis implica el establecimiento de los
la concentración es superior la respuesta
parámetros de calidad considerados
es positiva (no aparece color) [Aflacard
básicos:
B1 2002].
trazabilidad,
representatividad,
parámetros
de
etc.
calidad
exactitud,
De
los
propios
y
En este tipo de test kits lo ideal es que el
característicos del análisis cualitativo
límite real al que criba el test kit,
podemos destacar aquellos que hacen
denominado límite de corte o cut-off,
referencia o están relacionados con
coincida con el límite legislativo, pero así
niveles de concentración; así podemos
como el legislativo es un límite teórico, el
distinguir el límite de detección, el límite
de corte es un límite experimental (figura
de corte o cut-off y el límite legislativo.
3).
La situación habitual que nos solemos
Respuesta
Negativa
encontrar es que la legislación indica el
Respuesta
Positiva
c= 2ng/g
contenido máximo o mínimo de un
Concentración
Figura 3, Res puesta teórica de un test kit
determinado analito en una muestra. Si
5
Pero
desde
el
punto
vista
este caso concreto, interesa que la zona
experimental hay que tener en cuenta
2) esté por debajo del límite legislativo
que si representamos la respuesta del kit
para asegurar la ausencia de falsos
en función de la concentración se
negativos y además que esté lo más
pueden distinguir 3 zonas (figura 4): a)
próximo posible al límite legislativo, para
zona donde se obtiene siempre una
reducir el número de falsos positivos,
respuesta
(figura 5).
negativa
de
(correctos
negativos), b) zona donde para una
misma concentración se pueden obtener
tanto
respuestas
positivas
Región de no fiabilidad o error
Zona de
correctos
negativos
como
negativas, corresponde a la zona de
falsos positivos y negativos, y c) zona
Zona de
Zona de
correctos
falsos
positivo
positivos
s
Límite de corte = c’ c= 2ng/g
Concentración
Fig. 5, Límite de corte en el caso de un
contaminante
donde se obtiene siempre una respuesta
positiva (correctos positivos).
Como queda reflejado en las figuras,
alrededor del límite de corte se sitúa una
zona o región de error o falta de
Región de no fiabilidad o error
Zona de
correctos
negativos
Zona de
falsos
positivo
s
Zona de
falsos
negativo
s
c= 2ng/g
fiabilidad (que en la literatura inglesa se
Zona de
correctos
positivos
denomina,
Concentración
unreliability).
corresponde
Figura 4, Respuesta experimental de un test kit
al
Esta
zona
intervalo
de
concentraciones donde se obtienen los
En
el
ejemplo
contaminante
concreto
como
puede
de
un
ser
la
falsos positivos y negativos, por lo que
está definida por un valor superior e
inferior de concentración de analito en
Aflatoxina B1, está claro que interesa no
muestra. Estos dos tipos de errores son
dar ningún falso negativo (decir que no
dos
hay analito cuando en realidad si lo hay),
caracterización
mientras que sí podemos aceptar falsos
toda muestra que de una respuesta
analiza
un
en
la
sistema
de
1997]:
implicaría un riesgo para la salud ya que
se
de
básicos
screening y se definen como [Massart
positivos puesto que en ningún caso
positiva
parámetros
Falsos
posteriormente
negativos.
Corresponden
a
aquellas muestras que contienen uno o
mediante el método confirmatorio. En
6
más analitos por encima del valor límite
La sensibilidad se define como la
permitido (límite legislativo) y que al
capacidad o habilidad del sistema de
aplicar el test de screening dan una
screening de detectar muestras positivas
respuesta negativa. Es decir, como
cuando realmente son positivas. De
resultado del test de screening
se
forma similar, la especificidad se define
concluye que la muestra no contiene
capacidad o habilidad del sistema de
analito por encima del nivel máximo
screening
de
fijado
negativas
cuando
cuando
en
realidad
sí
que
contiene.
Falsos
detectar
muestras
realmente
son
negativas.
positivos.
Corresponden
a
Finalmente, al igual que en los sistemas
aquellas muestra s que realmente no
de
contienen analito por encima del nivel
comprobarse que el método que se
máximo permitido y que sin embargo el
utiliza para cribar tenga un límite de
test de screening indica que están por
detección inferior o igual al límite de
encima de dicho nivel.
corte.
Hay
dos
parámetros
que
medida
cuantitativos,
debe
Métodos para caracterizar un sistema
están
relacionados con los límites inferior y
de screening
superior de concentración que definen la
Se han desarrollado varios métodos que
zona
la
permiten caracterizar un sistema de
sensibilidad y la especificidad. Hay que
screening. Cada uno de ellos tiene
resaltar que, como ya se ha comentado
distinto grado de adaptación a las
anteriormente, ambos se expresan como
diferentes situaciones y problemáticas
probabilidades.
que pueden encontrarse, atendiendo al
de
no
fiabilidad
La
que
son
sensibilidad
está
relacionada con el valor superior de la
tipo de medida o resultado obtenido.
región de no fiabilidad, mientras que la
especificidad lo está con el valor inferior
Dos de ellos se fundamentan en el
de dicha región.
concepto de probabilidad y en dicho
sentido asocian una probabilidad al
resultado de la medida: las tablas de
7
contingencia y el teorema de Bayes
[McFall 1999]. Un tercer método se basa
MUESTRA
S
Situación real (método cuantitativo)
en el establecimiento de las curvas
funcionamiento
[EURACHEM 1999], y finalmente, se
describe
un
método
basado
en
Igual o
superior
Inferior
Total
tp
fp
tp+fp
Negativo
fn
tn
fn+tn
Total
tp+fn
fp+tn
N
Positivo
screening
de
Resultado
características
la
aplicación de los tests de hipótesis
[Pulido 2002]. Este último es similar al
Tabla 3, Tabla de contingencia con 2 categorías.
que se utiliza para el establecimiento de
Fp: falsos positivos, fn: falsos negativos, tp: total
los parámetros de calidad en el análisis
positivos, tn: total negativos, N: número total de
ensayos realizados
cuantitativo.
Una de las ventajas más importantes es
A continuación presentamos los rasgos
su fácil aplicación a múltiples tipos de
generales de cada una de los métodos
bio-ensayos, campo en el que aparecen
sin pretender desarrollarlos, sino dar una
la mayoría de las aplicaciones [Neil
idea general de cuando sería más
1975, Hawass 1997].
adecuado adoptar cada una de ellos.
Cabe resaltar que estos parámetros dan
Tablas de Contingencia
Las
más
diferencian
sencillas
las
son
las
que
muestras
en
dos
una medida global de la capacidad del
método de screening. Esto significa que
se supone que la muestra problema a
categorías, positivo/negativo según el
examinar
método de screening, y establece una
tabla
de
comparación
respecto
se
comportará
estadísticamente de forma semejante a
al
las ya analizadas, con lo cual no se
resultado obtenido mediante un método
calcula una probabilidad de error para
de referencia o confirmatorio (tabla 3).
cada muestra en particular.
A partir de la tabla, se calculan los cuatro
Otro de los grandes inconvenientes es
parámetros básicos, definidos en la
que la capacidad de la tabla depende del
sección anterior: falsos positivos, falsos
número de muestras analizadas y el
negativos, sensibilidad y especificidad.
diseño
8
experimental
utilizado
para
elaborar la tabla, y que para el cálculo de
Consiste en representar la probabilidad
los parámetros de calidad mencionados,
de
todas las muestras deben analizarse por
distintos niveles de concentración. Esta
los dos métodos, el de cribado y el
representación
confirmatorio.
posición y amplitud de la curva es
obtener
resultados
característica
Teorema de Bayes
es
positivos
sigmoidal,
de
cada
y
a
la
sistema
de
screening (figura 6).
El teorema de Bayes se basa en la
teoría de probabilidades por lo que,
desde el punto de vista analítico, la
Región de Incertidumbre
Sensibilidad=P(X)
=1-FN=100-β
100
terminología utilizada es compleja y
100 - β
presenta la dificultad del cálculo de las
distintas probabilidades intermedias. En
N(x )
70
probability
probabilidad
90
80
60
P(X)
50
40
30
P(x)
20
10
concreto se calcula la probabilidad de
α
0
1,0
1,2
1,4
1,6
1,8
2,0
AFB1 concentration (ppb)
Especificidad= N(X)
=1-FP= α
dar como válido (positivo o negativo) un
2,2
2,4
Cut -off
Límite de detección
resultado cuando en realidad es válido,
Figura 6, Curva característica de funcionamiento.
P(a/p). Esta probabilidad se denomina
condicional.
El
principal
inconveniente
de
este
Cabe destacar que una buena estima de
método, al igual que se ha mencionado
la incertidumbre o probabilidad de error
en el método de Bayes, es la elevada
mediante este procedimiento implica un
carga experimental ya que hay que
número elevado de muestras. Si se
realizar un número elevado de análisis a
compara con las tablas de contingencia,
distintos niveles de concentración.
el teorema de Bayes sí permite una
estima individual (para cada muestra
Como ventaja, tal y como se refleja en la
analizada) de la incertidumbre asociada
figura 6, resaltar que además de los
o probabilidad de dar un resultado
cuatro
erróneo.
positivos, falsos negativos, sensibilidad y
parámetros
especificidad),
información
Curvas características
9
se
básicos
obtiene
adicional
sobre
(falsos
mucha
las
características del método de screening:
falsos positivos) es mayoritaria-mente
el límite de corte, límite de detección,
conocida y utilizada en los laboratorios
región de incertidumbre, etc.
de análisis, no ocurre lo mismo con la
probabilidad β (probabilidad de cometer
Aplicación de los tests de hipótesis
falsos negativos).
En este caso, se establece el valor de
respuesta
de
Además, es un método rápido y sencillo,
concentración al que se quiere cribar
fácilmente automatizable, que permite la
(normalmente con un patrón) y para
asignación
decidir si una muestra problema es
probabilidad de equivocarnos utilizando
positiva o negativa, se compara el valor
como técnica de screening una técnica
de respuesta instrumental de la muestra
instrumental. Como principal desventaja
problema
resaltar que no es directamente aplicable
establecido
instrumental
con
el
(del
valor
al
nivel
previamente
patrón).
de
una
incertidumbre
o
Esta
cuando la técnica de screening aplicada
comparación se realiza mediante tests
es un kit no instrumental o se basa en
de hipótesis [Pulido 2002].
una observación visual no cuantificable
por parte del analista.
Como
ventajas
cabe
resaltar
la
familiaridad que desde un punto de vista
analítico se tiene de trabajar con los
tests de hipótesis. Si bien la probabilidad
α de error (probabilidad de comete r
Referencias bibliográficas
P. Feldsine, C. Abeyta, W. Andrews. AOAC International Method Committee.
Guidelines for Validation of Qualitative and Quantitative Microbiological Official
Methods of Analysis. Draft, November 2000.
URL: http://aoac.org/vmeth/MicrobiologyGuidelines112700.htm
Commission Regulation (EC) No 257/2002. Official Journal of the European
Community, 12.2.2002, No. L 041, pp12-15.
10
Aflacard B1 Product Overview. R-Biopharm Rhone Ltd , 2002.
www.rhone-diagnostics.co.uk
D.L. Massart, B.G.M. Vandeginste, L.M.C. Buydens, S. de Jong, P.J. Lewi, J.
Smeyers-Verbeke. Handbook of Chemometrics and Qualimetrics: Part A. Elsevier,
Amsterdam, 1997.
R.M. McFall, T.A. Treat. Annual Reviews Psychology; 50 (1999) 215-241.
EURACHEM. Quantifying Uncertainty in Analytical Measurement, Draft: EURACHEM
Workshop, 2nd edition, Helsinki, 1999.
A. Pulido, I. Ruisánchez, R. Boqué, F.X. Rius. Analytica Chimica Acta, 455 (2002)
267-275.
B.J. Neil, E. Keeler, S. J. Adelstein. The New England Journal of Medicine, 293 (1975)
211-215.
N. E. Hawass. The British Journal of Radiology, 70 (1997) 360-366.
Los autores agradecen todos los comentarios relacionados con los contenidos de este
artículo. Pueden dirigirse, mediante mensaje electrónico, a la dirección:
[email protected]. Una versión en soporte electrónico de este artículo e
información adicional puede encontrarse en http://www.quimica.urv.es/quimio
11