Tema Firma Manuscrita On-Line

Firma Manuscrita Dinámica
ƒ
Firma Manuscrita On-Line
ƒ
La biometría basada en firma manuscrita dinámica (‘on-line’) hace uso de
la información instantánea proporcionada por la tableta de firma
Por contraposición, se habla de firma estática (‘off-line’) cuando no se tienen
acceso al acto de firma, y sólo se dispone de su forma como imagen
Azimuth (0°-359°)
Altitude (0°-90°)
X
0°
270°
Y
Javier Ortega García
Az
P
EPS-UAM
90°
Al
180°
0
100
200
Firma Manuscrita On-Line
Ventajas de la Biometría de Firma On-Line
‰
Alta aceptación personal, social y legal como medio de autenticación.
‰
Baja invasividad.
invasividad
‰
Baja influencia del entorno sobre el proceso de adquisición.
‰
Buena adaptación a entornos móviles y/o de bajo control.
‰
‰
300
2
Retos de la Biometría de Firma On-Line
‰
Alta variabilidad intraintra-clase
‰
Variabilidad temporal entre sesiones
‰
Los impostores pueden producir falsificaciones entrenadas (‘skilled
forgeries’)
‰
Baja compatibilidad con imágenes estáticas de firma
Eclosión de dispositivos móviles/portátiles con interfaz tipo puntero
(TabletPC, PDA, ultra-portable PC, Móviles 3G, PocketPC, etc.)
Disponible en diversas aplicaciones comerciales (TPVs, mensajería
express, tiendas “Opencor”)
Firma Manuscrita On-Line
3
Firma Manuscrita On-Line
4
Base de Datos MCYT (i)
Métodos de Rec. de Firma Dinámica

Basados en Parámetros:
Parámetros:
‰
‰
ƒ
„
Representación: vector de características global.
Similitud: Medida de distancia entre vectores (e.g., Mahalanobis,
euclídea, …).
‰
‰
Basados en Secuencias (Funciones):
Funciones):
‰
‰
‰
Métodos Segmentales:
Segmentales:
ƒ Representación: secuencia de vectores (e.g., trazos, segmentos,
ventanas espaciales, etc.), funciones temporales (x, y, p…).
ƒ Similitud: comparación de vectores, atendiendo a la estructura
temporal de la secuencia (e.g., HMM).
„
Tableta Digitalizadora WACOM Intuos.
Firmando con tinta sobre un papel
apoyado en la tableta Æ corpus estático
y dinámico.
Al usuario se le propone una casilla para
firmar.
Protocolo de Adquisición:
Adquisición:
‰
‰
Métodos Locales:
ƒ Representación: funciones temporales (e.g., x, y, p, …).
ƒ Similitud: comparación elástica de secuencias temporales (e.g.,
DTW).
Firma Manuscrita On-Line
Procedimiento de Adquisición:
Adquisición:
330 sujetos.
De cada sujeto: 25 firmas genuinas
(en cinco tramos) + 25 firmas
falsificadas (de los cinco usuarios
posteriores)
J. Ortega-Garcia, et al., “MCYT Baseline Corpus: a Bimodal Biometric Database”, IEE
Proc. Vision, Image and Signal Processing, Vol. 150, No. 6, pp. 391-401, 2003.
Firma Manuscrita On-Line
5
6
MCYT: Protocolo Experimental
Base de Datos MCYT (ii)
Contenidos:
ƒ
Número de firmantes:
firmantes: 330
ƒ
Entrenamiento:
Entrenamiento:
ƒ 330 personas x 25 realizaciones genuinas = 8.250 muestras de usuario
ƒ 330 personas x 25 realizaciones falsificadas = 8.250 muestras de falsificadores
ƒ 8.250 muestras de usuario x 329 usuarios = 2.714.250 muestras de impostores
“casuales” por cada usuario
•
„
Reconocimiento:
Reconocimiento:
•
•
•
Genuinas
Auténticas:
Auténticas: 5 ó 20 firmas genuinas.
Auténticas:
Auténticas: Las 20 ó 5 firmas restantes.
Imitaciones Casuales:
Casuales: La primera firma de cualquier otro usuario, distinto
del cliente en cada caso.
Falsificaciones:
Falsificaciones: Las 25 falsificaciones disponibles.
Falsificaciones
Firma Manuscrita On-Line
7
Firma Manuscrita On-Line
8
SVC-04: Protocolo Experimental
Base de Datos SVC: Corpus de Desarrollo
•
•
•
•
ƒ
•
40 sujetos.
20 firmas auténticas (2
2 sesiones)
sesiones +
20 falsificaciones (de 5 falsificadores
distintos)
Publicly available:
•
BIOSECURBIOSECUR-ID (1):
ƒ
400 sujetos,
sujetos 3 sesiones,
sesiones 4 labs. participantes
ƒ
Modalidades: cara, voz, huella, iris, firma,
firma escritura, mano, tecleo.
ƒ
Escenario: Basado en PC,
PC oficina de trabajo
„
BioSecure NoE (2):
ƒ
1.000 sujetos,
sujetos 2 sesiones, 11 labs. participantes
ƒ
Modalidades: cara + voz, huella, iris, firma,
firma mano.
ƒ
Escenarios:
„
Basado en PC,
PC oficina de trabajo
„
Internet,
Internet modalidades voz y cara
„
Dispositivo portátil
9
Entrenamiento:
Entrenamiento:
•
Auténticas:
Auténticas: 3, 5 ó 10 firmas genuinas de la primera sesión.
Reconocimiento:
Reconocimiento:
•
Auténticas:
Auténticas: Las 10 firmas restantes de la segunda sesión.
Imitaciones Casuales:
Casuales: 20 firmas tomadas aleatoriamente de 20 usuarios
distintos (entre sí y del usuario objetivo).
Falsificaciones:
Falsificaciones: Las 20 falsificaciones disponibles.
D. Yeung, et al., “SVC2004: First International Signature Verification Competition”,
Proc. of Intl. Conf. on Biometric Authentication, ICBA-04, pp.: 16–22, Springer LNCS3072, July 2004.
Firma Manuscrita On-Line
10
Esquema basado en Parámetros Globales
ƒ Perspectiva directa,
directa muy utilizada en la literatura
ƒ La etapa de extracción de características se basa en la extracción de
parámetros que definen de forma general (‘global
global’) a la firma
ƒ Tras esta etapa de extracción se aplican técnicas de medida de distancia
entre vectores de características
ƒ Ventajas:
Ventajas sencillez y rapidez de cómputo
ƒ Desventajas:
Desventajas poca flexibilidad ante variabilidad intra-usuario
W. Nelson, and E. Kishon, “Use of Dynamic Features for Signature Verification”, Proc. IEEE Intl. Conf.
on Systems, Man, and Cybernetics, Vol. 1, pp.: 201-205, 1991.
W. Nelson, W. Turin, and T. Hastie, “Statistical Methods for On-Line Signature Verification”, Intl.
Journal of Pattern Rec. and Artif. Intell., Vol. 8, No. 3, pp.: 749-770, 1994.
(1) TIC2003-08382-C05, “Seguridad Multimodal basada en Autenticación Biométrica mediante Fusión
de Expertos Unimodales”.
(2)
ƒ
•
Otras Bases de Datos
„
Número de firmantes:
firmantes: 40
•
http://www.cs.ust.hk/svc2004/
Firma Manuscrita On-Line
ƒ
„
Protocolo de adquisición:
adquisición:
•
ƒ
Tableta WACOM Intuos con puntero sin
tinta (i.e., sin realimentación visual).
Firmas genuinas ‘inventadas’
inventadas’
(diferentes a las usadas en la vida real).
Firmas Occidentales y Orientales.
Orientales
Los falsificadores conocen la
dinámica de la firma a falsificar.
Genuinas
Datos complejos:
complejos:
Falsificaciones
ƒ
L. L. Lee, T. Berger, and E. Aviczer, “Reliable On-Line Human Signature Verification Systems”, IEEE
Trans. on PAMI, Vol. 18, No. 6, pp.: 643-647, 1996.
BioSecure NoE, “Biometrics for Secure Authentication”, FP6-IST-507634
Firma Manuscrita On-Line
11
Firma Manuscrita On-Line
12
Capacidad Discriminativa Individual de
cada Parámetro Global (i)
Esquema Global basado en Parámetros
ƒ Revisión exhaustiva y extracción de 100 parámetros globales
ƒ Combinación de parámetros nuevos, adaptados y existentes (respecto a
referencias citadas).
1)
Para cada parámetro global,
global Fk , calculamos la distancia de Mahalanobis
escalar entre su valor medio en los datos de entrenamiento del cliente i y la
distribución que dicho parámetro presenta para todas las firmas de todo el
resto de usuarios.
2)
Esta medida , di,Fk , es un indicador de la distancia entre cada usuario i y
el resto de usuarios,
usuarios en base a Fk .
3)
Generalizando, calculamos todas las distancias cruzadas entre usuarios,
usuarios lo
que nos permite estimar la separabilidad entre usuarios como:
ƒ Ordenados según su capacidad discriminativa individual
ƒ Selección de los n más discriminantes
ƒ De los 40 primeros,
primeros 12 son propuestas nuevas y 18 más son adaptados
X
S(Fk ) = ∑∑ di,Fk − d j,Fk
Y
ƒ Matching basado en modelado estadístico (mediante ventanas de Parzen
gaussianas)
gaussianas
j
P
i
Al
Az
Así estimamos la capacidad discriminativa individual de este parámetro Fk .
0
100
200
300
J. Fierrez-Aguilar, L. Nanni, J. Lopez-Peñalba, J. Ortega-Garcia, and D. Maltoni, “An On-Line Signature
Verification System Based on Fusion of Local and Global Information”, Proc. 5th IAPR Intl. Conf. on
Audio- and Video-based Biometric Person Authentication, AVBPA-05, pp. 523-532, July 2005, LNCS-3546.
Firma Manuscrita On-Line
Firma Manuscrita On-Line
13
Capacidad Discriminativa Individual de
cada Parámetro Global (ii)
Firmas auténticas (todas)
Falsificaciones (todas)
Firmas auténticas (mostradas)
Falsificación (mostrada)
2
Firmas auténticas (todas)
Falsificaciones (todas)
Firmas auténticas (mostradas)
Falsificación (mostrada)
0.5
0.4
1.5
Parámetro Global 4
Parámetro Global 2
Modelado basado en Parámetros Globales
mediante Ventanas de Parzen
ƒ
Procedimiento de estimación de distribuciones de probabilidad basado en el concepto
clásico de histograma.
histograma
ƒ
En el caso unidimensional, los histogramas están divididos en varios sectores de
anchura h , que son las regiones en las que puede ocurrir la muestra x.
ƒ
En el caso multidimensional, el espacio l-dimensional queda dividido en sectores en
forma de hipercubos de lado h y volumen hl.
ƒ
La estimación de Parzen aplica una serie de ventanas o funciones base (una por cada
Gaussianas) y centradas en dicha muestra.
muestra xi ), suavizadas (Gaussianas
ƒ
De esta forma, a partir de los datos de entrada se obtiene un modelo de mezcla de
Gaussianas para cada usuario j,
ƒ
En reconocimiento,
reconocimiento calculamos una puntuación basada en medida de similitud
logarítmica.
0.6
2.5
1
0.5
0
14
0.3
0.2
0.1
0
-0.1
-0.2
-0.5
-0.3
-1
-0.6
-0.4
-0.2
0
0.2
Parámetro Global 1
0.4
0.6
0.8
-0.4
-0.6
-0.4
Firma Manuscrita On-Line
-0.2
0
0.2
0.4
Parámetro Global 3
0.6
0.8
15
Firma Manuscrita On-Line
16
Selección Paramétrica: Resultados
5 firmas de entrenamiento
Dep.-usuario
Indep.-usuario
Dep.-usuario
11
11
10
10
5 Realizaciones TR
6.89
5.61
2.02
1.27
9
9
20 Realizaciones TR
5.14
3.92
1.53
0.87
8
8
EER (%)
7
6
5
5
4
4
3
3
2
2
1
10
1
10
20
30
40
50
60
70
80
90
100
4.5
4.5
4
4
3.5
3.5
EER (%)
5
3
2.5
2
20
30
40
50
60
70
80
90
100
3
2.5
2
1
1.5
0.2
1
0.1
0.5
0.5
30
40
50
60
70
80
90
0
10
100
0.1 0.2 0.5 1
20
30
40
50
60
70
80
90
100
5
10
20
40
Firma Manuscrita On-Line
17
ƒ
xn: componente horizontal de la trayectoria
yn: componente vertical de la trayectoria
pn: presión ejercida
18
Normalización y Modelado
ƒ
2 funciones adicionales:
Azimuth (0°-359°)
γn: azimuth en el plano de firma
Elevación (0°-90°)
Фn: elevación sobre el plano de firma
Normalización geométrica
•
Se normaliza en posición según el centro de masas
•
Se normaliza en rotación según el ángulo tangente a la trayectoria promedio
Normalización estadística
•
Las funciones descriptoras se normalizan en media y varianza
•
Cada firma es representada finalmente por un conjunto de 14 funciones
descriptoras normalizadas
0°
ƒ
x
•
El conjunto de 14 funciones descriptoras por firma es modelado mediante un HMM
y
Modelado Estadístico
•
Topología de izquierda-a-derecha
p
270°
4 funciones extendidas:
extendidas:
•
HMMs continuos,
continuos salida de cada estado modelada mediante mezcla de fdps
gaussianas multivariadas
•
Fase de Entrenamiento:
Entrenamiento algoritmo de BaumBaum-Welch,
Welch permitiendo varias
realizaciones por modelo
•
Fase de Reconocimiento:
Reconocimiento cálculo de verosimilitud mediante algoritmo de Viterbi
γ
Ángulo de la tangente a la trayectoria: θn = tan−1 ( y n x n )
Módulo de la velocidad: v n = x n2 + y n2
ρn = log90°
180°
(1 kn ) = log ( v n θn )
Radio de curvatura logarítmico:
2
2
Módulo de la aceleración: an = tn + cn = v n2 + v n2θn2
Ф
•
•
•
•
2
Tasa de Falsa Aceptación (%)
3 funciones básicas (obtenidas a 100 Hz):
•
•
ƒ
5
1
Funciones Descriptoras Dinámicas
ƒ
10
0.5
2
Firma Manuscrita On-Line
ƒ
20
1.5
20
Falsificaciones, 5 realiz. TR
Falsificaciones, 20 realiz. TR
Casuales, 5 realiz. TR
Casuales, 20 realiz. TR
40
Tasa de Falso Rechazo (%)
EER (%)
EER (%)
Indep.-usuario
5
•
•
•
Casuales
(40 Parám. + V. de Parzen), MCYT
0
10
ƒ
Falsificaciones
12
6
„
Casuales
Global, EER (%)
20 firmas de entrenamiento
„
12
7
„
Falsificadas
„
Sistema de Parámetros Globales: Resultados
1ª derivada temporal:
0
100
200
300
2
2
fn ≈ Δfn = ∑τ =1τ ⋅ ( fn +τ − fn −τ ) 2 ⋅ ∑τ =1τ 2
Firma Manuscrita On-Line
19
Firma Manuscrita On-Line
20
Resultados Comparativos Iniciales
5 firmas de entrenamiento
11
MCYT
Indep.-usuario
Dep.-usuario
Indep.-usuario
Dep.-usuario
10
10
9
9
5 realiz.
realiz. de TR
9.39
2.51
4.86
0.59
8
8
20 realiz.
realiz. de TR
3.48
0.88
0.42
0.08
6
7
6
5
5
4
4
3
3
2
2
20
30
40
50
60
70
80
90
100
Global (Parzen)
Segmental (HMM)
1
10
4.5
4
4
3.5
3.5
3
2.5
2
1.5
30
40
50
60
70
80
90
100
3
2.5
2
1
1
0.5
20
30
40
50
60
70
80
90
100
0
10
20
10
5
2
1
0.5
1.5
0.5
0
10
20
5
4.5
Falsificaciones, 20 realiz. TR
Falsificaciones, 5 realiz. TR
Casuales, 20 realiz. TR
Casuales, 5 realiz. TR
40
Tasa de Falso Rechazo (%)
7
EER (%)
EER (%)
Casuales
Segmental (HMM), EER (%)
11
5
Casuales
Falsificaciones
12
1
10
„
20 firmas de entrenamiento
„
12
EER (%)
EER (%)
„
Falsificadas
„
Rendimiento del Sistema basado en HMMs
0.2
0.1
20
30
40
50
60
70
80
90
0.10.2 0.5 1
100
Firma Manuscrita On-Line
2
5
10
20
40
Tasa de Falsa Aceptación (%)
Firma Manuscrita On-Line
21
Evaluación del Esquema Segmental: SVC-04
22
Esquema Local Basado en DTW
ƒ Se emplean 3 funciones base (obtenidas a 100 Hz): Δx n , Δy n , pn , cuyas
muestras constituyen los vectores de características
1er puesto en SVCSVC-04 para imitaciones casuales
ƒ Se aplica normalización geométrica en posición, tamaño y rotación
ƒ Se calcula la función de alineamiento entre vectores del patrón de
Referencia
referencia, i, y del test, j, como:
2º puesto en SVCSVC-04 para falsificaciones
⎧D(i − 1, j − 1) + d E (i, j)
⎪D(i − 1, j) + c ⋅ d (i, j)
⎪
E
D(i, j) = min ⎨
D
(
i,
j
−
1
)
+
c
⋅
d
E (i, j)
⎪
⎪⎩d E (i, j) < umbral → 0
ƒ Donde:
Entrada
• D permite determinar el alineamiento óptimo entre el punto i de la firma de
referencia (patrón), y el punto j en la firma de entrada (test)
Correspondencias halladas por
el algoritmo DTW
Correspondencias
halladas
por
• El cálculo se realiza
mediante procedimientos
de programación
dinámica
Sistema
ATVSATVS-UAM
• Se emplea una constante c >1, multiplicada por la distancia euclídea entre el valor
del patrón y el del test, en lugar de emplear valores fijos
• No se penaliza si la distancia euclídea toma un valor pequeño
Firma Manuscrita On-Line
23
Firma Manuscrita On-Line
24
Esquema Local basado en DTW: Resultados
Esquema Local basado en DTW: Algunos Ejemplos
ƒ Firmas orientales (SVC-04), con la referencia (en
en azul),
en
azul la firma de entrada (en
negro),
en verde).
negro y las correspondencias a través de DTW (en
verde
ƒ Las distancias D<3 son aceptadas como correctas;
correctas por encima de este valor, son
rechazadas como falsas.
falsas
Local (DTW), EER (%)
Falsificaciones
Casuales
SVCSVC-04
Indep.-usuario
Dep.-usuario
Indep.-usuario
Dep.-usuario
3 Realizaciones REF
17.02
12.98
1.83
0.96
5 Realizaciones REF
14.26
10.20
0.57
0.24
10 Realizaciones REF
11.57
6.76
0.24
0.24
J. Fierrez-Aguilar, S. Krawczyk, J. Ortega-Garcia, and A. K. Jain, “Fusion of Local and Regional
Approaches for On-Line Signature Verification”, Proc. of IWBRS, pp.: 188-196, Springer LNCS3781, 2005.
Firma auténtica
aceptada correctamente
(D=1.68)
Falsificación
rechazada correctamente
(D=3.15)
Firma casual
rechazada correctamente
(D=10.54)
Firma Manuscrita On-Line
25
Líneas de futuro
Firma Manuscrita On-Line
26
Retos
ƒ Análisis exhaustivo del poder discriminante (frente a falsificaciones e imitaciones
casuales) de combinaciones de parámetros globales
ƒ Gran diferencia en el comportamiento de usuarios Æ adaptación de las
técnicas utilizadas a usuarios concretos
ƒ Variabilidad temporal a largo plazo Æ modelado con múltiples firmas de
entrenamiento, técnicas de adaptació
adaptación temporal de patrones,
patrones umbrales, etc.
ƒ Estudio de la estructura y complejidad de las firmas,
firmas y su relación con la
variabilidad y rendimiento dependiente de usuario
ƒ Gran diversidad de información discriminante a diferentes niveles Æ técnicas
de fusió
fusión de información multinivel
ƒ Desarrollo de criptosistemas biométricos basados en firma dinámica, p.ej.,
generación de claves criptográficas
ƒ Estudio de posibles ataques a sistemas de verificación de firma dinámica, como
ataques de fuerza bruta o tipo ‘hill‘hill-climbing’,
climbing’ y contramedidas
ƒ Mejor entendimiento de la estructura y capacidad discriminante de la firma
dinámica (nombre, rúbrica, trazos, caracteres, …)
ƒ Aplicación de las técnicas desarrolladas a diferentes escenarios de firma
dinámica, como Tablet PC,
PC o PDA (NoE Biosecure)
ƒ Diversidad en la problemática de impostores falsificadores y casuales:
casuales
evaluación del rendimiento frente a ambos, pero… Æ ajuste del sistema
dependiendo del escenario de aplicació
aplicación
ƒ Nuevas BBDD multimulti-sensor (tableta, Tablet PC, PDA, …), multimulti-sesión a largo
plazo (años), con diferentes grados de imitación (esfuerzos en NoE Biosecure)
ƒ Interoperabilidad entre dispositivos; firma en papel / firma con puntero en
pantalla; extensiones a firma está
estática
ƒ Estudio de interoperabilidad de sensores y seguimiento de los esfuerzos de
estandarización
Firma Manuscrita On-Line
ƒ Extensión a reconocimiento de escritor:
escritor dependiente / independiente de
alfabeto / idioma; grafística forense
27
Firma Manuscrita On-Line
28