(x,y). - ENSTA ParisTech

Analísis del movimiento
Estimación & Seguimiento
Antoine MANZANERA – ENSTA/LEI
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
1
Aplicaciones (1)
Compresión e
Indexación
Vigilancia de aldea
(University of Surrey)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
2
Aplicaciones (2)
Navegación robótica
Movimiento fluido
(Ecole des Mines / CMM)
Seguimiento automático
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
3
¿ Qué información extraer ?
Modelo
no rígido
Nivel
conceptual
estructura
Modelo
rígido
forma
velocidad
ubicación
número
tamaño
parametros de
transformación
Mapa binaria
móvil/fijo
Campo de
desplazamiento
Cálculos bajo nivel
alarma
Cuantidad de
información
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
4
Detección – Estimación – Persecución
DETECCIÓN
ESTIMACIÓN
seguimiento
Objetivo: Identificar en cada
imágen, píxeles que pertenecen
a objetos móviles
Objetivo: calcular el movimiento
aparente (velocidad instantanea)
de cada píxel
Objetivo:
aparear
ciertas
estructuras espaciales por cada
par de imágenes.
• Cierta continuidad temporal
• Continuidad temporal
• Discontinuidad temporal
• Movimiento de la cámara
cero o muy sencillo.
• « procesar después »
• « procesar antes »
Capítulo 1
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
Capítulo 2
5
MOVIMIENTO
1
Estimación
ÍNDICE CAPÍTULO
• Campo de velocidades aparentes y aplicaciones
• Técnicas por apareamiento
• Técnicas diferenciales 1: Lucas y Kanade
• Técnicas diferenciales 2: Horn y Schunck
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
6
Cálculo del movimiento aparente
(1) El cálculo de un movimiento aparente global (mapeo) entre dos imágenes
corresponde a la estimación de parámetros de una transformación que afecta a
todos los puntos de la imágen: traslación, rotación, escalamiento, afinidad, ...
(2) El cálculo de un movimiento aparente local consiste en asociar a cada píxel
(x,y,t) de I un vector (vxt,vyt) que representa la velocidad aparente del píxel (x,y)
en el instante t.
Calculo del flujo óptico (= Campo de movimiento)
Idealmente: el vector (vxt,vyt) representa la proyección sobre el plano
imágen del vector velocidad (Vxt,Vyt,Vzt) de los objetos de la escena
respecto a un sistema de referencia imágen (O,x,y,z).
Sera calculado a partir de las variaciones temporales de la función I(x,y,t).
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
7
Ejemplos de flujo óptico
Fuente: Pierre Kornprobst - INRIA
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
8
¿ Cuales informaciones puede proveer el flujo óptico ?
movimiento
dominante
« discontinuidades », singularidades
contornos
* tiempo antes
colision
núcleo de expansión (FOE)
* profundidad
* ego-movimiento
* orientación de
superficie
Nivel
conceptual
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
9
Distorción perspectiva
Se denota (X,Y,Z) las coordenadas de un punto de la escena.
(x,y) las coordenadas de la proyección del mismo en la imagen.
f la distancia focal de la cámara
Distorción perspectiva
(modelo estenopeico) :
X
x
f
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Z
Antoine MANZANERA – ENSTA/LEI
X
x f
Z
Y
y f
Z
10
Movimiento proyectivo
Supongamos que la cámara se mueve a la velocidad (-X’,-Y’,-Z’) respecto a una escena
estática (escena no deformable, sin objetos móviles), entonces todos los puntos de la
escena tienen misma velocidad (X’,Y’,Z’) respecto a la cámara (con X’ = dX/dt ; Y’ =
dY/dt ; Z’ = dZ/dt). Derivando respecto al tiempo las ecuaciones de distorción
perspectiva, obtenemos:
 X ' XZ ' 
x'  f   2 
Z

Z


 Y ' YZ ' 
y'  f   2 
Z Z 


UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
 x' 
1  f




Soit :  
Z 
 y'
 0
Antoine MANZANERA – ENSTA/LEI
0
 f
  X '

x 


Y
'


y
  Z ' 


11
Un modelo más realista…
En realidad, el centro óptico (proyección del diafragma sobre el plano imágen) no está generalmente
en el centro del imágen sino en un punto (xc,yc). Además, la distorción perspectiva no es
generalmente la misma en ambas direcciones, y la distancia focal se representa con el par (fx,fy) :
 x' 
1  fx




 y'
Z 
 
 0
0
 fy
  X '

( x  xc ) 
  Y ' 
( y  yc ) 
  Z ' 


Los parametros { xc , yc , fx , fy } dependen del sensor y de la óptica. Son estimados en una fase de
calibración de la cámara.
Por otro lado, si se toma en cuento el componente de rotación  = (x,y,z) de la cámara respecto a
la escena:
 x'  1   f x
   
 y'  Z  0
0
 fy
factores de
perspectiva
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
  X '   ( x  xc )( y  yc )
 
( x  xc ) 
fy
  Y '   
( y  yc ) 2
( y  yc ) 
  f y  fy
  Z' 
coordenadas del
centro óptico
componente de
traslación
Antoine MANZANERA – ENSTA/LEI
fy 
( y  yc ) 2
fy
 ( x  xc f)( y  yc )
x
  x 
(
y

y
)
c 
fy
  y 
 ( x  xc )   
 z 
fx
componente de
rotación
12
Traslación pura y profundidad
• Traslación pura de la cámara según el eje x, sea T = (-X’,0,0) y  = (0,0,0)
X'
x'  f x
Z
y'  0
sea
Z  fx
X'
x'
Velocidades aparentes horizontales, de modulos inversamente proporcionales a la profondidad.
• Traslación pura de la cámara según el eje z, sea T = (0,0,-Z’) y  = (0,0,0)
( x  xc ) Z '
x' 
Z
( y  yc ) Z '
y' 
Z
sea
( x  xc ) Z '
Z
x'
( y  yc ) Z '
Z
y'
Zoom sobre la imágen con núcleo de expansión en el centro óptico.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
13
El núcleo de expansión (FOE)
Durante la traslación de la cámara en una escena estática, las direcciones de velocidad de
los puntos proyectados sobre el plano imágen, convergen hacia un punto del plano
proyectivo denominado FOE.
En lo siguiente, se supone que la cámara se mueve según la traslación T = (-X’,-Y’,-Z’).
Para simplificar las notaciones, se supone además que fx = fy = f et (xc,yc) = (0,0).
Sea (X0,Y0,Z0) un punto de la escena. Después de un tiempo t, esta proyectado sobre la
imágen en el punto (xt,yt), con:
 X 0  tX ' Y0  tY ' 

( xt , yt )   f
,f
Z 0  tZ ' 
 Z 0  tZ '
(xFOE,yFOE)
( xFOE , y FOE )  lim ( xt , yt )
t  
 X ' Y'
 f
,f 
Z'
 Z'
(x0,y0)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
14
Tiempo antes colisión
P(t2)
P(t1)
d

f

Z
foe
movimiento en una escena estática:
f
'  2 Z '
Z

 f
Z
y pues

Z

'
Z'
tiempo
antes
colisión
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
15
Cálculo del flujo óptico: limitaciones
!
(1) Se supone:
MOVIMIENTO  VARIACIÓN DE INTENSIDAD
() Se supone que una variación de intensidad observada en la imágen traduce la
presencia de un movimiento en la escena. Esto corresponde a una hipótesis de
iluminación constante en la escena.
() Es el cambio de intensidad en la imágen que permite recoger el movimiento
aparente del objeto. Se supone entonces que la luz reflejada por cada punto del
objeto se mantiene constante independientemente del movimiento relativo
objeto/cámara. La hipótesis subyacente es que los objetos son de superficie
lambertiana:
luz
incidente
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
luz
reflectada
La intensidad de la luz
reflectada es constante en
todas las direcciones.
Antoine MANZANERA – ENSTA/LEI
16
Cálculo del flujo óptico: limitaciones
!
(2) PROBLEMA DE LA APERTURA
El movimiento aparente de un punto se recoge gracias a un cálculo realizado en
una vecindad limitada de este punto.
Solo se puede calcular el componente de movimiento en la dirección del
gradiente (es decir, perpendicular al contorno).
Fuente : PROJET TELESUN http://telesun.insa-lyon.fr
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
17
Técnica por apareamiento
Se considera B  Z2 vecindad del origen:
Medida de apareamiento:
2






I
x

b
,
y

b
,
t

I
x


x

b
,
y


y

b
,
t

1

1
2
1
2
A(tx , y ) (x, y ) 
( b1 ,b2 )B
x
Es la suma de
diferencias
cuadradas (SSD)
entre 2 bloques:
x + x
tipicamente: B
de tamaño
9×9, 15×15...
y + y
y
It
It+1
Solución del flujo óptico:
(vxt , v ty )  arg min A(tx , y ) (x, y )
x ,y K
K(x,y)
B(x+x,y+y)
KI
para limitar el tiempo de calculo
+ Estrategias de optimización…
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
I
18
Apareaemiento: estrategías de optimización
El principio de las estrategías de optimización es explorar de manera diferente el espacio de búsqueda
K para minimizar la complejidad de cálculo del mínimo de la función de apareamiento:
y
y
y
x
EXHAUSTIVA
K
x
SEPARADA
K
x
K
JERÁRQUICA
y
x
MÉTODO DEL GRADIENTE
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
K
Para cada punto de K, se cálcula
la suma de diferencias mientras
que se mantiene por debajo de un
cierto umbral T. La solución
corresponde al punto de K por el
cual mas diferencias han sido
sumadas.
SECUENCIAL
Antoine MANZANERA – ENSTA/LEI
• Estas
técnicas
excluyentes
y
combinarse.
no
son
pueden
• Sin hipótesis sobre la función
de apareamiento (separabilidad,
convexidad ...) en el espacio K,
sólo la búsqueda exhaustiva
asegura el cálculo del óptimo
global sobre K.
19
Ejemplo: normas mpeg de compresión vídeo
• Cada imágen esta cortada en bloques 16×16 ou 32×32.
• Hipótesis de mismo desplazamiento para todos los píxeles de cada
bloque.
• Codificación: Vectores de desplazamiento + errores comprimidos...
Compresión estática JPEG :
• Transformada de coseno discreto
• Cuantificación
Flujo óptico submuestreado
• Código entrópico
Fuente :
VcDemo
TU Delft
Trama predicha
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Errores de predicción
Antoine MANZANERA – ENSTA/LEI
20
Técnicas diferenciales (1)
LUCAS & KANADE 1981
El principio del método de Luca y Kanade es de calcular el mínimo de la función de apareamiento
cuatrático (SSD), suponiendo que el desplazamiento buscado es pequeño, como el punto donde las
derivadas de la función de apareamiento se anulan, respecto a x y a y.
(vxt , vty )  arg min A(x, y)
x ,y K
 arg min
 I ( x, y, t )  I ( x  x, y  y, t  1)
2
x ,y K ( x , y )B
Bajo la hipótesis de que I es regular y que el desplazamiento (x ,y) es pequeño, se escribe la formula
de Taylor al orden 1 de I:
I ( x  x, y  y, t  1)  I ( x, y, t ) 
I
I
I
x  y 
x
y
t
La función de apareamiento A se vuelve:
 I
I
I 
A(x, y )    x  y  
y
t 
( x , y )B  x
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
2
21
Técnicas diferenciales (1)
 I
I
I 
A(x, y )    x  y  
y
t 
( x , y )B  x
2
LUCAS & KANADE 1981
Ecuaciones de Euler-Lagrange de minimización de A: Anulación de las derivadas primeras respecto a x y a y :
2
 I
I
I  I
 x  y    0

y
t  x
( x , y )B  x
 I
I
I  I
2   x  y    0
y
t  y
( x , y )B  x
Lo que conduce a la resolución del sistema lineal:
H.v  b
con
 xI 2 xI yI 


H (x, y)BI I (x, y)BI 2  y
 x y y  
 (x, y)B (x, y)B 
   xI It 


b (x, y)BI I 
   y t 
 (x, y)B 
y v = (vx,vy) el desplazamiento buscado.
La resolución del sistema (S) está finalmente realizada por un método iterativo, tipo Gauss-Seidel:
Inicialización:
Para k > 0:
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
vx(0)0;vx(0)0
vx(k) H111 bH12v(yk1);
v(yk)H122 bH12vx(k);
Antoine MANZANERA – ENSTA/LEI
22
Técnicas diferenciales (1)
LUCAS & KANADE 1981
La existencia y la estabilidad de
una solución al sistema (S)
depende de la matriz H :
 xI 2 xI yI 
 (x, y)B (x, y)B 
H
I I
I 2 

 x y  y  
 (x, y)B (x, y)B 
NB : Encontraremos de nuevo esta matriz en el capítulo 2 para el cálculo de los puntos
de interés…
La matriz H debe ser de rango 2 « en el sentido fuerte », es decir poseer 2 autovalores
(1,2) grandes. Los autores proponen usar  = min(1,2) como índice de confianza en
el desplazamiento calculado.
Esta propriedad corresponde a una interpretación algebraica del problema de la
apertura…
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
23
Rango 0: zona homogénea
Zona con poca textura:
2 autovalores débiles
Función de apareamiento A
Fuentes : Steven Seitz UW-Seattle
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
24
Rango 1: contorno simple
Contorno recto: 1 única
autovalor grande
Función de apareamiento A
Fuentes : Steven Seitz UW-Seattle
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
25
Rango 2: punto anguloso
Punto anguloso: 2
autovalores grandes
Función de apareamiento A
Fuentes : Steven Seitz UW-Seattle
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
26
Técnicas diferenciales (2)
HORN & SCHUNCK 1981
Explotación directa de la limitación (1) :
I ( x, y, t )  I ( x  x, y  y, t  t )
Formula de Taylor
ENTONCES:
I
I
I
 I ( x, y, t )   x   y   t  ...
x
y
t
I
I  v 
0
t
I  (
con
Ecuación del movimiento aparente (EMA)
I I
, ) gradiente espacial
x y
v  (v xt , v ty )
I
t
Términos de ordenes
superiores
abandonados
incognitas
gradiente temporal
o: ecuación del flujo óptico
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
27
Interpretación de la EMA
(1) Bajo la hipótesis de cierta regularidad del campo y de pequeños
desplazamientos, los cambios temporales son equivalentes (a la primera orden) al
producto escalar de los cambios espaciales y de la velocidad aparente.
(2) Derecha de determinación:
vty
v
v̂
vel. real
vel. calculada
I ( x, y, t )

apertura
subdeterminación
(1 ec., 2 inc.)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
vˆ 
I t
I
v̂
Antoine MANZANERA – ENSTA/LEI
v
t
x
v
28
Resolución de la EMA
HORN & SCHUNCK 1981
Resolución de la EMA por agregación de una hipótesis de regularidad.
 Regularización del problema mal puesto por hipótesis de campo de
desplazamiento suave.
Minimización de una función de costo:
t 2
t 2

t 2
t 2
 vx   vx   v y   v y 
I 

t
t
t
 
 
  
  
C( x , y ) (v x , v y )   I  v     
t 
 x   y   x   y  



2
EMA
REGULARIZACIÓN
factor de
ponderación
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
29
Resolución de la EMA
HORN & SCHUNCK 1981
1.
Minimización de una función cuadrática:

C( x, y ) (u, v)  I xu  I y v  I t    ux2  u y2  vx2  v y2
2

(u,v) componentes del campo (desconocidos) a calcular
{Ix, Iy, It} derivadas parciales de la imágen
con:
{ux, uy,vx, vy} derivadas parciales de los componentes del campo
Anulación de las derivadas primeras /u(…) = 0 ; /v(…) = 0
Ecuaciones de Euler-Lagrange de minimización de C:
      0
     0
2I u  I v  I I  2 
2I x u  I y v  I t I x  2  u
x
entonces:
y
t
I u  I v  I I
I u  I v  I I
y
u
x
 v
v x
x
y
t
x
 u  0
x
y
t
y
 v  0
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
u
x
 u u
u y y
v
x
 v v
v y y
con:
Antoine MANZANERA – ENSTA/LEI
2u 2u
u 2  2
x y
2v 2v
v 2  2
x y
laplacianos de u y v
30
Resolución de la EMA
2.
~
~
 fff
f = media de f dentro de cierta vecindad
(v  v~)I x2  I y2      I y I xu~  I y v~  I t 
(u  u~)I 2  I 2      I I u~  I v~  I 
Approximación del laplaciano:
pues:
x
3.
2
y
Resolución itérativa:
x
x
1
x
ALGORITMO DE
HORN & SCHUNCK
2
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
k 1
 I y v~ k 1
t
0
• Initialización : vx
2
x
I
2
y
 0 v0y  0
• Repetir hasta convergencia:
I ~ k 1 I ~ k 1 I
vx  v y 
x
y
t
 I   I 
D        
 x   y 

 
v  v~ k 1  I y
con:
N

 I  I
1
k
Sea, tomando las
notaciones originales:

I u~
t
u  u~ k 1  I x I xu~ k 1  I y v~ k 1  I t  I x2  I y2  
k
Método de Gauss-Seidel:
y
I
x
I
k
k 1
~
vy  vy 
y
v xk  v~xk 1 
2
Antoine MANZANERA – ENSTA/LEI
N
D
N
D
31
Estimación multi escala
Nivel
2
(1) initialización
(2) afinación
1
0
Ventajas:
• Cálculo de desplazamientos
grandes
• Adaptación del nivel de
régularización
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
32
Principio del calculo multi escala
ALGORITMO POR APAREAMIENTO
ALGORITMO DIFERENCIAL
(v( sn )tx , v( sn )ty )  arg min n A(t x , y ) (x, y )
x ,y K
• Initialización:
v(s0 )0x  0 v(s0 )0y  0
• Repetir hasta convergencia:
I
x
I
k
k 1
~
v ( s0 ) y  v ( s0 ) y 
y
v( s0 ) kx  v~ ( s0 ) kx 1 
t
n1 x
v(s )
K (nx , y )
N
D
N
D
v(sn1 )ty
B(x+x,y+y)
0
• Init. : v(s1 ) x
 v(s0 )x v(s1 )0y  v(s0 )y
• Repetir hasta convergencia:
I


n
con: K ( x , y )  vsn 1 x  1  vsn 1  y   2
t
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
t
I
x
I
k
k 1
~
v( s1 ) y  v ( s1 ) y 
y
v( s1 ) kx  v~ ( s1 ) kx 1 

Antoine MANZANERA – ENSTA/LEI
…/…
N
D
N
D
33
Conclusión Capítulo 1
 EXPLOTACION DEL FLUJO OPTICO
 Movimiento dominante
 Profundidad
 Tiempo antes colision
 METODOS POR APAREAMIENTO
 METODOS DIFERENCIALES
 Lucas et Kanade
 Horn et Schunck
 METODOS MULTI-ESCALA
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
34
Bibliografía Capítulo 1
• B.D. Lucas & T. Kanade 1981 « An iterative image registration technique with an
application to stereo vision » International Journal of Computer Vision and Artificial
Intelligence 674-679
• B.K.P Horn & B. Schunck 1981 « Determining Optical Flow » Artificial Intelligence 23
185-203
• D.H. Ballard & C.M Brown 1982 « Computer Vision » Prentice Hall (Ch. 3, Ch. 7)
• J.M. Jolion & A. Rosenfeld 1994 « A pyramid framework for early vision » Kluwer
Academic Publishers Dordrecht, NL
• R. Jain, R. Kasturi & B. Schunck 1995 « Machine Vision » McGraw-Hill Inc. (Ch.14)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
35
MOVIMIENTO
2
Registracion y
seguimiento
INDICE CAPITULO
• Registracion: métodos frecuenciales
• seguimiento 1 : Harris y Invariantes de Hilbert
• seguimiento 2 : SIFT
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
36
Introducción
Cuando la amplitud del movimiento es
grande, los métodos de estimación por
apareamiento o diferenciales están
condenadas al fracaso, por 2 motivos
principales:
(1) El desplazamiento aparente puede
ser superior a los períodos espaciales de
las imágenes (aliasing temporal, véase
el ejemplo a la izquierda)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
37
Introducción
(2) La escena está sujeta a distorsiones geométricas complejas que invalidan la hipótesis de traslación local
(véase el ejemplo a continuación)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
38
Introducción
Por lo tanto:
 Es esencial disponer de descriptores que sean la mas invariantes posible a las transformaciones geométricas:
rotación, homotecia, etc. Esto, inevitablemente, induce un cálculo multi-escala.
 Los descriptores tendrán carácter mucho menos local, e incluso global, pues ya no tendremos un campo denso como
en los métodos de estimación, pero, en el mejor, un campo disperso.
Lo que vemos en este capítulo:
TRANSFORMACIÓN GLOBAL:
 Un solo parámetro para toda la imágen (traslación, rotación, homotecia): Métodos frecuenciales.
MOVIMIENTO CUALQUIER:
 ¿ Cuáles son los puntos utilizados para el cálculo ? Puntos de Harris, Maximos locales en el espacio de escala, ...
 ¿ Qué descriptores utilizar para el apareamiento ? Invariantes diferenciales, histogramas de orientación, ...
Aplicaciones: Reconocimiento de objetos, indexación de imágenes, ubicación de los robots,…
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
39
Técnicas frécuenciales
Las técnicas frecuenciales de estimacion de movimiento entre dos imágenes se basan en la equivalencia traslación /
cambio de fase de la transformada de Fourier:
Recuerde: la expresión de una imagen en el
dominio
frecuencial
consiste
en
descomponer la función de dos dimensiones
en sumas de funciones senos complejas:
Los coeficientes de los diferentes senos se
calculan por la transformada de Fourier:
Notacion (modulo, fase) :
1 w1 h 1
I ( x, y ) 
F (u, v)e 2i (ux vy) / wh

wh u 0 v 0
w1 h 1
F (u, v)   I ( x, y)e 2i (ux vy) / wh
x 0 y 0
Transformada de Fourier
discreta inversa
Transformada de Fourier
discreta directa
F (u, v)  F (u, v) eiF (u,v)
Propriedad de traslacion/cambio de fase: si
F es la Transformada de Fourier (TF) de I :
I ( x, y )
TF
F (u , v)
Entonces la TF de I traslada de (-x,-y),
es G, con:
I ( x  x, y  y)
TF
G(u, v)  F (u, v)e2i (uxvy ) / wh
pues:
G(u, v)  F (u, v)
La diferencia de fase entre F y G es:
y:
G (u, v)  F (u, v)  2 (ux  vy) / wh
 (u, v)  2 (ux  vy) / wh
Por lo tanto, es suficiente en teoría considerar esta diferencia de fase para 2 parejas (u, v), para calcular (x, y), pero
esta técnica es sensible al ruido y a los cambios de iluminación que inducen cambios en las frecuencias bajas.
Se utiliza más bien la técnica de correlación de fase.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
40
Correlación de fase
La técnica de correlacion de fase explota una consecuencia directa de la propiedad de la traslación / cambio de fase. Si
F es la TF de I y G la TF de I traslada de (-x,-y), entonces la diferencia entre F y G es igual a su espectro de potencia
cruzado normalizado (PSNA), es decir, :
*
F (u , v)G (u, v)
F * (u , v)G (u, v)
e
2 i ( ux vy ) / wh
La TF inversa del PSNA es igual entonces a la function de Dirac del vector de traslacion: δx,y(x, y)
La técnica de correlacion de fase consiste entonces en:
1.
2.
3.
4.
Calcular las TF de I(x,y,t) y I(x,y,t+1), sea F1 et F2
Calcular c el PSNA de F1 y F2
Calcular D la TF inversa de c
Buscar al maximo de D
Correlacion de fase (INRIA)
Ventajas y inconvenientes
+ Robusto por qué todas las frecuencias contribuyen al calculo
+ Relativamente rapido gracia al calculo de la FFT
- En practica limitado a un desplazamiento global sobre la
imagen entera
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
41
Invariantes de Fourier-Mellín
El uso de la transformada de Fourier-Mellin permite calcular los parámetros de una similitud (homotecia y rotación)
como un vector de traslacion de una manera similar al caso anterior, a través de una representacion log-polar del
espacio de frecuencias espaciales (u,v)  (q, log r):
Sea g la imagen transformada de f por una rotacion de angulo , una homotecia de razon s, y una traslacion de vector (x0,y0):
g ( x, y)  f s cosx  sin y   x0 ,s  sin x  cosy   y0 
Los modulos de las transformadas de Fourier de f y g son vinculados por la relacion siguiente:
G u, v  
1
s2
F s1 u cos   v sin  , s1  u sin   v cos  
• no depende de la traslacion (x0,y0).
Pues el modulo:
• sufre une rotacion de angulo .
• sufre un cambio de escale de factor 1/s.
Pasando las frecuencias en coordenadas polares:
Fp q , r   F r cosq , r sin q  ;0  q  2 ,0  r  
G p q , r   G r cosq , r sin q  ;0  q  2 ,0  r  
tenemos:
G p q , r  
Por fin, pasando la coordenada radial al logaritmo:
r  log r
s  logs
Flp q , r   Fp q , r 
Glp q , r   G p q , r 
r

Fp q   , 
s
s

1
2
tenemos:
Glp q , r  
1
s2
Flp q   , r  s 
Entonces la similitud en el dominio espacial se traduce por una traslacion en el espacio de frecuencias log-polares.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
42
Invariantes de Fourier-Mellín
q
correlacion de fase (SPOMF)
FMI
log r
q
FMI
log r
Un ejemplo de uso de la transformada de Fourier-Mellin: cálculo de la posición de la cabeza de robots Aibo en la imagen por correlación de fase de los
invariantes de Fourier-Mellin. (FMI-SPOMF : Fourier-Mellin Invariant Symmetric Phase Only Matched Filtering) : J.C. Baillie et M. Nottale 2004.
!
La información de fase en la imagen original se pierde en el FMI. El FMI-SPOMF equivale a buscar la mejor (rotación,
homotecia) que pone en correspondancia los 2 espectros de amplitud. Por lo tanto, no refleja los parámetros de traslación entre
las dos imágenes, y además, la información llevada por la fase ya no existe.
Para completar esta transformación, podemos aplicar una correlación de fase clásica sobre la pareja de imagens iniciales, después
de aplicarse a una de las imágenes la transformacion (rotación, dilatación) proporcionado por el FMI-SPOMF.
Por último, observe que, al igual de la correlación de fase, este método se utiliza en la práctica para estimar las transformaciones
globales, porque utiliza la contribución de todo el espectro (o por lo menos de una gran parte del mismo), lo que supone una
importante extensión espacial de los píxeles usados para estimar cada transformación.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
43
Deteccion de puntos de interés
Los puntos de interés (o puntos angulosos, puntos salientes,...), son puntos que « contienen gran
cantidad de información » en relación con la imagen. Son los puntos al vecindad de los cuales la
imagen varía considerablemente en varias direcciones.
Una medida de las variaciones locales de la imagen I en el punto (x,y)
asociada a un desplazamiento (x,y) es la funcion de autocorrelacion:
c ( x, y ) 
( x,y )
 I x , y   I x
 xk , y k
W
k
k
 x, yk  y 
2
k
W
(  x, y )
Donde W es una ventana centrada en el punto (x,y).
W+
Pues, usando una aproximacion de la primera orden:
I xk  x, yk  y   I xk , yk  

I
x
xk , yk 
I
y
x 


y
 
xk , yk  
Entonces:

c ( x, y)   
 xk , yk W 

I
x
xk , yk 
I
y
x 
xk , yk     
 y  

2

 xI xk , yk 2


 xk , yk W
 x y  
  xI xk , yk   yI xk , yk 
  xk , yk W
 x , y  x , y   x 
I
x
 xk , yk W
k
I
y
k
k
k
  x , y 
I
y
 xk , yk W
2
k
k
  
  y 

 ( x, y )
Matriz de autocorrelacion de la imagen I en (x,y)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
44
Deteccion de puntos de interés

  xk , yk 

( x, y )  
  xI xk , yk   yI xk , yk 
  xk , yk W
I
x
 xk , yk W
2
 x , y  x , y 
I
x
 xk , yk W
k

I
y
 xk , yk W
k
I
y
k
xk , yk 2
k



La matriz de autocorrelacion  representa la
variacion local de la imagen I en (x,y). (x,y)
sera considerado punto de interés de I si para
todos los desplazamientos (x,y), la
cuantidad (x,y).(x,y).(x,y)t es grande.
Los puntos de interés son los puntos (x,y) para los cuales la matriz de
autocorrelacion (x,y) tiene dos autovalores grandes.
Esto corresponde a los puntos para los cuales existe localmente una base
de autovectores de  describiendo variaciones locales importantes de la
imagen.
El detector de Harris calcula una funcion de interés Q(x,y) :
Q( x, y )  det    traza
El primer término corresponde al producto de las autovalores, el
segundo término penaliza los puntos de contorno con una sola forte
autovalor grande.
Los puntos de interés corresponden a los maximos locales de la funcion Q cuya valor supera un
cierto umbral (tipicamente el 1% de la valor maxima de Q).
[Harris 88]
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
45
Utilización de los invariantes diferenciales
Objetivo : representar los puntos de interes por indices que sean invariantes por rotacion y cambio de escala.
El principio usado aqui es basado sobre el calculo de las derivadas multi escala:
s
Lij  I * Gij
El «local jet » de I :
Se denota:
s
s
Gij 
con:
L ;0  i  j  3 L, L , L , L
s
ij
x
y
xx
i j
x i y j
G
s
y:
s
G ( x, y) 
, Lxy , Lyy , Lxxx, Lxxy , Lxyy , Lyyy

1
2s 2

exp 
x2  y 2
2s 2

(derivadas hasta la orden 3)
La idea es combinar estas derivadas para obtener cuantidades invariantes por rotacion:
Por ejemplo, el laplaciano Ixx + Iyy es invariante por rotacion:
y
Y
X

x = X cos  + Y sin 
X = x cos  + y sin 
y = X sin  – Y cos 
Y = –x sin   y cos 
IX = Ix cos  + Iy sin 
x
IY= Ix sin  – Iy cos 
y:
IXX = Ixx cos2  + 2Ixy cos  sin  + Iyy sin2 
IYY = Ixx sin2  – 2Ixy cos  sin  + Iyy cos2 
entonces: IXX + IYY = Ixx + Iyy
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
46
Utilización de los invariantes diferenciales
Asi se puede construir una familia de cuantidades invariantes por rotacion: los invariantes diferenciales de Hilbert.


L

Li Li


Li Lij L j

Lii

 
Lij Lij

  ij L jkl Li Lk Ll  L jkk Li Ll Ll
 L L L L L L L L
ijk i j k
 ijj j k k
  ij L jkl Li Lk Ll



Lijk Li L j Lk



















 xx   yy  0
 xy   yx  1
Con:
(notaciones de Einstein: sumacion sobre los indices), por ejemplo:
2  Li Lij L j  Lx Lxx Lx  2Lx Lxy Ly  Ly Lyy Ly

7   ij L jkl Li Lk Ll  Lxxy  Lx Lx Lx  2 Lx Ly Ly



 Lxyy  2 Lx Lx Ly  Ly Ly Ly  Lyyy Lx Ly Ly  Lxxx Lx Lx Ly
NB: ¡ invariancia por rotacion del nucleo gausiano !
Asi, los vectores  son calculados por todos los puntos de
interés a diferentes escalas, y apareados utilizando una
distancia (e.g. distancia euclidiana).
[Schmid et Mohr 97]
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
47
Espacio de escalas gausiano y derivadas
 
escala
gs ( x)  s1 exp 
x
2
s
gs
I
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
 2 gs
x 2
g s
x
I
x
 I   I 
I      
 x   y 
2
2
Antoine MANZANERA – ENSTA/LEI
2I
x
2
 n I  gs   I   n gs
2I
xy
I 
2I
x 2

2I
y 2
48
Aplicación del detector de Harris
1.
Se calcula las dérivadas primeras a partir de convoluciones con derivadas de gausiana (desviacion estandar s1)
2.
Se calcula los componentes de la matriz de autocorrelacion  calculando una media local de las derivadas bajo la forma de una
gausiana (desviacion estandar s2, tipicamente s2 = 2 s1)
3.
Se calcula la funcion de interés: Q = det() –  traza() (tipicamente  = 0,06).
4.
Se calcula los maximos locales de Q superiores a un cierto umbral (tipicamente el 1% de Qmax).
s1 es el parametro de escala del detector de Harris,
determinando la amplitud espacial de las
operaciones de derivacion y integracion (media).
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
49
Detector de Harris multi escala
s=1
s=3
s=2
Puntos
de
Harris
obtenidos
calculando las derivadas primeras
por convolucion con una derivada de
gausiana de desviacion estandar s.
s=5
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
s = 10
50
Detector SIFT: extrema en el espacio de escala
G0
G1
L1
escala
Lk+1(x,y)
Lk(x,y)
Lk-1(x,y)
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
G2
L2
G3
L3
La funcion Gk(x,y) = G(x,y,ks) es la imagen suavizada por una gausiana de desviacion estandar
ks. Las funciones Lk(x,y) corresponden a la diferencia (normalizada aqui) entre 2 gausianas
consecutivas.
La funcion Lk(x,y) es una representacion laplaciana de la imagen, es decir una decomposicion
frecuencial localizada: contribucion de las estructuras de escala (tamaño) ks en el punto (x,y).
Los puntos seleccionados por SIFT son los maximos y minimos locales de la funcion Lk(x,y), a la
vez en la escala corriente y en las escalas adyacentes (vease a la izquierda).
Antoine MANZANERA – ENSTA/LEI
51
Puntos de interés SIFT
Por cada extremo del espacio de escala de las diferencias de
gausianas (punto de interés SIFT), se calcula la direccion
asociada de la manera siguiente:
 G sy ( x, y ) 

q ( x, y )  arct an s

 G x ( x, y ) 
con
Gxs ( x, y)  x G( x, y,s )  I ( x, y) * x gs ( x, y)
(donde s es la escala seleccionada)
Al la izquierda, puntos de interés SIFT:
la direccion de la flecha representa la
direccion q et su largura la escala s
asociada.
Imagen 1: 589 puntos detectados.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
52
Descriptor SIFT: histograma de orientacion
Los descriptores asociados a los puntos SIFT son histogramas de las orientaciones locales alrededor del punto.
• Se divide el espacio alrededor de cada punto de interés (x,y) en N2 cuadrados 4x4.
• Se calcula el gradiente (Gx(a,b,s), Gy(a,b,s)) para los 4x4xN2 puntos (a,b).
• Para cada cuadrado 4x4, se calcula un histograma de las orientaciones cuantifiadas en 8 direcciones, ponderando
los valores por: (1) el modulo del gradiente (2) la inversa de la distancia al punto de interés (x,y).
• Para lograr invariancia en rotacion: la orientacion local del punto de interés q(x,y) esta usada como origen
(orientacion nula) de los histogramas.
Pues los descriptores formados
son vectores de tamaño 8xN2,
que seran apareados usando
una distancia (e.g. distancia
euclidiana)
Ej: N = 2
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
53
Apareamiento por SIFT
Resultado de apareamiento por SIFT entre la imagen (2) a la izquiera, 510 puntos detectados, y la imagen (1) a la derecha, 589 puntos
detectados. 51 puntos fueron apareados, lo que corresponde a una distancia euclidiana entre los descriptores por debajo de cierto umbral.
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
54
Conclusión Capítulo 2
 REGISTRACIÓN: Movimiento global
 Correlacion de fase: traslación
 Invariantes de Fourier-Mellin: rotación / escalamiento
 SEGUIMIENTO
 Puntos de interés
 Harris: puntos angulosos
 SIFT: extremos en el espacio de escala
 Descriptores
 Invariantes diferenciales
 Histogramas de orientación
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
55
Bibliografía del Capítulo 2
• H. Foroosh, J. Zerubia & M. Berthod 2002 « Extension of phase correlation to
subpixel registration » IEEE Transactions on Image Processing 11(3) pp 188-200
• Q. Chen, M. Defrise & F. Deconinck 1994 « Symmetric Phase-Only Matched Filtering
of Fourier-Mellin Transforms for Image Registration and Recognition » IEEE
Transactions on Pattern Analysis and Machine Intelligence 16(12) pp 1156-1168
• C. Harris & M. Stephens 1988 « A combined corner and edge detector » Alvey Vision
Conference pp 147-151
• C. Schmid & R. Mohr 1997 « Local grayvalue invariants for image retrieval » IEEE
Transactions on Pattern Analysis and Machine Intelligence 19(5) pp 530-534
• D.G. Lowe 2004 « Distinctive Image Features from Scale-Invariant Keypoints »
International Journal of Computer Vision 60-2 pp 91-110
UNAL – Maestría Ingeniería Bio-médica Bogotá 2008
Antoine MANZANERA – ENSTA/LEI
56