Estéreo dinámico

Estéreo dinámico
Estéreo dinámico
1
Estéreo dinámico
Vectores locales de desplazamiento
Dada una secuencia de imagenes
Tomadas a intervalos
Movimiento absoluto: movimiento independiente
de la cámara
Movimiento relativo: movimiento debido al
movimiento de la cámara, cambios de
iluminación..
Asumiendo sólo movimiento
absoluto, el desplazamiento de
la proyección
de un
punto P en imágenes
consecutivas es
2
Estéreo dinámico
Vectores de velocidad locales
Vectores de desplazamiento locales
Velocidades en x,y
Caso discreto
Caso general
3
Estéreo dinámico
El problema de la apertura: la ventana de observación no nos permite
observar el movimiento completo de los objetos.
El cálculo del campo de vectores de desplazamiento implica la resolución del
problema del cálculo de correspondencias entre puntos en imágenes
consecutivas, esto es el problema del análisis de correspondencia en estéreo
dinámico. Se aplican principios similares al caso estático. La restricción
epipolar no se aplica más que en casos muy especiales.
4
Estéreo dinámico
Vectores de desplazamiento local a
partir del movimiento de los objetos
Sea un objeto rígido en movimiento. Los vectores de movimiento en la imagen son
proyección de los vectores de movimiento 3D. En general dependen del punto de la
superficie considerado.
Coordenadas de la camara
5
Estéreo dinámico
Aplicando las fórmulas de la transformación proyectiva
diferenciando
Es posible calcular los vectores de desplazamiento en la imagen
conocido el movimiento de los objetos en el espacio 3D: dado el
vector de velocidad para cada punto (de interés) de la superficie.
6
Estéreo dinámico
Relación entre los gradientes y el movimiento de los objetos
Un punto que cae en una faceta incidente a un plano
Gradiente de la superficie del objeto
Se cumple la relación
Asumiendo un movimiento consistente en una rotación y una traslación de la faceta en la que está el punto
Centro de rotación
Vector de rotación:
Magnitud indica la velocidad de rotación
Dirección indica el eje de rotación
Vector de traslación: su magnitud indica la velocidad de traslación
7
Estéreo dinámico
Velocidad del punto
bajo movimiento de rotación y traslación
Este modelo corresponde a un cono cuyo eje es el vector de rotación, su ápice es el centro de rotación y el punto (XYZ)
cae en la superficie del cono. Entonces
es tangencial a la superficie del cono. Su
magnitud es proporcional a la distancia del centro de rotación y a la magnitud del vector de rotación.
Se puede descomponer el vector de velocidad del punto
8
Estéreo dinámico
Relación entre los desplazamientos locales y los gradientes
Todo campo de desplazamientos locales
Puede aproximarse por los polinomios de segundo orden
en un entorno local de un punto p y un instante t.
Los parámetros de desplazamiento local puede determinarse por la minimización del error
Para todos los puntos de la imagen
en un entorno que corresponde a la proyección de una
faceta de la superficie
Se pueden establecer restricciones para los parámetros de movimiento
Y los de la faceta
en términos de los parámetros del desplazamiento local.
9
Estéreo dinámico
El teorema siguiente relaciona los parámetros del desplazamiento local con los
parámetros de movimiento y faceta en el caso de proyección central centrada en el
plano imagen
10
Estéreo dinámico
Prueba del teorema
Coordendas en el plano imagen
Diferenciando
Substituyendo
En el caso de la proyección central la retroproyección de un punto
del plano
da las ecuaciones
Sustituyendo quedan las relaciones entre los parámetros del desplazamiento local, los del movimiento y los de la faceta.
11
Estéreo dinámico
El campo de desplazamiento local puede expresarse también como composición en funciones de base dependientes los
parámetros de la faceta y dela imagen
Conocidos los parámetros de
movimiento y facetas podemos
sintetizar los desplazamientos
locales
Reciprocamente:
Conocidos los parámetros de
movimiento sería posible recuperar a
partir del desplazamiento local la
estructura de facetas tridimensional.
12
Estéreo dinámico
Haciendo la distancia focal infinita se pueden obtener las relaciones para el caso
de la proyección paralela (ortográfica).
Se obtienen seis ecuaciones para siete incógnitas. Los parámetros c (desplazamiento en Z) y r (Z-intercepción)
permanecen indeterminados en todo caso.
A partir de
Pueden determinarse:
13
Estéreo dinámico
Desplazamientos inducidos por la rotación de la cámara
Se asume que toda la escena está estática, sólo la cámara se mueve rotando en torno a su centro de proyección
Es la matriz de rotación que nos da el cambio de coordenadas de los puntos del mundo con origen en
el centro de proyección de la cámara
La proyección
de un punto pasa a ser tras la rotación
en el plano imagen
Los vectores de desplazamiento local se pueden calcular directamente (execepto para objetos que aparecen o desaparecen de
la escena)
14
Estéreo dinámico
Cálculo del flujo óptico
Flujo óptico: cambios en la intensidad (irradiancia) entre dos imágenes consecutivas debido a movimientos de los objetos (idealmente)
No es equivalente el flujo óptico al campo de desplazamientos locales (ej.: rotación de una esfera sin textura vs esfera estática con
cambios de iluminación)
Irradiación de la imagen Ei en el punto
Flujo óptico entre las imágenes Ei y Ei+1
La conservación delas intensidades (irradiaciones) de las imágenes (escenas) implica que las imágenes tienen la misma
intensidad salvo desplazamiento, se cumple:
La fidelidad al movimiento delos objetos implica que el flujo óptico coincide en gran medida con el campo de desplazamientos
implica
15
Estéreo dinámico
Método de Horn-Schunk
Todos los puntos se tratan igualmente: proyección ortográfica o paralela
Descomposición en serie de Taylor de la irradiación:
el paso de diferenciación
La conservación de las intensidades implica
Lo que conduce a la restricción de Horn-Schunk
16
Estéreo dinámico
A partir de la conservación de movimiento o fidelidad al movimiento también
se deriva la restricción de Horn-Schunk
Error de aproximación o aberración
17
Estéreo dinámico
Expresión abreviada, omitiendo las dependencias de (x,y)
Las derivadas Ex,Ey,Et se calculan mediante operadores locales
El problema de la apertura:
La restricción de Horn-Schunk define
una linea en el espacio (u,v). Cualquier
punto en esta linea es una solución
válida al problema de la estimación del
flujo óptico.
Una solución sensata es tomar el punto
intersección con la dirección
18
Estéreo dinámico
Restricción de suavidad del flujo óptico:
La solución más adecuada es la que minimiza las primeras derivadas del flujo, lo
que corresponde a minimizar el funcional
La restricción de Horn-Shunk también se puede plantear como la minimización
de un funcional
Los dos funcionales se pueden combinar mediante un multiplicador de Lagrange
19
Estéreo dinámico
Minimización del funcional mediante un esquema de iteración discreta
Se consideran las aproximaciones discretas de los funcionales en el punto (i,j),
instante t
La minimización del funcional combinado
Se realiza
-calculando las derivadas del funcional respecto de los parámetros del flujo óptico
-igualando las derivadas a cero
-resolviendo las ecuaciones resultantes
20
Estéreo dinámico
Las derivadas de la aproximación discreta al funcional de suavidad
Las derivadas de la aproximación discreta del funcional compuesto quedan
21
Estéreo dinámico
Igualando las derivadas a cero, se obtiene para cada punto (i,j) el siguiente par de
ecuaciones, en forma abreviada
Promedio en el
4-vecindario
La solución viene dada por
La solución iterativa parte de una solución inicial arbitraria
22
Estéreo dinámico
23
Estéreo dinámico
24
Estéreo dinámico
El flujo óptico calculado es una proyección del vector de desplazamiento
local inducido por el movimiento del objeto sobre el gradiente de la
imagen.
Si el movimiento del objeto es paralelo al gradiente de la imagen, el flujo
óptico percibido es nulo.
La correspondencia entre el flujo óptico calculado y el vector de
desplazamiento local es máxima cuando el movimiento es perpenticular
al borde en la imagen.
Para imágenes sintéticas se pueden calcular los errores de matching
de flujo óptico y vectores de desplazamiento.
25
Estéreo dinámico
Reconstrucción de objetos en rotación
Se asume que los ejes de coordenadas del mundo XwYwZw están alineados con
una mesa giratoria cuyo eje de rotación coincide con el eje Zw y la superficie
plana coincide con el plano XwYw.
Una cámara estática toma imágenes a intervalos de tiempo constantes (δt=1) de
los objetos depositados en la mesa.
Se obtiene una secuencia E0,E1,E2,.. En cada intervalo entre imágenes se produce
un giro de un ángulo.
Se conocen todos los parámetros de la cámara obtenidos mediante un proceso de
calibración equivalente al de Tsai.
26
Estéreo dinámico
Punto en la superficie del objeto
Posición del punto en el instante t+1
Matriz de rotación de las coordenadas del mundo
para un ángulo δ.
Posición del punto en coordenadas de la cámara
Por ortogonalidad de las matrices de rotación
Coordenadas en la imagen dadas por la proyección
Coordenadas válidas después de la distorsión de la lente
Coordenadas en el buffer de la imagen,
después del escalado y centrado
27
Estéreo dinámico
Asumiendo que el punto
se sigue sin error de la imagen Et
a la imagen Et+1
Conocido el ángulo de rotación δ, se desea determinar las coordenadas del punto
Proceso:
1 determinar las coordenadas válidas
2 determinar las coordenadas sin distorsión
3 determinar las cantidades
4 recuperar coordenadas de cámara
5 dado que, para δ conocido, es conocido el vector
es posible calcular las coordenadas Zt en
coordenadas de la cámara.
28
Estéreo dinámico
Para una matriz 3x3 A no singular
Siguiendo un punto en m+1 imágenes se obtiene
una matriz mx3 y el cálculo se puede hacer
mediante la inversa de Moore-Penrose
En el caso 3x3
Se obtienen las coordenadas en el mundo aplicando
29
Estéreo dinámico
30
Estéreo dinámico
Restricción del espacio de búsqueda para el análisis de correspondencias
Considera que la cámara es la que se
mueve alrededor del objeto, el centro
óptico de la cámara gira en torno al
objeto a distancia constante del eje
Zw.
El movimiento de la cámara crea un
cilindro a distancia r del eje Zw.
Imagen de P en el plano imagen sin distorsión en el instante t.
Intersección del rayo de proyección y el cilindro de P en el plano imagen en el instante t
Proyecciones de T1 y T2 en el plano imagen en el instante t+1
En el instante t+1 el punto P se proyecta en un punto de la linea t1t2 que es el
espacio restringido de búsqueda de correspondencias para
31
Estéreo dinámico
Cálculo de la linea t1t2 en el plano imagen t+1
Superficie del cilindro de radio r
Sea el rayo que va de
cilindro
a
en el espacio
y
las intersecciones con el
Sea si el rayo de O(t+1) a Ti en el espacio
Se conocen los parámetros de calibración en t=0
En coordenadas del mundo
Rotación en torno
al eje Zw.
Se cumple en coordenadas del mundo
32
Estéreo dinámico
Para un punto en el plano imagen sus coordenadas en el sistema del mundo
El rayo s puede representarse como
Para obtener
se resuelve la ecuación
En coordenadas del mundo
Tras la proyección se tiene
33
Estéreo dinámico
34
Estéreo dinámico
35
Estéreo dinámico
3D a partir de fronteras ocluyentes
El objeto se deposita en una mesa
giratoria y se observa desde una
cámara estática.
-Zw es el eje óptico
Se modela el proceso como si la
cámara se moviese en torno al objeto.
Se establecen las correspondencias
entre las fronteras ocluyentes de los
objetos. Se estudian las relaciones
geométricas entre los puntos en la
frontera del objeto y su proyección
que resulta en bordes en la imagen.
Situación en el caso de proyección ortográfica
36
Estéreo dinámico
Es el conjunto de puntos
para los que el rayo al cenro de
proyección
es perpenticular a la normal
de la superficie
Es la proyección en la imagen
Distancia entre la proyección de un punto y la
proyección del eje de rotación (se ignora el eje Yw)
Asume que el
está bien definido y la relación entre los puntos del
su proyección en la imagen es biyectiva.
y
Se cumple que
donde
Es un vector que parte de
frontera ocluyente
y es tangencial a la
37
Estéreo dinámico
Caso de la proyección paralela
Calculando las derivadas respecto del ángulo
Lo que da la ecuación matricial
En el caso de la proyección central
38
Estéreo dinámico
39