Estéreo estático

Estéreo estático
Derivadas segundas obtenidas en direcciones distintas sobre el mismo borde
Marr propuso la detección de variaciones en la intensidad de la imagen (bordes)
como bosquejo primordial. Se observa que corresponde a un cruce por cero de la
segunda derivada en casi todas las direcciones(excepto la dirección del borde).
Además los operadores direccionales deforman las fronteras de los objetos de ahí
la aplicación de un operador no direccional como el Laplaciano (el que de todas
formas tiene efectos de desplazamiento indeseables).
7
Estéreo estático
La detección se aplica sobre una imagen
suavizada para disminuir los efectos del ruido, al
que son muy sensibles los operadores derivada
Función Gausiana de
banda limitada
Operador Laplaciano
El bosquejo primordial es el cruce por cero de la función
Por la regla de la cadena de la convolución
El operador tiene la forma que se aprecia en la
figura (usualmente se presenta su opuesto en los
textos)
8
Estéreo estático
9
Estéreo estático
El cálculo de las correspondencias se beneficia de
las restricciones
•Unicidad: cada item se puede asociar a no más de
un valor de disparidad
•Continuidad: la disparidad varía de forma suave
El número de falsos emparejamientos es
proporcional al rango de valores de disparidad
considerado y a la escala del bosquejo primordial.
Sea wc el rango de disparidades en el bosquejo basto, wf en
el bosquejo fino.
Se puede considerar un rango de disparidades mayor para el
bosquejo más basto (coarse) (wc>wf ). De esta forma
disparidades que no se pueden detectar en el bosquejo más
fino (debido al alto número de falsos emparejamientos)
(izqda), se pueden detectar en el bosquejo basto.
Las estimaciones de disparidad en el bosquejo basto sirven
para alinear las imágenes y calcular la disparidad fina, ya
que los pasos por cero estarán ahora en el rango de
disparidades más fino (derecha).
ALGORITMO MARR-POGGIO
•Detecta cambios de intensidad a diferentes resoluciones
•El emparejamiento de descripciones bastas controla la
vergencia de los ojos, hasta alcanzar el emparejamiento
•Emparejamientos parciales se guardan en memoria de
forma independiente
Las disparidades se calculan sobre el eje x (filas)
10
Estéreo estático
Implementación de Grimson
Se extraen ventanas de proceso (retinas o fóveas)
sobre las que se calcula el Bosquejo Primordial a
distintas resoluciones (4)
Se calcula el emparejamiento comenzando por las
resoluciones más bastas.
Las disparidades se calculan sobre los contornos
dados por los cruces por cero.
1- Fijar las posiciones de los ojos
2- Localizar los cruces por cero de una imagen
3- Dividir la región en torno al pto correspondiente
en la segunda imagen en 3 areas (pool), con
vergencia positiva, nula y negativa.
4- Asignar un emparejamiento de los cruces por cero
en base a los emparejamientos potenciales en los
grupos
5- Deshacer ambiguedades
6- Guardar los valores de disparidad
11
Estéreo estático
Imágenes filtradas con filtros Laplacianos de
diámetros 36, 18,9,4
12
Estéreo estático
Cruces por cero de las imágenes filtradas
13
Estéreo estático
Mapas de disparidades resultantes
14
Estéreo estático
Cámaras no coplanares
Imágenes con ejes Y paralelos, esto es filas coplanares.
baseline distancia b entre los centros ópticos OL y OR.
2θ es el ángulo entre los dos ejes ópticos
Dsitancia focal f.
XYZ se transforma en XLYLZL mediante una rotación
en torno al eje Y y una traslación en el eje X.
Proyección central en los planos imagen
de un punto (XYZ) en coordenadas de
la cámara
15
Estéreo estático
Triangularización
Dados puntos correspondientes en las dos imágenes se pueden recuperar las coordenadas 3D en el sistema de la cámara
Reescrito como:
Cuando el ángulo entre los ejes ópticos es nulo (paralelos), se reduce a las ecuaciones vistas para cámaras coplanares
16
Estéreo estático
Restricciones y asunciones
• Facilitan el cálculo de correspondencias
• Dependen de las condiciones de captación
–
–
–
–
–
–
Restricción epipolar
Unicidad, compatibilidad y similaridad
Continuidad de las disparidades
Compatibilidad de las características
Limitaciones en la magnitud de la disparidad
Ordenación de los puntos proyectados en el plano imagen
17
Estéreo estático
Restricción epipolar
El plano epipolar se define por un punto P en
el espacio y los dos centros ópticos OL y OR .
Las líneas que lo definen son la línea delos
centros ópticos al punto y la línea base que
une los centros ópticos
Una línea epipolar es la intersección del plano
imagen con el plano epipolar.
Los epipolos son las intersecciones de los
planos imagen con la línea base.
Las líneas epipolares en cámaras coplanares
son las filas de la imagen
Un punto pL en la imagen izquierda solo puede
corresponder a uno pR en la línea epipolar en la
imagen derecha
18
Estéreo estático
Unicidad, compatibilidad y similaridad
Unicidad: todo pixel en una de las imágenes estéreo sólo puede
corresponder a otro pixel en otra de las imágenes
Excepción: varios puntos en una línea 3D perpenticular a uno
de los planos imagen
Compatibilidad de intensidades (compatibilidad
fotométrica diferencial): vecinos en una de las
imágenes estéreo sólo pueden ser correspondientes
a vecinos en la otra imagen si las intensidades son
similares y la diferencia también lo es
Similaridad geométrica: dos lineas en imágenes estéreo son
correspondientes si su longitud y orientación es similar (su diferencia
está por debajo de un umbral de decisión)
19
Estéreo estático
Continuidad de las disparidades
Suavidad y continuidad de las disparidades : puntos vecinos tendrán
disparidades similares.
Continuidad de las disparidades a lo largo de los bordes (restricción de
continuidad en las figuras): dados puntos correspondientes sobre
bordes definidos en las imágenes estéreo, los puntos vecinos sobre los
bordes son correspondientes si las disparidades son similares
20
Estéreo estático
Compatibilidad de las características
Las características extraidas sólo deben
corresponderse si tienen el mismo origen físico en la
escena. No son fiables los bordes que no tienen un
origen físico perceptible por ambas cámaras
Tipos de bordes:
•Bordes debidos a la orientación delas
superficies en la imagen
•Bordes de reflectacia debidos a los
cambios de caracteristicas de reflectancia
en la superficie
•Bordes de iluminación debidos a efectos
de iluminación
•Bordes de reflejos debidos a
especularidades de la superficie (no fiable)
•Bordes de oclusión debidos a las siluetas
de los objetos frente al fondo (no fiable)
21
Estéreo estático
Límites en las disparidades
Límite de la disparidad: máximo valor de disparidad perceptible
(computacionalmente sirve para limitar la búsqueda de correspondencias)
Implica la asunción de una distancia mínima de los objetos a la cámara
El gradiente de la disparidad es la variabilidad de las disparidades entre puntos
cercanos. Esta variabilidad se establece en relación a la separación ciclópea dcs (la
distancia entre los puntos que veríamos con un ojo colocado entre los dos ojos). Se
establece también un límite para este gradiente que restringe la búsqueda de
correspondencias.
22
Estéreo estático
Gradiente de las disparidades
Separación ciclópea
Limite en el gradiente de la disparidad
23
Estéreo estático
Ordenación en el plano imagen
Restricción de ordenación: los
puntos que caen en una linea
epipolar en una imagen
estéreo se proyectan en la
linea epipolar correspondiente
en la otra imagen en
exactamente el mismo orden
Esta restricción implica que
todos los objetos están a
una distancia similar
24
Estéreo estático
Análisis de correspondencias basado
en la intensidad
Se extiende la restricción fotométrica a
bloques de la imagen (area based
stereo) que pueden corresponder a
pixels normales como a pixels
detectados mediante algoritmos de
extracción de caracteristicas.
Método basado en el emparejamiento de bloques.
(MPEG)
La imagen se divide en bloques del mismo tamaño, se
calcula la correspondencia entre bloques mediante
correlación. El proceso admite refinamientos
disminuyendo el tamaño de los bloques.
25
Estéreo estático
La medida de similitud entre bloques puede ser un error cuadrático medio. (cámaras coplanares)
Si consideramos
correspondencias entre bloques
adyacentes no solapados la
disparidad d debe ser múltiplo
del tamaño de la imagen m.
Restricciónde
continuidad
El tamaño del
bloque depende de
los tamaños de los
objetos, la
imagen, las
texturas,etc.
Refinamiento
a nivel de pixel
26
Estéreo estático
27
Estéreo estático
Emparejamiento de líneas epipolares
(asume geometría estéreo estándar (ssg) por lo que las lineas epipolares son las filas
de la imagen )
Error de emparejamiento sobre la
linea epipolar para la disparidad
Perfil epipolar: las disparidades
sobre una linea epipolar
Restricción de ordenación
Funcional de disimilitud acumulada dado un vector de disparidades d
El problema de determinar las disparidades se puede formular como la búsqueda del
vector de disparidades minimización del funcional de disimilitud acumulada, con la
restricción de ordenación.
28
Estéreo estático
Las disparidades están acotadas
Restricción de unicidad: todo
pixel tiene su correspondiente
La restricción de ordenación queda como
función parcial de disimilitud acumulada que se define inductivamente
29
Estéreo estático
inicialización
Cálculo de las
disimilitudes
parciales
acumulativas
Minimo global
Recuperación
del vector de
disparidades
30
Estéreo estático
Emparejamiento de bloques en
imágenes color
La constancia del color introduce robusted en el cálculo de las correspondencias.
La restricción física se reescribe “puntos cercanos de la superficie tendrán colores
similares”
RGB normalizado
Espacio HSI
Distancias aplicables
31
Estéreo estático
Error de emparejamiento de bloques,
sobre el espacio RGB normalizado
El algoritmo basado en el emparejamiento
de bloques será el mismo que en el caso de
las imágenes monócromas. El
refinamiento para obtener el mapa denso
de disparidades se realizará usando la
distancia en el espacio de color
32
Estéreo estático
Análisis de correspondencias
basados en características
(Feature based correspondence analysis)
Dos fases:
•Extracción de las características: bordes, etc
•Emparejamiento de pixeles pertenecientes a las características
Ventajas
•Se reducen las ambigüedades al disminuir el número de candidatos
•Es menos sensible a las variaciones fotométricas ( si las
características son robustas)
•Las disparidades pueden determinarse de forma más precisa
Desventaja: el mapa de disparidades es disperso (no denso)
33
Estéreo estático
Algoritmo básico
El punto de partida son la imágen de cruces por cero detectada sobre la imagen
izquierda. Los pixels de los bordes detectados
son
el punto de partida para la búsqueda del pixel correspondiente.
La determinación de las correspondencias se hace examinando el error cuadrático
normalizado como medida de similitud
34
Estéreo estático
35
Estéreo estático
36
Estéreo estático
Análisis basado en las estadísticas de los
vectores de cruce por cero
Las caracteristicas son los cruces por cero de la convolución con el Laplaciano
de la Gausiana a distintas escalas σ1, σ2, σ3,…
Un vector de cruces por cero eσ(i,j) se define como un vector unitario
bidimensional a lo largo de los cruces por cero vecinos comenzando en (i,j)
Si no es un cruce por cero
Con Ex(i,j), Ey(i,j) gradientes en (i,j)
37
Estéreo estático
Un par de vectores eLσ y eRσ establecen un par de candidatos correspondientes si la
diferencia angular es menor que un cierto umbral
Sea ∆ la disparidad, se pueden definir las funciones de asignación binarias
Para puntos correspondientes
sino
La tabla de frecuencias de las disparidades nos da el histograma global de
disparidades (para la imagen izquierda, idem para la derecha)
El histograma global de disparidades contiene muchas disparidades incorrectas.
Se puede asumir que los picos en el histograma especifican correspondencias correctas
38
Estéreo estático
Un candidato multi-intervalo de disparidad viene dada por un umbral aplicado al
histograma global de disparidades. Se considera que estas disparidades son válidas
y son las que pueden ser aceptadas. Sea Hσ el máximo global del histograma
El proceso global puede servir para definir candidatos para el cálculo detallado
de las correspondencias. Para esto el análisis se repite a nivel local
39
Estéreo estático
La ventana
La ventana local en torno al punto p
El histograma local de las disparidades
es la tabla de frecuencias de las
disparidades dentro de las ventanas en
las imágenes dcha e izda en la misma
posición, para las disparidades dentro
del multi-intervalo candidato
La dimensión de la ventana
está relacionada con el filtro
LoG utilizado (con la varianza)
40
Estéreo estático
Los histogramas locales
pueden variar mucho,
dependiendo de condiciones locales como la existencia de un borde sólo en una
de las imágenes, pero en general son similares. Los histogramas locales se
calculan para distintos valores de la varianza, esto es, varias resoluciones.
Mejor resolución
: la que tiene la mayor diferencia entre el máximo y el
segundo máximo del histograma local.
Asume que
es el maximo valor para la resolución
para la
disparidad
y
es el segundo mayor valor del histograma local
para
Esto especifica un valor diferencia (analogamente para la dcha)
Una asignación se acepta sólo si L(r,s) y R(r,s) superan un cierto umbral y
si
y
son muy similares. La disparidad finalmente es de la forma
41
Estéreo estático
42
Estéreo estático
Estéreo con tres cámaras
Configuraciones de las cámaras:
•Coplanares: extensión de la
geometría estéreo standard. Las
lineas epipolares son las lineas
horizontales (imágenes colineales)
o las horizontales y verticales (en
ángulo recto)
•Arbitrarias. Las lineas epipolares
no coinciden con las de la imagen
Estrategias de asignación de puntos
•Sólo se consideran puntos con correspondencias en las tres imágenes. Menos puntos asignados
•Se consideran puntos con correspondencias al menos en dos imágenes. (Para soslayar oclusiones)
43
Estéreo estático
O1, O2, O3 son los centros de proyección
P, R son puntos en el espacio 3D
p1, p2, p3 son las proyecciones del punto P.
Las lineas epipolares para el punto P son l1, l2 en las
imágenes de las camaras 1 y 2 (plano O1 O1 P).
La linea l3 es la proyección de la linea O1P en el plano
de imagen de la cámara 3 (plano O1 O3 P).
La linea m3 es la proyección de la linea O2P en el plano
de imagen de la cámara 3 (plano O2 O3 P).
Un punto correspondiente en las tres imágenes caerá en
las intersecciones de los líneas epipolares definidas por
los correspondientes planos epipolares.
44
Estéreo estático
El punto de partida
son los bordes
calculados con LoG
Determina las
correspondencias en
las otras dos
imagenes
Determina las
corespondenicias
triples como
intersecciones de las
lineas epipolares
Se determina
directamente la
posición en 3D como
intersección de los
planos epipolares
45
Estéreo estático
Algunas referencias
• Grimson, From Images to surfaces, MIT
Press 1981
• Klette, Schluns, Koschan, Computer vision.
Three-Dimensional data from images,
Springer Verlag
46