f - CVC

Visió per Computador
formació de la imatge
Felipe Lumbreras
Dept. Ciències de la Computació / Centre de Visió per Computador
Universitat Autònoma de Barcelona
http://www.cvc.uab.es/shared/teach/a102784/
Elements implicats
font: szeliski.org/Book/
Llum
El que percebem com a llum és una estreta
porció de l’espectre electromagnètic.
Cada freqüència es correspon amb un color pur (de vermells
fins als violetes).
Espectre
electromagnètic
E = hn
c = ln
relació de Planck
h: constant de Planck
c: velocitat de la llum en el buit
Imatges en altres rangs
Imatge en el SWIR de nit sense lluna ni llum
artificial. Només nightglow.
raigs X
Röntgen (1895),
mà de Berta.
font: Wikipedia,
user:Drgnu23
Copyright © ONERA - All rights reserved
Façana de l’ETSE vista en
el visible (a dalt), i en el
LWIR (esquerra).
UV
Gammagrafia
Llum
• Espectre (distribució espectral de potencia): potencia
(energia per unitat de temps) radiant per unitat de longitud
d’ona.
La intensitat emesa o reflectida per un objecte per totes les
longituds d’ona defineix el seu color.
Llum
• Llum blanca: espectre pla
(equienergètic).
Per obtenir una sensació de llum
blanca no és necessari que
l’espectre sigui pla.
• Llum monocromàtica: espectre
concentrat en una única longitud
d’ona. Representa un color
espectral pur.
PR
l
PR
l
Paràmetres espectrals / color
• Longitud d’ona dominant / to
longitud d’ona amb més energia. Pic
del espectre (e2).
• Puresa / saturació
relació entre l’energia de la longitud
d’ona dominant (e2) i l’energia de la
llum blanca (e1). Si e1=e2 la puresa
és zero i si e1 és zero la puresa és 1
(màxima).
• Luminància / Lluminositat
proporcional a l’àrea sota la corba de
la distribució espectral.
PR
teòrica
e2
e1
l
PR
D
l
exemple
e2
e1
l
D
l
Color
sensació visual produïda per una determinada
distribució espectral que incideix en la retina ...
... i es processa pel SVH
Font de
llum
emissió
Objecte
reflexió
Observador
Elements implicats
font: szeliski.org/Book/
Escena
Geometria
L: vector en la direcció de la font de llum
N: vector normal a la superfície
R: vector direcció de reflexió
V: vector en la direcció de l’observador
N
R
L
V
superfície
brillantor
ambient+difusa
font: szeliski.org/Book/
Reflectància
• BRDF (bidirectional reflectance distribution function)
materials isotròpics
– Difusa
– Especular
(Phong)
(Torrance Sparrow)
– Phong
– Dicromatic
r: reflectance
d: diffuse
s: specular
i: interface
b: surface body
Photometric Stereo for Outdoor Webcams
http://www.gris.informatik.tu-darmstadt.de/projects/webcam-ps/
Face Reconstruction in the Wild
http://grail.cs.washington.edu/3dfaces/
Elements implicats
font: szeliski.org/Book/
L’ull humà
Estructura
• La còrnia, el cristal·lí i l’humor
aquós s'encarreguen de projectar
una imatge sobre la retina.
lents/òptiques
• L’iris és un diafragma que regula la
quantitat de llum que entra en l’ull.
diafragma
• La retina és una capa de cèl·lules
nervioses que transforma l’energia
lluminosa en impulsos elèctrics.
sensor
L’ull humà
Receptors
Bastons: sensibles a intensitat baixa, no
al color, situats a la perifèria de la fòvea.
Cons: sensibles a nivells alts, al color i
bàsicament a la fòvea.
Nom
Màxima sensibilitat
S (short)
M (medium)
445 nm (violeta)
535 nm (verd)
L (long)
570 nm (groc)
Mesura del color
• Experiment de correspondència
Mesura del color
Observador estàndard
• En 1931 es defineix un observador
estàndard a partir de mesures
realitzades a un conjunt de
persones mitjançant experiments
de correspondència.
• Els tres primaris són X, Y, Z.
Aquests primaris són colors
imaginaris (no es poden donar a la
natura).
• Les corbes x(l), y(l), z(l) són les
funcions de correspondència i
s’han triat positives.
Mesura del color
Càlcul de valors triestímul
• A partir de la distribució espectral
de un determinat estímul de color
obtenim els valors X,Y,Z així:
– multipliquem per les funcions
de correspondència.
– integrem l’àrea sota la corba.
• A la pràctica això és el que fan els
aparells que mesuren les
components de color.
X   L(l ) x (l )dl ; Y   L(l ) y (l )dl ; Z   L(l ) z (l )dl
L(l )  I (l ) f. emisiva; L(l )  I (l ) S (l ) f. reflexiva
Espai XYZ
• Els valors XYZ dels possibles colors
defineixen una mena de con “sòlid
de color”. Tots els possibles colors
són dins d’ell.
• Els eixos de l’espai XYZ no cauen a
dins del sòlid (colors imaginaris).
• L’origen es correspon amb el negre
• La frontera representa els colors
espectrals purs (locus), els púrpures
que no hi són a l’espectre estan
representats per una línia que uneix
vermell i violeta.
Y
locus
X
línia de
púrpures
Z
Diagrama xy
• Una representació que separa la component de lluminositat
del color és el diagrama xy.
x=X/(X+Y+Z), y=Y/(X+Y+Z),z=Z/(X+Y+Z)
• Com que x+y+z=1 eliminem la
redundància treien una d’elles.
• Podem veure-ho com el
sòlid de color projectat
sobre el pla X+Y+Z=1.
Espais de color
• Independents de dispositiu
– CIEXYZ (1931, 1964): espai base. Útil per mesurar.
– CIELUV: uniforme. Utilitzat per emissors.
– CIELAB: uniforme. Utilitzat per pintures i colors reflectits.
• Dependents de dispositiu
– RGB: monitors, càmeres, imatges. Molt utilitzat.
– CMY /CMYK : impressió
– Y’U’V’ y Y’I’Q’: televisió, vídeo.
– HSV : imiten espais perceptuals. Útil per definir colors i
per processament de imatges en color
– HLS : similar a l’anterior.
Espais de color
• Independents de dispositiu
– CIEXYZ,
CIELUV,
CIELAB
Y
X
Z
• Dependents de dispositiu
– RGB,
HSV,
R
G
B
HLS
Elements implicats
font: szeliski.org/Book/
Càmeres
• Model simple: pinhole, projecció central
Càmeres
• Model simple: pinhole, projecció central
focal distance
hole
image
plane
Càmeres
• Model simple: pinhole, projecció central
focal distance variation
Càmeres
pinhole
Hartley R , Zisserman. A Multiple View Geometry In Computer Vision, 2 Ed. 2003 (pàg. 154)
T
(X,Y,Z) → (𝑓X/Z, 𝑓Y/Z, 𝑓)
T
Coordenades homogènies
X
𝑓X
Y →
𝑓Y =
Z
Z
1
𝑓
𝑓
1
0
0
0
X
Y
Z
1
x=PX
pinhole
Centre òptic (principal point)
X
𝑓X+Z𝑝𝑥
Y →
𝑓Y+Z𝑝𝑦 =
Z
Z
1
𝑓
𝑓
1
𝑝𝑥
𝑝𝑦
0
X
Y
Z
1
𝑓
K=
𝑓
𝑝𝑥
𝑝𝑦
1
x = K[I | 𝟎] Xcam
Matriu de paràmetres
intrínsecs
Rotació i Translació de la càmera
[R | 𝐭]
Matriu de paràmetres
extrínsecs
P=K[R | 𝐭]
Matriu de projecció
x = K[R | 𝐭] X
Radial distortion
Computer vision: models, learning and inference. ©2011 Simon J.D. Prince
33
Calibratge de càmeres
• Intrínsecs :
– focal (en píxels),
– punt principal (centre)
– distorsions
• Extrínsecs
– Rotació
– Translació
http://www.vision.caltech.edu/bouguetj/calib_doc/
Captación
Cámara
Óptica
enfoque
diafragma
zoom
elementos ópticos:
filtros IR, beam splitters
alimentación
sensor/es
configuración
filtros
extensores
montura
anclaje
amplificación vídeo / imagen
, conversión,
proceso
Ópticas
Formación de la imagen
• Esquema simplificado
u
v
O
h
F’
f
eje
óptico
Formación de la imagen
• Esquema simplificado
u
v
O
h
F’
h’
I
f
eje
óptico
El rayo que pasa por
el centro de la
lente no se
desvía
El rayo que llega
horizontal se
desvía por el foco
Formación de la imagen
• Esquema simplificado
u
v
O
h
F’
h’
I
f
eje
óptico
Formación de la imagen
• Esquema simplificado
u
v
O
h
F’
h’
I
1 1 1
 
f u v
fórmula de Gauss
f
eje
óptico
Objetivos
• Grupo óptico que forma la imagen sobre el
sensor
 Características:
 Distancia focal: f
 Apertura: f-numero, N.A., 
 Profundidad de campo DOF.
mínima y máxima distancia
de enfoque
 Campo de vista FOV
 Aumento
 Tipos




Focal fija, Variable
Gran angular, Ojo de pez
Zoom
Telecéntricos
 Monturas
 Especificas de vídeo: C, CS
 Microlentes
 Otras
 Otros elementos
 Extensores
 Filtros
 Tornillos
Distancia focal
• Los objetivos están formados por grupos ópticos en
los que la suposición de lente delgada no se da.
– Simplificamos los cálculos suponiendo lente delgada
• El término distancia focal hace referencia a la EFL
(distancia focal efectiva).
– Otras medidas útiles son la BFD (back focal distance) y
– la FFD (flange focal distance).
Para un tamaño de sensor fijo la distancia
focal está relacionada con el ángulo que
abarca la imagen:
a menor distancia focal, mayor campo angular
N2
F2
BFD
f = EFL
FFD
Apertura
• Apertura relativa:
Relacionado con la luminosidad que tendrá la imagen:
- diámetro del objetivo  luz que entra.
- distancia focal  tamaño de la imagen.
N
f
D
f = focal
D =  de la lente
• La luz que llega al sensor es proporcional a D2
N:
16
11
8
5.6
4
2.8
2
1.4
Enfoque
• Los objetivos ajustan la distancia lente-sensor con el
enfoque, consiguiendo una imagen nítida sobre el sensor.
– El posicionamiento con rosca de paso fino (Dz ~ 5 mm).
– Cuando la lente está lo más cerca posible del sensor,
éste se sitúa en el plano focal del sistema (objetos
distantes enfocados).
– Con el anillo de enfoque al máximo tenemos la mínima
distancia entre el objeto y objetivo (MOD: minimun
object distance). La calculamos con formula de Gauss.
Anillo de enfoque
F
Ejemplo: para un objetivo de f=25 mm con 5 mm
de recorrido de enfoque tenemos un rango
1
1
1
 
;
25 mm u 25 mm  5 mm
u  MOD  150 mm
Nota: en aplicaciones con condiciones adversas conviene fijar el enfoque con un tornillo.
Campo de vista
• FOV (Field Of View): área de la escena, a la distancia de
trabajo u, que forma su imagen en el sensor. También medido
como campo de vista angular q. Depende de tres factores:
– Distancia focal f
– Distancia de trabajo u
– Tamaño del sensor
sensor
q
s
FOV
f
u
s/2
v
u
FOV  s
v
q  arctan
v
Nota: Si la óptica está bien diseñada la apertura (iris) no debe influir en el campo. Incluso
cerrando mucho el iris debemos seguir viendo el mismo campo.
Magnificación y campo de vista
• Cómo varía la magnificación total i el campo de vista en
función de la distancia focal para una distancia de trabajo fija.
f = 12 mm
f = 25 mm
f = 50 mm
Campo de vista
100°super-wide angle
65°
wide angle
35°
standard wide angle
20°
standard
12°
light telephoto
6°
telephoto
MOD
• Cómo depende de la distancia focal
A mayor distancia focal menor
campo de vista y mayor MOD.
• Clasificación en función del campo
angular (vídeo)
Profundidad de campo
• Círculo de confusión
– el ojo humano y cualquier otro sensor es incapaz de
distinguir detalles más pequeños que el elemento utilizado
para captarlos.
– Dependiendo del sensor que utilicemos tendremos uno u
otro círculo de confusión. En las cámaras este valor suele
ser: c’=10mm - 30mm.
CCD
plano
imagen
cono de luz incidente
elemento
sensor
Profundidad de campo (DOF)
Rango de posiciones en las que el objeto se encuentra bien
enfocado (el tamaño de un punto imagen es igual o menor
al del círculo de confusión).
• Factores que influyen en la profundidad de campo:
– Apertura: a menor apertura, mayor profundidad de campo
– Distancia del objeto: a mayor distancia, mayor profundidad
– Distancia focal: a menor distancia focal, mayor profundidad
CCD
cono de luz
incidente
(pequeño)
A
cono de luz
incidente
(grande)
B
B’
sensor
A’
Profundidad de campo
• Ejemplo de variación de la profundidad de campo según la
apertura,
f  25mm
f #1.4
f #2
f # 2.8
f #4
f #8
Extensores
• Anillos que colocados entre el objetivo y la cámara
aumentan la distancia lente-sensor
• Consecuencias:
– Disminución DOF
– Disminución distancia mínima
de trabajo
– Disminución FOV
– El aumento se hace mayor
Tipos de objetivos
•
•
•
•
•
•
Objetivos fijos
Teleobjetivos
Gran angular
Zoom
Macro
Telecéntricas
53/160
Montura
Distancia desde el plano posterior de la óptica
(sin contar la rosca) y el sensor (plano focal).
• Dos estándares:
-Tipo C (industria y ciencia): distancia c = 17,5 mm
-Tipo CS (vigilancia): distancia c = 12,5 mm
El paso de rosca es de 1/32” TPI (threads per inch).
Se puede pasar de CS a C con extensor, pero no al revés.
• Los sensores de gran formato (lineales/matriciales) usan
otros tipos de montura: F-Nikon, 42mm.
• Las cámaras de bajo coste suelen tener montura de 12 mm
o menores (microlentes). De poco uso en visión industrial.
Nota: el soporte de la lente suele contener el filtro IR
Cámaras
Sensor
• Los sensores convierten la energía radiante en una señal
eléctrica.
• La luz está “formada” por fotones. El sensor “cuenta” fotones.
Luz
(fotones)
Sensor
Carga eléctrica
(electrones)
QE (Quantum Efficiency):
Número de electrones generados por cada fotón incidente.
WC (Well Capacity):
Número de electrones que puede almacenar la celda sensora.
Características del sensor
•
•
•
•
•
•
•
•
•
Arquitectura del chip
Tiempo de integración
Tipo de integración
Transferencia
Sensibilidad espectral
Relación señal ruido, Corriente oscura
Respuesta, Saturación
Color
Tecnología
Arquitectura
Cámaras matriciales
Anchura del
elemento sensor
Cámaras lineales
Anchura del
elemento sensor
Celda CCD
Altura del
elemento
sensor
Altura del
elemento
sensor
NM
Celda CCD
Matricial: estructura
•
•
•
•
Número efectivo de celdas (HxV).
Tamaño de las celdas (THxTV).
Forma de las celdas (TH/TV). Ideal = 1 (cuadrada).
Formato de la matriz (1’’, 2/3”,1/2”,1/3”,1/4”).
Formato de la matriz: aspect ratio 4:3 (unidades en mm)
Número efectivo de celdas
Sensor
Número total de píxeles
Zona de píxeles
que no capta luz
Número efectivo de píxeles
(captan luz)
Nota: relacionado con el concepto de corriente oscura
Formato de la matriz
Tamaño y relación de aspecto del sensor.
Afecta a:
• campo de vista
• magnificación total
sensor
1/2”
Monitor
•
•
Misma focal y enfoque (mismo sistema óptico)
Diferente tamaño de sensor
1/3”
Sensor lineal
• Arquitectura de descarga lineal, bilineal o trilineal.
• Gran resolución en la línea: de 128 a 8800 píxeles.
• Formato de salida no estándar.
Tiempo de integración
• Permite trabajar con diferentes condiciones de iluminación
y movimiento.
• La señal que lo controla se denomina shutter (obturador).
Ejemplo: poca luz  mayor tiempo de integración
Tiempo de integración
El tiempo de integración afecta a:
• cantidad de electrones que se almacenan por unidad de
tiempo,
• desenfoque por movimiento
Tiempo de integración
Objeto estático
1/250 s
1/1000 s
1/10000 s
Tiempo de integración
Menor tiempo de integración implica:
• O tener que aumentar la potencia de luz en la escena:
CALOR
• O ser compensado abriendo el iris del objetivo:
MENOR PROFUNDIDAD DE CAMPO
Tipo de integración
Rolling shutter
ti
expuesto
La mayoría de CMOS
Frame shutter
t0
expuesto
CCD y algunos CMOS
Transferencia (CCD)
1) Adquisición (tiempo de integración de la imagen).
2) Lectura (readout)
3) Reset (descarga de las fotocélulas)
Transferencia
Problemas asociados al proceso de transferencia:
•Blooming: desbordamiento de carga.
•Smear: La luz llega en la etapa de lectura.
La carga se propaga a lo largo de toda la columna.
Posible soluciones:
Tiempo de integración menor  blooming menor
Tapar el sensor en el tiempo de lectura.
Nota: fenómenos más presentes en CCD que en CMOS
Sensibilidad espectral
• La sensibilidad del sensor depende de los materiales con
los que está fabricado. El semiconductor nos da la
envolvente de sensibilidad.
• En el caso de tener filtros adosados, éstos limitarán el
rango.
Para generar un par electrón-hueco, la energía de los fotones
tiene que ser superior al gap del semiconductor.
Curva de respuesta espectral
1.0
SVH
Respuesta relativa
0.8
CCD (Si)
0.6
0.4
0.2
uv
0.0 400
visible
nir
500 600 700 800 900 1000 1100
Longitud de onda (nm)
SNR
Proporción de ruido en de
la señal
 Vseñal 

SNR  20 log 
 Vruido 
V
Vruido
Vseñal
t
Corriente oscura
• Por el hecho de estar a una determinada temperatura se
genera una pequeña señal (pares electrón-hueco), incluso en
ausencia de luz, que recibe el nombre de corriente oscura.
• Los píxeles no efectivos se utilizan para cuantificar y
contrarrestar esta señal.
• Podemos disminuir este efecto bajando la temperatura.
Respuesta
Salida
Saturación
Rango
dinámico
• Para una longitud de onda
dada y un rango de
intensidades la respuesta del
sensor es lineal.
• Podemos alterar la forma de
esta respuesta para los
dispositivos no lineales (CRT),
corrección gamma
• Procesar imágenes  señal lineal.
• Si se requieren grandes diferencias entre
zonas claras y oscuras (HDR: high dynamic
range) se puede optar por sensores que
tienen respuesta logarítmica o no-lineal.
Corriente oscura
Intensidad de luz
Color
Bayer pattern (1 único sensor)
• El sistema más utilizado
• No tenemos R,G,B en ningún pixel.
Se necesita interpolar
(demosaicing)
3 sensores independientes
• Prismas y filtros dividen el haz de
luz en 3 componentes que iluminan
3 sensores monocromáticos.
Pixeles apilados
• La luz dependiendo de su energía
(color) llega a diferentes
profundidades.
Calibratge del color
Tipos de sensor
CCD (Charge-Coupled Device)
• Tecnología especifica para CCD.
• Necesita electrónica extra para sacar la señal del sensor.
CMOS (Complementary Metal Oxide
Semiconductor)
• Misma tecnología que para otros dispositivos electrónicos.
• Bajo coste
• Se puede integrar electrónica extra en el mismo chip
(conversores, proceso,…)
Sensor CCD
Sensor CMOS
CCD vs. CMOS
Característica
CCD
CMOS
Windowing
Muy restringida
Sí
Consumo
Alto
Bajo
Integración
Baja
Alta
Velocidad
Baja
Alta
Blooming y smear
Sí
Bajo
Coste económico
Alto
Medio, bajo
Fill Factor
Alto
Medio/bajo
Ruido
Bajo
Medio/alto (FPN)
Shuttering
Fácil
Presenta complicaciones
CCD vs. CMOS - Tendencia
• CCD y CMOS son tecnologías complementarias.
• A corto/medio plazo:
CCD donde se requiera alta calidad de imagen
CMOS: para aplicaciones de bajo coste,
cuando se necesiten transferencias de áreas parciales,
si se requiere alta velocidad,
para obtener rangos dinámicos altos (HDR).
• A largo plazo, CMOS irá mejorando los problemas de ruido,
fillfactor.
Señal, conectividad
• Analógicas
• Digitales
• Autónomas (smart cameras)
Cámaras Analógicas
• Ventajas
– Longitud del cable prácticamente ilimitada (~ 100 metros)
– Bajo precio de las cámaras
• Inconvenientes
– Típicamente, menor resolución
– Requieren del uso de un frame grabber
– Los problemas de sincronismo cuando se usan múltiples
cámaras requieren cables específicos.
• Barrido
– Entrelazado: proviene de la TV. CCIR (25 Hz), RS-170/EIA
(30 Hz)
– Progresivo: no estándar
Cámaras Digitales
• Al no derivar de un estándar de televisión, se pueden
encontrar modelos de mayor resolución, mayor velocidad,
ventana variable.
• Varios sistemas:
– Cámaras Firewire (IEEE1394a, IEEE1394b)
– Cámaras CameraLink
– Otros: USB 2.0, USB 3.0, GigaEthernet , Cameralink, …
Conectores
• Analógicas:
– BNC
– RCA
– Específico del fabricante
• Digital:
–
–
–
–
USB 2, USB 3
FireWire
Cameralink
Ethernet
Smart cameras
• Captación y proceso integrado en un mismo
producto. Sistema de visión industrial integrado:
– Lente + sensor (CCD, CMOS, matricial, lineal) +
digitalización + memoria (imagen)
– Procesador (CPU, DSP) + memoria de programa
– Comunicaciones, entradas y salidas: RS232,Etherner, i/o
optoacopladas.
– Sistema de iluminación (LED)
• Realizan labores sencillas de visión en una línea de
producción, sin necesidad de hardware externo.
• Programación con lenguajes (C, C++), o a partir de
librerías suministradas por el fabricante.