un algoritmo para la medicion en linea de la longitud de tiras

UN ALGORITMO PARA LA MEDICION EN LINEA DE
LA LONGITUD DE TIRAS FLEXIBLES SOBREPUESTAS
Joaquín Salas 1, Gonzalo Velázquez 2, J. Antonio Torres 2
1. CICATA-IPN, José Siurob 10. Col. Alameda., Querétaro, México 76040
e-mail: [email protected]
2. Food Process Engineering Group, Dept. of Food Science & Technology
Oregon State University, 100 Wiegand Hall, Corvallis, OR 97331-6602
e-mail: [email protected], [email protected]
Resumen: Este documento describe un algoritmo basado en análisis de imágenes para la determinación en
línea de la longitud de una muestra de tiras flexibles sobrepuestas y de dimensión variable. Primero, se
determina la dirección preferencial de las tiras mediante la proyección radial de segmentos de la imagen.
Posteriormente, la sección central de la tira es definida recorriéndola de extremo a extremo. El algoritmo
permite identificar y medir tiras individuales aun en presencia de traslapes múltiples, diversos grados de
curvatura y con la misma dirección preferencial.
INTRODUCCIÓN
El presente trabajo es parte de un proyecto para
desarrollar un proceso basado en altas presiones
hidrostáticas para queso rayado. El objetivo
principal del proyecto es reducir el tiempo de
almacenamiento refrigerado requerido para la
maduración del queso antes de poder ser rayado en
la planta. En este proyecto es de particular interés
determinar si existen diferencias significativas en la
distribución del tamaño de las tiras por efecto de las
distintas combinaciones de tiempo y presión. En el
presente artículo se describe un algoritmo para la
determinación en línea de la longitud de tiras
sobrepuestas. Las tiras son objetos flexibles con
tamaños que varían entre 5 y 50 mm de longitud,
amplitud entre 3 y 5 mm y que pueden mostrar
cierto grado de curvatura. Para caracterizar un
producto en forma automática, se toma cierta
cantidad de tiras como muestra representativa, se
coloca en un vibrador electromecánico para reducir
el grado de traslape y la muestra es depositada
sobre una banda transportadora la cual se desplaza
a una velocidad controlada. Para analizar la
muestra, se coloca una cámara de video cuyo eje
focal es perpendicular a la dirección de la banda.
Aun cuando el equipamiento y procedimiento
descrito permite separar las tiras, es común
observar cierto traslape entre ellas. Se requiere, por
lo tanto, un método de análisis rápido considerando
la cantidad de tiras, sus diferentes grados de
curvatura y el traslape que pueden presentar
muchas de ellas (Fig. 1).
Los problemas principales en este trabajo son la
identificación de las tiras y su medición adecuada
para esta aplicación en particular. En el proceso de
identificación se calcula la semejanza de
caracterizaciones de porciones de la imagen. La
dificultad para caracterizar estriba en que porciones
de la tira pueden estar ocluidas o sobrepuestas.
Para resolver este problema, Ullman[1] propone el
uso de árboles de búsqueda para encontrar
interpretaciones válidas donde los objetos son
caracterizados por un conjunto de parámetros. Las
hojas del árbol constituyen interpretaciones
parciales, mientras que las variaciones de los
parámetros se organizan en los nodos internos.
Este método requiere del conocimiento previo de un
modelo geométrico para identificar y localizar
Fig. 1. Imagen de queso rayado en tonos inversos
ilustrando como el traslape dificulta la determinación de
los extremos de las tiras. Las tiras de interés se
encuentran en un rango entre 5 y 50 mm.
CALIBRACIÓN DE LA CÁMARA
En este sistema de medición se caracteriza la
cámara para obtener una relación entre los puntos
en la escena y los puntos en la imagen.
Tradicionalmente[4], los parámetros de la cámara se
clasifican en intrínsecos y extrínsecos. Además,
dependiendo de las características del sistema
óptico, puede ser necesario realizar correcciones
por
distorsiones
radiales.
Los
parámetros
extrínsecos definen la posición y orientación del
sistema de referencia de la cámara con respecto al
mundo real. Es decir, la relación entre las
coordenadas de un punto
en el espacio de
coordenadas del sistema de referencia de la cámara
( p c ) y del mundo real ( p w ), es p c = R (p w − t ) .
Donde t es la traslación entre ambos sistemas de
 r11

Referencia y R esta dada por  r21
r
 31
r12
r22
r32
r13 

r23  .
r33 
Por otro lado, los parámetros intrínsecos definen la
caracterización óptica y geométrica de la cámara.
Es decir, relacionan las coordenadas de un punto en
la imagen con las coordenadas en el sistema de
referencia de la cámara. Una cámara puede ser
caracterizada en función de su centro óptico
(c x , c y ) , el tamaño efectivo del píxel (s x , s y ) y la
longitud focal f = ( f x , f y ). En algunos casos, el
sistema óptico introduce algunas distorsiones que
son evidentes en la periferia de la imagen. Ese
fenómeno pueden ser modelado como distorsiones
radiales con la siguientes relaciones (ver Sang Bing
Kang[5])
xu = x d (1 + k1r 2 + k 2 r 4 )
y u = y d (1 + k1r 2 + k 2 r 4 )
⇐
IZQ
objetos ocluidos o traslapados. En este caso, las
tiras son difíciles de modelar geométricamente
debido a su curvatura variable. Considerando lo
anterior, puede ser importante considerar la utilidad
de la técnica de contornos activos[2] pues las
variaciones dadas por la estructura local podrían
permitir aproximar el contorno de las siluetas de
forma suave. Sin embargo, debido a la cantidad de
parámetros implicados en la definición y
optimización de funciones de potencial requeridas,
la convergencia de la búsqueda es generalmente
lenta y por ello esta técnica es más adecuada para
aplicaciones fuera de línea. En el proceso de
medición, la imagen es dividida en segmentos que
contienen tiras o agregados de ellas. Cada
segmento es analizado por separado para
determinar las diferentes tiras que lo componen. El
método se basa en las proyecciones sobre líneas[3]
de los conglomerados de tiras de las cuales se
obtiene un mapa de direcciones preferenciales que
indica las direcciones hacia donde posiblemente se
encuentre una tira. Cada máximo en el mapa de
direcciones preferenciales es utilizado como una
pista para el seguimiento de la trayectoria de las
tiras. Un segundo problema es la exactitud en la
medición de la longitud de las tiras. Para ello, es
necesario encontrar los parámetros intrínsecos de la
cámara para estimar la relación entre píxeles y
milímetros. En el resto del documento se describe el
proceso de calibración de la cámara, se presentan
las heurísticas de detección de partículas flexibles
sobrepuestas y se muestran los resultados
experimentales y conclusiones obtenidas.
⇐
x f ← xi −1
⇒
bloque
⇑
Bloque
LEJOS
(3)
DER
⇒
⇑
LEJOS
bloque
bloque
x f ← xi − 1
x f ← xi + 1 bloque
x f ← xi + 1
bloque
bloque
x f ← x i − 1 x f ← xi + 1
Tabla 1. Heurística para la determinación de la dirección
de recorrido de la tira de un extremo al otro. La
instrucción que se ejecuta depende de las condiciones
⇐ , ⇒ , ⇑ y LEJOS de los bordes IZQ y DER de la
tira. Para detalles sobre los símbolos y su significado ver
el texto.
Con ( x d , y d ) siendo las coordenadas del punto en
la imagen distorsionada, r = x d + y d , y ( xu , y u )
las coordenadas no distorsionadas del punto. Este
modelo de la cámara tiene 19 parámetros de los
cuales, 11 son extrínsecos, 6 intrínsecos y 2
representan la distorsión radial. Por lo general, se
usa un patrón de dimensiones y geometría
conocidos de donde puedan obtenerse una gran
cantidad de puntos referenciados lo cual permite
determinar los parámetros mediante la minimización
de algún criterio de error (ver Zhang[6]).
2
2
2
[
línea que pasa por cosθ
la siguiente ecuación.
h(θ , a ) =
∞
∑S
r = −∞
k
senθ ] está dada por
T
 cosθ   − senθ  
 a

 senθ  + r  cosθ  
 

 
(5)
Con − ∞ < a < ∞ y 0 ≤ θ ≤ 2π . La orientación
preferencial H (θ ) puede obtenerse al calcular las
proyecciones para un segmento en todas las
direcciones. Esto es :
H (θ ) = max a h(θ , a )
(6)
Cada uno de los máximos de H (θ ) es una
dirección preferencial y establece una posibilidad de
localizar una tira. Con esta dirección y un punto de
inicio q en un extremo de la tira el problema ahora
es
como
desplazarse
en
una
dirección
perpendicular a θ , por la parte media de la tira
hacia el otro extremo (ver Figura 2).
El segmento S k
preferencial. Sea q i = ( xi , y i ) la posición inicial de
búsqueda. La heurística en la Tabla 1 ayuda a
determinar la nueva posición q f = ( x f , y f ) . Sea
Fig. 2 Ejemplo del recorrido al seguir la
trayectoria de las tiras de queso.
MEDICIÓN DE TIRAS DE QUESO RAYADO
Sea I : Z × Z → Z una función bidimensional
que describe un mapeo de posición en un plano a
un nivel de intensidad. Supóngase adicionalmente
que es posible realizar modificaciones del ambiente
de tal forma que la distinción entre tiras y fondo sea
trivial. Es decir,
1 Tira
I (x) = 
0 Fondo
se orienta en una dirección
(4)
Es posible entonces definir la imagen en términos
de regiones conexas S 0 , S1 , K, S n llamadas
segmentos. La unión de estas regiones es igual a la
imagen I y su intersección es nula. Aquí S 0
equivale al fondo y los demás segmentos
corresponden a tiras individuales o superpuestas.
Sea S k
el segmento S k con posiciones
referenciadas a su centroide. Su proyección sobre la
IZQ y DER el vector de curvatura local del borde de
la tira. Al ir avanzando sobre la tira, la curvatura
quede hacia la izquierda, la derecha o continuar
avanzando. Estas tendencias se abrevian en la
Tabla
1
con
los
símbolos
⇐, ⇒y
⇑ respectivamente. La situación que refleja que el
borde de la tira está muy alejado se etiqueta como
LEJOS. En todos los casos se continua avanzando
en la dirección preferencial, y f ← y i − 1 . De acuerdo
a la estructura local de los lados IZQ y DER se
modifica el valor de x f . La primera condición que se
verifica es LEJOS, la cual implica la definición de un
umbral α . La frontera de la tira se encuentra LEJOS
si su distancia a la posición actual de recorrido es
mayor a α . La instrucción bloque se refiere a la
modificación de x f dependiendo de una condición
lógica. Si la frontera IZQ se encuentra más lejos que
la frontera DER entonces x f ← x i − 1 en otro caso
x f ← xi + 1 .
RESULTADOS EXPERIMENTALES
El algoritmo descrito ha sido implementado en un
programa para computadora desarrollado en Visual
C++ 6.0 de Microsoft. La Figura 1 muestra un
ejemplo de las muestras de queso rayado que se
examinaron. La resolución de las imágenes es de
240 líneas por 320 columnas. Las tiras de interés
tienen una longitud entre 5 y 50 mm. En una
muestra típica se presenta una gran cantidad de
traslapes y en muchas ocasiones es prácticamente
imposible decidir donde están ambos extremos de
las tiras. El primer paso para usar el sistema
consiste en calibrar la cámara y obtener sus
parámetros intrínsecos.
(a) Detalle
de uno de los segmentos
mostrados en la figura 1 con varias tiras
superpuestas donde es difícil distinguir
ambos extremos.
(b) Mapa
de direcciones preferenciales.
Cada máximo señala la presencia de una
acumulación y con ello la posibilidad de la
presencia de una tira en la dirección
angular que se indica en el eje horizontal
Fig. 4
Fig. 3 Conjunto de imágenes utilizado para calibrar la
cámara. Todas ellas son imágenes de un objeto planar
sobre el que se sobrepone una ilustración de tablero de
ajedrez. Los cuadros miden un centímetro de ancho. En
cada imagen el plano se coloca en diferente orientación.
En la Figura 3 se muestran las imágenes de un
plano al que se le sobrepone un patrón de cuadros
tipo tablero de ajedrez con cuadros de un
centímetro por lado. El patrón fue creado en
Microsoft Word e impreso en una impresora laserjet
HP1000 de 600 puntos por pulgada. El
procedimiento consiste en obtener las coordenadas
de las esquinas interiores del tablero de ajedrez y
ejecutar el procedimiento de optimización propuesto
por Zhang [6] para calcular los parámetros
intrínsecos de la cámara. Para este trabajo se
obtuvieron los siguientes parámetros: Longitud focal
(372,60626; 375,52414) ± (1,99056; 1,94248),
Centro óptico (155,30815; 129,68668) ± (2,54610;
1,60044), Distorsión radial (-0,34481; 0,20036)
Segmento con tiras sobrepuestas y mapa
de direcciones preferenciales de acuerdo
a la ecuación (6).
± (0,02465;
0,14460). La relación entre los
parámetros muestra que los píxeles son
prácticamente cuadrados, el centro óptico está
cerca del centro de la imagen, la distorsión radial y
su incertidumbre es significativamente alta. Debido
a esta incertidumbre se decidió no considerar la
distorsión radial en las mediciones. La relación entre
píxeles y milímetros se establece midiendo la
distancia en píxeles entre los centros de dos
cuadrados cuya separación es conocida. En la
siguiente etapa se probaron cinco tiras de papel de
dimensiones 10mm, 20mm, 30mm, 40mm y 50mm.
Se midieron cada una de ellas en 20 posiciones y
orientaciones diferentes. La media, desviación
estándar de la muestra y el cociente entre ellos se
muestra en la Tabla 2. La variación obtenida se
debe a factores tales como la resolución de la
imagen, el umbral para distinguir tiras de fondo, y el
balance automático de la cámara que cambia
dinámicamente el brillo y contraste dependiendo de
la cantidad de tiras presentes en la imagen.
10mm
x
s
s/x
20mm
30mm
40mm
50mm
10,2613
19,9849
29,816
40,4613
50,438
0,4718
0,9269
1,0804
1,1586
1,258
0,046
0,046
0,0362
0,0286
0,0248
Tabla 2. Se midieron varios patrones no trazables
para determinar algunas características del proceso de
medición. Cada longitud de tira se midió 20 veces en
diferentes posiciones y orientaciones dentro de la
imagen. Se muestra la media, desviación estándar y
cociente entre ellos.
La Figura 4(a) muestra un caso típico donde varias
tiras se encuentran sobrepuestas. En la Figura 4(b)
se muestra el mapa de direcciones preferenciales.
Cada punto en la gráfica indica el máximo de la
proyección en una dirección. Un máximo en el perfil
de direcciones preferenciales muestra una
acumulación debida a una o varias tiras. Para la
búsqueda de tiras se determinan de nuevo los
máximos en la proyección para una dirección
preferencial. Enseguida se establece un patrón de
desplazamiento de extremo a extremo de la tira
utilizando la heurística descrita en la Tabla 1. La
longitud de la tira es la distancia de extremo a
extremo en píxeles y convertidos a milímetros
utilizando la relación adecuada.
La Figura 5 muestra la distribución de tamaño de
tira para la imagen de la Figura 1. El eje vertical
derecho muestra el número de tiras de cierto
tamaño como un porcentaje del total de partículas
detectadas (barras). En el eje vertical izquierdo se
distribución de la longitud permite evaluar de una
forma objetiva las diferencias en los tamaños de las
muestra el porcentaje acumulado (línea con
círculos). La forma de la grafica obtenida para la
tiras.
El tiempo de análisis de una imagen depende de la
cantidad de partículas y la velocidad de la
computadora. La resolución de las imágenes es de
320 por 240 píxeles. En una PC Pentium III a 1GHz
la imagen en la Fig. 1 fue analizada en 1,93s. Una
imagen vacía es procesada en 0,203s.
CONCLUSIÓN
El algoritmo propuesto permite la medición de la
longitud de tiras de objetos flexibles en la presencia
de múltiples traslapes y a cadencia de video. Los
resultados observados sugieren diversas áreas de
interés para mejoramiento del sistema de medición.
Por ejemplo, mayor precisión y exactitud pueden ser
Fig. 5
Histograma obtenido por el algoritmo para
medir longitud de tiras correspondiente a la
imagen presentada en la Figura 1.
logradas al utilizar imágenes con mayor resolución,
cámaras con mejor óptica y una mejor captura de
imagen. Igualmente, se planea robustecer la
heurística presentada en la Tabla 1 para distinguir
entre variaciones en la orientación local y el ruido
en la determinación del borde de la tira. Por otro
lado, se buscará determinar la longitud utilizando
una curva suave interpolada sobre la línea
intermedia calculada. Finalmente, se usaran
materiales de referencia trazables al metro para
caracterizar de una forma precisa el desempeño del
sistema de medición.
AGRADECIMIENTOS
Este trabajo fue realizado con financiamiento
parcial de Dairy Management Inc., USA
REFERENCIAS
[1] Ullman, Object Recognition, MIT Press, 1991.
[2] Andrew Blake and Michael Isard. Active
Contours Springer. 1998.
[3] R. Jain, R. Kasturi and B. Shunck, Machine
Vision, McGraw-Hill, 1995
[4] Emanuele
Trucco,
Alessandro
Verri.
Introductory Techniques for 3D Computer
Vision. Prentice Hall.
[5] Sing Bing Kang. Semiautomatic Methods for
Recovering Radial Distortion Parameters from a
Single Image. Reporte Técnico Cambridge
Research Laboratory.
[6] Zhengyou Zhang. A Flexible New Technique for
Camera Calibration. Reporte Técnico MSR-TR98-71. Microsoft Research.