Descripción del sistema VARIM: captación y composición

Descripción del sistema VARIM: captación
y composición automática del mosaico
reflectográfico
Juan Torres
Alberto Posse
José M. Menéndez
Grupo de Aplicación de Telecomunicaciones Visuales. E. T. S. Ingenieros de Telecomunicación. (UPM)
Introducción
A lo largo de la Historia, el arte siempre ha estado ligado con el desarrollo de la tecnología.
Al tiempo que han ido apareciendo nuevas
técnicas, ha ido cambiando la forma en que
los artistas plasman sus ideas y sentimientos.
Sin embargo, el progreso de la tecnología
no ha repercutido únicamente en la creación de composiciones artísticas sino que
también ha mejorado el estudio y análisis
de éstas así como su conservación y restauración. Los distintos tipos de análisis ofrecen información diversa sobre las obras de
arte: los avances en el campo de la química
permiten, entre otras cosas, realizar un estudio exhaustivo de la composición de los
materiales con los que se formaron éstas,
las nuevas técnicas de análisis microscópico
proporcionan cada vez más datos sobre el
estado de las obras, etc.
El creciente desarrollo de los sistemas
informáticos, relacionado tanto con el incremento de potencia de las estaciones de
trabajo como con la elaboración de librerías
software, así como los avances en tratamiento de imágenes y visión artificial, proporcionan nuevos instrumentos de análisis y permiten mejorar los ya existentes.
En este artículo se presenta un sistema
de captación y composición del mosaico
de reflectografía de infrarrojo, denominado VARIM (Visión Artificial aplicada a
la Reflectografía de Infrarrojos Mecanizada). Dicho sistema permite obtener, de
manera totalmente automática, la imagen
completa del cuadro subyacente en una
obra pictórica, haciendo uso de técnicas
de visión artificial. El diseño y la implementación de esta arquitectura ha sido
desarrollado conjuntamente por el Grupo de Aplicación de Telecomunicaciones
Visuales de la Universidad Politécnica
de Madrid y el Instituto del Patrimonio
Histórico Español (IPHE)1. Así se ha fomentado una estrecha colaboración entre
ambas instituciones.
89
Estado del arte en reflectografía de infrarrojos
La reflectografía de infrarrojos [Van Asperen,
1970] es una técnica de análisis utilizada desde la década de los 70 y que consiste en obtener, mediante una cámara de vídeo sensible
exclusivamente a la zona del infrarrojo, una
serie de imágenes contiguas pertenecientes
a una obra pictórica que posteriormente se
unen hasta obtener una sola imagen, llamada
mosaico, correspondiente a la obra completa.
El hecho de utilizar varias imágenes para una
sola composición se debe a la necesidad de
obtener una resolución muy alta para poder
Equipo del IPHE: Tomás Antelo,
Miriam Bueso, Marián del Egido,
Araceli Gabaldón y Carmen Vega.
1
Descripción del sistema VARIM: captación y composición automática
del mosaico reflectográfico
90
Figura 1. Sistema de posicionado.
apreciar todos los detalles de la obra. El mosaico final ofrece información sobre el dibujo
subyacente que no es visible directamente
por el ojo humano. Aunque esta técnica se
lleva utilizando durante décadas, el método tradicional de adquisición y de posterior
composición de imágenes entraña una serie
de problemas que lo convierten en una tarea
lenta y tediosa. Entre estos inconvenientes se
pueden destacar:
• Normalmente la tarea de adquisición se
realiza de forma manual, colocando la
cámara frente a la zona de la obra que se
desea capturar en cada momento. Si se
quiere una gran resolución en las imágenes se deben adquirir una gran cantidad
de éstas, lo que implica una monótona
tarea de posicionamiento y control de la
cámara.
• La composición de las sub-imágenes también se realiza de forma manual, seleccionando las imágenes a unir y señalando
los puntos coincidentes entre dos subimágenes consecutivas. Dependiendo del
número de sub-imágenes que componen
cada obra, esta tarea puede suponer varias
horas de trabajo monótono.
• En el método tradicional se utilizan
diversas aplicaciones informáticas para
cada una de las etapas: adquisición, tratamiento y composición. Manejar varias
aplicaciones para un mismo proceso
puede ocasionar incompatibilidades entre varias y una integración de éstas en
una sola facilitaría la labor del usuario.
• Las imperfecciones de la cámara de infrarrojos, como el ruido producido por el
desgaste de ésta y las aberraciones geométricas inherentes a la óptica y a la falta de
regularidad en el posicionamiento de la
cámara, así como la enorme dificultad
que implica mantener una iluminación
homogénea en todas las partes de la obra,
hacen que el mosaico final sea difícil de
componer y que muchas veces no se obtengan los resultados esperados.
VARIM proporciona herramientas para
solventar los inconvenientes anteriores,
además de otras ventajas añadidas, descritas
más adelante.
Existen otros proyectos que trabajan o
han trabajado en temas relacionados con la
reflectografía de infrarrojos. Algunos de los
más destacados son:
• Proyecto VASARI (Visual Arts Systems
for Archiving and Retrieval of Images)
[VASARI]. La National Gallery de Londres fundó este proyecto en 1989 con
la idea de desarrollar un sistema de escaneado a color para obtener imágenes
digitalizadas correspondientes a obras
pictóricas. Además, el sistema implementado también es utilizado para obtener imágenes de infrarrojo utilizando
una cámara de vídeo con tubo vidicón.
El método desarrollado consiste en un
escáner mecánico que se encarga de mover la cámara de adquisición para la cap-
tura de las sub-imágenes que componen
el mosaico. También han desarrollado
aplicaciones de procesado de imágenes
[VIPS] –librería que se emplea en el sistema VARIM– muy potentes para tratar
y componer el mosaico completo.
• Los investigadores Duillo Bertani y
Luca Consolandi [Bertani, 2006] han
desarrollado en el Centro di Riflettografia I.R. e Diagnostica dei Beni Culturali
–Università degli Studi di Milano– un
sistema de mosaico automático basado
en un sistema de posicionado de alta
precisión en el cual se mueve el sensor
o cámara sobre la imagen que captura
una lente de gran angular. No necesitan
de un método de unión de imágenes ya
que las muestras las adquieren sin solape
y con tal precisión que simplemente se
deben juntar una tras otra para formar
el mosaico.
• El Instituto Nacional de Óptica Aplicada [INOA] de Italia dispone de una
unidad de Metrología Óptica donde se
desarrolla una línea de investigación dedicada a la reflectografía de infrarrojos.
No utilizan una cámara de adquisición
para obtener la reflectografía, sino que
obtienen imágenes de gran resolución
mediante un escáner de infrarrojo. Su
esquema consiste en un prototipo capaz
de desplazarse en dos ejes perpendiculares entre sí a través de dos motores con
una cabeza óptica que va adquiriendo la
imagen de la obra. La gran ventaja de
este sistema es que se evita el problema
de la composición del mosaico.
Sistema VARIM
Con el objetivo principal de proporcionar
una herramienta de composición totalmen-
te automática del mosaico reflectográfico
se diseñó e implementó el sistema VARIM
[VARIM]. Por una parte, una de las especificaciones iniciales fue la de crear una arquitectura con una sola aplicación software que
la controlase, capaz de obtener una imagen
reflectográfica de alta resolución y calidad
de la forma más eficaz posible. De este
modo, se planteó automatizar el proceso de
captación y el de composición del mosaico.
Además se pretendía dotar a la aplicación de
una serie de herramientas que corrigieran el
ruido procedente de la cámara, la distorsión
geométrica de ésta y las variaciones de iluminación durante la captación.
Para llevar a cabo todo ello se diseñó una
arquitectura modular como se presenta en
la siguiente sección.
Esquema de la arquitectura
91
En la Figura 2 se muestra el esquema de
los elementos de los que consta el sistema.
Éstos son principalmente:
• Cámara de vídeo. Cámara de vídeo
analógico sensible en la zona del infrarrojo cercano.
• Tarjeta de adquisición2. Tarjeta encargada de digitalizar la señal de vídeo obtenida por la cámara.
• Sistema de mecanizado3. Éste consiste
en un cuadro de metal, de un metro cuadrado de superficie, que contiene dos ejes
perpendiculares con un soporte donde se
coloca la cámara. Los dos ejes se mueven
mediante dos motores que permiten mover el soporte a lo largo de todo el cuadro.
Estos motores están conectados al ordenador personal, mediante un conector
RJ-45, que permite controlarlos desde la
aplicación. A su vez, el cuadro puede ser
empotrado en un sistema telescópico que
La empresa Infaimon, S. L. (http://
www.infaimon.com) ha participado
en este sistema prestando soporte
técnico en la digitalización de la señal analógica de la cámara de infrarrojos.
3
Este sistema ha sido, bajo diseño del
IPHE, fabricado por Servimatismos S.
A. (http://www.servimatismos.com/).
2
Descripción del sistema VARIM: captación y composición automática
del mosaico reflectográfico
92
Figura 2. Arquitectura física del sistema.
Figura 3. Ventana de control del sistema de posicionado.
permite elevarlo a una altura superior a
los tres metros.
• Estación de trabajo. Todos los elementos del sistema son controlados mediante
un ordenador personal IBM-PC compatible a través de la aplicación VARIM.
• Sistema de iluminación.
implementados los algoritmos de composición del mosaico.
• Módulo de control de los motores.
Utilizando este módulo se tiene acceso
al movimiento de los motores del sistema de mecanizado.
Interfaz gráfica de usuario
Para poder controlar todos los elementos
descritos se diseñó una arquitectura software
modular. El primer módulo que se puede
observar es el correspondiente a la interfaz
gráfica de usuario. Dicho módulo es la parte visible de la aplicación. Está compuesta
por una serie de menús, diálogos y marcos
que permiten utilizar y controlar todas las
funcionalidades que presenta el programa
mediante el uso del ratón y del teclado. A
través de ésta se accede al resto de los módulos del sistema, entre los que destacan:
• Módulo de adquisición de vídeo. El
cual controla la tarjeta de adquisición de
vídeo.
• Módulo de imagen. Este módulo se
subdivide a su vez en otros sub-módulos
que modifican las imágenes para mejorarlas y donde, entre otras cosas, están
Como se ha mencionado, este módulo
da acceso a todas las funcionalidades del
sistema a través de una ventana principal,
desde la cual se pueden abrir otra serie de
diálogos para realizar las distintas acciones
disponibles.
Dicha ventana principal se organiza en
espacios de trabajo que contienen el listado
de las imágenes con las que se trabaja. Desde
esta ventana se tiene acceso a un menú contextual y a dos barras de herramientas que
facilitan el uso de las distintas funciones.
Uno de los diálogos accesibles mediante
la ventana principal es el de control de los
motores. Este diálogo permite manejar el
sistema de posicionado de la cámara para
realizar las adquisiciones de las sub-imágenes que formarán el mosaico. Es posible
realizar desplazamientos manuales con una
serie de botones de dirección, o bien realizar
tomas automáticas de imágenes configurando las opciones adecuadas (fig. 3).
Además, desde la ventana principal se
puede abrir cualquiera de las imágenes que
estén listadas en el espacio de trabajo actual;
ya sea una de las sub-imágenes iniciales o
cualquier sub-imagen resultado del proceso
de composición de mosaico.
Existe también una ventana de adquisición donde se visualiza el vídeo que está
contemplando la cámara. Esta ventana permite realizar capturas de imágenes a disco o
añadirlas directamente al espacio de trabajo.
Además de las ventanas comentadas, la
aplicación permite realizar desplazamientos de elementos del espacio de trabajo –la
acción comúnmente llamada drag & drop–
moviendo imágenes entre filas o filas enteras.
También se dispone de una ventana de configuración de preferencias con las distintas
opciones generales, de adquisición, mosaico,
composición automática y de corrección, las
cuales se guardan en un archivo de texto que
permite recuperarlas posteriormente.
Adquisición de sub-imágenes
La adquisición de sub-imágenes se lleva a
cabo a través del sistema de posicionado y
del módulo de adquisición. El primero de
ellos es el encargado de ir posicionando la
cámara reflectográfica en los puntos deseados para poder capturar las distintas imágenes (fig. 2). Está formado por una cabecera
de Ethernet y por un cuadro de posicionamiento de la cámara.
Por otra parte, el módulo de adquisición
permite adquirir imágenes de la cámara de
vídeo a través del PC. De este modo, en la
ventana de visualización aparece el vídeo
capturado ofreciendo una serie de posibilidades de manejo y adquisición así como in-
formación en tiempo real, como por ejemplo la visualización del histograma (fig. 4), y
otras herramientas como modificación de la
luminosidad de forma automática y manejo
de controles de brillo y contraste.
El modo automático de adquisición funciona de forma muy simple: se introduce en
el sistema el número de tomas a realizar así
como el solape deseado –en torno al 25 %–
y éste se encarga de mover el sistema de posicionado automáticamente y de insertar las
imágenes en el espacio de trabajo.
Composición del mosaico
A partir de las imágenes capturadas, la aplicación es capaz de realizar su unión para formar el mosaico completo. Para poder unir
estas sub-imágenes es necesario seleccionar una pareja de puntos coincidentes, los
cuales pueden ser marcados por el usuario
(unión manual) (fig. 5) o calculados automáticamente por la aplicación (unión automática). Ambos métodos emplean funciones de la librería VIPS [VIPS] para realizar
la unión propiamente dicha.
Figura 4. Adquisición y visualización
de la imagen.
93
Descripción del sistema VARIM: captación y composición automática
del mosaico reflectográfico
Figura 5. Selección de unión manual de imágenes.
94
Figura 6. Resultado de la unión manual.
Se han implementado diferentes tipos de
unión automática, dependiendo de las características de las imágenes. La función más utilizada es la de la unión crítica de dos puntos,
que tiene en cuenta la existencia de zonas negras producidas por uniones anteriores. Para
uniones de imágenes con pocos detalles y zonas homogéneas, se puede emplear la unión
mixta, que utiliza un algoritmo basado en
medidas de orden con aumento de intensidad
[Posse, 2007], computacionalmente más costoso que el de correlación utilizado en la unión
crítica, pero que da mejores resultados.
El número de imágenes que componen
un mosaico en muchas ocasiones es bastante
elevado. Así, se puede tener, por ejemplo, un
espacio de trabajo con 12 filas que tengan a
su vez 10 imágenes cada fila. Si a esa cantidad
se le añaden las sub-imágenes que se crean
en el proceso de unión automática, se tiene
un espacio de trabajo con muchas imágenes
y se complica extremadamente localizar cada
sub-imagen dentro del mosaico completo.
Para cubrir esta necesidad se ha implementado una cuadrícula con el mismo número de
filas que el espacio de trabajo y con el número de columnas igual al número de imágenes
por fila con el que se está trabajando. Sobre
esta rejilla se resalta con un color diferente la
parte del mosaico a la que pertenece esta subimagen (fig. 7) lo que facilita localizar la zona
de la imagen que se está manejando.
Herramientas auxiliares
Además de las funciones de adquisición y
composición se han desarrollado tres herramientas auxiliares que ayudan en el proceso
de composición:
Figura 7. Situación de una sub-imagen en el mosaico completo.
1. Eliminación del patrón de ruido: Una
gran variedad de cámaras de reflectografía de infrarrojos generan un patrón
Figura 8. Evolución temporal del ­patrón
de ruido.
de ruido (Figura 8) debido al desgaste
del tubo. VARIM presenta una herramienta para corregir en la medida de
lo posible este patrón de ruido tratando
las imágenes capturadas.
2. Corrección de la aberración geométrica: La distorsión geométrica asociada a una cámara de adquisición se debe
a diferentes tipos de imperfecciones en
el diseño y fabricación de las lentes que
componen el bloque óptico. Así, hay
que diseñar modelos que tengan en
cuenta los errores de posición en el plano de la imagen. Existen dos tipos de
distorsión geométrica: distorsión radial
y tangencial. La primera es la más acusada y se debe a la curvatura de las lentes. El grado de distorsión dependerá
en parte de la precisión con la que éstas
han sido fabricadas. Otro de los efectos
de distorsión que se ha incorporado en
el método implementado es el debido
a la desviación del punto principal de
la cámara definido como la intersección
del eje óptico con el plano del sensor.
De este modo el sistema VARIM incluye una herramienta que, partiendo
de una imagen patrón es capaz de caracterizar la distorsión geométrica de la
cámara utilizada para posteriormente
tratar y corregir las imágenes adquiridas. Para un nivel de estudio más detallado del método se puede consultar
[Torres, 2004].
3. Adecuación de la luminosidad: Para
realizar la adquisición de una obra completa muchas veces no se dispone de una
iluminación homogénea o es deseable
modificar ésta –por ejemplo en zonas
con dorados que producen imágenes
saturadas-. Esta falta de homogeneidad
produce efectos indeseables en el mosaico final, desvirtuando la imagen resultante. Por ello, VARIM contiene un
algoritmo capaz de controlar de forma
automática los niveles de iluminación
95
Descripción del sistema VARIM: captación y composición automática
del mosaico reflectográfico
96
deseables variando parámetros internos
de la tarjeta de adquisición de vídeo utilizada. Como resultado se obtienen mosaicos con una distribución homogénea
de la luminosidad. Para más información se puede consultar [Torres, 2005].
Conclusiones y trabajo futuro
El sistema VARIM se ha convertido en una
ayuda y mejora inestimable con respecto al
método tradicional. Así, por ejemplo, con
el método tradicional, el usuario utilizaba
dos aplicaciones distintas para realizar las
tareas de adquisición de imágenes y composición del mosaico, respectivamente. Esto
implicaba manejar dos o tres entornos de
trabajo distintos: guardar todas las imágenes
adquiridas por una parte, aplicarles ligeros
retoques con una aplicación de tratamiento de imágenes y, posteriormente, utilizar
otro entorno para insertar éstas y realizar
la composición. VARIM se presenta como
una aplicación que integra estas tareas en
un solo entorno de trabajo, lo cual agiliza el
proceso completo. De este modo, resulta especialmente útil el uso de espacios de trabajo y la posibilidad de almacenar la información concerniente a éstos de forma rápida y
sencilla dado que en cada sesión se manejan
una gran cantidad de imágenes. En la práctica, se suelen adquirir varias imágenes de
la misma zona del cuadro con condiciones
distintas. Además, se produce un gran número de uniones parciales, muchas de las
cuales pueden necesitarse en un futuro. El
hecho de guardar todos estos resultados con
apenas un clic de ratón y de recuperarlos
abriendo el fichero asociado resulta de gran
comodidad para el usuario.
Otra de las funcionalidades que se han
encontrado más útiles en la práctica ha sido
el uso de directorios de trabajo y temporales. Mediante las preferencias del sistema, el
usuario puede establecer un directorio de
trabajo y otro donde se almacenen los resultados parciales a modo de ficheros temporales asociados.
Además, en un entorno real, la aplicación
ofrece una herramienta de trabajo que hace
que la labor de adquisición y composición
del mosaico se convierta en una tarea cómoda y sencilla, a la vez que produce un ahorro
de tiempo más que considerable utilizando
los métodos automáticos descritos en este
artículo.
Utilizando la adquisición y composición
automática se han logrado obtener mosaicos
de hasta 400 imágenes.
A la vista de los resultados obtenidos y
el desarrollo realizado, se plantean nuevas
líneas de actuación que complementen y
mejoren las funcionalidades ofrecidas por la
aplicación. De este modo, se pueden destacar las siguientes tareas que, o bien ya se
han comenzado, o se plantean como trabajo
futuro:
• En relación con el módulo de adquisición se plantean nuevas ampliaciones:
–Aumentar la resolución de digitalización de las imágenes capturadas de 8
a 12 bits por píxel.
–Mejorar del sistema de adecuación de
la luminosidad con transformaciones
no lineales.
• Resulta de gran interés estudiar e implementar nuevos algoritmos que aumenten
la eficiencia y bajen el tiempo de proceso
del algoritmo de adquisición automática
de imágenes dado que éste es, en estos
momentos, relativamente lento.
• Del mismo modo se están desarrollando
nuevos y más eficientes algoritmos de
unión automática que sean más rápidos
y que mejoren los resultados con zonas
de solape muy homogéneas.
• Ampliación de la Interfaz Gráfica de
Usuario. Este es el aspecto más visual
de la aplicación y el que mayor interacción presenta con el usuario. Mejoras en
este módulo repercuten en la facilidad
de uso y funcionalidad de la aplicación.
Entre otras tareas se implementarán
nuevas funciones que permitan seleccionar de forma sencilla zonas concretas de
una imagen, guardar el espacio de trabajo de forma automática así como añadir
algunas funciones de edición tales como
deshacer cambios.
• A pesar de que se ha conseguido una
gestión de memoria eficiente que permite manejar imágenes de gran tamaño
y dado que ésta es una tarea crítica en
la aplicación, se están estudiando nuevos métodos de gestión de memoria aún
más eficientes.
Por último, se plantea la extensión de la
aplicación a otras plataformas de trabajo
distintas de Windows, como pueden ser sistemas GNU/Linux.
VARIM dispone de una página web
propia (http://www.gatv.ssr.upm.es/wikivarim), donde se puede obtener el software de
modo gratuito, así como descargar un completo manual de usuario y más información
sobre la aplicación.
Bibliografía
Bertani, D.; Consolandi, L.: «High Resolution Imaging in the Near Infrared», Digital Heritage. Lindsay MacDonald, 211-38.
Oxford, 2006.
Istituto Nazionale di Ottica Applicata (INOA):
http://www.ino.it/
Posse, A.; Torres, J.: «Unión de imágenes reflectográficas basada en medidas de orden con
aumento de intensidad y en selección de puntos por estructura», XXII Simposium Nacional
de la Unión Científica Internacional de Radio
(URSI), Tenerife, 2007.
Torres, J.; Menéndez, J. M.: «A practical algorithm to correct geometrical distortion of
image acquisition cameras», IEEE International Conference on Image Processing, vol III, pp.
2451-2454, Octubre, 2004.
Torres, J.; Menéndez, J. M.: «An adaptive
real-time method for controlling the luminosity in digital video acquisition», IAESTED
International Conference on Visualization,
Imaging and Image Processing, pp. 133-137,
Septiembre, 2005.
Van Asperen de Boer, J. R.: A contribution to the
examination of earlier European paintings. Tesis
Doctoral, Universidad de Amsterdam, 1970.
Web del Proyecto VARIM: http://www.gatv.ssr.
upm.es/wikivarim
Visual Arts System for Archiving and Retrieval
of Images (VASARI): http://www.ecs.soton.
ac.uk/~km/projs/vasari/
Librería VIPS. Cupitt, J.; Martínez, K.; Padfield,
J., 2004: http://www.vips.ecs.soton.ac.uk/
97