Convocatoria de ayudas de Proyectos de Investigación MEMORIA CIENTÍFICO-TÉCNICA DEL PROYECTO 1 RESUMEN DE LA PROPUESTA (Debe rellenarse también en inglés) INVESTIGADOR PRINCIPAL: Gordon Shumway TITULO DEL PROYECTO: ALF: Interfaces Avanzadas para Campos de Luz Aumentados RESUMEN (debe ser breve y preciso, exponiendo sólo los aspectos más relevantes y los objetivos propuestos): Los campos de luz (CL) son una representación gráfica introducida recientemente para la producción y visualización de escenas tridimensionales. Los CL son una generalización de los modelos basados en imágenes, que son de aplicación en la mayoría de áreas de modelado y visualización 3D. Son el sistema de representación de escenas 3D que se ajusta mejor a la visión autoestereoscópica natural, que está llamada a ser la próxima revolución en visualización. Los CL se han aplicado al modelado de esculturas, a la representación de escenas complejas y a la visualización autoestereoscópica. Este proyecto está dirigido a este tipo de aplicaciones y propone crear tecnología nueva de interfaz que combine la visualización autoestereoscópica basada en CL con la realidad aumentada. El sistema se descompondrá en tres partes: a) el desarrollo de una librería de construcción, procesamiento, almacenamiento y recuperación de CL; b) la innovación en interfaces de visualización y manipulación de CL ; y c) la aplicación de la realidad aumentada sobre el CL. Además, para la captura de CL se diseñará y construirá un sistema de cámaras y sus métodos de adquisición. Los resultados se utilizarán en aplicaciones gráficas relacionadas con la representación de escenas complejas, la visualización interactiva y los dispositivos de visualización 3D y 4D de tipo estereoscópico y autoestereoscópico. Esperamos que los resultados se utilicen principalmente para la producción de imágenes autostereoscópicas y, específicamente, para la impresión de hologramas. Dichas imágenes son de aplicación en áreas relacionadas con la publicidad, el diseño industrial, los sistemas de información geográfica, y la visualización científica. PROJECT TITLE: ALF: Advanced Interfaces for Augmented Light Fields SUMMARY: Light fields are a new computer graphics representation recently introduced for the production and rendering of three-dimensional scenes. Light fields are a generalization of image-based models. They are useful in most 3D modeling and rendering applications. They are especially suitable for autostereoscopy, which is going to be the next revolution in display technology. Light fields have been applied to sculpture modeling, complex scene representations and autostereoscopic displays. This project is targeted at these types of applications. We propose to develop new interfaces to combine autostereoscopic light-field based viewing with augmented reality. The system will have three parts: a) a library to build, process, store and retrieve light fields; b) new interfaces for light field viewing and manipulation; and c) an augmented reality system for light fields. Additionally, we will design and build a camera gantry and related algorithms to capture light fields of real-world objects. Our results will be used in computer graphics applications related to complex scene modeling, interactive rendering, and 3D stereoscopic and 4D autostereoscopic displays. We expect our results to be useful for the production of autostereoscopic images and, specifically, for hologram printing. Such images will be applicable to areas such as advertisement, industrial design, geographic information systems, and scientific visualization. 1 2. INTRODUCCIÓN (máximo cinco páginas) La finalidad del proyecto es introducir una nueva forma de representar, almacenar e interactuar con escenas tridimensionales. Dicha representación está basada en el concepto de campo de luz, que es una generalización de los modelos basados en imágenes mucho más sencillos de capturar, almacenar y procesar en aplicaciones gráficas. Nuestro objetivo es desarrollar un sistema que permita realizar estas tareas y utilizarlo en áreas de aplicación tales como la toma de decisiones, la publicidad o la visualización científica, entre otras. En esta introducción describimos los antecedentes sobre los que se asienta este proyecto de investigación. En particular, destacamos las áreas de investigación más relevantes sobre las que se han obtenido resultados, propios o ajenos, y que se piensa que pueden tener relación con la finalidad de este proyecto. Las áreas inicialmente consideradas son las siguientes: ● ● ● ● Modelos basados en el campo de luz. Visualización autoestereoscópica. Realidad aumentada aplicada al enriquecimiento del campo de luz. Diseño de interfaces de usuario avanzados para la interacción con el campo de luz. En los siguientes apartados se describe el estado actual de los conocimientos científicotécnicos y los logros anteriores del grupo en cada una de estas áreas. Modelos basados en el campo de luz. Los modelos basados en imágenes son una alternativa reciente a la representación clásica de escenas tridimensionales mediante modelos geométricos. Los modelos basados en imágenes tienen la ventaja de que pueden representar mucho más detalle geométrico mediante un modelo que se adapta más fácilmente a la visualización 3D [McMillan95, Debevec96, Abad03]. Los modelos de campo de luz son una generalización de los modelos basados en imágenes. Fueron adoptados en 1996 por Levoy y Hanrahan [Levoy96] en Stanford. El campo de luz representa toda la información visible en 3D a través de cualquier punto de vista y cualquier dirección de visualización. Las imágenes son proyecciones del campo de luz sobre una superficie 2D. Asumiendo que los objetos se van a visualizar desde cierta distancia, se puede construir una representación 4D, utilizada extensivamente por los modelos actuales. Paralelamente a Levoy y Hanrahan, un grupo de Microsoft Research presentó en 1996 un modelo alternativo [Gortler96]. En ambos casos se proponen representaciones de objetos, tanto reales como sintéticos. El grupo de Stanford estudia diferentes representaciones del campo de luz y propone técnicas de almacenamiento y compresión para campos de luz formados por muestras de radiancia capturadas mediante una cámara móvil o generadas por ordenador. El grupo de Microsoft Research propone una sola representación más compacta y que incluye un modelo geométrico sencillo para mejorar la calidad de la visualización del campo de luz. La representación combinada de imágenes y geometría se denomina “lumigraph” y se parte de un conjunto de imágenes adquiridas mediante una cámara de vídeo. El trabajo sobre el lumigraph fue extendido por [Sloan97] y [Gu97]. Sloan et al estudian las distintas cuestiones que aparecen al intentar representar y almacenar un campo de luz para visualización interactiva. Presentan resultados sobre los compromisos a los que hay que llegar entre velocidad y calidad a la hora de implementar el lumigraph. Gu et al estudian la relación existente entre 2 el lumigraph y la geometría epipolar, así como la geometría de poliedros 3D. Tanto la representación del lumigraph como la propuesta por el grupo de gráficos de la Universidad de Stanford se basan en la parametrización del campo de luz mediante dos planos. En nuestros grupos se dispone de experiencia en representaciones alternativas del campo de luz [Camahort98, -01a, -01b]. Por ejemplo, se han propuesto parametrizaciones que hacen un muestreo uniforme del campo de luz. Dichas parametrizaciones tienen la ventaja de que producen mejores resultados visuales. Este extremo ha sido demostrado tanto de forma analítica como de forma experimental. El trabajo realizado incluye un análisis exhaustivo de varias representaciones y llega a la conclusión de que las representaciones basadas en la parametrización de dirección y punto son las que tienen las mejores propiedades para visualización interactiva y autoestereoscópica. Los trabajos realizados hasta la fecha en el modelado del campo de luz incluyen la adquisición de modelos estructurados y sin estructurar, la adquisición de geometría, la construcción de modelos adaptativos, la compresión de los datos y la visualización eficiente. También se han propuesto modelos alternativos a los originales. Visualización autoestereoscópica. Los modelos del campo de luz utilizados en informática gráfica fueron inspirados por la holografía. El motivo fundamental es que este tipo de representación se utiliza en los dispositivos autoestereoscópicos y, concretamente, en la producción de imágenes holográficas. Los dispositivos autoestereoscópicos son dispositivos de visualización que contienen múltiples vistas de una misma escena. Son extensiones de los dispositivos estereoscópicos o estéreo, que sólo visualizan dos vistas de la misma escena. Las imágenes autoestereoscópicas contienen una representación del campo de luz, de ahí el interés que tienen como aplicación de los mismos. Existen varios tipos de dispositivos autoestereoscópicos. Por un lado están los dispositivos basados en fotografía integral, también llamados lenticulares. Los lenticulares contienen típicamente un par de imágenes y se han utilizado en publicidad, cromos y más recientemente como calculadoras de euros de bolsillo. Se construyen pegando sobre una imagen 2D una hoja transparente que contiene un vector de lentes cilíndricas o una matriz de lentes esféricas. Si se utilizan lentes cilíndricas, el lenticular sólo permite la ilusión de 3D en la dirección horizontal. Si se utilizan lentes esféricas, entonces el lenticular permite la ilusión 3D en ambas direcciones, horizontal y vertical. Se dice del primer caso que soporta paralaje horizontal y del segundo que soporta paralaje vertical. Una representación del campo de luz basada en lenticulares fue creada por el grupo de gráficos del MIT dentro de su proyecto de campos de luz reparametrizables. Otro tipo de dispositivo autoestereoscópicos son los visualizadores de barrera de paralaje. Estos visualizadores contienen una pantalla tradicional de rayos catódicos con una rejilla de ranuras verticales sobreimpuesta. La rejilla enciende y apaga las distintas ranuras de forma que se presentan al usuario dos imágenes distintas, una para cada ojo. Una pantalla de este tipo fue desarrollada por el equipo de Ken Perlin en la Universidad de Nueva York. Finalmente, las imágenes y el vídeo holográficos son el ejemplo más importante de dispositivos autoestereoscópicos. Las imágenes holográficas u hologramas almacenan una representación 3D (paralaje horizontal) o 4D (paralaje completo) del campo de luz. El vídeo holográfico contiene una representación 3D o 4D que varía en el tiempo. Nuestro trabajo está orientado a las imágenes 4D de paralaje completo. Dichas imágenes visualizan campos de luz visibles para múltiples observadores sin necesidad de utilizar gafas u otros dispositivos intrusivos. 3 La empresa Zebra Imaging, Inc es pionera en la generación, producción e impresión de este tipo de estereogramas holográficos. Sus procesos están basados en la generación de campos de luz y en la impresión de dichos campos de luz mediante impresoras opto-mecánicas basadas en láseres. Los hologramas obtenidos de este modo son de gran dimensión y paralaje completo, y pueden ser iluminados y visualizados con fuentes de luz blanca, como la luz solar. El Dr. Camahort fue el principal arquitecto del software y los sistemas computacionales implementados para la obtención de los campos de luz y la producción de estos estereogramas [Camahort00]. Entornos Virtuales y Sistemas de Realidad Aumentada Históricamente se han dedicado mayores esfuerzos de investigación a los Entornos Virtuales (EV) que a la Realidad Aumentada (RA), aunque ambos campos tienen partes comunes. En 1972, Sutherland desarrolló el primer prototipo de visiocasco denominado "Espada de Damocles" por su aparatosidad. Este sistema, a pesar de no registrar explícitamente objetos virtuales 3D con objetos del mundo real, constituye un ejemplo de la combinación de lo real y lo virtual, ya que usaba tecnologías ópticas que permiten captar directamente el entorno circundante. En la última etapa de los ochenta y principios de los noventa, la investigación en RA experimenta un auge considerable. A finales de los noventa se ponen en marcha congresos como el "International Workshop and Symposium on Augmented Reality", el "International Symposium on Mixed and Augmented Reality", y el "Designing Augmented Reality Environments Workshop". También a finales de los noventa se fundan consorcios interdisciplinares dedicados al estudio de la RA, como el Laboratorio de Sistemas de Realidad Mixta en Japón y el proyecto ARKIVA en Alemania. En 1997 Azuma [Azuma97] publica uno de los primeros estudios que define la RA, plantea sus problemas y resume su desarrollo hasta ese momento. Dicho trabajo fue ampliado en [Azuma01]. Sin considerar la tecnología utilizada para su realización, todo sistema de RA debe poseer tres características: 1) combinar objetos reales y virtuales en un ambiente real, 2) ejecutarse interactivamente y en tiempo real, y 3) registrar estos objetos (reales y virtuales) en 3D. Los sistemas de RA y los EV comparten una gran parte de la problemática básica, por lo que ambos están compuestos por tres subsistemas básicos: generador de escena (sistema gráfico), dispositivo de visualización (sistema de visualización), y seguimiento y sensorización (sistema de seguimiento). La generación de la escena y la visualización no son actualmente los principales problemas de los sistemas de RA. El generador de escena es el encargado de sintetizar las imágenes virtuales en el lugar correcto usando la información proporcionada por el sistema de seguimiento y sensorización. El dispositivo de visualización combina la imagen real con las imágenes virtuales y muestra la imagen resultante al usuario. Los EV tienen requisitos mucho más exigentes al respecto debido a la necesidad de reemplazar todo el mundo real con imágenes lo más realistas posible. En la RA las imágenes virtuales complementan el mundo real, por lo que habitualmente se necesita visualizar pocos objetos virtuales, no necesariamente de forma realista, siempre que cumplan con los requisitos de la aplicación. El seguimiento y la sensorización determinan la posición y orientación del observador en el mundo real. Este subsistema presenta problemas de registro (correspondencia entre los parámetros de observación reales y los calculados) que se hacen más evidentes en los sistemas de RA que en los EV. Este es uno de los problemas centrales a resolver para construir sistemas de RA efectivos. Las aplicaciones potenciales investigadas desde la aparición de los primeros trabajos relacionados con la RA son en su inmensa mayoría aplicaciones en entornos interiores: visualización médica, mantenimiento y reparación, planificación de acciones para robots, entretenimiento, navegación militar y anotación espacial. Desde finales de la década de los noventa se está trabajando fuertemente en otras tres nuevas áreas: los sistemas de RA móviles en exteriores [Rubio04a], la RA colaborativa y el desarrollo de aplicaciones comerciales. Estas nuevas aplicaciones reflejan una 4 comprensión más profunda de los posibles usos de la RA y los avances recientes en las tecnologías de seguimiento y visualización. Desde 1996 ha aumentado significativamente el número de trabajos que plantean cómo los usuarios interactuarán con las aplicaciones de RA y cómo hacer efectiva la presentación de la información en el dispositivo de visualización. Actualmente hay dos tendencias principales en la investigación de las técnicas de interacción en entornos de RA. ● ● El uso de dispositivos heterogéneos para soportar las ventajas de los diferentes sistemas de visualización. La integración con el mundo físico mediante interfaces palpables. Para cada técnica de interacción existen un conjunto de dispositivos "adecuados". Las interfaces palpables soportan directamente la interacción con el mundo físico haciendo énfasis en el uso de lo real, objetos y herramientas físicas. En la visualización juegan un papel fundamental los errores de registro, y en muchos casos estos son significativos e inevitables. La visualización puede llegar a ser ilegible y confusa si se aumenta el mundo real con grandes cantidades de información, cayendo en el llamado problema de densidad. A diferencia de otras aplicaciones que pueden tratar con grandes cantidades de información, las aplicaciones de RA pueden además manipular la interacción entre el mundo físico y la información virtual sin cambiar el mundo físico. El grupo de investigación de la Universidad de Melmac (subproyecto ALF-Melmac) tiene experiencia en el desarrollo de sistemas de RA para conjuntos de objetos apilados (proyecto TIC200204166-C03), y se ha realizado investigación previa en el diseño y construcción de sistemas de seguimiento hardware basados en sensores inerciales, en la extracción de características de la imagen y el seguimiento mediante técnicas basadas en visión [Rubio04a -04b]. Diseño de interfaces e Interacción con el usuario La mayoría de las aplicaciones informáticas están plagadas de funcionalidades difíciles de utilizar. Un ejemplo representativo es el ordenador personal: "un elemento característico de la tecnología moderna" [Norman00]. Dicho autor comenta que el ordenador se ha convertido en un artefacto con el que se puede hacer casi todo, pero sin embargo, su principal problema es su complejidad de uso. El diseño de interfaces es un elemento clave para intentar solucionar estos problemas. Cada día está adquiriendo más importancia la necesidad de diseñar para mejorar la accesibilidad, usabilidad y la utilidad. Muestra de ello es el interés de las empresas por la usabilidad y la experiencia de usuario [Knapp02], la generalización de congresos, proyectos de investigación, la directiva europea sobre la ergonomía del software, iniciativas como las Web Accessibility Initiative (WAI, 2004), etc. El diseño de interfaces es un componente de la Interacción Persona Ordenador (IPO). La IPO es un campo multidisciplinar [Preece94] que consiste en el estudio y práctica de la usabilidad [Carroll02]. Más formalmente, la IPO se preocupa del diseño, evaluación e implementación de sistemas interactivos para el uso humano y todos los factores relacionados [ACMSIGCHI92]. Por este carácter humano y tecnológico, disciplinas de diferentes ámbitos articulan esta macrodisciplina, interactuando entre ellas: antropología, psicología cognitiva, psicología social, diseño de interfaces, informática, sociología, ingeniería, inteligencia artificial y ergonomía. El diseño de interfaces es un proceso iterativo que consiste en el desarrollo y representación de todos los aspectos relacionados con la superficie (interfaz) de una aplicación trabajando directamente con los usuarios. Tradicionalmente, el diseño, implementación y evaluación fueron vistos 5 como temas separados [Baecker00]. Este enfoque, basado en unos principios básicos, no es adecuado para las aplicaciones informáticas de hoy día porque los avances tecnológicos están introduciendo nuevos desafíos (diferentes usuarios, nuevos usos de los ordenadores, múltiples maneras de interactuar...) que requieren de un proceso más dinámico y general. Por ello, desde la IPO se aboga por un proceso iterativo; un proceso que integre el diseño, implementación y evaluación para diseñar una mejor interacción: diseñar y evaluar hasta encontrar el resultado deseado. Bibliografía F. Abad, E. Camahort y R. Vivó. Integrating Synthetic Objects Into Real Scenes. Computers And Graphics, 27 (2003), pages 5-17, Pergamon Press, Oxford, UK. ACMSIGCHI. Curricula for Human Computer Interaction. ACM Special Interest Group on Computer Human-Interaction Curriculum Development Group, New York. R. Azuma. A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments 6, 4 (August 1997), 355-385. R. Azuma, Y. Baillot, y otros. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications 21, 6 (Nov/Dec 2001), 34-47. R.M. Baecker, J. Grudin y otros (eds.). Reading's in Human Computer Interaction: Toward the year 2000. Morgan Kauffman Publishers, San Francisco, California, 2000. J. Borchers. A pattern approach to interaction design. John Wiley & Sons, 2001, Englang, 2001. Emilio Camahort, Apostolos Lerios, and Donald Fussell. Uniformly sampled light fields. In Ninth Eurographics Workshop on Rendering, pages 117-130, Vienna, Austria, June-July 1998. Emilio Camahort. Unbiased light-field models for rendering and holography. U. S. Patent Application 09760097, November 2000. Emilio Camahort, Mark Holzbach and Robert Sitton Jr. Efficient block transform including pre-processing and post-processing for autostereoscopic displays. U. S. Patent Application 10-036814, October 2001. Emilio Camahort. 4D light field modeling and rendering. PhD Thesis. Technical Report TR-01-52, Department of Computer Sciences, The University of Texas at Austin, Austin, TX, May 2001. J.M. Carroll. Human-Computer Interaction in the New Millenium. ACM Press, Canada, 2002. P.E. Debevec, C. J. Taylor, y J. Malik. Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach. In Proceedings of SIGGRAPH'96, pages 11-20. ACM SIGGRAPH, 1996. Steven J. Gortler, Radek Grzeszczuk, Richard Szeliski, and Michael F. Cohen. The lumigraph. In Proceedings of SIGGRAPH'96, pages 43-54. ACM SIGGRAPH, 1996. Xianfeng Gu, Steven J. Gortler, and Michael F. Cohen. Polyhedral geometry and the two-plane parameterization. In Eighth Eurographics Workshop on Rendering, pages 1-12, Saint Etienne, France, June 1997. Eurographics. Knapp. La Experiencia del Usuario. Anaya Multimedia, Madrid, 2002. Marc Levoy and Pat Hanrahan. Light field rendering. In Proceedings of SIGGRAPH'96, pages 31-42. ACM SIGGRAPH, 1996. L. McMillan y G. Bishop. Plenoptic modeling: An image-based rendering system. In Proceedings of SIGGRAPH'95, pages 39-46. ACM SIGGRAPH, 1995. D.A. Norman. El ordenador invisible. Editorial Paidós, Barcelona, 2000. J. Preece (ed.). Human-Computer Interaction. Addison-Wesley, 1994 M. Rubio, E. Pulido, R. Quirós, E. Camahort. An Augmented Reality System for Outdoor Feature Annotation. 2nd Ibero-American Symposium in Computer Graphics - SIACG 2004, Curitiva, Brasil, 2004 P. Sloan, M.F. Cohen, y S. J. Gortler. Time critical lumigraph rendering. In 1997 Symposium on Interactive 3D Graphics, pages 17-23, New York, 1997. ACM. M. Rubio, N. Tamayo, R. Quirós, Detección de Características Singulares en Imágenes, 3ra Conferencia Iberoamericana en Sistemas, Cibernética e Informática, Orlando, Florida, 2004 M. Rubio, R. Quirós, E. Pulido, G. Fabregat, J. Huerta, Annotation of Features in Outdoor Augmented Reality Environments, 7th Conference on Geographic Information Systems, AGILE’2004 Crete, Greece, 2004 6 3. OBJETIVOS DEL PROYECTO (máximo dos páginas) 3.1 Describir brevemente las razones por las cuales se considera pertinente plantear esta investigación y, en su caso, la hipótesis de partida en la que se sustentan los objetivos del proyecto (máximo 20 líneas) La motivación fundamental de este proyecto es el avance de los conocimientos de la informática gráfica e introducir un nuevo modelo de representación aplicable en áreas como el diseño industrial, la visualización interactiva y la visualización científica. Dicho modelo, basado en imágenes y el campo de luz, tiene la ventaja de ser independiente de la complejidad geométrica de la escena y de permitir fácilmente la captura de objetos reales. Estas cualidades tienen dos ventajas. La primera es que los modelos son mucho más adecuados para la visualización interactiva de objetos complejos. La segunda es que permiten modelar objetos que serían difíciles de modelar geométricamente o de capturar mediante sistemas de escaneado 3D. Nuestra hipótesis es que la visión autoestereoscópica es el nuevo horizonte de la visualización. El campo de luz es la representación que mejor se adapta a una visión autoestereoscópica multiusuario. Este tipo de imágenes se están empezando a comercializar ahora en EE.UU. y esperamos que pronto lleguen a Europa. La visualización en dispositivos autoestéreo necesitará de infraestructura para la generación, captura y procesamiento de campos de luz, así como nuevos interfaces de interacción. Por otro lado, creemos que el campo de luz impreso como estereograma holográfico o mostrado en un dispositivo autoestereoscópico puede ser un medio a enriquecer con realidad aumentada. Esta hipótesis nunca antes ha sido planteada. 3.2. Indicar los antecedentes y resultados previos, del equipo solicitante o de otros, que avalan la validez de la hipótesis de partida Los campos de luz fueron propuestos en 1996. Desde entonces se han producido varios resultados de investigación relacionados con ellos, principalmente en los grupos de Stanford, Harvard, Microsoft Research y la Universidad de Texas. Dichos resultados se refieren a la implementación de sistemas preliminares de tratamiento y visualización de campos de luz y a la captura de imágenes para modelado gráfico basado en imágenes. Estos resultados indican que existe un potencial futuro en la aplicabilidad de este tipo de representación. Este potencial viene corroborado por resultados de investigación recientes en visualización autoestereoscópica y en la producción de los primeros estereogramas holográficos comerciales. Estos resultados han sido obtenidos principalmente por el grupo de spatial imaging del MIT y por la empresa Zebra Imaging, con quienes mantenemos una estrecha relación. Estos resultados, en los que hemos tomado parte parcialmente, justifican la realización de la investigación propuesta en este proyecto. 7 3.3. Enumerar brevemente y describir con claridad, precisión y de manera realista (es decir, acorde con la duración prevista del proyecto) los objetivos concretos que se persiguen, los cuales deben adecuarse a las líneas temáticas prioritarias del Programa Nacional al que se adscribe el proyecto (ver Anexo de la convocatoria). Los objetivos concretos del proyecto se resumen en cuatro grupos: 1. Modelado e implementación de métodos y estructuras para la representación de campos de luz 2. Adquisición y generación de muestras para la construcción de campos de luz de escenas 3D 3. Desarrollo de interfaces avanzadas para la interacción persona-campo de luz 4. Aumentación del campo de luz mediante técnicas de realidad aumentada A continuación se desglosan los objetivos asociados a cada uno de los grupos anteriores: 1. Modelado e implementación de métodos y estructuras para la representación de campos de luz Determinar las características fundamentales del modelo: parametrización, método de muestreo y algoritmos de reconstrucción. Diseñar el modelo de datos en memoria secundaria e implementar algoritmos de caching y recuperación de datos. Desarrollar estrategias que permitan la compresión de los datos. Conseguir campos de luz con multirresolución. Extender la representación basada en campo de luz para disponer de profundidad y transparencia. 2. Adquisición y generación de muestras para la construcción de campos de luz de escenas 3D Diseñar un sistema de cámara(s) para la captura de datos destinados a modelar el campo de luz de objetos reales. Implementar el sistema de captura y los correspondientes algoritmos de procesamiento de los datos capturados Desarrollar un generador de campos de luz a partir de escenas sintéticas 3. Desarrollo de interfaces avanzadas para la interacción persona-campo de luz Definir un método de diseño para sistemas de visualización interactiva de campos de luz que incluya la especificación de elementos de interacción. Definir los modelos mentales, de tareas, de aplicación y de eventos que conforman las expectativas de los usuarios para trabajar sobre sistemas de visualización de campos de luz. Definir métricas y sistemas de evaluación de las interfaces de visualización, examen y manipulación de campos de luz. Estudiar la usabilidad de los sistemas de visualización de campos de luz en función de las expectativas de los usuarios finales. Implementar visualizadores para los distintos tipos de campos de luz. Aplicar la visualización de campos de luz a dispositivos autoestereoscópicos. 4. Aumentación del campo de luz mediante técnicas de realidad aumentada Adquirir y poner a punto un sistema de realidad aumentada. Generar herramientas que permitan integrar imagen sintética con imagen real. Construir una aplicación para la integración de anotaciones en el campo de luz. Integrar la visión del campo de luz en el sistema de realidad aumentada. Prototipar aplicaciones reales de aumentación del campo de luz. En resumen, se quiere investigar en el uso de técnicas de realidad aumentada sobre campos de luz mediante interfaces avanzados de visualización y manipulación, área en la que no existen estudios hasta la fecha. 8 Este proyecto se adecua al objetivo general del Programa Nacional de Tecnologías Informáticas de generar nuevos conocimientos científicos y técnicos sobre una innovadora interfaz de visualización, la aplicación de campos de luz a la autoestereoscopía, más cómoda y eficaz cara al usuario. Particularmente, el proyecto se centra en el objetivo 5 sobre Interfaces Avanzadas y más concretamente en los subobjetivos 5.01 Realidad virtual y aumentada; 5.02 Visión artificial y tratamiento avanzado de imagen; 5.03 Interfaces multimodales. También se relaciona con otros programas nacionales como el de Diseño y Producción Industrial a través de sus objetivos 2: Simulación de sistemas y productos; y 12: Sistemas de ayudas a la decisión; y el de Tecnologías de Servicios para la Sociedad de la Información por su objetivo 1: Servicios para la sociedad de la información. Tecnologías software/hardware. 9 3.4. En el caso de Proyectos Coordinados (máximo dos páginas): El objetivo global del proyecto es investigar y demostrar la validez de la representación de escenas 3D basadas en campo de luz como una nueva interfaz visual adecuada a la visión autoestereoscópica y la ventaja de su utilización en combinación con técnicas de realidad aumentada. Este objetivo se concreta en cuatro que han sido ya descritos en el apartado anterior y que corresponden, a grandes rasgos, con la generación del campo de luz, su proceso, la interfaz con la persona y la integración con un sistema de realidad aumentada. Fijado el objetivo general, resulta obvia la necesidad de disponer de un campo de luz para poder procesarlo o de la construcción de interfaces de visualización y manipulación de grandes volúmenes de datos visuales para que el usuario pueda aprehender el conocimiento de los mismos y así estar en disposición de influir en su modificación. Por último, la integración de la realidad aumentada con el soporte de campos de luz necesita del desarrollo de los tres objetivos anteriores. Tres son los grupos de investigación participantes: Supercúmulo Hydra-Centaurus (SHC), la Universidad de Melmac (UM) y la Universidad de Vigo (UVG). La línea troncal que comparten los tres grupos es la Informática Gráfica, cada uno desde su propio ámbito. El grupo de la SHC es especialista en modelo de representación de campos de luz y el desarrollo de herramientas software para la representación basada en imágenes. El grupo de la UM combina especialistas en visión y tratamiento de imagen con investigadores dedicados a la realidad virtual y aumentada. Por último, el grupo de la UVG tiene una trayectoria de investigación en nuevos paradigmas de interacción y de representación, como la visualización expresiva. CAMPOS DE LUZ AUMENTADOS Esquena de Coordinación Figura 1. Esquema del proyecto y distribución por subproyectos. En la figura 1 se muestra una distribución de las responsabilidades asignadas a cada subproyecto basada en las habilidades demostradas por cada grupo y su propio interés investigador. Así, el núcleo del proyecto y la generación a partir de imagen sintética corresponde a la SHC, grupo con mayor experiencia en campos de luz. La adquisición y estructuración de muestras reales corresponde al grupo de visión por computador de la UM como corresponde a la naturaleza del problema. La responsabilidad en la definición y desarrollo de nuevos interfaces de interacción queda a cargo del grupo de la UVG. El valor añadido del proyecto y su absoluta novedad viene dado por la aumentación del campo de luz, objetivo del que es responsable el grupo con mayor experiencia de la UM. 10 Los objetivos particulares de cada subproyecto se corresponden, tras lo visto, con los objetivos apuntados en el apartado anterior de la manera siguiente: SHC: UM: Modelado e implementación de métodos y estructuras para la representación de campos de luz. (objetivo 1) Generación de muestras para la construcción de campos de luz de escenas 3D (objetivo 2.3) Adquisición de muestras para la construcción de campos de luz de escenas 3D (objetivo 2.1 y 2.2) Aumentación del campo de luz mediante técnicas de realidad aumentada (objetivo 4) UVG: Desarrollo de interfaces avanzadas para la interacción persona-campo de luz (objetivo 3) Está pensada la participación de investigadores de los otros grupos en las tareas de las que un grupo es responsable a fin de hacer más permeable la comunicación y coordinación de los avances individuales. Para la coordinación se han dispuesto tareas específicas para la reunión y puesta en común de avances así como tareas compartidas de especificación de interfaces programáticas (APIs). La coordinación se apoya también en reuniones de trabajo anuales multitudinarias (workshops), reuniones de responsables de tareas íntimamente coordinadas e informes de progreso. El proyecto se estructura temporalmente en tareas dependientes, estructura a la quedan sujetos todos los subproyectos. Como punto de encuentro final, el desarrollo de un caso a estudio será compartido por todos los grupos. Por último cabe destacar la trayectoria de colaboración de los grupos participantes demostrada por el trabajo conjunto en proyectos subvencionados (FP6-2003-IST-2-004469, TIC2002-04666-C03, TIC99-0310-C02-00) y publicaciones comunes en foros de prestigio. 11 4. METODOLOGÍA Y PLAN DE TRABAJO (en el caso de proyectos coordinados deberá abarcar a todos los subproyectos) El método de desarrollo del proyecto es el trabajo coordinado en tareas que se programan en el tiempo y que dependen unas de otras. Cada tarea plantea los objetivos individuales que debe alcanzar en el plazo previsto y genera, mediante hitos premarcados, documentos, programas o sistemas que usarán las tareas dependientes. Las tareas finales deben generar conocimientos y sistemas que cubran los objetivos del proyecto. En todo caso, se prevén puntos de reflexión sobre los objetivos a alcanzar dependiendo del transcurso de la investigación y que pueden derivar en una ampliación, redirección o restricción de los iniciales. En este proyecto se han previsto los siguientes paquetes de tareas: P0 Coordinación P1 Especificación científico técnica P2 Adquisición y generación de Campos de Luz P3 Procesamiento de Campos de Luz P4 Visualización de Campos de Luz P5 Manipulación de campos de luz extendidos P6 Aumentación de campos de luz El paquete P0 se refiere a las tareas de coordinación de la investigación, convocatoria de reuniones, redacción de informes y preparación de presentaciones para el seguimiento adecuado del proyecto por parte de todos los investigadores involucrados. El paquete P1 contiene la puesta en marcha del proyecto, análisis de objetivos, revisión de soluciones existentes y especificación de los sistemas físicos y lógicos a construir. El resto de paquetes de tareas corresponde a los objetivos del proyecto tal y como se han desglosado en el apartado 3.3 de esta memoria. A continuación se detallan las tareas a realizar dentro de cada paquete. Para cada tarea se incluyen una breve descripción, su duración y los miembros del equipo de investigación involucrados. Sus nombres aparecen abreviados de acuerdo con la siguiente tabla. RVH ECG FAC JLC IGG Robert V H Emil C G Francesco A C Johnny L C Inca G G RQB JHG JRM RMC EPH Ray Q B Johnny H G Josep R M Raúl M C Edith P H PF MM MW BG TMPVG Paul Fusco Michu Meszaros Max Wright Benji Gregory Técnico Medio Presupuesto SHC MVL JSP MMN TSP1 TMP1 UM TAP MRR HPR TSP2 TMP2 UVG AS AE AGL TSPVG 12 M Vicent L Jess S P Margot M N Técnico Superior Presupuestado Técnico Medio Presupuestado Tom A Patchett Manfred R Rojas Hebert P Roses Técnico Superior Presupuestado Técnico Medio Presupuestado Anne Schedeen Andrea Elson Antoni G L Técnico Superior Presupuestado 4.1 DESCRIPCIÓN DE TAREAS Y CRONOGRAMA Se ha incluido en la programación la participación de los investigadores y técnicos que aparecen en el presupuesto según su dedicación contractual. En general, los técnicos de grado superior se encargan de dar apoyo a la investigación y del grueso de la programación sistemática y depuración. Los de grado medio se quedan encargados de dar soporte al mantenimiento de equipos, administrar sistemas y de la gestión con los proveedores. En el siguiente listado de tareas existe un responsable asignado a cada una de ellas. Este responsable participa en las tareas de planificación y seguimiento con los coordinadores asociados al paquete P0. El responsable de cada tarea aparece al principio de cada lista de participantes. Se indica también la universidad (grupo) responsable y los hitos a alcanzar. Aunque las tareas están asignadas a un centro ejecutor responsable, se promueve la participación mixta en las tareas de investigadores de los tres centros, facilitando así la coordinación y la transmisión del conocimiento. P0 Coordinación. T01 Seguimiento y coordinación de paquetes. (SHC, UM, UVG) El proyecto precisa de la coordinación de las tareas realizadas en paralelo y la integración de los resultados al final de cada tarea. La tarea de coordinación se encarga de este seguimiento en colaboración con el responsable de cada tarea. Además se encarga de la organización de reuniones y de la preparación de documentos y presentaciones. Duración: 36 meses Participantes: RVH, RQB, PF Hitos: Informes periódicos, actas de reuniones y workshops T02 Análisis de logros y conclusiones.(SHC, UM, UVG) Cada paquete culmina con un hito que al alcanzarse genera un paquete de documentación y un informe de finalización. Al final del hito los responsables de coordinación se reúnen para evaluar los objetivos alcanzados y el progreso del proyecto realizado hasta ese momento. Los resultados de esta tarea pueden implicar cambios y actualizaciones en la marcha y objetivos del proyecto. Duración: 1 mes cada año Participantes: RVH, RQB, PF Hitos: Informes periódicos P1 Especificación científico-técnica del sistema. T11 Análisis de objetivos (SHC, UM, UVG). Los objetivos del proyecto deberán ser claramente establecidos una vez se haya determinado la financiación conseguida y otros factores relacionados con el mercado y la disponibilidad de personal investigador. Los objetivos deberán ser realistas, sin intentar logros inalcanzables. En esta tarea se involucrará a todo el personal del equipo investigador, recogiendo experiencias, trabajos previos de otros autores y otra información que ayude a establecer si los objetivos son realistas, deben acotarse o deben llevarse más allá. Duración: 1/2 mes Participantes: RVH, RQB, PF, ECG Hitos: Documento de objetivos y requerimientos mínimos T12 Especificación de los subsistemas y sus interfaces (SHC, UM, UVG) Una vez determinados los objetivos del proyecto se pasará a especificar las entradas y salidas de cada paquete y, dentro de cada uno de ellos, las de cada tarea. Esto es sin perjuicio de que el trabajo realizado durante el proyecto requiera nuevas tareas que resulten en nuevas tecnologías o líneas de investigación. El objetivo final de esta tarea será establecer con 13 claridad las características que deberá tener cada subsistema, así como las dependencias entre ellos y su futura integración. Es especialmente importante determinar aquí el modelo de representación y su almacenamiento, sus características fundamentales (parametrización, métodos de muestreo y reconstrucción), así como las interfaces entre los procesos que van a hacer uso de ellos. Duración: 2 meses Participantes: RVH, RQB, PF, ECG Hitos: - Especificación del campo de luz estructurado y del extendido - Especificación de interfaces entre tareas T13 Rediseño y replanteamiento (SHC, UM. UVG) En el proceso de la investigación es posible que se decida que los objetivos planteados necesitan ser reducidos, modificados o ampliados. Al final de cada periodo y tomando los resultados de las tareas T02, T11 y T12, los objetivos serán revisados y las especificaciones actualizadas para reflejar el trabajo realizado hasta ese momento. Si el desarrollo del proyecto es conforme a las especificaciones, esta tarea no producirá ningún resultado. Duración: ½ mes cada año Participantes: RVH, RQB, PF, ECG Hitos: Informes P2 Adquisición y generación de Campos de Luz T21 Adquisición estructurada de campos de luz de modelos reales (UM) Tarea dedicada a la construcción de un sistema de adquisición de muestras precursoras del campo de luz a partir de modelos reales y mediante técnicas de adquisición estructurada de imagen. Se debe estudiar la viabilidad de los diferentes sistemas estructurados de adquisición, construyéndose en último término un sistema de adquisición operativo. Duración: 12 meses Participantes: RQB, RMC, TAP, MRR, EPH, TSP2, TMP2, FAC Hitos: Sistema de adquisición de muestras estructuradas operativo T22 Adquisición no estructurada de campos de luz de modelos reales (UM) Tarea dedicada a la construcción de un sistema de adquisición de muestras precursoras del campo de luz a partir de modelos reales y mediante técnicas de adquisición no estructurada de imagen. Se debe estudiar la viabilidad de los diferentes sistemas no estructurados de adquisición. Duración: 12 meses Participantes: RQB, RMC, TAP, MRR, EPH, TSP2, TMP2, FAC Hitos: Sistema de adquisición de muestras no estructuradas operativo T23 Generación de muestras desde modelos sintéticos (SHC) Tarea dedicada a la construcción de una aplicación de generación de muestras para la construcción de campos de luz a partir de escenas sintéticas tridimensionales. Estas escenas pueden ser virtuales o provenir de objetos reales obtenida su representación por medio de un escáner. Se deben tener en cuenta la generación de mapas de profundidad para la reconstrucción de campos de luz extendidos. Se plantean dos generadores, uno básico al comienzo del proyecto y otro basado en trazado de rayos más adelante. El segundo debe proporcionar muestras de mayor calidad. Duración: 6 + 6 meses Participantes: JLC, ECG, RVH, JSP, MMN, TSP1, TMP1, HPR, JRM, MRR Hitos: Generador de muestras estructuradas a partir de escenas 3D sintéticas 14 P3 Procesamiento de Campos de Luz T31 Estructuración de muestreos no estructurados (UM) Aquí se desarrollan métodos para la estructuración adecuada de las muestras que permitan la reconstrucción del campo de luz. Esta tarea tiene como fuente el paquete de tareas anterior y alimenta a la tarea de construcción del campo de luz. Duración: 6 meses Participantes: HPR, RQB, JHG, MRR, TSP2, TMP2 Hitos: Filtro de estructuración de muestras. Matriz de muestras estructuradas. T32 Diseño e implementación del modelo de campo de luz (SHC) A partir de la matriz de muestras se crea el campo de luz y se habilita su almacenamiento en disco. En esta tarea se suministra el API de acceso a la base de datos que representa el campo de luz, su almacenamiento eficiente y los métodos de caching e indexación de muestras, quedando todos ellos implementados. Duración: 5 meses Participantes: ECG, JLC, RVH, JSP, MMN, TSP1, TMP1, HPR, MRR Hitos: Campo de luz estructurado en disco y API T33 Simplificación de campos de luz (SHC) Basado en el modelo de representación se estudiarán soluciones para la simplificación del campo de luz a partir del modelo estructurado y completo. Esta tarea debe definir las bases que conducen la simplificación y cómo se realiza ésta. Duración: 4 meses Participantes: JLC, ECG, RVH, JSP, MMN, TSP1, TMP1, HPR, JRM Hitos: Método de simplificación T34 Construcción del campo multinivel(SHC) Determinado el método de simplificación debe abordarse la tarea de representar en memoria secundaria un modelo multirresolución de manera eficiente. Se determinara la conveniencia de un modelo discreto o continuo atendiendo a la cantidad de memoria necesaria para su almacenamiento. Duración: 4 meses Participantes: JLC, ECG, RVH, JSP, MMN, TSP1, TMP1, HPR, JRM Hitos: Modelo multirresolución en memoria secundaria. T35 Extracción de nivel (SHC) Esta tarea queda encargada de construir un API de acceso al modelo multirresolución. Duración: 4 meses Participantes: JLC, ECG, RVH, JSP, MMN, TSP1, TMP1, HPR, JRM Hitos: Librería de extracción de niveles del modelo multirresolución. T36 Compactación de campos de luz (SHC) Esta tarea queda encargada de diseñar algoritmos de compresión del campo de luz para facilitar su transporte y almacenamiento. Análogamente se desarrollarán métodos de descompresión. Todo ello generará un API de acceso a los campos de luz comprimidos. Duración: 7 meses Participantes: ECG, JLC, RVH, JSP, MMN, TSP1, TMP1, HPR, JRM Hitos: Algoritmos de compactación y descompresión. API. 15 P4 Visualización de Campos de Luz T41 Análisis de soluciones (UVG) Análisis de las metodologías en el diseño de interfaces de usuario de sistemas interactivos y determinación de los puntos críticos para su adaptación a los sistemas visualización de campos de luz. Análisis de las opciones existentes para la recuperación de los datos del campo de luz y su visualización eficiente. Estudio de los dispositivos y aplicaciones que existen en el mercado para su utilización en sistemas de visualización estereoscópica y autoestereoscópica. Evaluación de uso de los dispositivos y las aplicaciones. Duración: 3 meses Participantes: PF, BG, MM, MW, IGG, AS, AE, AGL,TSPVG, TMPVG, RQB, JHG Hitos: Informe Técnico. T42. Diseño de las interfaces e identificación de las tareas de usuario (UVG) Determinación de las necesidades de la interfaz de usuario para el manejo de los dispositivos y aplicaciones. Determinación del modelo mental y modelo de tareas del usuario. Definición de una metodología de diseño de interfaces de usuario para sistemas interactivos de visualización de campos de luz. Definición de métricas y métodos de aplicación para la medida de usabilidad de estos sistemas. Duración: 4 meses Participantes: PF, BG, AE, AGL, IGG, JHG Hitos: Informe Técnico. Propuestas de diseño. T43. Diseño de los algoritmos de visualización (UVG) Se diseñarán algoritmos de visualización del campo de luz. Los algoritmos se basarán en los modelos diseñados en la tarea T22 e implementados en la tarea T23. Duración: 4 meses Participantes: MM, MW, AS, TSPVG, TMPVG, IGG, JHG, JRM Hitos: Documento de especificación y plan de implementación. T44 Implementación, integración y prueba del visualizador básico e interfaz (UVG) De acuerdo con los documentos de diseño de las tareas anteriores se implementará un visualizador básico del campo de luz incorporando los elementos de interfaz identificados previamente. Dicho visualizador permitirá probar el generador eficiente de campos de luz. Análisis de la usabilidad del visualizador utilizando las métricas definidas en T42. Duración: 6 meses Participantes: MM, AS, TSPVG TMPVG, AE, JHG Hitos: - Visualizador básico de Campos de Luz. - Informe de usabilidad del visualizador básico de Campos de Luz. T45. Especificación del formato y soportes de intercambio (UVG) Diseñar un formato de intercambio que adecue los modelos anteriormente implementados a la geometría de los dispositivos o imágenes de visualización estereoscópica y autoestereoscópica. Duración: 3 meses Participantes: MW, PF, AGL, IGG, JHG Hito: Documento de especificación T46. Validación de los formatos y soportes (UVG) Utilización de los formatos de intercambio de campos de luz sobre los dispositivos visualizadores estereoscópicos y autoestereoscópicos. Evaluación y validación de los resultados obtenidos. Análisis de la usabilidad de los dispositivos utilizando las métricas definidas en T42. Duración: 3 meses Participantes: MW, PF, AGL, BG, IGG, RQB, JHG Hito: - Herramienta de migración entre formatos de Campos de Luz. - Informe de resultados y usabilidad. 16 P5 Manipulación de campos de luz extendidos T51 Integración de campos de luz con mapas de profundidad y transparencia (SHC) En esta tarea se determinará una representación extendida del campo de luz para incluir profundidad de las muestras e índice de transparencia. Duración: 3 meses Participantes: ECG, MJV, IGG, FAC, RQB, HPR Hitos: Campo de luz extendido en disco y API T52 Visualizador extendido (UVG) En esta tarea se determina la manera en que se visualiza y manipula el campo de luz extendido por parte del usuario haciendo uso de la información de profundidad y transparencia. Además, se incluirán mejoras al visualizador básico para incluir visualización progresiva, extracción de niveles de detalle, antialiasing, etc. Se analizará la usabilidad del visualizador utilizando las métricas definidas en T42. Duración: 9 meses Participantes: MM, AS, TSPVG TMPVG, AE, JHG Hitos: Visualizador extendido de campos de luz. Informe de usabilidad. T53 Composición de campos de luz (UM) La tarea se dedica al diseño e implementación de una aplicación de composición de dos campos de luz extendidos atendiendo a sus mapas de profundidades e índices de transparencia para dar un nuevo campo de luz. Hará uso del interfaz construido en la tarea anterior. Duración: 4 meses Participantes: JHG, RQB, HPR, MRR, JRM, TS2, MJV Hitos: Aplicación para la composición de campos de luz T54 Inclusión de anotaciones (UM) Basada en la tarea anterior, esta tarea permitirá la integración de notas sintéticas en el campo de luz para su aumentación estática, resultando en un campo de luz extendido y anotado. Duración: 4 meses Participantes: JHG, RQB, HPR, MRR, JRM, TS2, MJV Hitos: Aplicación para la inclusión de anotaciones en un campo de luz P6 Aumentación de campos de luz T61 Puesta a punto de un sistema de realidad aumentada (UM) La tarea se encarga de instalar, calibrar y poner en funcionamiento un sistema de realidad aumentada que servirá como sistema base para las tareas que se llevarán a cabo en este paquete. El sistema dispondrá de seguimiento híbrido basado en sensores hardware, detección de marcas en la escena y métodos de seguimiento basados en la extracción de características de la imagen. Duración: 6 meses Participantes: MRR, RQB, HPR, EPH, RMC, TAP, TS2, TM2, MJV Hitos: Sistema de realidad aumentada operativo T62 Interfaces para la visualización de campos de luz aumentados dinámicamente (UVG) Análisis, clasificación y evaluación de técnicas para la interacción con campos de luz desde realidad aumentada. Definición del API y componentes físicos y lógicos. La tarea debe coordinarse con la anterior a fin de derivar un interfaz específico para el equipo del que se dispone. Duración: 9 meses 17 Participantes: PF, BG, AE, AGL, MM, MW, AS, TSPVG TMPVG, IGG, MRR, EPH, JHG Hitos: Informe técnico y API T63 Aumentación de campos de campos de luz (UM) Combinación del sistema de realidad aumentada con la visualización del campo de luz para la aumentación del mismo mediante notas dinámicas u objetos virtuales. El campo de luz y el usuario deben quedar registrados en el mismo sistema de referencia mediante el sistema de seguimiento híbrido desarrollado en la tarea T61. El sistema de realidad aumentada dispondrá de un modelo geométrico de la escena y hará uso del API de la tarea anterior. Duración: 6 meses Participantes: MRR, RQB, HPR, EPH, RMC, TAP, TS2, TM2, MJV Hitos: Prototipo de aumentación dinámica de la visualización del campo de luz T64 Aplicación del prototipo a un caso de estudio. Área: Inmobiliaria, CAD … (SHC, UM, UVG) Esta tarea está pensada como demostrador del proyecto donde se elegirán una o varias áreas para aplicar los resultados del proyecto construyendo casos de estudio para esta nueva tecnología. En esta tarea, aunque coordinada desde la SHC, participarán activamente todos los grupos. Duración: 7 meses Participantes: Todos. Tarea de integración. Hitos: Demostrador de caso a estudio 18 19 5. BENEFICIOS DEL PROYECTO, DIFUSIÓN Y EXPLOTACIÓN EN SU CASO DE LOS RESULTADOS (máximo una página) Este proyecto pretende realizar las siguientes contribuciones científico-técnicas. A corto y medio plazo se va a desarrollar el primer sistema de producción de campos de luz para dispositivos autoestereoscópicos de Europa y el primero con aumentación a escala mundial. Con ello se pretende dotar a la comunidad científica de una alternativa a los sistemas de producción comerciales ya existentes. Además, el software desarrollado será distribuido libremente para que otros usuarios y entidades de investigación puedan obtener nuevos resultados a partir de la tecnología aportada por este proyecto. A largo plazo se pretende avanzar el conocimiento en las áreas citadas, proporcionando una base para avances futuros en las áreas de modelado basado en imágenes y autoestereoscopía. En este sentido se va a desarrollar un plan de difusión que se estructura en dos niveles. A nivel académico-investigador expondremos nuestros resultados en revistas y congresos de prestigio. Estos resultados se referirán a la investigación básica realizada durante la consecución del proyecto. Algunos resultados más aplicados también podrán ser difundidos de esta manera, aunque para ello será preferible la solicitud de patentes y modelos de utilidad destinados a consolidar el conocimiento aplicado obtenido durante la investigación. La presentación de la investigación y sus contribuciones a la informática gráfica se hará principalmente a través de artículos publicados en revistas como: ACM Transactions on Graphics, IEEE Transactions on Visualization and Graphics, IEEE Computer Graphics and Applications, Computers & Graphics, Computer Graphics Forum y Graphical Models, entre otras. Además, se intentará difundir resultados preliminares en congresos de informática gráfica de prestigio tales como los organizados por ACM SIGGRAPH e IEEE en Estados Unidos y por EUROGRAPHICS en Europa. Estos congresos tienen procesos de revisión estrictos y están considerados como los más prestigiosos dentro del área. En los entornos iberoamericano y local la difusión se hará a través del SIACG, Simposium Ibero-Americano de Computación Gráfica, y el CEIG, Congreso Español de Informática Gráfica. El segundo nivel de exposición y difusión de nuestros resultados será el nivel industrial y comercial. En este sentido se van a mantener colaboraciones con dos organismos del ámbito de la informática gráfica y el diseño industrial. En el entorno nacional se va a colaborar con el Instituto de Automática e Informática Industrial para la aplicación y difusión de nuestros resultados a industrias y administraciones. Nos centraremos en aplicaciones de visualización autoestereoscópica multiusuario como los sistemas GIS, la catalogación de productos industriales, el sector inmobiliario o la edición de literatura infantil con ilustraciones autoestereoscópicas. También se prevé generar patentes de los sistemas construidos. En el ámbito internacional se va a mantener la colaboración existente con Zebra Imaging para transmitir nuestros resultados de investigación a una empresa de producción de estereogramas holográficos. Este proyecto se adecua claramente a los objetivos del Programa Nacional de Tecnologías Informáticas tal y como se cita en el apartado 3.3 de esta memoria. Las líneas tecnológicas más afines a este proyecto son las de interfaces avanzadas, realidad virtual, realidad aumentada, tratamiento avanzado de imagen y computación de altas prestaciones. Además nuestro proyecto también está relacionado con el Programa Nacional de Diseño y Producción Industrial, ya que desarrolla conocimientos que contribuyen al diseño, generación y evaluación de prototipos y de nuevos productos, procesos y servicios. 20 6. HISTORIAL DEL EQUIPO SOLICITANTE EN EL TEMA PROPUESTO (En caso de Proyecto Coordinado, los apartados 6. y 6.1. deberán rellenarse para cada uno de los equipos participantes) (máximo dos páginas) EQUIPO SOLICITANTE DEL SUPERCÚMULO HYDRA-CENTAURUS El historial del equipo se descompone en cuatro áreas relacionadas con el tema propuesto en este proyecto. Estas cuatro áreas son las siguientes: visualización 3D, modelado basado en imágenes, modelado y visualización del campo de luz, y dispositivos de visualización autoestereoscópica. En los siguientes apartados se resume la experiencia del equipo en cada una de estas áreas. Visualización 3D La experiencia del equipo solicitante en esta área es muy dilatada. El equipo fue formado en 1990 como Sección de Informática Gráfica dentro del Grupo de Tecnología Informática del Supercúmulo HydraCentaurus. Desde entonces se han realizado aportaciones en los siguientes temas relacionados con la visualización 3D: informática gráfica industrial y entornos virtuales, gráficos en tiempo real y modelado y visualización natural. En el primer tema se han hecho aportaciones en interfaces 3D para la simulación y el control de procesos industriales, en diseño asistido por ordenador, en visualización de entornos virtuales interactivos, en realidad virtual y sistemas inmersivos y en distintas aproximaciones a la estereoscopia. Los siguientes proyectos están relacionados con las aportaciones citadas: 1FD79-2358-C04-01, SHC- 19994321, P1A69-22, GV69-TI-05-42, TIC1666-0566-C02-02, P1.1B2000-21. En el tema de gráficos en tiempo real se han hecho aportaciones en visualización interactiva, modelado y arquitecturas multirresolución, motores de animación y modelado procedural eficiente. Se han obtenido resultados que son de aplicación a juegos por ordenador, aplicaciones gráficas interactivas y visualización de grandes volúmenes de datos. Los siguientes proyectos están relacionados con estas aportaciones: P1B998-16, TIC1666-0510-C02-02, TIC2001-2463-C03-02, IST-02-8-1A. Finalmente, en el tema de modelado y visualización natural se han hecho aportaciones al modelado de especies vegetales mediante sistemas-L, la visualización jerárquica multi-textura, el modelado de luz natural y de entornos exteriores, iluminación global basada en sistemas de partículas e iluminación global de vegetación. Estas aportaciones han sido aplicadas a la visualización 3D de elementos naturales en escenas exteriores, incluidas vegetación, árboles y plantas en entornos de jardinería, agricultura y forestación. Los siguientes proyectos están relacionados con estas aplicaciones: GV79-TI-05-42, TIC1666-0566-C02-02. Modelado basado en imágenes El equipo solicitante dispone de experiencia en distintas áreas de aplicación del modelado basado en imágenes. Por un lado, se han realizado trabajos dentro del modelado y visualización de escenas naturales. Concretamente, se han modelado árboles y vegetación mediante sistemas-L y modelos procedurales multirresolución. En esta área se han utilizado técnicas basadas en imágenes para la representación de las hojas de un árbol utilizando un modelo multirresolución. Este trabajo forma parte de la investigación realizada por el Dr. Johnny bajo la dirección de Dr. Robert para la realización de su tesis doctoral. En la actualidad, están siendo referenciados los resultados obtenidos por dicha tesis doctoral por otros investigadores. Los siguientes proyectos de investigación están relacionados con los resultados obtenidos en esta área: GV97-TI05-42, TIC1666-0566-C02-02. Más recientemente se puso en marcha una nueva línea de investigación en el área de realidad aumentada basada en imágenes. Bajo la dirección de los Drs. Emil y Robert se comenzó a trabajar en el área 21 de integración de objetos virtuales en escenas reales utilizando métodos basados en imágenes. Más concretamente, se han utilizando este tipo de técnicas para simular el entorno y la iluminación del mundo real utilizando imágenes capturadas mediante una cámara digital. Esta investigación ha resultado en la producción de una tesis doctoral a cargo del Dr. Johnny. Nuestro trabajo en esta área ha producido varias publicaciones internacionales, en los congresos SIACG y Eurographics y en la revista Computers & Graphics. Además, esperamos ampliar conocimientos en esta área a través del proyecto TIC2012-04993-C03-01 que se está desarrollando actualmente y que incorpora técnicas basadas en imágenes como el uso de impostores y la integración de imagen sintética con imagen real para realidad aumentada. Modelado y visualización del campo de luz En esta área el equipo solicitante dispone de la experiencia del Dr. Emil y su nueva línea de trabajo iniciada dentro del grupo de investigación de Informática Gráfica de este Supercúmulo. La experiencia se remonta a 1996, cuando el campo de luz fue introducido y el Dr. Emil realizó su propuesta de tesis bajo la dirección del Dr. Fussell de la Universidad de Tejas. Desde entonces, el Dr. Emil ha finalizado su doctorado y se ha convertido en uno de los pioneros en esta área con varias aportaciones al estudio de campos de luz. Entre estas aportaciones cabe destacar los campos de luz uniformemente muestreados e independientes de la vista, el estudio de distintas parametrizaciones del campo de luz, tanto en el dominio continuo como en el discreto, y la aplicación de los campos de luz a la visualización y la producción de dispositivos autoestereoscópicos. Fruto del trabajo en esta área es un artículo en el Workshop de Rendering de Eurographics y otro en el SIACG. Además se encuentra pendiente de aceptación un artículo de revista recientemente finalizado. Este trabajo fue financiado en parte por el proyecto NAGW-4247de la NASA. de EE.UU. sobre Multiresolution Information Archival and Analysis System y por la ayuda de infraestructura CDA-9624082 de la National Science Foundation de EE.UU. sobre System Support for a Hierarchy of Distributed Applications. Ambas ayudas fueron disfrutadas mientras el solicitante se encontraba haciendo el doctorado en el Departamento de Computer Sciences de la Universidad de Texas at Austin. Dispositivos de visualización autoestereoscópica La experiencia del grupo en esta área se concreta en los trabajos realizados por el Dr. Emil para la empresa Zebra Imaging de Austin, TX en EE.UU. El Dr. Emil fue el arquitecto principal de todo el software de generación y producción de estereogramas holográficos desarrollado por la empresa para su sistema de impresión de segunda generación. Dicho trabajo incluyó la especificación de los sistemas hardware, la construcción de un cluster de 20 ordenadores con el correspondiente software de computación paralela y distribuida y la implementación de los algoritmos de producción de estereogramas sobre dicho cluster. Además, el Dr. Emil diseñó e implementó el hardware computacional y el software paralelos destinados al control del sistema opto-mecánico de impresión de los hologramas. Fruto de la colaboración anterior con Zebra Imaging han sido dos patentes en EE.UU. La primera patente versa sobre la aplicación de campos de luz uniformemente muestreados a la producción de dispositivos de visualización autoestereoscópica. La segunda patente se refiere un sistema de procesamiento de campos de luz destinado a la pre-producción y post-producción de las imágenes destinadas a la impresión de estereogramas holográficos. Esta última patente contiene, además, la descripción de un sistema de remuestreo del campo de luz crítico para la producción de estereogramas basados en el campo de luz. Finalmente, el equipo de trabajo de Zebra Imaging, al que perteneció el Dr. Emil, tiene pendiente de publicación un artículo sobre el sistema de producción e impresión de estereogramas holográficos. 22 6. HISTORIAL DEL EQUIPO SOLICITANTE EN EL TEMA PROPUESTO (En caso de Proyecto Coordinado, los apartados 6. y 6.1. deberán rellenarse para cada uno de los equipos participantes) (máximo dos páginas) EQUIPO SOLICITANTE DE LA UNIVERSIDAD DE MELMAC El historial del equipo se descompone en áreas relacionadas con el tema propuesto en este proyecto para mejorar su comprensión: visualización 3D, visión por computador, desarrollo de sistemas de seguimiento híbridos y realidad mezclada. En los siguientes apartados se resume la experiencia del equipo en cada una de estas áreas. Visualización 3D El equipo investigador que compone el subproyecto UM tiene una amplia experiencia en la investigación de técnicas de visualización 3D. El Grupo de Informática Gráfica y Multimedia (GIGM) se constituye como tal en 1993, con la incorporación a la UM del profesor Tom A Patchett y el profesor Ray Q B, ambos procedentes del Supercúmulo Hydra-Centaurus. A este núcleo se suman posteriormente el profesor Johnny H G y el profesor Josh R M. La temática fundamental de trabajo del GIG se centra en el modelado y visualización de escenarios naturales, el modelado multiresolución de superficies poligonales y los entornos de juegos por ordenador. Estos trabajos se han soportado con financiación pública continuada durante los últimos años: CICYT (TIC1666-0569-C02-02), Fundació Caixa Melmac, (P1.1B2001-09), CICYT (TIC2001-2416-C03-02), U.E (IST-02-8-1A), Fundació Caixa Melmac (P1.1B2001-09), Ministerio de Industria, Turismo y Comercio (FIT-350101-2004-15), MCYT (TIN2008-07654-C03-03), Fundació Caixa Melmac, (04I328.01/1). De estos trabajos de investigación se han derivado numerosas publicaciones en foros de prestigio, así como la defensa de trabajos de investigación y tesis doctorales. En paralelo a estas líneas principales y en colaboración estrecha con el Supercúmulo Hydra-Centaurus, durante los años 200-2001 se inician actividades de investigación en la visualización aplicada a la informática gráfica industrial, pretendiendo dar respuesta a las necesidades de visualización de grandes conjuntos de datos. Estos trabajos se materializan en el proyecto de investigación TIC2010-2469-C03, del cual se han derivado numerosos resultados de investigación. También durante el periodo 2001-2004 se inician las relaciones con la Universidad de Vigo, para realizar trabajos relacionados con el desarrollo de nuevos paradigmas de visualización, como la visualización expresiva. De estos trabajos se derivan numerosas publicaciones y la defensa de la tesis doctoral por parte del profesor Michu Meszaros. Visión por computador En la Universidad de Melmac existe un grupo de investigación en visión por computador (GVC) que cuenta con amplia experiencia, liderado por el profesor. El GVC es actualmente uno de los grupos líderes a nivel nacional en su ámbito, ampliamente reconocido tanto por la financiación pública obtenida como por la transferencia de tecnología realizada a numerosas empresas. En los últimos años, y fundamentalmente a raíz del inicio de los trabajos en extracción de características singulares de una imagen (TIC2010-2469-C03), la colaboración entre el GIG y el GVC se ha fortalecido notablemente. El profesor Aldous Huxley, el profesor Middleton Murray y el investigador D. H. Lawrence han dado soporte a distintos problemas relacionados con la adquisición y procesamiento de imágenes digitales. La integración en el equipo solicitante del profesor Middleton Murray y el investigador D. H. Lawrence completa la experiencia del equipo en aquellos temas más implicados con la visión por computador (fundamentalmente los vinculados al paquete de tareas P2) y refuerza los vínculos de colaboración iniciados entre ambos grupos. Sistemas de seguimiento híbridos Los trabajos relacionados con el diseño de sistemas de seguimiento híbridos para aplicaciones en exterior comienzan vinculados al desarrollo del proyecto de investigación TIC2010-2469-C03-02. En el desarrollo del proyecto se integra como becaria contratada con cargo al proyecto al profesor Manfred R Rojas y como becaria FPU a la 23 investigadora Edith P H. El profesor Rojas ha realizado trabajos de investigación en sistemas de seguimiento basados en marcas y en la extracción de características singulares en la imagen que permitan realizar un seguimiento visual de las mismas. Como resultado de estas investigaciones, se han defendido 12 créditos de trabajos de investigación, se han generado publicaciones en congresos nacionales e internacionales y se ha fijado la fecha de defensa de su tesis doctoral para octubre de 2005. Por su parte, la investigadora Edith P H ha realizado trabajos de investigación en el ámbito de los sistemas basados en sensores inerciales. En esta línea, su formación se ha completado con una estancia de investigación en el Instituto de medidas eléctricas y procesamiento de señales, en la Universidad Técnica de Graz (TUG), bajo la dirección del profesor Axel Pinz, realizada en el período comprendido entre mayo y agosto de 2004. El grupo de la TUG ha desarrollado uno de los primeros prototipos de sistema de realidad aumentada móvil realmente operativo, y la experiencia ha resultado enriquecedora para ambas partes. Como resultado de estos trabajos, se han generado publicaciones y se ha invitado a la investigadora Edith P H a realizar una nueva estancia en la TUG para este año. Por último, es importante destacar que recientemente se ha incorporado al equipo de trabajo el profesor Hebert P Roses, de la Universidad de Oriente en Santiago de Cuba. El profesor Roses aporta conocimiento en los aspectos más matemáticos del problema, y actualmente está dando soporte a los trabajos relacionados con el seguimiento visual de características singulares extraídas de una imagen real. Se ha confirmado la realización de una estancia de investigación en la UM por parte del profesor Roses para el período comprendido entre mayo y julio de 2005. Realidad Mezclada Los primeros trabajos realizados en el equipo de investigación en temas vinculados con los Entornos Virtuales se remontan al año 2000. En este año se obtiene financiación local (Fundació Caixa Melmac -P1.1B2000-21) para desarrollar mundos virtuales multiusuario en Internet, y se desarrolla un modelo virtual de la Universidad de Melmac como interfaz de entrada a distintos servicios web. Posteriormente, los sistemas de realidad virtual y aumentada (realidad mezclada) se aplican a la monitorización de procesos industriales (TIC2008-04669-C03) y como interfaz en juegos por ordenador (IST-02-8-1A). Al amparo de estos proyectos, y como sustento de distintas tesis doctorales y trabajos de investigación se plantea la necesidad de incorporar al grupo personal investigador que cubra temáticas afines al problema. Al núcleo formado por personal del GIGM se une la investigadora Edith P H, con formación de Ingeniería Eléctrica y conocimientos de tercer ciclo sobre sensores avanzados y comunicación en entornos industriales. La investigadora Edith P H se encarga de los aspectos del problema más relacionados con el hardware. Posteriormente, y debido a la contratación como becaria del profesor Manfred R Rojas, se incorpora también el equipo el profesor Hebert P Roses. El profesor Roses tiene formación de Licenciatura en Computación, y grado de Doctor en Ciencias Matemáticas, y su colaboración ha resultado fundamental en la resolución de algunos problemas con características claramente matemáticas (como el seguimiento visual de cadenas). Por último, la necesidad de aplicar técnicas habituales de visión por computador, unido a la colaboración iniciada entre GIGM y GVC recomendaba la integración de personal del GVC en el equipo. El trabajo realizado en Realidad Aumentada al amparo del proyecto TIC2008-04669-C03 ha permitido la consolidación del equipo y el desarrollo de un prototipo de sistema de seguimiento híbrido. Los trabajos de investigación realizados en esta línea han sido coordinados por la profesora Mónica Rubio y supervisados por el profesor Ray Q B. Se han generado publicaciones y la defensa de la tesis doctoral del profesor Rojas(fijada para octubre de 2005). Es importante destacar que este proyecto daría continuidad a las investigaciones iniciadas, y favorecería la consolidación de un Grupo de Realidad Mezclada en la Universidad de Oriente, con el soporte del GIGM y el GVC de la Universidad de Melmac. Esta colaboración está plasmada en el convenio de colaboración firmado entre ambas universidades. 24 6. HISTORIAL DEL EQUIPO SOLICITANTE EN EL TEMA PROPUESTO (En caso de Proyecto Coordinado, los apartados 6. y 6.1. deberán rellenarse para cada uno de los equipos participantes) (máximo dos páginas) EQUIPO SOLICITANTE DE LA UNIVERSIDAD DE VIGO Visualización 3D En esta área el equipo solicitante dispone de varios años de experiencia y colaboración con las Universidad de Melmac y el Supercúmulo Hydra-Centaurus, lo que ha permitido desarrollar numerosos trabajos en temas específicos de visualización. En este sentido, se ha profundizado en sistemas de visualización expresiva como alternativa a la visualización convencional, y estos trabajos han dado como fruto una tesis doctoral en visualización expresiva de especies vegetales. Dentro de este marco de colaboración también se han desarrollado aportaciones en visualización interactiva y modelos multiresolución específicos para visualización expresiva. Los resultados de estos trabajos han sido presentados en congresos de prestigio nacional e internacional como Eurographics, SIACG y CEIG. En la actualidad se están desarrollando modelos de visualización expresiva de agua, fuego, humo y otros elementos naturales. Interfaces de usuario En esta área el equipo solicitante tiene una trayectoria de investigación iniciada con la tesis doctoral del investigador principal, a partir de la cual se dirigen dos tesis doctorales en la actualidad. Dentro de esta línea de investigación se han desarrollado sistemas de especificación de representación de la visualización e interacción con el usuario tanto para entornos en dos dimensiones (DGAUI) como en tres dimensiones (AGML3D). La investigación en entornos 3D se ha desarrollado en el marco del proyecto (MCYT TIC200804669-C03-02) y dentro del proyecto (IDM403122F64102) financiado por Agentes Locales. Se han desarrollado a partir de estas investigaciones trabajos acerca de la evaluación estética de las interfaces y la inaccesibilidad de interacción por oclusión de elementos de visualización. Dentro del desarrollo de sistemas de interacción, el grupo tiene en trámite una patente nacional (ES20020000869 20020412) para la interacción de usuarios con discapacidades visuales con sistemas gráficos. Holografía La aportación del grupo en este campo viene dada por la experiencia del Dr. Wright en temas de cómputo y de la visualización así como su formación en física. Ha colaborado recientemente con el grupo de óptica aplicada en la universidad de Vigo en dos proyectos: (1) Obtención de condensados de luz liquida vía interferencia cuántica coherente (FIS2004-02433) del Ministerio de Educación y Ciencia (MEC), y (2) Xeración de transparencia inducida electromagnéticamente para a obtención de condensado de luz líquida. (PGIDIT04TIC383551PR) de la Xunta de Galicia. Los resultados de este trabajo se han publicado recientemente en la prestigiosa revista Physical Review E, May 2004; 69(5) 56601-1-6. En esta colaboración, el Dr. Wright ha coordinado el desarrollo de los algoritmos de cómputo eficiente para la solución de una ecuación no lineal de 3 dimensiones de Shcrodinger en un cluster de PC basado en MPI. Junto con este trabajo, el Dr. Wright está actualmente desarrollando herramientas de software para la visualización de grandes volúmenes de datos producidos por las simulaciones numéricas. Este trabajo está directamente relacionado con el proyecto actual porque utiliza técnicas del multiresolución para tratar mallas numéricas más grandes y más finas, mientras proporciona interacción completa al usuario. En otros trabajos relacionados con este presente proyecto, y con el laboratorio de Óptica aplicada, Dr. Wright ha contribuido es 25 estudios relacionados con la interferometría speckle (speckle interferometry) y la producción de imágenes holográficas con láser. La speckle interferometry es uno de los métodos más comunes para la medida sin contacto de la deformación y el análisis vibratorio de materiales. El Dr. Wright desarrolló un prototipo software para mejorar la sensibilidad de las medidas de las técnicas actuales. Usando un láser de baja intensidad, hemos medido experimentalmente los modos vibratorios de varios instrumentos musicales. El software está basado en técnicas estadísticas para reducir el nivel de ruidos entre imágenes y obtener medidas de mayor precisión. Relacionado con este trabajo, una tecnología bien muy conocida relacionada con la interferometría del punto, es la proyección de imágenes holográficas. Hemos producido hologramas basados en cristal usando varias técnicas. De las múltiples formas de producir un holograma, el holograma por reflexión directa de rayo es el más directo y era nuestro primer método para producir hologramas. Para los hologramas de transmisión con un láser helium-neon, el holograma de transmisión por reflexión directa de rayo o el holograma de transmisión por espejo puede producir geometrías simples. El objetivo ha sido mejorar estas técnicas con un sistema del control y análisis de imágenes software. 26 6.1 FINANCIACIÓN PÚBLICA Y PRIVADA (PROYECTOS Y CONTRATOS DE I+D) DE LOS MIEMBROS DEL EQUIPO INVESTIGADOR Debe indicarse únicamente lo financiado en los últimos cinco años (2000-2004), ya sea de ámbito autonómico, nacional o internacional. Deben incluirse las solicitudes pendientes de resolución. 27 7. CAPACIDAD FORMATIVA DEL PROYECTO Y DEL EQUIPO SOLICITANTE (En caso de Proyecto Coordinado deberá rellenarse para cada uno de los equipos participantes) 28
