ILUMINACIÓN BASADA EN LA IMAGEN ILUMINACIÓN BASADA EN LA IMAGEN Objetivo: Simular la Iluminación de un escenario real, para renderizar objetos CGI 1-INTRODUCCIÓN 1.1 Iluminación Clásica 1.2 Iluminación Basada en la Imagen 1.3 Procesos 2-CAPTURANDO LA LUZ 2.1 Fotografía Omnidireccional 2.2 Problema: luces muy brillantes 3-MAPEADO IMÁGENES OMNI. 3.1 Esfera Ideal 3.2 Mapa Angular 3.3 Latitud – Longitud 3.4 Mapa Cúbico 4-RENDER DE ILUMINACIÓN GLOBAL 4.1 Introducción 4.2 Sampleado eficiente 4.3 Constelación de luces 4.4 Emisión por importancia 4.5 Sombras e interacciones 5-SIGRAPH 98 RNL 5.1 Vídeo 5.2 Cómo se hizo Responde a la necesidad de: Integrar objetos CGI en una escena de imagen real sin que se aprecien diferencias de iluminación entre los objetos reales y los CGI 6-IBL EN TIEMPO REAL 6.1 Mapeo de Entorno 6.2 Ambiento-Oclusión 7-IBL EN OBJETOS REALES 8-HAGALOUSTEDMISMO Método de ataque del problema: Capturar las propiedades de iluminación de la escena real, e iluminar con estas propiedades los objetos CGI Javier Marco y Diego Gutiérrez JAVIER MARCO RUBIO Técnicas Avanzadas de Informática gráfica Programa de Doctorado Informática y Sistemas 2006 ILUMINACIÓN BASADA EN LA IMAGEN ILUMINACIÓN BASADA EN LA IMAGEN 1- INTRODUCCIÓN Forma clásica de iluminar: Distribuyendo en el escenario virtual 3D emisores de luz que imiten las fuentes de luz de la escena real Todos los objetos de la escena real también “difunden” luz (rebotan), aportando iluminación a los objetos CGI. ¿cómo simulamos con luces estándar estos rebotes?, ¿serían fieles? ¿cómo simulamos la luz aportada por el cielo en la escenas exteriores? Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 1- INTRODUCCIÓN Iluminación basada en la Imagen Iluminación ambiental: La luz que llega a un objeto, es el resultado las aportaciones de luz de las fuentes y de todos y cada uno de los demás objetos de la escena, desde el más grande, al más pequeño (el polvo es un difusor de luz) Como sustituto de la escena, usaremos una imagen (HDRI), que mapearemos sobre una esfera o cubo, en cuyo interior colocaremos los objetos CGI. La imagen HDRI es una captura de luz que llega al mismo punto de la escena real en el que queremos colocar los objetos CGI Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 1- INTRODUCCIÓN Iluminación basada en la Imagen Los objetos CGI se renderizan tomando como fuente de iluminación, los valores RGB de los píxeles de la imagen HDRI mapeada en la bóveda de la escena (superficie emisiva). Izquierda: Escena GCI iluminada con luces puntuales clásicas. Abajo: dos imágenes con render de iluminación global mediante dos imágenes HDRI distintas, simulan iluminación exterior en dos momentos distintos del día Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 1- INTRODUCCIÓN IBL – Procesos La técnica de Iluminación basada en la Imagen consta de dos procesos independientes: 1-Fotografía Omnidireccional: El proceso de captura de la luz que llega a un punto de la escena real desde TODAS las direcciones. (Light Probe Image, o imagen mapa de entorno HDRI) 2-Render de Iluminación Global: renderizar los objetos CGI, simulando cómo viaja la luz desde la bóveda con la imagen HDRI, y sus interacciones con los objetos CGI Paul Debevec: The Campanile Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional Una fotografía es la captura de la luz en un punto determinado, y de un ángulo visual limitado. Necesitamos capturar la luz que llega desde todas las direcciones. Además, una imagen de cámara digital, no puede representar todos lo valores de iluminación que llegan al CCD de la cámara. La luz directa del sol es miles de veces mayor que la que llega de una zona en sombra. En la foto se produce “recorte” en los valores de iluminación. Necesitamos poder representar exactamente todos los valores de iluminación sin recortes. HDRI: Imagen de alto rango, los valores RGB son valores numéricos de alta precisión para representar todos los valores de luz. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Fotografiar una bola espejo En una foto de una esfera espejo perfecta se ven todo el entorno que rodea a la esfera. Se toman varias fotos con apertura de diafragma fijo, variando en cada foto el tiempo de exposición, consiguiendo una serie de fotos con diversas exposiciones de luz de la misma esfera. Con la serie de fotos, se construye una imagen HDRI que representa fielmente las propiedades de luz de la escena Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Fotografiar una bola espejo Ventajas: Fácil, rápido y barato Desventajas: Problema de foco: la cámara ha de estar lejos de la esfera, para no verse demasiado en el reflejo. Se usan altos valores de distancia focal. Problemas de enfoque y e profundidad de campo Puntos ciegos: la cámara se ve reflejada. Bajo la esfera (la base que sustenta la esfera. La parte de entorno apuesta al lado de la cámara, se refleja en la esfera en un área muy estrecha (el borde) (se puede solucionar con dos fotos tomadas a 90º Calibración de la esfera: La esfera no refleja la luz al 100%. Se puede calibrar midiendo en una foto la luz de una superficie, y la luz de esa misma superficie refleja en la esfera. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Fotografiar una bola espejo Desventajas (II): Defectos de superficie de la esfera deforman su reflectividad Reflexión polarizada: Por efecto Fresnel, los bordes de la esfera reflejan la luz polarizada. Si la fuente de luz es tiene polarización (como la del cielo), puede fotografiarse más luminosa o más oscura que la original Resolución la imagen: No es buen método si se desean imágenes HDRI de mucha resolución. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Composición de fotografías Reconstrucción del entorno omnidireccional a partir de “pegar” varias fotografías (panoramas Quicktime VR) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Composición de fotografías Ventajas: a partir de imágenes de alta resolución se consigue un HDRI de muy alta resolución Desventajas: Hay que capturar la parte superior e inferior del entorno. Hay que usar trípodes de rotación especiales para la cámara para evitar efectos de paralaje. Hay que montar un panorama para cada serie de fotos con el mismo tiempo de exposición, pero las fotos deben “pegarse” exactamente igual en cada panorama. (programas como Realviz Stitcher los permiten) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Lentes de ojo de pez Algunas permiten 180º de entorno con una sola foto. Con 2 imágenes tenemos todo el entorno. Ventajas: se pueden tener imágenes de alta resolución Desventajas: Vignetting: disminición de la intensidad radial. La zona central de la imagen es mas luminosa que en los bordes (hasta un 50% de diferencia). Se puede calibrar y retocar la foto en postproducción. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Lentes de ojo de pez Javier Marco y Diego Gutiérrez Paul Debevec, realizando una fotografía ojo de pez para la animación Capanile ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Cámaras de Recorrido Panorámico Camaras panorámicas con sensores CCD muy estrechos en anchura, y muy altos. Mediante una lente ojo de pez, se capturan 180º verticales. Un motor de precisión, gira el CCD 360 grados capturando todo el entorno Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Fotografía omnidireccional : Cámaras de Recorrido Panorámico Ventajas: Imágenes de mucha resolución. Sensores CCD de pocos pixeles, pero de muy alto rendimiento Mediante varias vueltas, se pueden capturar la variación de tiempos de exposición, devolviendo directamente la imagen HDRI Desventajas: Tiempo necesario para el proceso de toma fotográfica (más de un minuto por vuelta) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Problema: Entornos con fuentes de luz muy brillantes En general, con tiempos de exposición muy pequeños (1/4000 seg.), y diafragmas muy cerrados, se pueden capturar todas la propiedades de luz sin problemas de saturación, en iluminaciones interiores con fuentes de luz puntuales. Las fuentes de luz interiores pueden ser viarios cientos de veces más potentes que la reflectividad de los materiales, pero solo representa el 1% de la escena. Javier Marco y Diego Gutiérrez En exteriores, la luz del sol es mucho más potente y concentrada ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Problema: Entornos con fuentes de luz muy brillantes 1ª Aproximación al problema: Utilización de filtros de densidad neutra En la toma de secuencias de imágenes, no solo variar el tiempo de exposición, si no también la apertura de diafragma. (cámara controlada por ordenador para realizar estas variaciones) Problemas: Diferentes efectos de Vinetting con diferentes aperturas de diafragma La variación de tiempo de exposición conlleva una variación geométrica en la exposición de la foro, pero la variación de la apertura produce variaciones de exposición mas inesperadas. Hay que calibrar Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Problema: Entornos con fuentes de luz muy brillantes 2ª aproximación al problema: Calcular la intensidad de la luz por otro método ( esfera difusa) Aceptamos que la imagen HDRI no nos aporta información de la luz directa del sol. Usamos esfera espejo que capture fielmente la luz del cielo y las nubes. Usamos esfera difusa gris con reflectividad conocida fotografiada en la misma iluminación. Resultado: dos imágenes HDRI corregidas según reflectividades Esfera espejo reflectancia Javier Marco y Diego Gutiérrez 100% (Pclipped) Esfera difusa reflectancia 100 (blanco perfecto) (Dreal) ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Problema: Entornos con fuentes de luz muy brillantes 2ª Aproximación al problema (II) Se renderiza una esfera CGI blanca total usando el HDRI de la esfera metálica (Pclipped). El resultado tiene carencia de luz solar (DClipped) Si restamos Dreal menos Dclipped, conocemos la luz del sol que nos perdemos Con esta información podemos crear en la escena CGI una fuentes de luz en la misma dirección e intensidad radiante, que el sol de la escena real, aportando la luz que no aporta el HDRI Pclipped. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 2- CAPTURANDO LA LUZ Problema: Entornos con fuentes de luz muy brillantes 2ª Aproximación al problema (III) Podemos comprobar la fiabilidad del metodo comparando el HRDI de la esfera difusa real Dreal, con el nuevo render usando este método La diferencia debe ser casi negra Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES La información fotográfica se almacena en una imagen 2D, para luego ser “mapeada” en el entorno 3D donde se renderizarán los objetos 3D. Es necesario tener método adecuados de almacenar las imágenes, y la formula que nos pase: (u,v) -> D=(Dx,Dy,Dz) (píxeles de la imagen HDRI a el espacio 3D de la escena) Métodos: 1-Esfera ideal 2-Mapa Angular 3-Latitud-longitud 4-Mapa Cúbico Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.1 – Esfera ideal La imagen HDRI cuadrada contiene la información en un circulo en el dominio u [0,1] , v [0,1]. Dado un punto de la escena 3D (Dx,Dy,Dz), sacamos el píxel del HDRI que le corresponde por la formula: Corresponde a los HDRI elaborados de fotos ortogonales a esferas espejo, y se mapea sobre esfera 3D (la imagen HDRI se refleja horizontalmente, ya que proviene del reflejo de espejo) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.1 – Esfera ideal Este método tiene la propiedad de igualdad de áreas: áreas iguales de la imagen, se mapean en áreas iguales del espacio 3D. Sirve para calcular iluminaciones medias de la imagen HDRI Sin embargo, la parte trasera de la escena, queda muy deformada en la imagen HDRI(bordes de la esfera), siendo poco apta para usar como imagen de fondo en la escena CGI Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.2 – Mapa Angular Igualmente el HDRI cuadrado almacena la información en un circulo u [0,1] , v [0,1] Aspecto similar al de esfera perfecta, pero mapea en más área la parte trasera del entorno real, no deformando tanto esta área, siendo buena en fondos de escenario virtual. Comercialmente es muy usada Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.3 – Mapeo Latitud - Longitud La imagen se almacena en dominio rectangular: u [0,2] , v [0,1] Es el tipo de mapeado de habitual en cartografía. La zona central tiene buena resolución, y se va perdiendo hacia arriba y abajo. Permite rotal el escenario en el eje Y, rotando así el ambiente de iluminación, simplemente trasladando la imagen en horizontal Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.4 – Mapeo Cúbico Mapeo rectangular de la forma u [0,3], v [0,4]. En este caso tenemos seis formulas de mapeo diferentes para las 6 caras del cubo 3D sobre el que se mapeará: Es la proyección equivalente a desplegar un cubo en 2D. Las esquinas del cubo almacenan más área de la imagen que los centros de las caras, aunque esta deformación es más limitada que en los métodos de mapa angular y latitud-longitud Aunque se requieren seis formulas para el calculo del mapeo, son operaciones de menor complejidad computacional. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 3- MAPEO DE IMÁGENES OMNIDIRECCIONALES 3.4 – Mapeo Cúbico Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL Introducción Es el segundo punto de la iluminación basada en la imagen. Una vez capturada la luz en la HDRI, renderizaremos la CGI con esta información Render Basado en Raytracing: para cada píxel de la imagen a renderizar, determinamos la luz RGB que le llega lanzando un rayo desde la cámara C hasta que choca con una superficie de la escena en un punto P. Se calcula la luz de P como una función de sus propiedades de reflectancia y la luz incidente en P. Como la escena CGI esta inmersa en una bóveda sobre la que se mapea el HDRI, los rayos siempre chocan con una superficie 3D Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL Introducción Casos: El rayo R choca con la superficie con en entorno HDRI. El píxel a calcular tendrá los mismo valores RGB que el píxel HDRI con el que ha chocado el rayo. El rayo R choca en P con una superficie de los objetos CGI con propiedad especular (espejo). Se refleja un rayo según vector normal de la superficie, R’. Si, R’ choca con la superficie emisiva (entorno HDRI), el valor de luz L’ en ese punto de la superficie HDRI, será la luz que incide en P (objeto CGI). Si R’ choca con otra superficie especular, se rebotan rayos de forma recursiva (se limitan el numero de rebotes). Con L’, y las propiedades especulares de la superficie del objeto incidente, se calcula luz que rebota en el objeto CGI, y que llega Javier Marco y DiegolaGutiérrez por tanto a pantalla ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL Introducción Casos: El rayo R choca en P con una superficie difusa. En teoría, habría que emitir rayos de rebote en TODAS las direcciones. El total de luz indecente se denomina su IRRANDIANCIA E. La contribución de cada rayo R’ (que llega a la superficie aportando luz), es sopesada con el coseno del ángulo de incidencia de la luz . Todas las contribuciones de luz se integran sopesadamente: Por motivos computacionales, un numero limitado K de rayos serán los lanzados desde P, y por tanto, la Irradiancia en ese punto será: Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.2 Sampleando la incidencia de luz eficientemente Problemas de exactitud: A mayor K (numero de rayos lanzados aleatoriamente desde P), mas exacta la iluminación de la escena CGI. Esta exactitud es función de la varianza de la iluminación de la imagen de entorno HDRI. Por ejemplo, un HDRI de entorno, muy oscuro salvo una fuente de luz muy puntual y potente, precisará un alto K, para que alguno de los rayos lanzados llegue “por casualidad” a algún píxel del HDRI de alto valor emisivo de luz, y contribuya al valor de luz en el punto P. Y aunque así fuera, si un punto vecino de la superficie no tiene esa superficie, se calculará la luz en ese punto mucho más oscura que la del anterior. Se produce en estos casos imágenes “punteadas”: Paul Debevec: The Parthenon Javier Marco y Diego Gutiérrez Los puntos luminosos corresponde con píxeles de la imagen en los que algún rayo lanzado ha llegado a coincidir con la zona de Sol del HDRI, dando aporte de iluminación. Mientras el resto de puntos no han tenido de rayo incidente en el sol, por tanto su iluminación corresponde solo al cielo. ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.2 Sampleando la incidencia de luz eficientemente Aproximaciones para evitar los problemas planteados (sin aumentar K a un valor prohibitivo) 1-Identificar previamente las fuentes de luz: Paul Debevec: Fiat Flux. HDRI panorámico, y la correspondiente identificación de fuentes de luz Si conocemos las posiciones de las fuentes de luz, lanzaremos los rayos rebote desde las superficies de incidencia, directamente hacia las fuentes de luz. Pero no podemos olvidarnos de las aportaciones de las zonas más oscuras. Característica general de las imágenes de entorno HDRI: grandes áreas de baja intensidad luz, yy Diego Gutiérrez Javier de Marco pequeñas áreas con mucha intensidad de luz. ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.2 Sampleando la incidencia de luz eficientemente Aproximación: Identificar las fuentes de luz en la imagen de entorno HDRI y SUSTITUIRLAS por fuentes de luz clásicas en la escena 3D. Render con solo la luz Sol Render con Iluminación Global (luz del cielo y nubes) De esta forma, por render de iluminación global se renderizan los objetos CGI, a lo que se sumará la aportación de luz de las fuentes clásicas de luz. Resultado conjunto Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.2 Sampleando la incidencia de luz eficientemente Paul Debevec: The Parthenon Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.2 Sampleando la incidencia de luz eficientemente Paul Debevec: The Parthenon Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.3 Convirtiendo la imagen HDRI en una constelación de luces A partir de la aproximación anterior, podemos tomar la postura radical de sustituir todo el HDRI, por un conjunto de fuentes de luz clásica, con intensidades tales, que iluminen igual que lo haría render de iluminación global, pero con menor coste computacional. Aproximación: se divide la superficie HDRI en regiones de aportación de luz semejante. Por cada región se crea una fuente de luz (luz de área para las regiones grandes, luz puntual para las pequeñas), que emite energía lumínica equivalente a la de la región HDRI, y se coloca en su misma posición. A partir del HDRI de una cocina, se obtienen constelaciones de luces clásicas, con más o menos detalle Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.3 Convirtiendo la imagen HDRI en una constelación de luces La eficiencia del método depende mucho del algoritmo utilizado para la separación del HDRI -algoritmo de división por mediana -algoritmo de kolling-Keller -algoritmo de Ostromoukhov et al. (teselesación de Penrose) Teselesación de Penrose División por mediana Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.4 Emisión de rayos por importancia En el algoritmo clásico de render de iluminación global, se emiten rayos de rebote en direcciones aleatorias. Creemos una función de probabilidad, en la que la direcciones de rebote más probables, sean aquella que llevan a fuentes de luz. Aproximación computacional: Se crean funciones de distribución acumulativa de luz de la imagen de entorno HDRI: Ejemplo 1D: Javier Marco y Diego Gutiérrez 4 rayos aleatorios se lanzan (eje vertical), hasta coincidir con la grafica de la distribución acumulativa. Donde se ve que tres de los cuatro rayos, coindicen con posiciones de emisores de luz. ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.5 Sombras e interacciones de luz de los CGI sobre en entorno virtual de imagen real Hasta ahora: Cómo aporta luz en entorno virtual, sobre los objetos CGI Falta: Como los CGI, modifican la luz sobre en entorno virtual (sombras y rebotes de luz) En general interesa resolver las sombras sobre el suelo. A no ser que los CGI estén muy cerca de otros objetos o paredes, no aportarán ninguna interacción mas. Paul Debevec: Fiat LuxJavier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 4- RENDER DE ILUMINACIÓN GLOBAL 4.5 Sombras e interacciones de luz de los CGI sobre en entorno virtual de imagen real 1-Construimos un suelo 3D blanco perfecto que coincida con el suelo del entorno real, y lo renderizamos con la iluminación real. 2-El resultado se divide por la imagen HDRI del entorno. Dando la imagen de reflectancia del suelo. 3-se mapea esta imagen sobre el suelo 3D y se renderiza la escena con los objetos CGI (que no proyectarán sombra sobre el suelo) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 5-RENDERING WITH NATURAL LIGHT Presentación de la Iluminación basada en la imagen en Sigraph 98 Paul Debevec: RNL Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 5-RENDERING WITH NATURAL LIGHT 5.1 Cómo se hizo: 1-Adquisición del entorno HDRI con bola metalizada, y secuencia de fotos variando tiempo de exposición. Se tomaron en dos puntos de vista de 90º 2-Modelado del CGI: primitivas de esferas. Material: cristal, metal y plástico 3-mapeado del HDRI sobre una superficie cúbica que rodea al CGI, y se Establece su superficie como emisiva. Marco y Diego Gutiérrez 4-animación de cámara y render de Javier la escena ILUMINACIÓN BASADA EN LA IMAGEN 5-RENDERING WITH NATURAL LIGHT 5.1 Cómo se hizo: Postproducción de los frames render: El resultado del render también son imágenes HDRI. Han de ser convertidos para mostrar en pantalla. 1ª aproximación: recortar valores por encima y debajo de un determinado valor. Da resultados poco realistas: 2ª Operadores de desenfoque que nos aportan efectos similares a los efectos ópticos de las cámaras (Blooming) Valores iluminación Tras aplicar desenfoque. (Efecto Bloom) Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 5-RENDERING WITH NATURAL LIGHT 5.1 Cómo se hizo: Postproducción de los frames render: Vigneting: Oscurecer la imagen en los bordes añade naturalidad a la imagen: Máscara de vignetting Fotograma bruto Fotograma con mascara aplicada Aparecen detalles en las ramas del fondo no apreciables en el fotograma original. Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 6- Iluminación Basada en la Imagen en tiempo Real 6.1 Mapeo de entorno: La imagen omnidireccional se mapea directamente sobre la superficie del objeto a iluminar. Análogamente a un objeto espejo perfecto, al que se le mapea el entorno directamente para simular lo que reflejan, los objetos de superficie difusa reflejan también el entorno (pasado por filtros de convolución de desenfoque). Material especular Material difuso Pero mediante esta técnica no se tienen en cuenta interacciones entre objetos CGI, y sombras Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 6- Iluminación Basada en la Imagen en tiempo Real 6.2-Ambient oclusion Tomando la suposición de una imagen de entorno poco compleja Se calcula en render de iluminación global, con un solo rayo de rebote. Esta técnica se usa en conjunción con la técnica anterior (que es la que da la aportación de color en las superficies de los objetos) Primer paso: Se usa este algoritmo simple de iluminación basada en la imagen con un entorno de iluminación homogéneamente blanco y las superficies de los objetos difusas neutrales. El resultado es un “mapa de oclusión” Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 6- Iluminación Basada en la Imagen en tiempo Real El mapa de oclusión se multiplica por una imagen con los colores de superficie difusa reales de los objetos CGI: Imagen con objetos mapeados con entorno difuso Resultado del producto Demo Ejecutable para ATI9700 Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 7- Iluminación Basada en la Imagen en Objetos reales ¿Podemos razonar a la inversa? Colocar objetos o personal reales en un entorno CGI sintetico, e iluminar el objeto o personal real con la misma iluminación que la iluminación CGI. Propiedad: Una foto del objeto con una fuente de luz, mas otra foto del objeto con otra fuente de luz, es una foto del objeto como si le iluminasen las dos luces. Podemos además variar la iluminación de una foto, cómo si variase la intensidad y color de la luz con la que se tomó, consiguiendo cualquier variación de iluminación: = + Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 7- Iluminación Basada en la Imagen en Objetos reales Si realizamos una colección de fotos, con fuente de luz en todas la posiciones posibles: Javier Marco y Diego Gutiérrez ILUMINACIÓN BASADA EN LA IMAGEN 8- Hagalo usted mismo: Realviz Stitcher: http://stitcher.realviz.com/products/ST/index.php Elaboración de panoramas a partir de varias fotografías HDRShop: http://gl.ict.usc.edu/HDRShop/ Software para la elaboración de mapas HDRI Posee además pluggins para conversión de imágenes HDRI en constelaciones de luces, compatible con los más importantes programas 3D del mercado. Dosch Design: http://www.dosch3d.com/products/hdri/?PHPSESSID=48abd487106f2b24c667813aed550940 Posee una extensa colección de mapas HDRI a la venta Javier Marco y Diego Gutiérrez