Taubin Gabriel | Brown University Una imagen vale más que mil

Una Imagen Vale Más Que Mil Palabras Computación Visual: Toma de Decisiones y Análisis de Big Data por Medio de Imágenes Gabriel Taubin Brown University Bytes [h)p://whatsabyte.com] • 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
1 Bit = Binary Digit 8 Bits = 1 Byte 1000 Bytes = 1 Kilobyte 1000 Kilobytes = 1 Megabyte 1000 Megabytes = 1 Gigabyte 1000 Gigabytes = 1 Terabyte 1000 Terabytes = 1 Petabyte 1000 Petabytes = 1 Exabyte 1000 Exabytes = 1 Ze)abyte 1000 Ze)abytes = 1 Yo)abyte 1000 Yo)abytes = 1 Brontobyte 1000 Brontobytes = 1 Geopbyte • 
• 
• 
• 
• 
• 
IBM 360 = 64KB IBM XT = 640KB Laptop Server Supercomputer El Mundo Cuan Grande es un Yo)abyte ? •  1 Terabyte = 1000 copias de la Enciclopedia Británica •  10 Terabytes = toda la colección impresa de la Biblioteca del Congreso de USA •  1 Petabyte = 1000 Terabytes = 20 millones de archivos de 4 cajones llenos de texto •  5 Exabytes = 5000 Petabytes = todas las palabras habladas por la humanidad desde su principio •  1 Yo)abyte = 1000000 Exabytes = la totalidad de Internet •  Se necesitarían aproximadamente 11,000,000,000,000 años para descargar un archivo de 1 Yo)abyte Y un Exabyte ? •  Cuantos arboles hacen falta para imprimir 1 Exabyte? •  1 Exabyte = 500.000.000.000.000 paginas •  1 arbol = 94.200 paginas •  1 Exabyte = 530.785.562.327 arboles •  En 2005 habian solamente 400.246.300.201 arboles en la Tierra •  Usando todos los arboles de la Tierra solo podriamos imprimir ¾ Exabyte Visualización de Datos (Data Visualizaeon) Rama interdisciplinaria de las ciencias de la informacion, cuyo propósito es producir representaciones graficas de conjuntos de datos complejos y muledimensionales, para entender, descubrir, ilustrar estructuras y relaciones existentes en los datos, extraer conocimiento, y tomar decisiones. Las representaciones gráficas en 2D, 3D y 4D son parecularmente importantes. (Data) Visualizaeon “The use of computer-­‐supported, interaceve, visual representaeons of (abstract) data to amplify cognieon” VolVis InfoVis FlowVis VisAnalytics
Semanecs Driven Illustraeve Rendering 14 Visualización es parte de Computación Visual Visualizaeon Pipeline Data Acquisieon Data Enhancement Visualizaeon Mapping Rendering Quanetaeve Analysis ScienGfic CompuGng Visual CompuGng •  Computación Visual es adquisición, representación, procesamiento, análisis, síntesis, y uso de informaeon visual. Computación Visual es –  Computer Graphics graphical user interfaces, animaeons ... –  Computer Vision / Pa)ern Recognieon modeling human vision… –  VisualizaGon displaying volume and high-­‐dimensional data… –  Interaceve Visual Analysis preseneng muledimensional data for analysis… –  Visual Sensors recording methods for obtaining visual informaeon –  Modeling digital models from data/images –  Rendering real-­‐eme visualizaeon, illuminaeon simulaeon, visibility… –  Virtual/Augmented Reality combining real and virtual environments –  Human-­‐Computer-­‐Interaceon the interface between users and computers Computación Visual en Las Ciencias e c
n
ie
c
s
o
r
u
e
N
l a
n
o
Computae
Computaeonal Chemistry Computaeonal Engineer
ing cs i
s
n
e
r
o
F
,
s
y
c
i
g
lo
an
h
o
c
n
e
i
M
m
i
l
r
a
C
n
o
l
e
a
a
n
t
Compu
Computaeo
s ic
m
a
n
y
D
id
lu
F
l a
Computaeon
Computaeo
y
g
o
l
o
e
nal Percepe
h
c
on Computaeonasl Ar
al
i
r
e
t
a
M
l
na
o
e
y
a
t
g
u
p
o
l
m
o
Co
b
i
r
T
l
a
n
o
Computaeonal Finance tae
u
p
Com
y
Computaeonal Geometr
g
lo
io
B
l a
n
o
e
a
t
u
p
m
y Co
s
c
e
s
e
a
t
S
l a
n
o
e
a
t
Com puCtaoemopnual Semanecs Computaeonal Epigeneecs
Visualización de Big Data •  Fuentes: Mediciones, Sensores, y Simulacion •  La canedad y la complejidad de la información producida en la ciencia, la ingeniería, los negocios y la acevidad humana coediana está aumentando a un ritmo asombroso. •  Grandes volúmenes de datos son creados conenuamente a parer de fuentes tales como teléfonos, sensores, registros de acevidad en la red, transacciones financieras, registros detallados de llamadas, y redes sociales. •  Las herramientas, métodos y técnicas de visualización interaceva de datos, ayudan a comprender la estructura de los conjuntos de datos complejos, mejoran la comunicación y ayudan en la toma de decisiones. •  Organizaciones de todo epo están encontrando nuevas maneras de profundizar las relaciones con clientes, de prevenir amenazas y fraude, de opemizar sus operaciones, y de ideneficar nuevas oportunidades de ingresos. Informacion Geoespacial Información Geoespacial G-­‐8 Internaeonal Conference on Open Data for Agriculture Informacion Geoespacial •  Durante la úlema década la industria geoespacial ha crecido enormemente. •  Aplicaciones de imágenes geoespaciales ahora juegan un papel clave en las principales aplicaciones empresariales y de consumo. •  Mientras que las imágenes geoespaciales son capturadas en direccion verecal mediante sensores aéreos o satelitales, imágenes y mediciones captados en direccion horizonal a nivel del suelo proveen informacion complementaria. •  Estas imágenes amplían la funcionalidad de la información geoespacial y abren la puerta a nuevas y poderosas aplicaciones y oportunidades. Visualizacion en 3D de Información Geoespacial • 
• 
• 
• 
• 
• 
Geografia + Geometria + Computación Grafica Captura y Visualización de Datos Dinámicos en Tiempo Real Recursos Naturales (agricultura, ganaderia, agua) Energia (petroleo, gas, mineria) Medio ambiente (inundacions, terremotos) Arquitectura y Urbanismo (modelos de ciudades) Visualización de Recursos Humanos y Naturales •  Por ejemplo, la industria del petróleo y el gas ha estado profundamente involucrada en el analisis de grandes conjuntos de datos geoespaciales desde antes de que el término Big Data fuera inventado. •  Terabytes de datos sísmicos con ubicación geográfica de las mediciones recogidos en todo el mundo son uelizados por la industria del petróleo y el gas para la toma de decisiones en las acevidades de exploración y extracción. Visualización en la Industria del Petroleo y Gas Visualización en la Industria del Petroleo y Gas •  Las empresas líderes de la industria de petróleo y gas uelizan en forma ruenaria tecnologías de visualización interaceva y colaboración remota en la exploración de yacimientos de petróleo y en la planificación de perforación de pozos •  La convergencia de la computacion gráfica, supercomputadoras, sensores remotos y análisis en eempo real estan produciendo una revolución en el rendimiento y opemización del negocio •  El volumen de los datos geovsicos ha crecido de decenas a cientos de gigabytes , pero el eempo requerido para la interpretación, modelado, y visualización es el mismo •  Esta documentado que rendimiento de inversiones de 100:1 son posibles uelizando estas nuevas herramientas de visualización Análisis y Prevención de Desastres •  Mapas que capturan las acevidades en redes sociales se uelizan para ayudar a los trabajadores que responden a desastres en todo el mundo. •  El mapeo de la ubicación del origen de los mensajes de los medios sociales, imágenes y videos permite a los coordinadores de ayuda a visualizar dónde se ha producido el daño específico, a determinar la gravedad de los daños, y a dirigir los recursos si una respuesta es necesaria. Construcción y Análisis de Modelos Urbanos •  A parer de imagenes aereas y a nivel del suelo, y de GIS •  Simular cambios en la infraestructura y analizar los efectos •  Comunicar diseños urbanos a los planificadores para ayudar en la toma de decisiones •  Simular movimiento de vehiculos y personas •  Simular los efectos de fenómenos naturales Urban Scene Reconstruceon from Aerial Data Low Cost Urban Scene Capture Uses for 3D Models of Urban Scenes • 
• 
• 
• 
• 
• 
Visualizaeon of streaming real eme and dynamic data Change Deteceon City planning (new construceon, history) Simulaeons (traffic, crowds, flooding, earchquakes) Real eme prediceon Goal: Make a detailed 3D map of Buenos Aires? Reconstruceon from Pareal Informaeon Point Cloud from MuleView Data Poisson Reconstruceon SSD L2 Line of Sight SSD L1 Line of Sight Reconstruceon from Pareal Informaeon Point Cloud from MuleView Data Poisson Reconstruceon SSD L2 Line of Sight SSD L1 Line of Sight DARPA ARGUS-­‐IS 1.8GPix Camera •  ARGUS-­‐IS (Real-­‐Time System Ground Ubiquitous Vigilancia imágenes Autónoma) •  una cámara de vigilancia que ueliza cientos de sensores de imagen de smartphone para grabar una imagen de 1,8 gigapixeles •  Diseñado para su uso en un avión no tripulado desde una aletud de 20.000 pies (6.100 m) •  ARGUS puede seguir de vídeo en eempo real en un área 4,5 millas (7,2 km) a través de una resolución de cerca de seis pulgadas (15 cm). DARPA ARGUS-­‐IS 1.8GPix Camera •  ARGUS-­‐IS presta servicios de vídeo en eempo real a través de un gran teatro de acción •  Idenefica y realiza el seguimiento de objetos en movimiento •  Proporciona hasta 65 ventanas de vídeo individualizadas para la observación de cerca •  Analistas humanos estan involucrados en la operacion y toma de decisiones DARPA ARGUS-­‐IS 1.8GPix Camera Visual Steering to Support Decision Making in Visdom J. Waser, R. Fuchs, H. Ribičić, Ch. Hirsch, B. Schindler, G. Blöschl, E. Gröller Flood emergency assistance •  New Orleans 2005: 17th canal levee breach Image courtesy of USACE, US Army Corps of Engineers Flood emergency assistance •  Evaluaeon of breach-­‐closure techniques in a laboratory model A. Sa)ar, A. Kassem, and M. Chaudhry. 17th street canal breach closure procedures. Journal of Hydraulic Engineering, 134(11):1547–1558, 2008. Computaeonal Steering Exploraeon of Parameter Spaces Eduard Gröller Applicaeon Example: Car Engine Design • 
Eduard Gröller REVEAL System Structure REVEAL Data Entry •  For field use •  Web text entry –  Smart-­‐phone, tablet, laptop •  3D Capture with Handheld Digital Cameras –  Finds & Architectural Remains –  Geo-­‐located 3D models from photos Mule-­‐Resolueon 3D Geospaeal Database •  3D mule-­‐layer/volumetric model of excavaeon area (geo-­‐
alignment reference) •  Detailed 3D models of finds (aligned with respect to the area model) •  Geo-­‐referenced to global excavaeon map and beyond REVEAL Data Analysis •  Integrated Data Access –  Non technical users –  Geo-­‐aligned plans / Satellite Photos –  Geo-­‐aligned 3D Models –  Photographs –  Data Tables •  Exports –  Photos –  2D Plans –  3D Models –  Filtered tabular data –  Supports standard file formats Plan Diagrams Data Tables Photographs 3D Models In Context Integrated Data REVEAL Resources REVEAL Web Page h)p://vision.lems.brown.edu/project_desc/Reveal REVEAL Overview Video: h)p://www.youtube.com/watch?v=1OJkiEMiMSg REVEAL is free so‚ware released under the GNU LESSER GENERAL PUBLIC LICENSE Installaeon kit and sources: h)ps://sourceforge.net/projects/revealanalyze/ The REVEAL project is supported by Naeonal Science Foundaeon Grant No.0808718 III-­‐CXT-­‐Core Computer Vision Research: Promoeng Paradigm Shi‚s in Archaeology. REVEAL as a Foundaeon for Future Work •  Large Scale Geolocated 3D Database •  Reconstruceon of large scale urban scenes and terrain •  From mule-­‐view aerial video data •  From street level sell images and video data •  Inside buildings •  Underground •  Underwater Visualización en las Finanzas •  las compañías de tarjetas de crédito mapean la localización de transacciones a parer de sistemas de procesamiento de transacciones,sistemas de información de clientes, y flujos de datos de los medios sociales, para construir perfiles más completos de los usuarios de tarjetas y sus comportamientos, para ayudar en los esfuerzos de markeeng de ventas, y para la detección del fraude. Visualización en la Acción del Gobierno •  El análisis espacio-­‐temporal en eempo real de grandes volumenes de datos capturados en forma conenua, puede ayudar a las agencias a nivel nacional, estatal y municipal, en la prestación de mejores servicios, tales como: •  Detección de fraudes •  Monitoreo de transmisión de enfermedades contagiosas •  Mejorar la eficiencia de los centro de atención •  Seguimiento de los vehículos de servicio de la ciudad •  Proveer mapas dinámicos de servicios públicos Visualización en el Transporte Público •  Disposievos GPS instalados en transportes públicos (SUVE) reportan su posición y el acceso de pasajeros en forma conenua •  La información se puede uelizar para proveer nuevos servicios •  Usuarios pueden esemar el eempo de espera y de viaje por medio de sus teléfonos, en eempo real •  Las condiciones de tránsito calculadas en eempo real, se pueden uelizar para controlar las señales de tránsito, y asi mejorar el flujo de vehículos y personas •  La informacion estadíseca de las trajectorias se puede uelizar para determinar la necesidad de nuevas rutas Visualización en el Comercio •  Una nueva aplicación de grandes volumenes de datos para grandes comercios es el filtrado de datos producidos por medios sociales basado en la proximidad a una eenda •  Cuando un mensaje se origina dentro de una distancia especificada de una eenda, se examina el mensaje para ver si un seguimiento específico en la acevidad puede ser iniciada. Visualización en las Telecomunicaciones •  Los centros de llamadas archivan enormes canedades de datos, muchos de ellos no estructurados o poco estructurados. La clasificacion y visualizacion de esta informacion a menudo revela patrones que corresponden a deficiencias localizadas en la infraestructura de los sistemas de telecomunicaciones. Visualización en las Empresas de Servicios •  Las aplicaciones de redes inteligentes generan enormes volúmenes de datos correspondientes al consumo de los servicios, tales como electricidad, agua potable, o gas. •  Estos datos se pueden visualizar casi en eempo real en mapas que muestran el nivel de uso de la redes y ayudan a equilibrar el suministro de acuerdo a la oferta, por ejemplo para evitar cortes de luz. •  El análisis espacio-­‐temporal de la acevidad en la red se puede usar para ideneficar elementos que podrían verse afectados negaevamente por el incremento rapido del consumo, simular configuraciones alternaevas, y asi mejorar la infraestructura Displays Interacevos de Gran Formato •  Ideal para trabajo en grupo y colaboracion remota •  Alta resolucion (densidad de pixels) •  Provee vision de conjunto y detallada •  Aplicaciones Cieneficas & No Cieneficas •  Instalados in lugares publicos •  Develop simple and robust technologies for efeceve Interaceon •  Interaccion a traves de disposievos mobiles •  Que aplicaciones son apropriadas para estos displays? Modular video wall systems for mulG-­‐user social interacGon, remote collaboraGon, and visual art Addieonal interacevity and control through devices with addieonal sensing capabiliees: moeon sensors, touch-­‐screens, etc Sistemas Interacevos Distribuidos Diseño de Sistemas de Visualización de Bajo Costo Non-­‐Contact Interaceon : Real Time GPGPU 3D Stereo •  Produces RGBD video stream, same as Kinect •  Passive Illuminaeon è muleple Sensors do not Interfere Passive 3D Stereo: People Deteceon, Ideneficaeon, and Tracking Passive 3D Stereo: Single and Mule-­‐User User Interaceon Group Gestures for Interaceon with Large Format Displays Visualización Interaceva en Colaboración Network Centro de Computación Visual •  Captura, Modelado, Procesamiento, Análisis y Visualización de Big Data para la Toma de Decisiones. •  Captura, Representación y Procesamiento de Informacion Geometrica, Geovsica, y Geoespacial ( 2D, 3D, 4D, … ) •  Visualización Cienefica y de la Información •  Computacion Grafica •  Vision Computacional e Interpretación de Imágenes •  Sistemas Interacevos para Colaboracion Remota Objeevos | Tecnología •  Proveer Servicio a la comunidad cien„fica, al gobierno, y a empresas asociadas, complementando los servicios ofrecidos por el Centro para Simulación Computacional para Aplicaciones Tecnológicas •  Desarrollar aplicaciones para la captura, presentación y exploración interaceva de Big Data, y para la toma de decisiones. •  Diseñar, construir, instalar, y mantener sistemas de visualización de gran escala altamente especializados, y para colaboración remota •  Desarrollar nuevas tecnologias y transferirlas a la industria local •  Obtener fuerte apoyo de la industria •  Establecer projectos de colaboración con otros centros del Polo Cien„fico y Tecnológico GIOL END