Software y hardware (más o menos) abierto para la crea(vidad

So#ware y hardware (más o menos) abierto para la crea8vidad audiovisual José Ramón Beltrán Blázquez Semana Cultural EINA 2014 Tecnologías Audiovisuales AUDIO ILUMINACIÓN INTERACTIVIDAD VIDEO PROYECCIÓN VISION POR COMPUTADOR TECNOLOGÍAS MÓVILES Semana Cultural EINA 2014 12– marzo – 2014 REALIDAD AUMENTADA El mundo OPEN… Intel® Galileo
Board User Guide
March 2014
Semana Cultural EINA 2014 12– marzo – 2014 OpenGL •  OpenGL (Open Graphics Library) es una especificación estándar que define una API mul8lenguaje y mul8plataforma para escribir aplicaciones que produzcan gráficos 2D y 3D. •  Fue desarrollada originalmente por Silicon Graphics Inc. (SGI) en 1992. •  Oculta la complejidad de la interfaz con las tarjetas gráficas, mediante una API única y uniforme. Semana Cultural EINA 2014 12– marzo – 2014 Leguajes de programación •  Processing: hep://processing.org –  2001 •  Openframeworks: hep://www.openframeworks.cc –  2005 •  Cinder: hep://libcinder.org –  2010 Semana Cultural EINA 2014 12– marzo – 2014 IDEs Integrated Development Environment •  Code::Blocks: hep://www.codeblocks.org •  Xcode (solo Mac OS X): heps://developer.apple.com/xcode/ •  Eclipse: hep://www.eclipse.org Semana Cultural EINA 2014 12– marzo – 2014 Hardware •  Arduino: hep://www.arduino.cc –  Processing/Wiring –  2005 –  Microcontrolador: Amtel AVR de 8 bits. Nuevo modelo Amtel ARM 32 bits –  Open Hardware –  Internet of things (IOT) Semana Cultural EINA 2014 12– marzo – 2014 Hardware •  Raspberry Pi: hep://www.raspberrypi.org –  Basado en el SoC Broadcom BCM2835: Embebed Mul8media Processor –  Procesador ARM1176JZF-­‐S a 700 MHz –  GPU VideoCore IV –  Codificador/Decodificador de video 1080p30 Full HD HP H.264 –  Rapsbian, Python –  Para educación Semana Cultural EINA 2014 12– marzo – 2014 Hardware •  Raspberry Pi: hep://www.raspberrypi.org 1
2b Connect display
If not using HDMI,
plug in your analogue
TV or display
3 Connect input
Plug in a USB keyboard
and mouse
4 Connect network
Connect to your wired
1 Insert SD card
Quick start
See page 3 for how to
prepare the SD card
5 Power up
Plug in the micro USB
power supply
2a Connect display
Plug in your digital TV
or monitor
1
Semana Cultural EINA 2014 12– marzo – 2014 Hardware •  Intel Galileo –  2013 –  400 MHz 32-­‐bit Intel® Pen8um® Intel® Galileo
Figure 2.
Intel® Galileo Board—Overview
Key Components
Board User Guide
63,
)ODVK
63,)ODVK
3URJUDP
3RUW
March 2014
(WKHUQHW
3RUW
86%
56 &OLHQW
6HULDO 56
3RUW
(WK
3+<
86%
+RVW
$UGXLQR,QWHUIDFH
$'&
0LFUR
6'VORW
,QWHOŠ
4XDUN6R&
;
*3,2
([SDQGHU
9ROWDJH
5HJXODWRU
9
3RZHU
0%
''5
5$0
,&63
$UGXLQR,QWHUIDFH
-7$*
'HEXJ3RUW
Table 1.
3&,H*HQPLQLFDUGVORWRQEDFNRIERDUGÆ
Description of Key Components (Sheet 1 of 2)
Number
Component
Semana Cultural EINA 1 2014 Ethernet Port
12– marzo – 2014 2
RS-232 Serial Port
3
RS-232
Description
10/100 Ethernet connector
3-pin 3.5mm jack (not audio)
RS-232 transceiver
Interac8vidad •  HCI •  Disposi8vos para juegos Wiimote Semana Cultural EINA 2014 12– marzo – 2014 Interac8vidad •  Kinect: –  hep://www.xbox.com/es-­‐ES/kinect •  Asus X8on: –  hep://event.asus.com/wavi/product/x8on.aspx •  PrimeSense: hep://www.primesense.com/ Semana Cultural EINA 2014 12– marzo – 2014 Interac8vidad •  Reactable: hep://www.reactable.com/ –  Marcas fiduciales sobre objetos •  Mul8touch screens –  Tablets –  Smart phones –  Pantallas grandes Jornadas NEOCom 2013 20 – marzo – 2013 Librerías •  OpenCV –  Desarrollada por Intel en 1999 –  Licencia BSD mul8plataforma –  Procesado de imagen •  OpenNI –  SDK de código abierto para el desarrollo de aplicaciones para sensores 3D –  Librerías de middleware: NiTE 2 Semana Cultural EINA 2014 12– marzo – 2014 Librerías •  reacTIVision –  Librería mul8plataforma de código abierto para hacer el tracking de marcas fiduciales y tracking mul8touch. Semana Cultural EINA 2014 12– marzo – 2014 ¿Y el audio? •  Pure Data –  Lenguaje de programación gráfico desarrollado en los 90 –  Creación de música por ordenador interac8va y obras mul8media: GEM Semana Cultural EINA 2014 12– marzo – 2014 ¿Y el audio? •  Csound –  Programado en C permite sinte8zar y procesar sonido en 8empo real. –  Concepto desde 1964 y se desarrolla en 1970 •  ChucK –  Lenguaje de programación orientado a sonido, que permite generar, grabar, sinte8zar sonido en 8empo real. –  Desarrollado en 2003 Semana Cultural EINA 2014 12– marzo – 2014 ¿Y el audio? •  OpenAL –  Sólo para sonido 3D. –  En audio no existe el equivalente a OpenGL •  APIs dependientes del sistema opera8vo: RtAudio, ALSA, QuickTime, DirectSound, CoreAudio Semana Cultural EINA 2014 12– marzo – 2014 Comunicaciones •  OSC: Open Sound Control: hep://opensoundcontrol.org/ –  Extensión de MIDI –  Envío de parámetros en 8empo real para controlar el audio y el video •  TUIO: extensión de OSC para superficies mul8touch (reacTIVision): hep://www.tuio.org/ Semana Cultural EINA 2014 12– marzo – 2014 Disposi8vos móviles •  Android SDK •  ADT Bundle (Android Developer Tools) para Eclipse –  hep://developer.android.com •  iOS: Xcode Semana Cultural EINA 2014 12– marzo – 2014 Realidad aumentada •  ARToolKit: hep://www.hitl.wasington.edu/artoolkit –  GNU para uso no comercial –  Licencias comerciales •  Vuforia: hep://www.vuforia.com –  Xcode (iOS), Eclipse (Android), Unity (Game Engine) •  OpenCV Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Equipamiento –  Estructura de 10x10x5m: tres lonas, suelo de 10x10m con hierba ar8ficial y rampas para recuperar los balones –  Dos lanzadores de balones controlados por un Arduino + Ethernet Shield + relé –  Dos cámaras DLSR controladas por un Arduino + Ethernet Shield + optoacopladores Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Equipamiento –  Un foco DMX central que indica la posición de par8da del jugador –  Dos focos DMX que iluminan el lanzador desde el que se va recibir el siguiente balón –  Tres cabezas móviles DMX que funcionan como defensores virtuales –  Dos máquinas de niebla DMX que permiten que los haces de luz sean visibles Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Equipamiento –  Tres video-­‐proyectores de 20.000 lumen –  Un sistema de audio cuadrafónico con refuerzo de subgraves –  Dos cámaras cenitales e iluminadores de infrarrojos –  Tres disposi8vos Kinect –  Balones modificados con material reflectante para un tracking robusto Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Equipamiento –  Zona de registro con una cámara DSLR con una tarjeta SD-­‐EyeFi y fondo de chroma –  Ordenadores en red, routers, hubs, extensores de señal, etc. Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Aplicaciones –  Un microsite que ges8ona el sistema de registro de jugadores, la cola de espera para acceder al juego y la impresión del memento –  Una aplicación principal que ges8ona la dinámica de juego, reproduce los efectos de sonido y sincroniza toda la instalación (proyecciones, cabezas móviles y focos DMX, lanzadores de balones, cámaras DSLR, etc) Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Aplicaciones –  Una aplicación de manejo y procesado de los contenidos visuales –  Una aplicación de tracking que permite determinar la posición del balón en la zona de juego –  Una aplicación de tracking que mediante tres disposi8vos Kinect permite iden8ficar el punto de impacto cuando el jugador dispara contra un obje8vo Semana Cultural EINA 2014 12– marzo – 2014 Un ejemplo •  HOD: House of Deadly. Aplicaciones –  Un esquema Arduino para controlar mediante mensajes OSC los lanzadores de balones –  Un esquema Arduino para controlar mediante mensajes OSC las cámaras DSLR que capturan instantáneas del juego •  … y todo con so#ware y hadware abierto Semana Cultural EINA 2014 12– marzo – 2014 Conclusiones •  Los nuevos retos tecnológicos requieren la integración de muchas tecnologías. •  Las tenologías “abiertas” facilitan los desarrollos gracias a la “comunidad, comunidad y más comunidad”. •  Están apareciendo nuevas formas de hacer ingeniería audiovisual con múl8ples aplicaciones: arzs8cas, marke8ng, lúdicas, exposi8vas, turismo, seguridad, educación, etc. Semana Cultural EINA 2014 12– marzo – 2014 Muchas gracias Semana Cultural EINA 2014 12– marzo – 2014