Taller de Sistemes Interactius I Enginyeria Superior Informàtica Universitat Pompeu Fabra gener/mars 2008 Tema 1: Introducció 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 1 ¿Que estudiaremos y que haremos en esta asignatura? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 2 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 3 Conceptos relacionados • • • • • • • • • • Human Computer Interaction (HCI) Virtual/artificial Reality (VR) Augmented Reality (AR) Tangible User Interfaces (TUI) Tabletop interfaces Natural Interaction Computer-Supported Cooperative Work (CSCW) Ubiquitous/wearable Computing Context-awareness Affective Computing 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 4 Multidisciplinareidad en la Interacción Hombre Máquina • • • • • • • Psicología, ciencia cognitiva (como pueden percibir/entender/afrontar los usuarios …) Ergonomía (capacidades físicas de los usuarios…) Sociología (aspectos culturales…) Informática, ingeniería (posibilidades tecnológicas, implementación…) Diseño gráfico, industrial … No existe una teoría unificada para diseño y concepción de este tipo de sistemas HCI. Nosotros nos centraremos sobre todo en los aspectos más experimentales e innovadores en el diseño de nuevas interfases. No estudiaremos ni profundizaremos en aspectos esenciales del ciclo de diseño como la usabilidad, user testing, etc. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 5 Algunas preguntas • • • • 09/01/08 ¿Interacción / interactividad? ¿Qué es un sistema interactivo? ¿Qué no es un sistema interactivo? … TSI1 - Sergi Jorda (ESUP-UPF) 6 Interacción / Interactividad • Interacción : acción recíproca que se ejerce entre varios objetos, personas, grupos... Influencia mutua. La mecánica cuántica demostró en 1927, con el principio de incertidumbre de Heisenberg, que no es posible observar sin ejercer una influencia en el sistema. • Interactividad : neologismo con el que se designa normalmente la interacción entre una persona y un ordenador, o la propiedad de “interacción” de un “sistema interactivo”. Existe una rama a caballo entre la informática, la ingeniería, el diseño, la psicología… denominada HCI (Human Computer Interaction), que estudia como mejorar esta interacción. Laurel, B. (ed.) The Art of Human-Computer Interface Design. MA: AddisonWesley, 1990. Laurel, B. Computers as Theatre. Reading, MA: Addison-Wesley, 1993. Norman, D. A. The Design of Everyday Things. New York: Doubleday, 1990. Normalmente se sobreentiende que interactividad es interactividad en tiempo real y esto último es lo que nosotros trataremos (más adelante profundizaremos en este concepto de tiempo real). Esta asignatura se centrará en las posibilidades de interacción en tiempo real, y no en el estudio del diseño de mejores interfaces. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 7 ¡Qué no es (hoy) un sistema interactivo! • • • Software interactivo – software no interactivo? Televisión interactiva? Música interactiva? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 8 ¡Qué no es (hoy) un sistema interactivo! • • • Software interactivo – software no interactivo? Televisión interactiva? Música interactiva? La interactividad nunca es todo o nada: e.g. la televisión no es muy interactiva; de momento no se pueden alterar sus contenidos, pero sí que permite cambiar canales, volumen, brillo, contraste, etc. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 9 ¡Qué no es (hoy) un sistema interactivo! • • • Software interactivo – software no interactivo? Televisión interactiva? Música interactiva? La música siempre fue interactiva hasta la llegada de la música grabada. Los músicos dialogan con sus instrumentos, entre sí y con el público. La grabación elimina interacción con público. La grabación multipista reduce interacción entre músicos La tecnología ha ido reduciendo la interactividad en la música! 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 10 Evaluar la interactividad? • • • Si la interactividad no es binaria, cómo evaluarla? Qué mediremos? Cómo definirlo? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 11 Evaluar la interactividad? • • • Si la interactividad no es binaria, cómo evaluarla? Qué mediremos? Cómo definirlo? Interactivity is an expression of the extent that in a given series of communication exchanges, any third (or later) transmission (or message) is related to the degree to which previous exchanges referred to even earlier transmissions (Rafaeli 1988) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 12 Evaluar la interactividad? • • • Si la interactividad no es binaria, cómo evaluarla? Qué mediremos? Cómo definirlo? Interactivity is an expression of the extent that in a given series of communication exchanges, any third (or later) transmission (or message) is related to the degree to which previous exchanges referred to even earlier transmissions (Rafaeli 1988) In the fields of information science, communication, and industrial design, there is debate over the meaning of Interactivity. In the "contingency view" of interactivity, there are three levels: Noninteractive, when a message is not related to previous messages; Reactive, when a message is related only to one immediately previous message; and Interactive, when a message is related to a number of previous messages and to the relationship between them (Wikipedia) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 13 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 14 Interactividad / recursividad • • • • • El uso de sensores u otros dispositivos de “alta tecnología”, no hace las cosas más interactivas Una puerta, un interruptor … son reactivos, independientemente del grado de complejidad tecnológica que incorporen La interactividad implica pues cierto grado de recursividad en el diálogo … Una forma teórica de medirla consistiría en evaluar la memoria o histéresis del sistema (cuantos mensajes previos afectan al actual). Esto nos daría una medida de la “intensidad de la interacción” La interactividad “plena” implicaría que los roles de los participantes podrían intercambiarse (algo ni siquiera realizable entre 2 personas), lo que sí se relaciona con la idea intuitiva y popular de que la interactividad pone en juego “máquinas que se comportan como humanos” 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 15 Interactividad / recursividad • • • • • El uso de sensores u otros dispositivos de “alta tecnología”, no hace las cosas más interactivas Una puerta, un interruptor … son reactivos, independientemente del grado de complejidad tecnológica que incorporen La interactividad implica pues cierto grado de recursividad en el diálogo … Una forma teórica de medirla consistiría en evaluar la memoria o histéresis del sistema (cuantos mensajes previos afectan al actual). Esto nos daría una medida de la “intensidad de la interacción” La interactividad “plena” implicaría que los roles de los participantes podrían intercambiarse (algo ni siquiera realizable entre 2 personas), lo que sí se relaciona con la idea intuitiva y popular de que la interactividad pone en juego “máquinas que se comportan como humanos” 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 16 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 17 Posibles casos … • No hay preguntas (o no se responden): no hay bidireccionalidad • Se responden preguntas: hay bidireccionalidad y reacción (no necesariamente interacción) • Las respuestas de los presidentes a las preguntas de los periodistas, suscitan nuevas preguntas por parte de los periodistas, que los presidentes responden a su vez … se abre el diálogo interactividad 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 18 Control + Interactividad Desde el punto de vista estrictamente informático, muchos problemas de control pueden ser idénticos a problemas en los que intervengan humanos dentro del bucle. The actuator is what the controller uses to change the state of the plant. The plant is the actual physical system being controlled ("plant" comes from steel mills, power plants, etc. I like "system" better, but the whole feedback control is a system too.). The sensor determines the actual state of the plant. The controller determines the actions required to get the plant to the desired state. P.Cook , Real-Time Computing for Human Computer Interfacing 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) Este sistema puede representar un termostato. En este caso, aunque el humano puede ajustar la temperatura inicial, no está dentro del bucle. 19 Interacción entre humanos? Interacción no digital? • La interacción entre humanos se produce permanentemente (o debiera…) y a través de todos los sentidos (e.g. oído:lenguaje, tacto:sexo…) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 20 Interactividad no-digital : ejemplos Oído: Sintonizar una radio, ajustar el volumen de cualquier aparato, tocar el violín.. Vista: Manejar el volante de un coche… Sabor: Añadir sal a un guiso… Otros: columpio (aceleración)… ….. Preguntas • Y tocar el piano? • Y poner azucar al café? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 21 Evaluación de la interactividad? Puede realmente medirse la interactividad de forma escalar (1D)? … de momento parece que nadie lo ha conseguido, ni siquiera establecer una formulación multidimensional rigurosa … Falta de consenso incluso en las ideas más básicas • Newhagen et al. (1995) afirma que los niveles de interactividad pueden variar en función de la percepción de las personas (i.e. son subjetivos) • Schneidermann (1987) sugiere que sólo pueden variar mediante la alteración de propiedades tecnológicas Algunos conceptos / dimensiones en juego • bidireccionalidad • velocidad de respuesta • ancho de banda • actividad del usuario (cantidad/cualidad/variedad…) • capacidad de control • transparencia • ……….. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 22 Algunas tentativas de definición multidimensional • Focusing on the functional aspect of a medium, Laurel (1990) defined interactivity as a concept based on three dimensions: frequency, range, and significance • In a similar approach, Steuer (1992) conceptualized interactivity based on three elements: speed, range, and mapping - facilitating users' manipulation of contents • Heather (1989), used no less than six dimensions: complexity of choice available, effort that users must exert, responsiveness to the user, monitoring of information use (when a system can track user for example), ease of adding information, facilitation of interpersonal communication • Based on the functional approach, Coyle and Thorson (2001) identified mapping, speed, and user control as three important dimensions of Web site interactivity • Emphasizing the perceptual rather than functional aspect of interactivity, on the other hand, Wu (2000) pointed out three underlying dimensions: perceived control, perceived responsiveness, and perceived personalization • In a similar vein, McMillan and Hwang (2002) identified the most frequently mentioned elements of perceived interactivity: direction of communication, user control, and time. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 23 Todo es difícil de medir, y la idea intuitiva que se tiene de ello, varía mucho con la época y las tecnologías dominantes: procesos batch, entornos WIMP, RV, www, videojuegos, móviles … Si cogemos por ejemplo la opción más completa de las listas anteriores (Heather) con 6 dimensiones: complexity of choice available, effort that users must exert, responsiveness to the user, monitoring of information use, ease of adding information, facilitation of interpersonal communication Ya en la primera de ellas, no habría que tener en cuenta el peso o valor de cada una de estas opciones? como comparar “opciones discretas” con “modificaciones continuas”? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 24 Bucle de realimentación Para que se produzca esta interacción, debe existir un bucle de realimentación (feedback) entre H y C (condición necesaria pero no suficiente) Que diferencias de interactividad (cualitativas, cuantitativas…) podemos encontrar entre estos dos paradigmas de interacción? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 25 Bucle de realimentación • Dimensionalidad, simultaneidad de la entrada (A>B) • Entradas y salidas “continuas” (A>B) • Generación-síntesis de las salidas (A>B) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 26 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 27 Navegación vs. Generación libertad> control> sorpresa> interacción> (?) Interactivity is the extent to which users can participate in modifying the form and content of a mediated environment in real-time (Steuer 1992: 85-6) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 28 Bucle de realimentación SENTIDOS…. Que sentidos/mecanismos humanos/digitales pueden intervenir (en general) en una y otra dirección de la comunicación? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 29 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 30 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 31 Sentidos (retorno HC) • • • • Vista (forma, color, tamaño … texto…) Oído (frecuencia, timbre, intensidad … voz…) Tacto (haptics) Kinestésico (kinesthesia): en músculos, tendones, articulaciones posición del cuerpo, movimiento, peso de un objeto, forcefeedback … Táctil (tactile): en receptores piel • forma de objetos • tacto de una superficie • temperatura Sabor y olfato (ver la presentación “Sistemes que afecten altres sentits que els de la vista i l’oïda” en este misma web) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 32 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 33 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 34 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 35 HC (recapitulación desde el lado del C) • • • • Imagen Sonido En menor medida, fuerza/vibración Los ordenadores no son todavía capaces de “controlar” su “olor” o su “sabor” • Buxton, W. (1986). There's More to Interaction than Meets the Eye: Some Issues in Manual Input. In Norman, D. A. and Draper, S. W. (Eds.), (1986), User Centered System Design: New Perspectives on Human-Computer Interaction. Lawrence Erlbaum Associates, Hillsdale, New Jersey, 319-337. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 36 Human input (HC) • • • Kinestesia: teclado, point, click, drag&drop … (normalmente con feedback visual y sonoro) Sonido: reconocimiento de voz, frecuencia/altura (instrumentos musicales, query by huming …) … Otros ? Kinestesia/Movimiento de las manos: reconocimiento de escritura Kinestesia/Movimiento corporal: reconocimiento de gestos, computer vision, etc. Táctil (sensores presión) Vista (eyegaze) Expresiones faciales (computer vision) + Sensores (tensión muscular, temperatura…) 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 37 Y sin embargo… Así nos deben “ver” los ordenadores… 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 38 Conclusiones? 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 39 Estudiaremos diversas y nuevas formas de interactuar (a) una persona con un sistema digital (b) varias personas con uno o varios sistemas digitales (c) personas con personas (a través de sistemas digitales) …. Valoraremos aspectos como • la naturalidad, la riqueza, flexibilidad, multidimensionalidad, simultaneidad … de la interacción … • la posibilidad de creación de contenidos (no sólo navegación), la flexibilidad y riqueza de estas posibilidades … • el grado de satisfacción, el interés generado, el placer obtenido por los usuarios durante esta interacción… 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 40 Bibliografía (de esta intro sobre “Interactividad”) • • • • • Heeter, C. (1989) ‘Implications of New Interactive Technologies for Conceptualizing Communication’, in J.L. Salvaggio and J. Bryant (eds) Media Use in the Information Age: Emerging Patterns of Adoption and Computer Use, pp. 217–35. Hillsdale, NJ: Lawrence Erlbaum. Kiousis, S. (2002). ‘Interactivity: a concept explication’. New Media & Society, Vol4(3):355–383. Rafaeli, S. (1988) ‘Interactivity: From New Media to Communication’, in R.P.Hawkins, J.M. Wieman and S. Pingree (eds) Advancing Communication Science: Merging Mass and Interpersonal Processes, pp. 110–34. Newbury Park, CA: Sage. Sohn, D. and Lee, B. (2005). ‘Dimensions of Interactivity: Differential Effects of Social and Psychological Factors’. Journal of Computer-Mediated Communication, 10-3. Steuer, J.S. (1992) ‘Defining Virtual Reality: Dimensions Determining Telepresence’, Journal of Communication 42(4): 73–93. 09/01/08 TSI1 - Sergi Jorda (ESUP-UPF) 41