Tema 3. Gestión de proyectos de desarrollo multimedia y sistemas

Tema 3. Gestión de proyectos de desarrollo
multimedia y sistemas web.
Elementos de diseño.
Contenido dinámico
30258- Diseño Centrado en el Usuario.
Diseño para la Multimedia
Dra. Sandra Baldassarri
Objetivos
Desarrollo de proyectos multimedia y sistemas web
utilizando técnicas de diseño centrado en el usuario.
• Características de las aplicaciones multimedia y web
• Definición de elementos multimedia:
–
–
–
–
Texto
Imagen / Gráficos
Audio
Video / Animaciones
• Algunas consideraciones prácticas:
– Diseño para web. Guías de estilo.
Aplicaciones Multimedia
Multimedia o hipermedia (no sólo texto):
• Sistemas hipertexto + medios adicionales
– Ilustraciones, fotografías, videos, sonidos, etc…
• Enlaces y “hotspots” pueden formar parte de los
medios
– Áreas de imágenes
– Tiempos y ubicaciones en los videos
• El contenido puede ser:
– Estático
– Dinámico (basado en tiempo)
30258 – Diseño Centrado en el Usuario –
Diseño para la Multimedia
Contenido Dinámico: Audio
Existen dos tipos fundamentales de sonido:
- Habla
- Otros sonidos
El tratamiento digital del habla cubre tres aspectos:
Codificación del habla: para la comunicación entre
personas, relacionado con la conversión A/D y la
compresión de la señal digital.
Síntesis del habla: para la comunicación entre máquina y
persona
Reconocimiento y comprensión del habla: para la
comunicación entre persona y máquina
Audio
Otros sonidos:
El sonido audible consiste en ondas sonoras que se
producen cuando las oscilaciones de la presión del
aire se convierten en vibraciones detectadas por el
oído humano. Estas vibraciones se convierten en
impulsos nerviosos que son percibidos por el cerebro.
El oído humano detecta frecuencias de sonido entre
20Hz y 20kHz.
Audio: digitalización
Conversión
Analógico/Digital
A sound wave, in red, represented digitally, in blue
(aftersampling and 4-bit quantization).
Audio: digitalización
• A partir de micrófono, sintetizador, grabaciones en
cinta, emisiones en vivo de radio y TV, CDs y discos.
• Los sonidos digitalizados son muestras de sonido.
Cada enésima fracción de segundo se toma una
muestra y se guarda como información en bits o
bytes.
Audio: digitalización
• Velocidad de muestreo: frecuencia con que se
toman las muestras. Las velocidades de muestreo
más usadas son: Calidad CD 44.1 kHz, 22.05 kHz y
11.025 kHz.
• Tamaño de la muestra: cantidad de información
almacenada de cada muestra. Los tamaños de
muestras más usados son: 8 y 16 bits.
Audio: digitalización
El valor de cada muestra se redondea al entero más
próximo (cuantización) y si la amplitud es más grande
que el intervalo disponible se hace un recorte
(clipping) de la parte alta o baja de la onda .
Audio: digitalización
El ruido en la cuantización se puede suavizar mediante
el dithering agregando ruido al azar para suavizar
transiciones.
Audio digital
• Representación real de un sonido, almacenado en
forma de miles de números individuales llamados
muestras.
• Los datos digitales representan la amplitud
instantánea (volumen) de un sonido en períodos
pequeños de tiempo.
• Ocupan mucho espacio, pero no son dependientes
del dispositivo.
MIDI
• Estándar de comunicaciones para instrumentos
musicales electrónicos y computadoras (1980).
• Permite la comunicación entre la música y los
sintetizadores de sonido de diferentes fabricantes
enviando mensajes.
• Protocolo para pasar descripciones detalladas de
una partitura musical como notas, secuencias de
notas e instrumentos.
• Lista de órdenes de grabaciones de acciones
musicales que, cuando se envían a un dispositivo de
reproducción MIDI, produce sonido. No es sonido
digitalizado.
MIDI
QuickTime incorpora una funcionalidad “tipo-MIDI”.
Las pistas de MIDI se pueden combinar con audio, con
video u otro tipo de medios suportados por QuickTime.
Compresión de audio
El sonido es más difícil de comprimir que las imágenes,
especialmente utilizando métodos de compresión sin
pérdidas.
A grandes rasgos, la compresión de audio puede hacerse:
– Dominio del tiempo: más fáciles de implementar pero requieren
más de 10 bits de muestra
– Dominio de frecuencias: utilizan 3 bits por muestra y se basan en
la percepción auditiva y en el enmascaramiento psicoacústico.
Existen numerosas técnicas de compresión, con y sin
pérdidas, las más comunes son las que se basan en la
codificación diferencial.
Compresión de audio
Hay tres esquemas de codificación diferencial:
• DPCM
• Modulación delta
• ADPCM
Compresión de audio
DPCM = Simple Differential Pulse Code Modulation
Se toma como valor predecido el valor de la señal en
el instante anterior
señal inicial
señal codificada mediante DPCM
amplitud
amplitud
T
tiempo
se necesitan menos bits
para codificar la diferencia
tiempo
Modulación Delta
Modulación delta
Es una forma particular de codificación DPCM en la cual la
diferencia entre el valor actual y el valor siguiente se codifica
con un solo bit. Este bit indica si el valor de la señal se
incrementa o se decrementa en un 'quantum’. Esta técnica es
adecuada para señales cuyos valores no cambian muy
rápidamente para una frecuencia de muestreo dada.
señal inicial
señal codificada mediante
delta modulation
amplitud
amplitud
T
tiempo
tiempo
ADPCM
ADPCM = Adaptive Differential Pulse Code Modulation
Es una versión sofisticada del método DPCM. En lugar
de usar una función de predicción constante, la
estimación varía adaptándose a las características de
la señal. El valor siguiente se obtiene extrapolando
los valores anteriores de la señal.
Compresión de audio
LPCM (Linear PCM):
• Variante de PCM que realiza compresión lineal. Se
utiliza en el formato WAV.
Mnidisc:
• Variante de ADPCM que elimina ciertos componentes
que no son audibles porque quedan enmascarados
mu-law/A-law:
• Sistema de compresión no lineal que permite utilizar
resolución a 8 bits pero ofrece una calidad sonora
próxima a 14 bits. Más rápido que ADPCM. Se utiliza en
telefonía.
MPEG1 Layer 3 (mp3)
• En 1997 el Instituto Fraunhofer ideó un codec capaz
de comprimir audio sin pérdida de calidad apreciable.
En 1992 MPEG aprobó la tecnología y nació el MP3
(MPEG-1 Audio Layer 3).
• Permite compresiones de 12:1 y superiores.
• No pierde calidad de sonido de forma apreciable (por
un oído no entrenado).
• mp3 utiliza unos cuantos trucos para comprimir el
sonido, aprovechando la manera en la que el oído
humano percibe el sonido.
MPEG1 Layer 3 (mp3)
• Se basa en las limitaciones del oído humano, que sólo es
capaz de captar las frecuencias entre 20Hz y 20 kHz y es
más sensible entre 2 y 4 kHz. De esta forma elimina las
frecuencias inaudibles conservando la esencia del sonido.
• Al obtener un MP3 se puede seleccionar la codificación y
compresión que se desea (nivel de calidad). A
128kbits/44kHz estéreo se consigue un buen equilibrio
entre calidad y compresión. Es el nivel por defecto en los
compresores disponibles en la red.
• Se han realizado estudios de percepción para verificar la
calidad obtenida.
MPEG1 Layer 3 (mp3)
Umbral mínimo de audición
– No es lineal, el margen de percepción real es menor que el teórico
Cualquier sonido fuera no es necesario codificarlo
Efecto máscara
– Los sonidos fuertes no dejan oír los débiles
éstos se filtran
– Existe máscara temporal cuando no se percibe un sonido antes o
después de un sonido más fuerte
Reserva de bytes
– Partes más comprimidas dejan espacio a las menos comprimibles
para mantener el flujo constante (VBR)
Fusión de estéreo
– En determinadas frecuencias el oído no percibe el punto de
emisión del sonido
MPEG1 Layer 3 (mp3)
• Su utilidad:
– En un CD de 80 minutos caben 80 minutos de música en formato
CD-Audio y 700 minutos de música en formato MP3 (unos 11
CD’s de audio) - estéreo con calidad 16 bits a 44hHz codificada
en MP3 a 128kb/seg.
• Programas reproductores:
– WinAmp, RealOne Player, Music Match Jukebox, Windows
Media Player, Quicktime, Flash,…
• Para generar MP3 a partir de CD-Audio:
– Musicmatch Jukebox, Real Jukebox, EasyMP3,...
• Un CD con MP3 sólo podrá ser escuchado en equipos
reproductores compatibles.
Formatos de audio
Dolby Digital
• AC-3: es la versión más común, con 6 canales: 5.1
– 5 canales de ancho de banda completa (20 Hz a 20 kHz) +1
canal exclusivo para los sonidos de baja frecuencia (subwoofer)
– Compresión perceptual
• Dolby Digital EX / DD Sorround EX: 6.1
• Dolby Digital Live (DDL): 5.1, tiempo real, videojuegos,
…
• Dolby Digital Plus (E-AC-3): 13.1
• Dolby TrueHD: hasta 14 canales para HD DVD y Blu-ray
Formatos de audio
AAC (MPEG-4 Advanced Audio Coding)
• Este códec está orientado a usos de banda ancha y se
basa en la eliminación de redundancias de la señal
acústica, así como en compresión mediante la
transformada de coseno discreta modificada (MDCT), y
en utilizar VRB, muy parecido a MP3.
– Produce una mejor calidad que MP3 en archivos pequeños y
requiere menos recursos del sistema para codificar y
descodificar.
• Formato elegido por Apple para iPods y para iTunes.
También es utilizado por Ahead Nero, Winamp y
Nintendo DSi.
Formatos de audio
AAC (MPEG-4 Advanced Audio Coding)
Formatos de audio
AAC (MPEG-4 Advanced Audio Coding)
• Ventajas con respecto a MP3
– El formato AAC soporta sonido multicanal lo cual resulta un códec de
audio apropiado para el sonido envolvente de 6 o más altavoces. MP3
sólo permite, en su formato base, sonido estéreo.
– Puede alcanzar una frecuencia de muestreo de 96khz, utilizado en
estudios de grabación. MP3 está diseñado sólo para la reproducción y
para alcanzar hasta 48khz.
– La calidad de sonido es considerablemente superior al mismo bitrate.
Un archivo de audio en AAC-HC codificado a 64kbps puede ofrecer una
calidad similar a un MP3 codificado a 128kbps.
– Incluso a bitrates muy bajos (<32kbps) el sonido sufre poca pérdida en
comparación con el MP3 (útil para codificar ficheros de audio de
tamaño muy pequeño o para codificar diálogos)
Formatos de audio
WAV: Formato Waveform
• Es el más usado y soportado por plataformas Windows.
• Almacena información sobre el número de pistas (mono o
estéreo), frecuencia de muestreo, profundidad de bits,
igualmente que datos raw de audio no comprimidos.
• La codificación más usual utiliza el formato “Linear Pulse
Code Modulation” (LPCM)
• La calidad depende de la combinación de parámetros
seleccionada:
– resolución o tamaño de la muestra (8, 16, 20, 24 bit, etc), frecuencia de
muestreo (e.g. 8000, 11025, 16000, 22050, 24000, 32000, 44100,
48000 Hz / “muestras por segundo", etc), signo (con o sin), número de
canales (monaural, estéreo, cuadrafónico, etc), orden de los bits (little
endian, big endian).
Formatos de audio
Otros formatos
• AU: Formato NeXT/Sun. Multiplataforma
• VOX: Útil para grabaciones de voz. Alto grado de
compresión (50:1) pero con baja calidad.
• AIFF: Formato Audio Interchange Format, de Apple.
Sin compresión.
• TSP: Formato TrueSpeech de DSP. Muy buena
calidad, compresión 15:1
Formatos de audio
Otros formatos
• GSM: Esquema de compresión para voz,
originalmente para teléfonos celulares, que ha
ganado uso en aplicaciones de telefonía en Internet.
• RA: Formato Progressive Networks Real Audio. Muy
popular. Compresión 20:1.
• OGG Vorbis (GNU). Basado en streaming. Muy
buena calidad (mejor que mp3). Las películas con
audio OGG llevan extensión OGM.
• WMA (Windows Media Audio). Sonido Sorround.
También basado en streaming.
Audio: Herramientas de Autor
Son numerosas las herramientas que permiten trabajar
con sonido digital:
• Plataformas Windows: Cool Edit, Goldware,
WaveEdit, Stereo Studio FX
• Plataformas Mac: Sound Edit Pro, Alchemy y Audio
Track
• Profesionales: Sonic Foundry’s Sound Fong (PC),
Digidesign’s Pro Tools (Mac)
• Y otros como: FreeAmp, WinAmp, PhatNoise,
FreeRIP MP3
Audio: Herramientas de Autor
Las operaciones básicas de edición de sonidos que se
necesitan en las producciones multimedia son:
–Recortes
–Uniones
–Ajustes de volumen
–Conversión de Formatos
–Remuestreo y muestreo a baja velocidad
–Desvanecimiento
–Ecualización
–Ajustes de tiempos
–Procesamiento digital de señales
–Sonido a la inversa
Referencias - Multimedia
Lecturas recomendadas sobre codificación de audio
– http://en.wikipedia.org/wiki/Category:Audio_codecs
• Digital Multimedia, N. Chapman & J. Chapman,
Wiley 2013.
– Capítulos 8 (Audio)
• http://www.digitalmultimedia.org/slide_sets/8