Síntesis de instrumentos de viento
Anuncio
Sı́ntesis de instrumentos de viento Martı́n Rocamora Seminario de Audio, 2008 seminario audio 2008 (eMe - IIE) 1 / 37 Contenido 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 2 / 37 Contenido 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 2 / 37 Contenido 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 2 / 37 Contenido 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 2 / 37 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 3 / 37 Motivación Audio etiquetado Al desarrollar un algoritmo de MIR es importante contar con audio etiquetado (entrenamiento, selección de parámetros, evaluación). • etiquetado manual I I I proceso trabajoso posibles ambiguedades muy pocos recursos disponibles (MIREX [1], RWC [2]) • alineamiento automático entre audio y MIDI I problema complejo I “MIDI-Aligned Piano Sounds”, Valentin Emiya • sı́ntesis a partir de MIDI I menos realista o natural I usando un conjuto de samples de audio [3] seminario audio 2008 (eMe - IIE) 4 / 37 Ejemplo Secuencia MIDI y contorno F0 de referencia sobre espectrograma [3]. seminario audio 2008 (eMe - IIE) 5 / 37 Parciales etiquetados En ocasiones interesa conocer la amplitud y la frecuencia de cada parcial. Se propone una metodologı́a y un conjunto de herramientas para este caso. seminario audio 2008 (eMe - IIE) 6 / 37 Sonidos armónicos Muchos de los sonidos presentes en música son armónicos. • forma de onda periódica (f0: frecuencia fudamental) • espectro: múltiplos enteros de f0 • altura definida Sonidos reales: periodicidad aproximada, inarmonicidad. seminario audio 2008 (eMe - IIE) 7 / 37 Sı́ntesis de sonidos armónicos Suma de componentes sinusoidales, denominados parciales: • amplitud • frecuencia • fase (mucho menos relevante) Usar fuentes armónicas simples para evaluar algoritmos motivó la idea de hacer sı́ntesis imitativa. seminario audio 2008 (eMe - IIE) 8 / 37 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 9 / 37 Timbre Concepto de timbre Define el tipo de sonido • no hay ordenamiento unidimensional • caracterı́sticas de la fuente (material, forma, tamaño, modo de excitación, etc) • diferentes grados de especificidad (instrumento, familia de instrumentos, etc) McAdams 1999, [] seminario audio 2008 (eMe - IIE) 10 / 37 Teorı́a clásica de timbre Helmholtz (On the Sensations of Tone - 1885) [4] Conceptos fundamentales: • envolvente de amplitud determina fuertemente el tipo de sonido: I I percutivo (ataque y decaimiento) autosostenido (ataque, fase estacionaria y decaimiento) Envolvente de amplitud aproximada de nota de guitarra y violı́n, [5] seminario audio 2008 (eMe - IIE) 11 / 37 Teorı́a clásica de timbre Helmholtz (On the Sensations of Tone - 1885) [4] Conceptos fundamentales: • envolvente espectral relación muy directa con el timbre: I I decaimiento (entre 6 y 12 dB/oct [6]) picos en ciertas regiones (formantes) seminario audio 2008 (eMe - IIE) 12 / 37 Teorı́a clásica de timbre Formantes Sistema acústico consiste en: • una fuente de excitación (e.g. cuerdas vocales o lengueta vibrando) • un resonador (e.g. tracto vocal o tubo) La fuente de excitación es periódica formando un espectro armónico que es enfatizado en ciertas regiones por la transferencia del resonador. Esquema de espectro de fuente armónica, [6] seminario audio 2008 (eMe - IIE) 13 / 37 Teorı́a clásica de timbre Formantes Frecuencia de las formantes: relacionada con el tamaño, forma y material del cuerpo resonador. Los mismos picos estarán presentes independientemente de la f0. Sonidos de timbre similar y diferente f0 no tendrán la misma relación de amplitudes entre sus componentes de frecuencia. Sonidos de timbre similar pero diferente frecuencia fundamental, [6] seminario audio 2008 (eMe - IIE) 14 / 37 Teorı́a moderna de timbre La forma de onda (y el espectro) puede cambiar dramáticamente en el transcurso de un sonido. La evolución temporal del espectro tiene un rol importante en el timbre. En un algoritmo de sı́ntesis es muy importante la capacidad de producir un espectro dinámico. Evolución de la amplitud de los parciales de un sonido de trompeta, [6] seminario audio 2008 (eMe - IIE) 15 / 37 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 16 / 37 Sı́ntesis de instrumentos musicales Aproximación de evolución temporal La evolución precisa de la frecuencia y la amplitud de los componentes espectrales es menos importante que el comportamiento general o promedio (Grey y Risset, [6][7]). Por medio de curvas a trozos se pueden construir ejemplos musicalmente indistinguibles. Aproximación de envolvente de amplitud por curvas a trozos de los parciales de un sonido de trompeta, [7] seminario audio 2008 (eMe - IIE) 17 / 37 Sı́ntesis de instrumentos musicales Generalización de datos de análisis Los datos son válidos en un rango de frecuencias y amplitudes reducido: • al cambiar f0 puede que no se evoque el timbre original (cambia la relación de amplitudes entre los parciales) • la envolvente espectral difiere para distintas intensidades (al aumentar la intensidad crecen los armónicos agudos) Sonidos de timbre similar pero diferente frecuencia fundamental, [6] seminario audio 2008 (eMe - IIE) 18 / 37 Sı́ntesis de instrumentos musicales Nota de piano (A4) en tres matices diferentes: ff, mf, pp seminario audio 2008 (eMe - IIE) 19 / 37 Sı́ntesis de instrumentos musicales Fusión de parciales en un único sonido Elementos determinantes [6]: • asincronismo de ataque (se debilita si supera entre 30 y 70 ms) • fluctuación sincronizada de frecuencia (vibrato aleatorio y periódico) seminario audio 2008 (eMe - IIE) 20 / 37 Sı́ntesis aditiva Suma de componentes sinusoidales Para un espectro dinámico cada parcial tiene evolución independiente: • envolvente de amplitud • frecuencia Sı́ntesis aditiva de sonido de campana, Risset [6] seminario audio 2008 (eMe - IIE) 21 / 37 1 Introducción Motivación Sonidos armónicos 2 Timbre Concepto de timbre Teorı́a clásica Teorı́a moderna 3 Sı́ntesis de sonido Sı́ntesis de instrumentos musicales Sı́ntesis aditiva 4 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento Sı́ntesis por agrupamiento de parciales contiguos Implementación y ejemplos seminario audio 2008 (eMe - IIE) 22 / 37 Sı́ntesis de instrumentos de viento Caracterı́sticas de los instrumentos de viento ([6], [8]) • envolvente de amplitud exponencial en ataque y decaimiento • fluctuación en la frecuencia rápida y de poca amplitud • pendiente de envolvente espectral decrece con la intensidad • sucesivamente armónicos más altos atacan más lento y decaen antes • presencia de formantes Nota de corno, (G#3) seminario audio 2008 (eMe - IIE) 23 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) • espectro representativo del estado estacionario (brillo promedio) • agrupar parciales contiguos para controlar su evolución temporal (grupos 1:[f0] 2:[2f0,3f0] 3:[4f0,5f0,6f0,7f0] 4:[8f0 ...] motivado por bandas crı́ticas) seminario audio 2008 (eMe - IIE) 24 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) Envolventes de amplitud: • envolvente de amplitud prototı́pica lineal para f0 (6 tramos) • restantes envolventes relacionadas de forma exponencial (amp1g ) • sucesivamente armónicos más altos atacan más lento y decaen antes • envolvente de amplitud global exponencial seminario audio 2008 (eMe - IIE) 25 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) Envolventes de amplitud en relación exponencial simulan en cierta medida los cambios de envolvente espectral en función del matiz. Nota sintetizada de trombón (G#3) para diferentes intesidades seminario audio 2008 (eMe - IIE) 26 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) Cambios espectrales en el rango de altura del instrumento: • se representan aproximadamente dos espectros por octava • dada una cierta altura se sintetiza el espectro más cercano Espectros de referencia usados en la sı́ntesis de trompeta, [10] seminario audio 2008 (eMe - IIE) 27 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) Vibrato dinámico: • la tasa de vibrato cambia de 2.5+rand a 4.5+rand Hz • máxima profundidad de vibrato 1 % • la profundidad de vibrato varı́a a lo largo de la nota Ejemplo de variación de vibrato a lo largo de una nota. seminario audio 2008 (eMe - IIE) 28 / 37 Sı́ntesis por agrupamiento de parciales contiguos Modelo adoptado (Horner-Ayers [9][10]) Observaciones: • aproximación gruesa de la envolvente de amplitud • saltos discretos de timbre al recorrer el registro • el cambio espectral con el matiz es limitado • la evolución de cada parcial no es independiente • tiempo de ataque y caı́da se establecen manualmente Modelo genérico, poco costoso computacionalmente, que permite registrar la evolución de los parámetros de interés de cada parcial (f0, amplitud, φ). seminario audio 2008 (eMe - IIE) 29 / 37 Implementación y ejemplos Implementación • biblioteca en Matlab (Octave) • 10 instrumentos disponibles corno, clarinete, oboe, fagot, flauta, piccolo, saxo, trompeta, tuba, trombón • partitura ingresa como archivo CSV o MIDI • ejemplos de cada instrumento y polifonı́as seminario audio 2008 (eMe - IIE) 30 / 37 Implementación y ejemplos Gráfico de dependencia de funciones implementadas seminario audio 2008 (eMe - IIE) 31 / 37 Implementación y ejemplos Ejemplo de sı́ntesis de corno seminario audio 2008 (eMe - IIE) 32 / 37 Implementación y ejemplos Ejemplo de polifonı́a: clarinete, oboe y fagot seminario audio 2008 (eMe - IIE) 33 / 37 Muchas gracias seminario audio 2008 (eMe - IIE) 34 / 37 Bibliografı́a J. Stephen Downie The Music Information Retrieval Evaluation eXchange (MIREX), D-Lib Magazine 12 (12), 2006 http://www.dlib.org/dlib/december06/downie/12downie.html Masataka Goto AIST Annotation for the RWC Music Database, Proceedings of the 7th International Conference on Music Information Retrieval (ISMIR 2006), pp.359-360, October 2006 http://staff.aist.go.jp/m.goto/RWC-MDB/AIST-Annotation/ Chunghsin Yeh, Niels Bogaards and Axel Röbel Synthesized polyphonic music database with verifiable ground truth for multiple F0 estimation, 8th International Conference on Music Information Retrieval (ISMIR’07), pp. 393-398, Vienna, Austria, 2007 http://recherche.ircam.fr/equipes/analyse-synthese/cyeh/ database.html seminario audio 2008 (eMe - IIE) 35 / 37 Hermann Helmholtz On the Sensations of Tone, Dover Publications, 2 edition, June, 1954 Anssi Klapuri, Manuel Davy (Editores) Signal Processing Methods for Music Transcription, Springer, 1 edition, May, 2006) Charles Dodge, Thomas A. Jerse Computer Music: Synthesis, Composition, and Performance, Schirmer, 2 edition, July, 1997 F. Richard Moore Elements of Computer Music, Prentice Hall, February, 1990 Neville H. Fletcher, Thomas D. Rossing The Physics of Musical Instruments, Springer, 2nd edition, May, 2008 Richard Boulanger (Editor) The Csound Book: Perspectives in Software Synthesis, Sound Design, Signal Processing,and Programming, The MIT Press, March, 2000 seminario audio 2008 (eMe - IIE) 36 / 37 Andrew Horner, Lydia Ayers Cooking with Csound, Part 1: Woodwind and Brass Recipes, A-R Editions, September, 2002 seminario audio 2008 (eMe - IIE) 37 / 37
