PDF - 1.4 MB

Clase nº 2
Año académico 2003
Teoría acústica de la producción del habla
• Visión general
• Fuentes de sonido
• Función de transferencia del tracto vocal
– Ecuaciones de onda
– Propagación del sonido en un tubo acústico uniforme
• Cómo representar el tracto vocal con tubos acústicos simples
• Cómo calcular las frecuencias naturales a partir de funciones de área
• Cómo representar el tracto vocal con tubos uniformes múltiples
6.345 Reconocimiento automático del habla
Teoría acústica de la producción del habla 1
Estructuras anatómicas para la producción del habla
6 . 3 4 5 Reconocimiento automático del habla
Teoría acústica de la producción del habla,2
Fonemas en inglés americano
FONEMA
/i¤/
/I/
/e¤/
/E/
/@/
/a/
/O/
/^/
/o⁄/
/U/
/u⁄/
/5/
/a¤/
/O¤/
/a⁄/
/{/
EJEMPLO
FONEMA
beat
bit
bait
bet
bat
Bob
bought
but
boat
book
boot
Burt
bite
Boyd
bout
about
6.345 Reconocimiento automático del habla
/s/
/S/
/f/
/T/
/z/
/Z/
/v/
/D/
/p/
/t/
/k/
/b/
/d/
/g/
EJEMPLO
see
she
fee
thief
z
Gigi
v
thee
pea
tea
key
bee
Dee
geese
FONEMA
/w/
/r/
/l/
/y/
/m/
/n/
/4/
/C/
/J/
/h/
EJEMPLO
wet
red
let
yet
meet
neat
sing
church
judge
heat
Teoría acústica de la producción del habla, 3
Lugares de articulación de los sonidos del habla
Palato-Alveolar
Alveolar
Labial
Dental
6.345 R econocim iento autom ático delhabla
Palatal
Velar
Uvular
Teoría acústica de la producción delhabla,4
Forma de onda de la voz: Un ejemplo
Dos más siete es menos que diez
6.345 R econocim iento autom ático delhabla
Teoría acústica de la producción delhabl
Un espectrograma de banda ancha
Dos más siete es menos que diez
6.345 R econocim iento autom ático delhabla
T. acústica de la producción delhabla 6
Teoría acústica de la producción del habla
• Los rasgos acústicos del habla están modelados generalmente como una secuencia
de la fuente, un filtro del tracto vocal y características de radiación.
UL
Pr
r
UG
Pr (jΩ) = S(jΩ) T (jΩ) R(jΩ)
• Para la producción de las vocales:
S(jΩ) = UG (jΩ)
T (jΩ) = UL (jΩ) / UG (jΩ)
R(jΩ) = Pr (jΩ) / UL (jΩ)
6.345 R econocim iento autom á tico delhabla
T.acústica de la producción delhabla,7
Fuente del sonido: Vibración de las cuerdas vocales
Modelada como fuente de la velocidad volumétrica en la glotis,
Pr ( t )
To = 1/Fo
UG(jΩ)
UG ( f )
t
1/f2
UG ( t )
f
t
F0 prom. (Hz) F0 min (Hz)
Hombres
125
80
Mujeres
225
150
Niños
300
200
6.345 R econocim ietno autom ático delhabla
F0 max (Hz)
200
350
500
Teoría acústica de la producción delhabla,8
Fuente del sonido: Ruido de turbulencia
•
•
Elruido de turbulencia se produce por una constricción en eltracto vocal.
–
Elruido de aspiración se produce en la glotis.
–
Elruido de fricación se produce encim a de la glotis.
M odelado com o una fuente de presión sucesiva en la constricción
S (jΩ)
,P
Ps ( f )
0.2 V
D
V :Velocidad de constricción
6.345 R econocim iento automático delhabla
f
4A √
≈ A
D: Dimensión crítica =
π
Teoría acústica de la producción delhabla,9
Ecuaciones de onda en el tracto vocal
Definir:
u(x, t)
U(x, t)
p(x, t)
ρ
c
⇒
=
=⇒
=⇒
=⇒
=⇒
velocidad de la partícula
velocidad volumétrica (U= uA)
variación en la presión del sonido
(P = P
O
+ p)
densidad de aire
velocidad del sonido
• Suponiendo una propagación de onda plana (para una dimensión cruzada λ) y un
movimiento ondulatorio unidimensional, puede demostrarse que:
∂u
∂p
=ρ
−
∂x
∂t
∂u
1 ∂p
−
=
∂x ρc 2 ∂t
1 ∂2 u
∂2 u
= 2 2
2
∂x
c ∂t
• Las soluciones en el dominio del tiempo y la frecuencia presentan esta forma:
1 x
x
+
−
−sx/c
sx/c
u(x, s) =
− P− e
u(x, t) = u (t − ) − u (t + )
P+ e
c
ρc
c
x
x
+
−
p(x, t) = ρc u (t − ) + u (t + )
p(x, s) = P+ e−sx/c + P− esx/c
c
c
6.345 R econocim iento autom ático delhabla
Teoría acústica de la producción delhabla,10
Propagación del sonido en un tubo uniforme
A
UG
x = -l
x = 0
• La función de transferencia deltracto vocalpara las velocidades volumétricas es:
UL (jΩ) U(−, jΩ)
=
T (jΩ) =
UG (jΩ)
U(0, jΩ)
•
U tilizando las condiciones de contorno
T (s) =
es/c
U(0, s) = U
2
+ e−s/c
G (s) y P(−, s)
T (jΩ) =
=0
1
cos(Ω/c)
• Los polos de la función de transferencia T (jΩ) están donde cos(Ω/c) = 0
(2πfn ) (2n − 1)
=
π
2
c
6.345 Reconocim iento autom ático delhabla
c
fn =
(2n−1)
4
4
λn =
(2n − 1)
n = 1, 2, . . .
Teoría acústica de la producción delhabla, 11
Propagación del sonido en un tubo unifdorme (cont.)(
• Para c = 34,000 cm /seg, = 17 cm ,las frecuencias naturales (conocidas también como formantes)aparecen en en 500Hz,1500Hz,2500Hz,...
jΩ
20 log10 T ( j Ω )
∞
∞
∞
∞
∞
x
40
x
20
x
0
σ
x
0
1
2
3
Frecuencia ( kHz )
4
5
x
x
• La función de transferencia de un tubo sin ramas laterales, excitado en
un extremo y con la respuesta medida en el otro, únicamente posee polos.
• Las frecuencias del formante tendrán un ancho de banda finito cuando se consideren las pérdidas del tracto vocal (ej., radiación, paredes, viscosidad, calor).
• La longitud del tracto vocal, , corresponde a 1 4 λ13, 4 λ25, 4 λ3 , ...,
donde λi es la longitud de onda de la frecuencia natural de i th
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 12
Posición de los patrones de onda en un tubo uniforme
Un tubo uniforme cerrado en un extremo y abierto en el otro, es conocido
normalmente como un resonador en cuarto de longitud de onda.
x
glotis
labios
|U(x)|
SWP para (Standing Wave Patterns) (Posición de los patrones de onda)
F1
SWP para
F2
2
3
SWP para
F3
2
5
6.345 Reconocimiento automátic o del habla
4
5
T. acústica de la producción del habla, 13
Frecuencias naturales de tubos acústicos simplificados
A
z-l
x = -l
A
z-l
x = 0
x = -l
Resonador en un cuarto de longitud de onda
P(x, jΩ) = 2P+ cos
U(x, jΩ) = −j
Ωx
c
Ωx
A
2P+ sin
ρc
c
x = 0
Resonador en media longitud de onda
P(x, jΩ) = −j2P+ sin
U(x, jΩ) =
Ωx
c
A
Ωx
2P+ cos
c
ρc
Ω
Ω
A
A
tan
cot
Y− = −j
Y− = j
ρc
ρc
c
c
1
A
A
= −j
≈ −j
Ω/c 1
≈ jΩ 2 = jΩCA Ω/c 1
Ωρ
ΩMA
ρc
MA = ρ/A = masa acústica
CA = A/ρc 2 = distensibilidad acústica
fn =
c
(2n − 1)
4
n = 1, 2, . . .
6.345 Reconocimiento automático del habla
fn =
c
n n = 0, 1, 2, . . .
2
T. acústica de la producción del habla, 14
Aproximación de las formas del tracto vocal
[i]
A1
l1
[ a]
[u]
A2
l2
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 15
Cómo calcular las frecuencias de resonancia natural
• Las frecuencias de resonancia se dan donde la función de obstaculización (o entrada) equivale a las condiciones de contorno naturales (ej., circuíto abierto)
UG
A1
A2
l1
UL
l2
Y 1+ Y 2= 0
• Para una aproximación de dos tubos, es más fácil resolver
Y1
+ Y2 = 0
Ω1
A2
Ω2
A1
tan
−j
cot
=0
j
ρc
c
ρc
c
Ω1
Ω2 A2
Ω2
Ω1
sin
sin
−
cos
=0
cos
c
c
A1
c
c
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 16
Desacoplamiento de las aproximaciones de un tubo simple
• Si A 1 A2 , o A1 A2 , los tubos pueden ser desacoplados y las frecuencias natunaturales de cada tubo se pueden calcular independientemente.
• Para la vocal /i¤/, las frecuencias del formante se obtienen a partir de:
A1
A2
l1
fn =
• Para frecuencias bajas:
f =
c
n
21
c
A2
2π A1 1 2
l2
más
1/2
fn =
=
c
n
22
1
1
2π CA1 MA2
1/2
• Esta frecuencia de resonancia baja se denomina resonancia Helmholt.
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla,17
Ejemplo de producción de la vocal
2
2
1 cm
1 cm
2
2
9 cm
7 cm
8 cm
8 cm
9 cm
+
972
2917
.
.
.
6 cm
+
1093
.
.
.
.
Formante Real
Aproximado
F1
789
972
F2
1276
1093
F3
2808
2917
.
.
.
.
.
.
6.345 Reconocimiemto automático del habla
268
+
1944
.
.
.
.
2917
.
.
.
.
Formante Real
F1
256
F2
1905
F3
2917
.
.
.
.
Aproximado
268
1944
2917
.
.
T. acústica de la producción del habla, 18
Ejemplos de espectrogramas de vocal
16
0.0
0.1
0.2
Velocidad de cruce cero
Tiempo (segundos)
0.3
0.4
0.5
0.6
0.7
kHz 8
16
8 kHz
0
0
16
Tiempo (segundos)
0.3
0.4
0.5
0.6
0.7
kHz 8
16
8 kHz
0
Energía total
0
Energía total
dB
dB
dB
dB
dB
Energía -- 125 Hz a 750 Hz
dB
Energía -- 125 Hz a 750 Hz
dB
8
0.0
0.1
0.2
Velocidad de cruce cero
dB
8
8
7
7
7
7
6
6
6
6
5
5
5
5
Espectrograma de banda ancha
kHz 4
4 kHz
8
Espectrograma de banda ancha
kHz 4
4 kHz
3
3
3
3
2
2
2
2
1
1
1
1
0
0
0
Forma de onda
0.0
0.1
0
Forma de onda
0.2
0.3
0.4
0.5
/bit/
6.345 Reconocimiento automático del habla
0.6
0.7
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
/bat/
T. acústica de la producción del habla, 19
Cálculo de frecuencias antirresonantes (Ceros)
Los ceros se dan en frecuencias donde no hay salida mensurable.
ln
UG
Yn
Ap
Yp
An
UN
Ao
Ab
lo
lb
Ac
Yo
lp
• Para consonantes nasales,los ceros en
U se dan donde
N
lc
Ps A f
UL
lf
YO = ∞
• Para consonantes fricativas u oclusivas, los ceros en U
L se dan donde la obstaculización tras la fuente es infinita (p.ej., una pared dura en la fuente).
Y1 = 0
Y 3+ Y 4= 0
• Los ceros se dan cuando las mediciones se realizan en el interior del tracto vocal.
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 20
Producción de la consonante
Ab
Ac
lb
Ps A f
lc
lf
POLOS
+
[g]
[s]
CEROS
+
Ab
5
5
+
Ac
0.2
0.5
[g]
polos
ceros
215
0
1750 1944
1944 2916
3888 3888
.
.
.
.
6.345 Reconocimiento automático del habla
+
Af
4
4
b
9
11
c
3
3
f
5
2.5
[s]
polos cceros
306
0
1590 1590
3180 2916
3500 3180
.
.
.
.
T. acústica de la producción del habla, 21
Ejemplo de espectrograma de consonante
0.0
0.1
0.2
16
Velocidad de cruce cero
kHz 8
Tiempo (segundos)
0.3
0.4
0.5
0.6
0.7
16
8 kHz
0
0
0.0
0.1
0.2
16
Zero Crossing Rate
kHz 8
Tiempo (segundos)
0.4
0.5
0.6
0.7
0.8
16
8 kHz
0
Energía total
0
Energía total
dB
dB
dB
dB
dB
Energía -- 125 Hz a 750 Hz
dB
Energía-- 125 Hz a 750 Hz
dB
8
0.3
dB
8
8
7
7
7
7
6
6
6
6
5
5
5
5
Espectrograma de banda ancha
kHz 4
4 kHz
8
Espectrograma de banda ancha
kHz 4
4 kHz
3
3
3
3
2
2
2
2
1
1
1
1
0
0
0
Forma de onda
0.0
0.1
0
Forma de onda
0.2
0.3
0.4
0.5
/ki¤ p/
6.345 Reconocimiento automático del habla
0.6
0.7
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
/si¤ /
T. acústica de la producción del habla, 22
Teoría de la perturbación
Y −j
A
Yl
A
paralpequeña
Ωρ
l
• Considere un tubo uniforme, cerrado en un extremo y abierto en el otro.
l
∆x
• Reducir el área de una pequeña parte del tubo cerca de la apertura
(donde U alcanza el máximo), causa el mismo efecto que mantener el área fija
y alargar el tubo.
• Dado que alargar el tubo disminuye las frecuencias resonantes, estrechar el mismo
cerca de los puntos donde U (x) alcanza el máximo en la posición del patrón de onda
para un determinado formante, reduce el valor de dicho formante.
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 23
Teoría de la perturbación (cont.)
Y jΩ
A
Yl
A
para l pequeña
2
ρc
l
l
∆x
• Reducir el área de una pequeña parte del tubo próxima al cierre (donde
p alcanza el máximo), posee el mismo efecto que mantener el área fija y acortar
el tubo.
• Dado que acortar el tubo aumentará los valores de los formantes, estrecharlo cerca
de los puntos donde p(x) alcanza el máximo en la posición del patrón de onda
para un determinado formante, aumentará el valor de dicho formante.
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 24
Resumen de los resultados de la teoría de la perturbación
x
glotis
labios
x
glotis
labios
|U(x)|
+
∆F1
SWP para
F1
1
2
−
(como consecuencia de disminuir A)
∆F2
SWP para
F2
+
+
1
2
−
2
3
∆F3
SWP para
F3
2
5
6.345 Reconocimiento automático del habla
4
5
+
−
+
1
2
−
+
−
−
T. acústica de la producción del habla 25
Ilustración de la teoría de la perturbación
6.345 Reconocimiento automática del habla
T. acústica de la producción del habla 26
Ilustración de la teoría de la perturbación
The ship was torn apart on the sharp (reef)(Desmantelaron el barco en el arrecife)
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 27
Illustración de la teoría de la perturbación
(The ship was torn apart on the sh)arp reef
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 28
Aproximación de muchos tubos en el tracto vocal
• Podemos representar el tracto vocal como una concatenación de N tubos sin pérdidas,
con un área constante {A
k } e igual longitud ∆x = /N
• El tiempo de propagación de la onda por cada tubo es τ = ∆x = c
A
∆x
6.345 Reconocimiento automático del habla
Nc
A7
∆x
∆x
∆x
∆x
∆x
∆x
T. acústica de la producción del habla, 29
Ecuaciones de onda para un tubo individual
Las ecuaciones de onda para el tubo kth tienen la forma
ρc +
x
x
[Uk (t − ) + Uk− (t + )]
pk (x, t) =
Ak
c
c
Uk (x, t) = Uk+ (t − cx ) − Uk− (t + cx )
donde x se mide desde el lado de la izquierda(0 ≤ x ≤ ∆x)
+
+
U k ( t - τ ) U k+1( t )
-
U k ( t + τ ) U k+1 ( t )
+
Uk ( t )
-
Uk ( t )
-
+
U k+1 ( t - τ )
(t+τ)
U k+1
∆x
Ak
∆x
A k+1
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla, 30
Expresión de actualización en las fronteras del tubo
Podemos resolver expresiones de actualización utilizando las restricciones de continuidad en
las fronteras del tubo, ej.,
pk (∆x, t) = pk+1 (0, t), y Uk (∆x, t) = Uk+1 (0, t)
+
+
Uk (
t)
DELAY
+
Uk ( t - τ )
τ
Uk + 1 ( t )
1 + rk
-
1 - rk
DELAY
τ
U k(
t +τ )
τ
Uk+1( t - τ )
DELAY
U k + 1( t + τ )
+
rk
- rk
Uk ( t )
DELAY
Uk + 1 (
k th tubo
t)
-
τ
( k + 1 ) st tubo
−
Uk++1 (t) = (1 + rk )Uk+ (t − τ) + rk Uk+1
(t)
−
(t)
Uk− (t + τ) = −rk Uk+ (t − τ) + (1 − rk )Uk+1
rk =
6.345 Reconocimiento automático del habla
Ak+1 − Ak
Ak+1 + Ak
nota | rk |≤ 1
T. acústica de la producción del habla, 31
Modelo digital del tracto vocal con muchos tubos
•
Las actualizaciones en las fronteras del tubo se dan sincrónicamente cada 2τ
•
Si la excitación se limita a la banda, se pueden muestrear las salidas cada T = 2t
•
Cada sección del tubo posee un retraso de z −1/2
+
Uk (
z)
z
1
2
1 + rk
+
Uk + 1 ( z )
-rk
rk
-
-
Uk ( z )
z
•
1
2
1 - rk
La elección de N depende de la velocidad de muestreo T
T = 2τ = 2
Nc
•
Uk + 1 ( z )
=⇒
2
N=
cT
Las series y las pérdidas relegadas se pueden introducir también en las uniones del tubo
– Los anchos de banda son proporcionales a la pérdida de energía en la velocidad de almacenamiento
–
La energía almacenada es proporcional a la longitud del tubo
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 32
Trabajo 1
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 33
Referencias
• Zue, Material del curso 6.345
• Stevens, Acoustic Phonetics, MIT Press, 1998.
• Rabiner & Schafer, Digital Processing of Speech Signals,
Prentice-Hall, 1978.
6.345 Reconocimiento automático del habla
T. acústica de la producción del habla 34