Tema 5: Capacidad de Canal Canales Continuos

Tema 6: Capacidad de Canal
Parte 1. Canales Continuos
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
Maximización de la velocidad de transmisión
‰ Teorema de capacidad de canal de Shannon
• Máxima cantidad de información que puede transmitirse por un
canal sin errores
− Ejemplo: capacidad de un canal gaussiano limitado en banda (bits/seg)
B
x(t)
fc
0
N(t) → SN ( f ) =
N0
2
y(t)
B
fc +
2
⎛ P ⎞
⎛ ER ⎞
C = B log2 ⎜1+ R ⎟ = B log2 ⎜1+ b b ⎟
⎝ PN ⎠
⎝ N0 B ⎠
f
Rb/B (bits/s/Hz)
20
10
Rb ( 2 −1)
=
[ bits/seg./Hz]
E
B
b
N0
C/B
Región en la que Rb>C
Límite de
Shannon
⎛ 2Rb B −1⎞
⎟
Rb ⎜⎝
⎠
=
Límite de capacidad Rb=C
Eb
B
N0
Región en la que Rb<C
-1.6
1
© UC3M, Sistemas y Canales de Transmisión, 2010-2011 0.1
0
10
20
⎛ 2Rb B −1⎞
⎜
⎟ E
⎝
⎠≤ b
Rb
N0
B
30
Eb/N0 dB
2
Maximización de la velocidad de transmisión
‰ En algunos canales la SNR depende de la frecuencia
• Ejemplo: canales ADSL
Usuario
T
s
(t)
Hc ( f ) = e−k(d)
2
f
SR ( f ) = STUsuario ( f )e−k (d )
f
⎡W ⎤
+ SN ( f ) ⎢ ⎥
⎣ Hz ⎦
Ruido: NEXT
• donde
k(d) = k1
d
dRef
− Típicamente
Š k1=1.158
Š dRef=6 Km.
• Ruido
− Modelo
2
⎡W ⎤
SN ( f ) = STInterf . ( f ) H XT ( f ) = STInterf . ( f )β f 3/ 2 ⎢ ⎥
⎣ Hz ⎦
Š Típicamente β=10-9
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
3
Ejemplo: canal ADSL
‰ En canales ADSL
sTUsuario (t)
−k (d ) f
Hc ( f ) = e
2
s R (t )
SR ( f ) = STUsuario ( f )e−k (d )
Ruido: NEXT SN ( f ) = ST
Interf .
• Relación señal a ruido
f
+ SN ( f )
( f )β f 3/ 2
0
2
− Es una función de la frecuencia
−k (d ) f
e
⎛S⎞
=
=
(
)
SNR
f
⎜ ⎟
β f 3/2
⎝ N ⎠R
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
-20
Densidad espectral de potencia (dB)
2
Usuario
HC ( f )
e−k f
⎛ S ⎞ ST ( f ) HC ( f )
≈
= 3/2
⎜ ⎟ = Interf
2
2
⎝ N ⎠R ST ( f ) HXT ( f )
HXT ( f ) β f
e−k
-40
⎛S⎞
⎜ ⎟ (f)
⎝ N ⎠R
-60
f
β f 3/ 2
-80
-100
-120
0
10
20
30
40
50
60
Frecuencia (MHz)
70
80
90
100
4
Capacidad en canales con SNR variable
‰ Modelo de canal
sT ( t )
HC ( f )
SR ( f ) = ST ( f ) HC ( f ) + SN ( f )
2
s R (t )
2
Ruido SN ( f )
• Capacidad
2
⎛
⎞
S
(
f
)
H
(
f
)
1
1
T
C
C=∫
⎟ df
log2 (1+ SNR( f )) df = ∫
log2 ⎜1+
f ∈{B} 2
f ∈{B} 2
⎜
⎟
SN ( f )
⎝
⎠
− Ejemplo: canal gaussiano y distribución uniforme de potencia: ST ( f ) HC ( f ) 2 =
sT ( t )
N
N(t) → SN ( f ) = 0
2
HC ( f )
B
− fc
C=
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
2
s R (t )
B
0
PR
2B
fc
1
2 ∫f ∈{B}
B
fc +
2
f
⎛ PR ⎞
⎛
P ⎞
log2 ⎜1+ 2B ⎟ df = B log2 ⎜1+ R ⎟
⎜⎜ N0 ⎟⎟
⎝ N0 B ⎠
⎝
2 ⎠
5
Capacidad en canales con SNR variable
‰ Modelo de canal
sT (t )
HC ( f )
s R (t )
2
Ruido SN ( f )
• Capacidad
1
log2 (1+ SNR( f )) df
f ∈{B} 2
⎛ ST ( f ) HC ( f ) 2 ⎞
1
=∫
⎟ df
log2 ⎜1+
f ∈{B} 2
⎜
⎟
SN ( f )
⎝
⎠
C=∫
− Si queremos maximizar la velocidad de transmisión, el único
“parámetro” que se puede ajustar es la distribución de potencia
transmitida: ST( f )
− Objetivo: encontrar ST( f ) (distribución de potencia transmitida) que
maximiza
2
⎧⎪
⎛
⎞ ⎫⎪
S
(
f
)
H
(
f
)
1
T
C
C = max ⎨∫
⎟ df ⎬
log2 ⎜1+
f ∈{B} 2
ST ( f )
⎜
⎟ ⎪
SN ( f )
⎪⎩
⎝
⎠ ⎭
Š Restricción: la potencia total está limitada a PX vatios
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
PX = ∫
f ∈{B}
ST ( f )df
6
Distribución de potencia transmitida
‰ Encontrar la ST( f ) que maximiza:
2
⎧⎪
⎛
⎞ ⎫⎪
S
(
f
)
H
(
f
)
1
T
C
⎟ df ⎬
C = max ⎨∫
log2 ⎜1+
f ∈{ B} 2
ST ( f )
⎜
⎟ ⎪
S
(
f
)
N
⎝
⎠ ⎭
⎩⎪
es un problema muy complejo
‰ La solución consiste en dividir el espectro en intervalos en los
que la relación señal a ruido pueda considerarse constante.
• Modulaciones multiportadora
PT ,i = ST ( fi )Δf → PR,i = PT ,i HC ( fi )
Δf
2
PN ,i = SN ( fi )Δf
Densidad
Espectral
⎛S⎞
⎜ ⎟
⎝ N ⎠R
⎛ P ⎞
Ci = Δf log2 ⎜1+ R,i ⎟
⎜ P ⎟
N ,i ⎠
⎝
fi
C = ∑Ci
Intervalo i-ésimo
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
frecuencia
i
7
Distribución de la potencia transmitida
‰ Distribución de la potencia transmitida
sT ( t )
HC ( f )
2
PR,i
s R (t )
⎛ PR,i ⎞
Ci = Δf log2 ⎜1+
⎜ P ⎟⎟
N ,i ⎠
⎝
Ruido SN ( f )
Δf
• Objetivo: Maximizar la capacidad
max ∑
PR ,i
i
⎛ PR,i ⎞
Δf log2 ⎜1+
⎜ P ⎟⎟
N ,i ⎠
⎝
PR,i = ST ( fi ) HC ( fi ) Δf = PT ,i HC ( fi )
2
2
PN ,i = SN ( fi )Δf
− Encontrar la distribución de potencia recibida PR,i que maximiza la capacidad es
equivalente a calcular la PT,i óptima: sólo difieren en una constante (HC(fi) )
• Restricciones
− La potencia total está limitada
∑P
T ,i
i
= PT ⇔ ∑ PR,i = PR
i
− Puede haber bandas en las que no se transmita potencia (PT,i=0 ⇔ PR,i = 0)
PR,i ≥ 0
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
8
Water-filling discreto
‰ Distribución de potencia en canales “paralelos”
• Objetivo: Maximizar la capacidad
max ∑
PR ,i
• Restricciones
i
∑P
R,i
⎛ PR,i ⎞
Δf log2 ⎜1+
⎜ P ⎟⎟
N ,i ⎠
⎝
= PR
PR,i ≥ 0
i
• El lagrangiano permite encontrar una solución que maximice la
capacidad y que cumpla las restricciones.
− Lagrangiano
Š Si
⎧⎪
⎛ PR,i ⎞ ⎛
⎞⎫⎪
max L(PR,i , λ) = max ⎨∑ Δf log2 ⎜1+
⎟ + λ ⎜ PR − ∑ PR,i ⎟⎬
⎜
⎟
PR ,i
PR ,i
i
⎠⎭⎪
⎝ PN ,i ⎠ ⎝
⎩⎪ i
⎛ PR,i ⎞
⎛
⎞
PR,i ↑↑ log2 ⎜1 +
pero
↑↑
λ ⎜ PR − ∑ PR,i ⎟ ↓↓
⎜ P ⎟⎟
N ,i ⎠
i
⎝
⎠
⎝
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
9
Waterfilling discreto
‰ Distribución de potencia en canales “paralelos”
• Objetivo: Maximizar la capacidad
max ∑
PR ,i
i
⎛ PR,i ⎞
Δf log2 ⎜1+
⎜ P ⎟⎟
N ,i ⎠
⎝
• Restricciones ∑ PR,i = PR
PR,i ≥ 0
i
• Lagrangiano
⎧⎪
⎛ PR,i ⎞ ⎛
⎞⎫⎪
max L(PR,i , λ) = max ⎨∑ Δf log2 ⎜1+
⎟⎟ + λ ⎜ PR − ∑ PR,i ⎟⎬
⎜
PR ,i
PR ,i
i
⎠⎭⎪
⎪⎩ i
⎝ PN ,i ⎠ ⎝
− Realizando la derivada parcial respecto de PR,i
1
∂L(PR,i , λ) Δf
PN ,i
Δf
=
−λ =
−λ
ln 2 ⎛ PR,i ⎞
∂PR,i
P
P
ln
2
+
( ) ( R,i N ,i )
⎜⎜1 +
⎟⎟
⎝ PN ,i ⎠
− e igualando a 0
(P
R,i
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
+ PN ,i ) =
Δf
= cte. = λ′ [W]
λ ln 2
10
Waterfilling discreto
• Distribución de potencia
Δf
( PR,i + PN ,i ) = λ ln 2 = cte. = λ′ [W]
− Water Filling
Š Método subóptimo.
[W]
λ′
1
⎛S⎞
⎜ ⎟
⎝ N ⎠R
Δf
PR,i
PN ,i
Intervalo i-ésimo
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
frecuencia
11
Waterfilling discreto
‰ Ejemplo de distribución de potencia en canales “paralelos”
⎛ P ⎞
max ∑ Δf log2 ⎜1+ R,i ⎟
⎜ P ⎟
PR ,i
i
N ,i ⎠
⎝
• Para maximizar la capacidad
• ... y cumplir las restricciones ∑ PR,i = PR
PR,i ≥ 0
i
• Solución
(P
R,i + PN ,i ) =
Δf
= cte. = λ′
λ ln 2
[W]
λ′
PR,5 < 0
PR,3 < 0
PR,1
PR,4
PR,2
PN ,3
Δf
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
PR,1 + PR,2 + PR,4 = PR
PN ,4
12
Water-filling discreto
‰ Algoritmo Matlab
function wline=wfill(vec, pcon, tol)
%
WFILL: The Water Filling algorithm.
%
WLINE = WFILL(VEC, PCON, TOL) performs the water filling algorithm
%
VEC is a noise absolute or relative level in LINEAR units at different
frequencies,
%
space or whatever bins.
%
PCON is a total power constrain given in the same units as the VEC.
%
TOL is an acceptable tolerance in the units of VEC.
%
WLINE indicates the WATERLINE level in units of VEC so that:
%
abs(PCON-SUM(MAX(WLINE-VEC, 0)))<=TOL
N=length(vec);
>> lambda_p=wfill([3.1 1.8 4.5 2.3 3.9], 4.0, 0.001);
%first step of water filling
[W]
wline=min(vec)+pcon/N; %initial waterline
ptot=sum(max(wline-vec,0)); %total power for current waterline
%gradual water filling
while abs(pcon-ptot)>tol
wline=wline+(pcon-ptot)/N;
ptot=sum(max(wline-vec,0));
end
λ′ ≈ 3.7
4.5
3.9
3.1
2.3
1.8
Δf
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
13
Water Filling continuo
‰ En canales
sT ( t )
HC ( f )
− Water Filling
λ′
s R (t )
2
n (t ) → S N ( f )
⎡W⎤
⎢⎣ Hz ⎥⎦
S (f)
1
∼ N 2
⎛S⎞
HC ( f )
⎜ ⎟
⎝ N ⎠R
ST ( f ) = λ′ −
SN ( f )
HC ( f )
2
⎛
SN ( f ) ⎞
PT = ∫
⎜ λ′ −
⎟ df
2
f ∈{HC ( f )≠0} ⎜
HC ( f ) ⎟⎠
⎝
f
• Capacidad de canal
⎛ ST ( f ) HC ( f ) 2 ⎞
1
log2 ⎜1+
⎟ df
C=∫
f ∈{B} 2
⎜
⎟
(
)
S
f
N
⎝
⎠
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
⎛ HC ( f ) 2 ⎞
1
log2 ⎜ λ′
=
⎟ df
SN ( f ) ∫ f ∈{HC ( f )≠0} 2
⎜
⎟
(
)
S
f
′
ST ( f )=λ −
N
2
⎝
⎠
HC ( f )
14
Water Filling continuo
‰ Ejemplo
SN ( f )
⎡W⎤
⎢⎣ Hz ⎥⎦
− Water Filling
Hc ( f )
2
λ′
PT = ∫
⎛
SN ( f ) ⎞
⎜ λ′ −
⎟ df
2
⎜
Hc ( f ) ⎟⎠
⎝
⎧⎪
S ( f ) ⎫⎪
f ∈⎨λ′> N
2⎬
Hc ( f ) ⎪⎭
⎪⎩
f
• Capacidad de canal
2
⎛
⎞
H
(
f
)
1
c
C = ∫ ⎧⎪ SN ( f ) ⎫⎪ log2 ⎜ λ′
⎟ df
f ∈⎨λ′>
⎜ SN ( f ) ⎟
2⎬ 2
Hc ( f ) ⎪⎭
⎪⎩
⎝
⎠
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
15
Water Filling continuo
‰ Ejemplo: ruido blanco gaussiano de ancho de banda B
sT ( t )
s R (t )
Hc ( f ) =1
2
n (t )
− Water Filling
⎡W⎤
SN ( f ) ⎢ ⎥
1
∼
Hz ⎦
2 ⎣
⎛S⎞
Hc ( f )
⎜ ⎟
⎝ N ⎠R
λ′
⎛
S (f) ⎞
⎜ λ′ − N 2 ⎟ df
f ∈{ Hc ( f )≠0} ⎜
Hc ( f ) ⎟⎠
⎝
N ⎞
⎛
= 2 ⎜ λ′ − 0 ⎟ B
2 ⎠
⎝
PT = ∫
N0
2
B
fc −
2
0
• Capacidad de canal
⎛ PT N0
⎛ Hc ( f ) ⎞
⎜ 2B + 2
1
C=∫
log2 ⎜ λ′
⎟ df = B log2 ⎜
f ∈{Hc ( f )≠0} 2
⎜ SN ( f ) ⎟
N0
⎜
⎝
⎠
2
⎝
2
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
fc
⎛ PT N0 ⎞
+ ⎟
⎝ 2B 2 ⎠
λ′ = ⎜
B
fc +
2
f
⎞
⎟
⎛
PT ⎞
B
log
1
=
+
⎟
⎟
2⎜
N
B
0 ⎠
⎝
⎟
⎠
16
Water Filling continuo
‰ Ejemplo: ruido coloreado de ancho de banda B
sT ( t )
Hc ( f )
s R (t )
2
− Water Filling
SN ( f )
n (t )
Hc ( f )
2
∼
1
SNR( f )
2λ′
λ′
PX = 2 ( λ′)
2
f − fc
0
fc − λ′
• Capacidad de canal
⎛ HC ( f ) 2 ⎞
1
C=∫
log2 ⎜ λ′
⎟ df
f ∈{HC ( f )≠0} 2
⎜ SN ( f ) ⎟
⎝
⎠
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
∫
fc
fc +
B
2
f
⎛ x⎞
logb ( x)dx = x logb ⎜ ⎟ + cte.
⎝e⎠
17
Parte 2. Canales Discretos
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
Capacidad Canales sin memoria (DMC)
‰ Entropía de la fuente/símbolos recibidos:
• Incertidumbre asociada a los símbolos de entrada/salida
⎛
1
1 ⎞
= E ⎜ log2
H ( X ) = ∑ p( x)log2
⎟
p
x
p
x
(
)
(
)
x∈X
⎝
⎠
X
H (Y ) = ∑ p( y) log2
y∈Y
Y
Canal
discreto
1
p( y )
‰ Entropías condicionales
• Incertidumbre en los símbolos de entrada cuando se conocen los de salida
H( X Y) = ∑ p( y)H( X | Y = y) = ∑
y∈Y
= ∑∑ p(x, y)log2
x∈X y∈Y
y∈Y
1
p( y)∑ p(x | y)log2
p(x | y)
x∈X
1
≤ H( X )
p(x | y)
• Incertidumbre en los símbolos de salida cuando se conocen los de entrada
1
H(Y | X ) = ∑∑ p(x, y)log2
≤ H(Y)
p( y | x)
x∈X y∈Y
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
19
Calculo de la capacidad para DMC
‰ Interpretaciones
• Si H(X|Y) = 0 (ó H(Y|X) = 0), el canal NO introduce errores.
− Si H(X|Y) > 0 (ó H(Y|X) > 0), el canal SÍ introduce errores
• Cuando conocer los símbolos de entrada no reduce la incertidumbre
de los de salida (H(Y) = H(Y|X)), la información transmitida por el
canal es 0.
Equivocación:
Información perdida en la transmisión
Entropía de
la fuente
H(X | Y)
Información
transmitida
I ( X ;Y )
H(X )
H (Y )
H(Y | X)
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
Irrelevancia
Información
recibida
I(X;Y) = H(X) − H(X | Y)
H(Y) = I (X;Y) + H(Y | X)
Incertidumbre que no procede de la fuente (ruido)
20
Calculo de la capacidad para DMC
‰ Información transmitida
• Es la reducción en la incertidumbre sobre los símbolos de salida
(entrada) cuando se conocen los de entrada (salida)
I ( X ;Y ) = H (Y ) − H (Y | X )
1
1
= ∑ p( y)log2
− ∑∑ p( x, y)log2
,
p( y) x∈X y∈Y
p( y | x)
y∈Y
1
= ∑∑ p( x, y)log2
+ ∑∑ p( x, y)log2 p( y | x),
p( y) x∈X y∈Y
x∈X y∈Y
= ∑∑ p( x, y)log2
x∈X y∈Y
p( y | x)
p( y)
p( y | x)
I ( X ;Y ) = H (Y ) − H (Y | X ) = ∑∑ p( x) p( y | x)log2
p( y)
x∈X y∈Y
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
21
Calculo de la capacidad para DMC
‰ La capacidad de un canal es la máxima información mutua
I ( X ;Y ) = H (Y ) − H (Y | X ) = ∑∑ pX ( x) pY | X ( y | x)log2
x∈X y∈Y
pY | X ( y | x)
pY ( y)
,
• Como en los canales continuos,
− p(y|x) depende de las características del canal.
pY|X ( y = 0| x = 0) =1− p,
X={0,1}
BSC
1-p
0
0
Y={0,1}
p
1
1-p
1
pY|X ( y = 0| x =1) = p,
pY|X ( y =1| x = 0) = p,
pY|X ( y =1| x =1) =1− p.
− Para maximizar I(X;Y) solo podemos actuar sobre pX(x) → transmisor
C = max I ( X ;Y ), pX ( x) ≥ 0, ∀x ∈ X ,
p( x)
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
∑p
x∈X
X
( x) = 1.
22
Calculo de la capacidad para DMC
‰ Para canales binarios simétricos
X={0,1}
pX(x=0)=w
BSC
Y={0,1}
x∈X
pY ( y = 0) = pX (x = 0) pY|X ( y = 0| x = 0) + pX (x =1) pY|X ( y = 0| x = 0)
1-p
0
pY ( y) = ∑ pX ( x) pY | X ( y | x),
0 pY(y=0)=w(1-p)+(1-w)p
p
1 pY(y=1)=wp+(1-w)(1-p)
1
1-p
• Capacidad
C = max ∑∑ pX ( x) pY | X ( y | x)log2
pX ( x )
x∈X y∈Y
− Capacidad → w=½
pY | X ( y | x)
pY ( y)
,
C = 1+ p log2 p + (1− p)log2 (1− p) = 1− H( p)
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
23
Calculo de la capacidad para DMC
‰ Para canales binarios simétricos
X={0,1}
Y={0,1}
BSC
C = 1+ p log2 p + (1− p)log2 (1− p) = 1− H ( p)
1
0.9
0.8
C (bits/uso del canal)
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.1
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
0.2
0.3
0.4
0.5
p
0.6
0.7
0.8
0.9
1
24
Capacidad de canal
‰ Teorema de Shannon
• Para un canal discreto sin memoria, la capacidad de canal C = max I ( X ;Y )
p( x)
tiene la siguiente propiedad
− Para cualquier ε > 0 y R < C existe un código bloque de longitud n y tasa R y un
algoritmo de descodificación para el que la probabilidad de error está acotada por ε
Codificador
bloque
k bits
Información
(n,k)
n>k
R=
k
n
n bits
C( p)
0
Pr ( error ) < ε
0
p
1
Descodificador
n bits
1
k bits
canal
canal
Información
Capacidad
1
• El uso de un codificador
codificación bloque
(n,k), siendo n>k
» Redundancia: entran
“k” bits de
información, salen “n”
bits de canal
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
C( p)
0.8
0.7
C(p) (bits/uso canal)
bloque permite “proteger”
la información.
Š Si empleamos
0.9
R=
0.6
2
3
R=
0.5
1
2
0.4
0.3
R=
0.2
1
3
R=
0.1
0
0
0.02
0.04
R<C
1
5
0.06
0.08
0.1
p
0.12
0.14
0.16
0.18
0.2
25
“Cut-off” Rate
‰ El “cut-off” rate es una medida empleada en la Teoría de la
Información para cuantificar la máxima tasa de datos que en la
práctica puede transmitirse por un canal empleando un
codificador de complejidad “moderada”.
• Se define como:
2
⎧⎪
⎡
⎛
⎞ ⎤ ⎫⎪
R0 = max ⎨− log2 ⎢∑ ⎜ ∑ pX ( x) pY | X ( y | x) ⎟ ⎥ ⎬
pX ( x )
⎠ ⎥⎦ ⎭⎪
⎢⎣ y∈Y ⎝ x∈X
⎩⎪
• Se cumple que R0 ≤ C
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
26
“Cut-off” Rate
‰ Ejemplo
X={0,1}
pY | X ( y = 0 | x = 0) = 1 − p, pY | X ( y = 1| x = 0) = p,
BSC
Y={0,1}
pX(x=0)=w
pY | X ( y = 0 | x = 1) = p, pY | X ( y = 1| x = 1) = 1− p.
1-p
0
0
p
p
pX(x=1)=1-w
1
1
1-p
2
⎧⎪
⎡
⎛
⎞ ⎤ ⎫⎪
R0 = max ⎨− log2 ⎢∑ ⎜ ∑ pX ( x) pY | X ( y | x) ⎟ ⎥ ⎬
pX ( x )
⎠ ⎥⎦ ⎪⎭
⎢⎣ y∈Y ⎝ x∈X
⎪⎩
{
(
) (
)
}
2
2
⎡
= max − log2 w 1− p + (1− w) p + w p + (1− w) 1− p ⎤
⎢⎣
⎥⎦
w
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
27
“Cut-off” Rate
‰ Ejemplo
X={0,1}
pX(x=0)=w
0
p
Y={0,1}
BSC
p
pX(x=1)=1-w
{
1-p
0
(
) (
1
)
1
1-p
}
2
2
⎡
R0 = max − log2 w 1 − p + (1− w) p + w p + (1− w) 1− p ⎤
⎢⎣
⎥⎦
w
1
1
p=10-5
0.9
0.8
0.9
C = 1 + p log2 p + (1− p)log2 (1 − p)
0.8
-2
p=10
0.7
R0 (bits/uso canal)
R0 (bits/uso canal)
0.7
0.6
0.5
Máximos en w=½
0.4
p=0,1
0.5
0.3
0.2
0.2
0.1
0.1
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
w
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
0.9
1
R0 = 1− log2 ⎡⎣1 + 2 p(1 − p) ⎤⎦
0.4
0.3
0
0
C
0.6
0
w=0.5
R0 ≤ C
0
0.05
0.1
0.15
0.2
0.25
p
0.3
0.35
0.4
0.45
0.5
28
“Cut-off rate” y Probabilidad de Error
… El uso de un codificador bloque permite “proteger” la información.
Codificador
bloque
k bits
Información
(n,k)
n>k
R=
k
n
n bits
canal
R0 ( p)
0
1
Pr ( error )
0
p
1
n bits
canal
canal
Descodificador
k bits
Información
‰ Cuando se transmite un bloque de “n” bits, la probabilidad de
error
− n( R ( p )− R)
Pr ( error ) ≤ 2
0
− Siendo R0 (bits/uso del canal) el “cut-off” rate R0 ( p) = 1 − log2 ⎡1 + 2 p(1 − p) ⎤
⎣
⎦
− y R (bits/uso del canal) la tasa de bits de información ofrecida al canal
• Compromiso:
− Si hacemos n grande, reducimos la Pr(error) pero tardamos más en
transmitir los bits de información
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
29
“Cut-off” Rate y Función de fiabilidad
Codificador
bloque
k bits
Información
(n,k)
n>k
k
R=
n
n bits
canal
R0 ( p )
0
Pr ( error )
0
p
1
Descodificador
n bits
1
k bits
canal
canal
Información
Cut-off Rate
1
‰ Función de fiabilidad E(R)
0.9
0.8
• E(R)=R0(p)-R
− Cuando la tasa de bits R es
pequeña, la fiabilidad es alta.
Š La probabilidad de error es
R0(p) (bits/uso canal)
0.7
pequeña
− Cuando nos aproximamos a la
capacidad, la fiabilidad se reduce.
E(R)
0.6
R0 ( p)
0.5
0.4
E(R1 )
0.3
R1 =
0.2
1
3
E( R2 )
R2 =
0.1
0
0
0.02
0.04
1
5
0.06
0.08
Pr(error)
R0
R2
0.1
p
0.12
0.14
0.16
0.18
0.2
Pr ( error ) ≤ 2− nE ( R )
R1<R2<C
R
0
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
C
R
0
1
n
30
Codificación y Probabilidad de Error
… Calcular “n” para que la Pr(error) < PrUmbral
Codificador
R=
(n,k)
n>k
k bits
canal
k
n
Pr ( error ) ≤ 2
− n( R0 ( p )− R)
R0 ( p)
0
0
p
n bits
1
1
Para acotar la Probabilidad de Error
…
Pr ( error ) < PrUmbral
⎫⎪
− n( R0 ( p )− R)
→
2
< PrUmbral
⎬
− n( R0 ( p )− R)
Pr ( error ) ≤ 2
⎪⎭
2
10
0
10
-2
2-n(R0 - R)
10
R0 ( p) = 1 − log2 ⎡⎣1 + 2 p(1− p) ⎤⎦
Prumbral = 10−4
-4
10
k⎞
⎛
log2 [ PrUmbral ] ≤ −n ⎜ R0 ( p) − ⎟
n⎠
⎝
-6
10
-8
10
-10
10
n≥
n = 95
0
20
40
60
80
100
n
120
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
140
160
180
200
k − log2 (PrUmbral )
R0 ( p)
31
Propuestas de ejercicio
‰ Calcular la capacidad de un canal con borrado
1-p-q
0
C = max ∑∑ pX ( x) pY| X ( y | x)log2
0
pX ( x )
q
p
1
pY | X ( y = 0 | x = 1) = pY | X ( y = 1| x = 0) = p
q
pY | X ( y = ? | x = 1) = pY | X ( y = ? | x = 0) = q
1
1-p-q
pY ( y)
pY | X ( y = 0 | x = 0) = pY | X ( y = 1| x = 1) = 1− p − q
?
p
x∈X y∈Y
pY| X ( y | x)
‰ Calcular la capacidad de un concatenación de canales BSC
X={0,1}
0
1
BSC
BSC
p1
p2
0
p1
1
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
0
1
p2
Y={0,1}
0
¿ C12 ≤ min(C1, C2 )?
1
32
,
Propuestas de ejercicio
‰ Calcular la capacidad de un canal con borrado
1-p-q
0
pX(x=0)=w
0
q
p
?
p
1
pX(x=1)=1-w
q
1-p-q
1
C = max ∑∑ pX ( x) pY| X ( y | x)log2
pX ( x )
x∈X y∈Y
pY| X ( y | x)
pY ( y)
pY | X ( y = 0 | x = 0) = pY | X ( y = 1| x = 1) = 1− p − q
pY | X ( y = 0 | x = 1) = pY | X ( y = 1| x = 0) = p
pY | X ( y = ? | x = 1) = pY | X ( y = ? | x = 0) = q
pY ( y) = ∑ pX ( x) pY | X ( y | x),
x∈X
⎡ p
⎛ p ⎞ ⎛
⎛
p ⎞
p ⎞⎤
C = (1 − q ) ⎢
log 2 ⎜
⎟ + ⎜1 −
⎟ log 2 ⎜ 1 −
⎟⎥
1
1
q
1
q
1
q
1
q
−
−
−
−
w=
⎝
⎠ ⎝
⎠
⎝
⎠⎦
⎣
2
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
33
,
Propuestas de ejercicio
‰ Calcular la capacidad de un concatenación de canales BSC
X={0,1}
BSC
BSC
p1
p2
0
0
p1
1
Y={0,1}
0
0
p2
1
1
1
p(0 | 0) = p(1|1) = (1 − p1 )(1 − p2 ) + p1 p2 = 1 − p12
p(0 |1) = p( y = 1| x = 0) = (1− p1 ) p2 + (1 − p2 ) p1 = p12
p12 = (1 − p1 ) p2 + (1 − p2 ) p1 = p1 + p2 − 2 p1 p2
1
0.8
p12
0.6
0.4
0.2
1
0
1
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
0.5
0.8
0.6
0.4
p2
0.2
0
0
p1
34
Propuestas de ejercicio
‰ Calcular la capacidad de un concatenación de canales BSC
X={0,1}
0
1
BSC
BSC
p1
p2
p1
0
0
1
1
Y={0,1}
p2
¿ C12 ≤ min(C1, C2 )?
0
1
p(0 | 0) = p(1|1) = (1 − p1 )(1 − p2 ) + p1 p2 = 1 − p12
p(0 |1) = p( y = 1| x = 0) = (1− p1 ) p2 + (1 − p2 ) p1 = p12
p12 = (1 − p1 ) p2 + (1 − p2 ) p1 = p1 + p2 − 2 p1 p2
1
0.8
C12
C12 = 1 + p12 log p12 + (1 − p12 )log(1 − p12 )
0.6
0.4
0.2
0
1
1
0.8
0.5
0.6
0.4
p2
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
0
0.2
0
p1
35
Capacidad: canales con memoria
‰ Los errores introducidos por el canal se pueden modelar como si
fuesen generados por una fuente de error
Equivocación
H(X | Y)
X
⊕
Y = X ⊕E
Entropía de
la fuente
Información
transmitida
I (X;Y)
H(X)
E
Información
recibida
H(Y)
Fuente de error
Irrelevancia
H(Y | X)
I ( X ;Y ) = H (Y ) − H (Y | X )
= H (Y ) − H ( X ⊕ E | X ) = H (Y ) − H ( E | X )
I ( X ;Y ) = H (Y ) − H ( E )
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
36
Capacidad: canales con memoria
‰ El objetivo es maximizar la Información Transferida
C = max I ( X ; Y ) ⇔ max ( H (Y ) − H ( E ) )
• Como no podemos “controlar los errores”
C = max I ( X ; Y ) ⇔ max ( H (Y ) − H ( E ) ) ⇔ max H (Y )
pY ( y )
• El valor máximo de H(Y) se consigue cuando los bits a la salida son
•
equiprobables.
En este caso, H(Y)=1:
C =1 − H (E )
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
37
Capacidad: canales con memoria
‰ Modelo de Gilbert
1− P
P ⎤
⎡1 − P
P(0) = ⎢
⎥
⎣ hp h(1 − p)⎦
P
1− p
S1=Malo
Pr(e=1)=1-h
S0=Bueno
Pr(e=1)=0
⎡1− P P ⎤
P=⎢
⎥
⎣ p 1 − p⎦
0
⎡ 0
⎤
P(1) = ⎢
⎥
⎣(1 − h) p (1 − h)(1 − p)⎦
p
• Capacidad “teórica”
∞
− donde
CGE = 1 − H (E) = 1 + Pr(1)∑ v(k )log2 v(k )
Pr(1) = π ⋅ P(1) ⋅ 1
k =0
T
T
k
k
π
⋅
P
P
⋅ P(1)·1
(1)·
(0)
Pr(10
1)
k
v(k ) = Pr(0 1|1) =
=
πT ⋅ P(1) ⋅ 1
Pr(1)
∞
∑ v(k )log
− Ejemplo: P=0.01, p=0.1 y h=0.7→ CGE = 1 + Pr(1)
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
k =0
2
v(k ) = 0,88
38
Capacidad: canales con memoria
‰ Aproximación de la capacidad
• Canal con “M” estados
M −1
1
0
− Capacidad “aproximada”
CGE = π 0 (1 − H (E | S0 ) ) + π1 (1− H (E | S1 ) ) + "+ π M −1 (1− H (E | SM −1 ) )
= π 0C0 + π1C1 +"+ π M −1CM −1
Š donde
H (E | Si ) es la perdida de informacion en el estado "i"
Ci es la capacidad en el estado "i"
C < C
GE
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
GE
39
Capacidad: canales con memoria
‰ Ejemplo
Pr ( S0 ) = π1 =
1−10−2
En en el estado S0 , P(b | a): BSC
0
p
P+ p
Pr ( S1 ) = π2 =
P = 10−2
0,9
S1
S0
En en el estado S1, P(b | a): BSC
−1
1-10-5
p =10
0
0
0,7
p0=10-5
1
1-10-5
P
P+ p
1
1
0
p1=0,3
1
C0 = 1 + ( p0 log2 p0 + (1 − p0 )log2 (1 − p0 ) ) p =10−5 = 0,99982
0
C1 = 1 + ( p1 log2 p1 + (1 − p1 )log2 (1− p1 ) ) p =0,3 = 0,12
1
CGE =
p
P
C0 +
C1 = 0.9091× 0,99982 + 0.0909 × 0.12 = 0.9198
P+ p
P+ p
∞
CGE = 1 + Pr(1)∑ v(k )log2 v(k ) = 0,88
k =0
© UC3M, Sistemas y Canales de Transmisión, 2010-2011
40