Problemas teoria de informacion

PROBLEMAS TEORIA DE INFORMACION Y CODIFICACIÓN ENTRÓPICA
PROBLEMA 1 (tomado del Taub & Schilling):
Una señal analógica, de ancho de banda B, es muestreada a frecuencia de Nyquist (2B) y
cuantificada con 4 niveles (M=4) independientes. Suponga que los 4 niveles ocurren con
las siguientes probabilidades P(N1)=P(N2)=1/8 y P(N3)=P(N4)=3/8. Determine la tasa de
información de esta fuente.
Primero se calcula H=p(N1)log(1/ p(N1))+ p(N2)log(1/ p(N2))+ p(N3)log(1/ p(N3))+
p(N4)log(1/ p(N4))=1.8 bits
Entonces la tasa de información será
R=2B*H=3.6 B bits/seg.
Observe que si los niveles de cuantificación fuesen igualmente probables entonces H=2 bit
y R=4B bits/segundo lo cual es mejor.
PROBLEMA 2:
Compare la información que se recibe si, en un alfabeto de 4 mensajes se recibe la
secuencia m1,m2,m3,m4 a) Si estos son equiprobables o b) si tienen las siguientes
probabilidades: m1; P(m1)=0.5; m2; P(m2)=0.3; m3; P(m3)=0.15; m4; P(m4)=0.05
Solución:
a) Si todos fuesen equiprobables P(m1)= P(m2)= P(m3)= P(m4)=1/4, la información
de uno de los mensajes sería 2 bits, número necesario para representarlo. Para 4
mensajes seguidos se obtendría 8 bits.
b) Si no son equiprobables
I(m1)=log2(1/P(m1))=3.32log10(1/P(m1))=0.99
I(m2)=log2(1/P(m2))=3.32log10(1/P(m2))=1.73
I(m3)=log2(1/P(m3))=3.32log10(1/P(m3))=2.73
I(m4)=log2(1/P(m4))=3.32log10(1/P(m4))=4.31
Si llegasen estos 4 mensajes uno tras otro(m1m2m3m4), asumiendo independencia, la
información total de este nuevo mensaje sería igual a 9.76 bits.
PROBLEMA 3: Tomado de un problema del Lathi y otro del Carlson
Compare la cantidad de información de una imagen de 8 niveles de grises de 500 x 500
pixels con la de 1000 palabras, asumiendo un vocabulario de 100000 palabras igualmente
probables.
Solución:
Para el caso de las imágenes existen (8)
500 x 500
= (8) 250000 imágenes diferentes
Suponiendo equiprobabilidad,cada imagen tiene una probabilidad de
p=
1
(8)
250000
Por lo tanto la Información
I = log 2 (8) 250000 = 750000 " bits
Para el caso de las palabras
Cada palabra del alfabeto tiene una probabilidad de 10-5.
La información de una sola palabra es entonces
3.32log10(1/P)=3.32 log10(105)=3.32x5=16,6 bits
Al transmitir 1000 palabras la información total será entonces de
16600 bits
Mucho menos que la de 1 imagen....
PROBLEMA 4: Una imagen tiene 300000 pixels y cada uno puede tener 10 niveles de
grises. Determine la tasa de información si se transmiten 30 imágenes por segundo.
Utilizando las mismas herramientas que en el problema anterior, la información de cada
imagen es de 996000 bits; por lo tanto
R=(30)(996000)= 29,9 Mbps
PROBLEMA 5: Qué velocidad se puede alcanzar en un canal telefónico de 3,4KHz de
ancho de banda si la relación señal a ruido es de 30 dB?
S⎤
⎡
C = B log ⎢1 + ⎥
⎣ N⎦
C=3400 log2 (1001)=3400(3,32)log(1001)=33864 bps
PROBLEMA 6: Propuesto en el Haykin. Determine el ancho de banda requerido para
transmitir una imagen como las del tipo definido en el problema 4 si se transmiten 30
imágenes por segundo cuando la relación señal a ruido es 30 dB
I= log2(10300000)=300000log2(10)=3,32x 300000=996000 bits
Si se transmiten 30 cuadros por segundo, determine la tasa de información
R=(30)(996000)= 29,9 Mbps=C
Para S/N= 30 dB, es decir S/N=1000, entonces B=C/log2(1001)=
29,9 x106/3,32(log(1001))= 3 MHz
El ancho de banda requerido es de 3 MHz
PROBLEMA 7: (tomado de un ejercicio propuesto del Carlson) Si tu profesor de
Comunicaciones II te dice que tu nota final no es 5, suponiendo que todas las notas del 1 al
5 son equiprobables, cuanta información te está transmitiendo?? Cuanta mas información
necesitas para conocer tu nota??
P( no 5)=4/5, por lo tanto I=log (5/4)=0.322 bits
En cambio para 1 nota especifica
P(nota especifica)=1/5 ;esto implica que I=log5=2.322 bits
De tal forma que se necesita
I= 2.322-0.322= 2 bits
PROBLEMA8: (tomado de un ejercicio propuesto del Carlson) Determine la entropía de
una fuente que tiene 6 símbolos con las siguientes probabilidades:
P(A)=0.5; P(B)=0.25;P(C)=0.125; P(D)=P(E)=1/20; P(F)=1/40
Encuentre la cantidad de información contenida en los siguientes mensajes: ABABBA y
FDDFDF
1
1
1
1
1
1
+ 2x + 3x +
(2x ln 20 +
ln 40) = 1.94bits
2
4
8 ln 2
20
40
= 6H(X) = 11.64
H(X) = 1x
L esperada
3
3
⎛1⎞ ⎛1⎞
⎛1⎞
P(ABABBA) = ⎜ ⎟ ⎜ ⎟ = ⎜ ⎟
⎝ 2⎠ ⎝ 4⎠
⎝ 2⎠
9
I = log 2 9 = 9bits < 11.64)
3
3
1
⎛ 1 ⎞ ⎛ 1 ⎞
P(FDDFDF) = ⎜ ⎟ ⎜ ⎟ =
⎝ 40 ⎠ ⎝ 20 ⎠
512 x10 6
I = 28.93 > 11.64
PROBLEMA 9: (tomado de un ejercicio propuesto del Carlson)
Una cierta fuente tiene 16 símbolos equiprobables cada uno dura 1 mseg. Los símbolos se
transmiten en bloques de 15 separados por espacios de 5 mseg. Encuentre la tasa de
información de esta fuente.
Existen 1615 bloques diferentes por lo tanto H(X)=log 1615 =60 bits/bloque a una velocidad
o tasa de1/(15+5) msegundos= 50 bloques/segundo
Por lo tanto R=60x 50= 3000 bits/segundos
PROBLEMA10: (tomado de un ejercicio propuesto del Carlson) Considere una fuente que
tiene 6 símbolos con las siguientes probabilidades:
P(A)=0.4; P(B)=0.2;P(C)=0.12; P(D)=P(E)=0.1; P(F)=0.08
Demuestre que existen dos posibles códigos Shannon-Fano y determine la eficiencia del
mejor.
Uno puede colocar el primer límite entre A y B o entre B y C
Poniéndolo entre A y B resulta el código I
Poniéndolo entre B y C el código II
La entropía de la fuente es:
La longitud promedio del código 1 es 2.38
La longitud promedio del código II es 2.4
η1=H/L1=2.32/2.38=0,9747
η2=H/L2=2.32/2.4=0,9666
El mejor es el código 1
PROBLEMA 11( tomado de los propuestos del Haykin)
Un proceso aleatorio gaussiano de media cero y varianza unitaria es pasado por un
cuantificador de 4 niveles que asigna salidas de -1.5 cuando la entrada es menor que -1,
asigna-0.5 si la entrada está entre -1 y 0 volt, asigna 0.5 si la entrada está entre 0 y 1 volt y
finalmente asigna 1.5 v si la entrada es mayor que 1. Determine la entropía de la salida.
Solución:
Como son 4 símbolos hay que calcular primero la probabilidad de que ocurran cada uno de
ellos P(-1.5)=P(1.5)=Q(1)=0.159
P(0.5)=P(-0.5)=0.5- Q(1)=0.341
H=2(0.159 log2 (1/0.159) +0.309 log2 (1/0.341))=
-2(0.159x 3.32 log10 (0.159) +0.341x3.32 log10 (0.341))= 1,9 bits
PROBLEMA12( tomado de los problemas propuestos del Haykin)
Determine cual de los siguientes códigos cumplen con la regla del prefijo. Para ellos
construya el árbol del decodificador. Verifique para cada uno si se cumple la desigualdad
de Kraft.
Símbolos
Código 1 Código 2
Código 3
Código 4
m0
0
0
0
00
m1
10
01
01
01
m2
110
001
011
10
m3
1110
0010
110
110
m4
1111
0011
111
111
Solución: Solo los códigos 1 y 4 cumplen la regla del prefijo
Por otra parte la desigualdad de Kraft establece que
N
∑2
− li
≤1
i =1
Para el código 1
0.5+0.25+0.125+0.125=1 CUMPLE
Para el código 2
0.5+0.25+0.125+0.125=1 CUMPLE
Para el código 3
0.5+0.25+0.125+0.125+0.125= 1.125 NO CUMPLE
Para el código 4
0.25+0.25+0.25+0.125+0.125=1 CUMPLE
De esto ya se podía desechar el código 3.
Los árboles serían
PROBLEMA13
Observe el siguiente alfabeto, las probabilidades de cada símbolo, la forma de agrupar los
niveles mas bajos y llevarlos a los mas altos, y la codificación Huffman que resulta
Escriba el código resultante para cada símbolo y determine la eficiencia de este código.
Explique los resultados.
m0
0.25
10
m1
0.25
11
m2
0.125
001
m3
m4
0.125
0.125
010
011
m5
m6
0.0625
0.0625
0000
0001
Si se determina la entropía y la longitud promedio resultarán iguales a 2.625. La eficiencia
será igual a 100%. Esto ocurre porque para cada símbolo la longitud es igual a log2 (1/p).
PROBLEMA14.- (tomado de los ejercicios propuestos del Carlson) La entropía conjunta de
una fuente discreta está definida como:
H ( X, Y ) =
1
∑ P( x i y j ) log P( x
x,y
iy j)
Demostrar que H(X,Y)=H(Y)+H(X/Y)
Solución:
Como:
P( x i y j ) = P( x i / y j )P( y j )
∑ P( x i y j ) =P( y j )
x
Por lo tanto:
H ( X, Y ) =
∑ P( x i y j ) log P( x
x,y
1
∑ P( x i y j ) log P( y
x,y
j)
+
i
1
=
/ y j ) P( y j )
∑ P( x i y j ) log P( x
x,y
1
= H (Y) + H(X / Y)
/
y
)
i
j