Introducción a la Teor´ıa de la Información Primer parcial

Introducción a la Teorı́a de la Información
Primer parcial
25 de marzo de 2015
Problema 1 (5 puntos)
Probar la propiedad de agrupación de la entropı́a, que establece que se cumple
H(p1 , . . . , pm−1 , pm ) = H(p1 , . . . , pm−1 +pm )+(pm−1 +pm )H
pm
pm−1
,
pm−1 + pm pm−1 + pm
para todo vector de probabilidad (p1 , . . . , pm−1 , pm ).
Sugerencia: Definir un par de variables (Y, Z) = f (X), donde f es una
función biyectiva, y aplicar la regla de la cadena.
Solución:
Sea X una variable sobre un alfabeto X = {x1 , x2 , . . . , xm }
con distribución P (X = xi ) = pi . Se define una función biyectiva
(Y, Z) = f (X) de modo que f (xi ) = (xi , λ) para i < m − 1 y
f (xi ) = (λ, xi ) para i >= m − 1, donde λ es un sı́mbolo arbitrario
fuera de X . Claramente la función f (·) es biyectiva, por lo cual
H(Y, Z) = H(X). Luego
H(X) = H(Y, Z) = H(Y ) + H(Z|Y )
P
= H(Y ) + p(Y = λ)H(Z|Y = λ) + m−1
i=1 p(xi )H(Z|Y = xi )
= H(Y ) + p(Y = λ)H(Z|Y = λ)
pm−1
, pm
= H(p1 , . . . , pm−1 + pm ) + (pm−1 + pm )H pm−1
+pm pm−1 +pm
1
!
,
Problema 2 (5 puntos)
Sean X, Y variables aleatorias que toman valores en los conjuntos de números
{x1 . . . xr } y {y1 . . . ys }, respectivamente. Sea Z = X + Y .
1. Mostrar que H(Y |X) = H(Z|X). Argumentar que si X, Y son independientes, entonces H(Y ) ≤ H(Z) y H(X) ≤ H(Z).
2. Dar un ejemplo en el cual H(Y ) > H(Z) y H(X) > H(Z). Notar que,
por la parte anterior, las variables X, Y no pueden ser independientes.
Solución:
2.1 Dado X, la ecuación Z = X + Y establece una relación
biyectiva entre Y y Z, por lo tanto H(Z|X) = H(Y |X). Si X e
Y son independientes, H(Y |X) = H(Y ) y por lo anterior H(Y ) =
H(Y |X) = H(Z|X) ≤ H(Z) porque condicionamiento reduce la
entropı́a. De manera análoga se llega a que H(X) ≤ H(Z).
2.2 Si Y = −X con X ∈ {0, 1} y 0 < P (X = 1) < 1 se tiene
H(X) = H(Y ) > 0 y H(Z) = 0.
Problema 3 (5 puntos)
Para un proceso estacionario {Xi }∞
i=−∞ , mostrar que
H(X0 |X−1 , . . . , X−n ) = H(X0 |X1 , . . . , Xn ) .
Solución:
H(X0 |X−1 , . . . , X−n ) = H(X0 , X−1 , . . . , X−n ) − H(X−1 , . . . , X−n )
= H(Xn , Xn−1 , . . . , X0 ) − H(Xn , . . . , X1 )
= H(X0 |X1 , . . . , Xn ).
La primera y la última igualdad salen de aplicar la definición de
entropia condicional. La igualdad del medio aplica la propiedad de
que para un proceso estacionario H(xi , . . . , xj ) = H(xi+k , . . . , xj+k )
para todo k. En particular, se aplicó k = n en el primer término,
y k = n + 1 en el segundo.
2