AEP y SCT

Probabilidades
Entropías
Shannon: SCT
Probabilidades, entropías y SCT
CTI: Lección 1, Primer teorema de Shannon (SCT)
Ramiro Moreno Chiral
Dpt. Matemàtica (UdL)
6 de febrero 2010
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
1 / 31
Probabilidades
Entropías
Shannon: SCT
Índice
1
Teoría de la Probabilidad
2
Información y entropía asociadas a variables aleatorias
3
Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
2 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Índice
1
Teoría de la Probabilidad
Notaciones
Definiciones
Teoremas
2
Información y entropía asociadas a variables aleatorias
3
Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
3 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Probabilidad y variables aleatorias
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
4 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1 , x2 , . . . , xr }.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
4 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1 , x2 , . . . , xr }.
Suceso: X = xi , se realiza el experimento asociado a la
v.a. X y el resultado es xi .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
4 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Probabilidad y variables aleatorias
Variable aleatoria (v.a.) X , sobre X = {x1 , x2 , . . . , xr }.
Suceso: X = xi , se realiza el experimento asociado a la
v.a. X y el resultado es xi .
Probabilidades asociadas a X .
PX (X = xi ) = pi = p(x),
 r
 P p = P p(x) = 1, con
i
tales que
x∈X
 i=1
0 ≤ pi , p(x) ≤ 1, xi , x ∈ X .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
4 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Media. Distribuciones conjuntas y marginales
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
5 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Media. Distribuciones conjuntas y marginales
Esperanza matemática o media,
EX X
=
EX f (X ) =
r
P
xi PX (X = xi ) =
i=1
P
r
P
i=1
xi pi =
P
xp(x);
x∈X
f (x)p(x).
x∈X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
5 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Media. Distribuciones conjuntas y marginales
Esperanza matemática o media,
EX X
=
EX f (X ) =
r
P
xi PX (X = xi ) =
i=1
P
r
P
xi pi =
i=1
P
xp(x);
x∈X
f (x)p(x).
x∈X
Distribuciones conjuntas y marginales,
Conjunta: PXY (X = xi , Y = yj ) =
Ppij = p(x, y ),

PX (X = x) =
p(x, y ) = p(x),


y ∈Y
Marginales:
P

 PX (Y = y ) =
p(x, y ) = p(y ).
x∈X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
5 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Distribuciones condicionales
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
6 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =
Ramiro Moreno (Matemàtica, UdL)
p(x, y )
= p(y |x),
p(x)
Probabilidades, entropías y SCT
6 de febrero 2010
6 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =
p(x, y )
= p(y |x),
p(x)
Y de la X respecto a la Y ,
PX |Y (X = x|Y = y ) =
Ramiro Moreno (Matemàtica, UdL)
p(x, y )
= p(x|y ).
p(y )
Probabilidades, entropías y SCT
6 de febrero 2010
6 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Distribuciones condicionales
De la v.a. Y respecto a la X ,
PY |X (Y = y |X = x) =
p(x, y )
= p(y |x),
p(x)
Y de la X respecto a la Y ,
PX |Y (X = x|Y = y ) =
p(x, y )
= p(x|y ).
p(y )
X e Y son v.a.’s independientes si p(x|y ) = p(x) para
cualquier par (x, y ) ∈ X × Y. Entonces, también es
p(y |x) = p(y ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
6 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Del producto y de la suma
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
7 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Del producto y de la suma
Teorema (Regla del producto)
p(x, y ) = p(y |x)p(x) = p(x|y )p(y ).
Si X e Y son independientes es p(x, y ) = p(x)p(y ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
7 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Del producto y de la suma
Teorema (Regla del producto)
p(x, y ) = p(y |x)p(x) = p(x|y )p(y ).
Si X e Y son independientes es p(x, y ) = p(x)p(y ).
Teorema (Regla de la suma)
P
P
p(x) =
p(x, y ) =
p(x|y )p(y ),
y ∈Y
y ∈Y
P
P
p(y ) =
p(x, y ) =
p(y |x)p(x).
x∈X
Ramiro Moreno (Matemàtica, UdL)
x∈X
Probabilidades, entropías y SCT
6 de febrero 2010
7 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Teorema de Bayes
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
8 / 31
Probabilidades
Entropías
Shannon: SCT
Notaciones
Definiciones
Teoremas
Teorema de Bayes
Teorema (De las probabilidades a "posteriori")
Con las mismas notaciones,
p(y |x) =
p(x|y )p(y )
p(x|y )p(y )
p(x|y )p(y )
= P
=P
.
p(x)
p(x, y )
p(x|y )p(y )
Y
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
Y
6 de febrero 2010
8 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Índice
1
Teoría de la Probabilidad
2
Información y entropía asociadas a variables aleatorias
Definiciones
Resultados
Entropía relativa e Información mutua
3
Primer teorema de Shannon: SCT
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
9 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
Ramiro Moreno (Matemàtica, UdL)
1
= − log p(x).
p(x)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
1
= − log p(x).
p(x)
A priori: incertidumbre, desconocimiento.
A posteriori: información, conocimiento.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
1
= − log p(x).
p(x)
A priori: incertidumbre, desconocimiento.
A posteriori: información, conocimiento.
Propiedades:
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
1
= − log p(x).
p(x)
A priori: incertidumbre, desconocimiento.
A posteriori: información, conocimiento.
Propiedades:
1
Decreciente con la probabilidad.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
1
= − log p(x).
p(x)
A priori: incertidumbre, desconocimiento.
A posteriori: información, conocimiento.
Propiedades:
1
2
Decreciente con la probabilidad.
1
Aditiva: I(X = x, Y = y ) = log p(x)p(y
) =
− log p(x) − log p(y ) = I(X = x) + I(Y = y ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Información
Información asociada a una v.a. X :
I(X = x) = log
1
= − log p(x).
p(x)
A priori: incertidumbre, desconocimiento.
A posteriori: información, conocimiento.
Propiedades:
1
2
3
Decreciente con la probabilidad.
1
Aditiva: I(X = x, Y = y ) = log p(x)p(y
) =
− log p(x) − log p(y ) = I(X = x) + I(Y = y ).
No–negativa: I(X = x) = − log p(x) ≥ 0, ya que
0 ≤ p(x) ≤ 1.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
10 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X :
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de la
información asociada a X .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de la
información asociada a X .
X
H(X ) = EX I(X = x) = −EX log p(x) = −
p(x) log p(x),
x∈X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de la
información asociada a X .
X
H(X ) = EX I(X = x) = −EX log p(x) = −
p(x) log p(x),
x∈X
donde si p(x) = 0 se define p(x) log p(x) = 0
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de la
información asociada a X .
X
H(X ) = EX I(X = x) = −EX log p(x) = −
p(x) log p(x),
x∈X
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otra
notación,
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía de una v.a.
Entropía asociada a una v.a. X : Es el promedio de la
información asociada a X .
X
H(X ) = EX I(X = x) = −EX log p(x) = −
p(x) log p(x),
x∈X
donde si p(x) = 0 se define p(x) log p(x) = 0. Con otra
notación,
H(X ) = H(p1 , . . . , pn ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
11 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropías conjunta y condicionadas
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
12 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropías conjunta y condicionadas
Entropía conjunta de dos v.a.’s X e Y ,
H(X , Y ) = EXY log
XX
1
=−
p(x, y ) log p(x, y ).
p(x, y )
x∈X y ∈Y
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
12 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropías conjunta y condicionadas
Entropía conjunta de dos v.a.’s X e Y ,
H(X , Y ) = EXY log
XX
1
=−
p(x, y ) log p(x, y ).
p(x, y )
x∈X y ∈Y
Entropía condicionada de la v.a X cuando Y = y ,
1
H(X |Y = y ) = EX |Y =y log P(X |Y
=y )
= −
P
p(x|y ) log p(x|y ).
x∈X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
12 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía condicionada, H(X |Y )
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
13 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía condicionada, H(X |Y )
Entropía condicionada de la v.a X respecto a la v.a Y
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
13 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Entropía condicionada, H(X |Y )
Entropía condicionada de la v.a X respecto a la v.a Y
P
H(X |Y ) = EY H(X |Y = y ) =
p(y )H(X |Y = y )
y ∈Y
=
P
P
p(y ) −
p(x|y ) log p(x|y )
y ∈Y
= −
x∈X
P P
p(x, y ) log p(x|y )
x∈X y ∈Y
= −EXY log p(x|y )
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
13 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,
para algún x ∈ X .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,
para algún x ∈ X .
Cambio de base del logaritmo: Hb (X ) = logb a Ha (X ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,
para algún x ∈ X .
Cambio de base del logaritmo: Hb (X ) = logb a Ha (X ).
El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),
siendo H(X |Y ) = H(X ) sii X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,
para algún x ∈ X .
Cambio de base del logaritmo: Hb (X ) = logb a Ha (X ).
El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),
siendo H(X |Y ) = H(X ) sii X e Y son independientes.
Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si X
es una v.a. uniforme.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades de la entropía
No–negatividad: H(X ) ≥ 0, siendo H(X ) = 0 sii p(x) = 1,
para algún x ∈ X .
Cambio de base del logaritmo: Hb (X ) = logb a Ha (X ).
El condicionamiento reduce la entropía: H(X |Y ) ≤ H(X ),
siendo H(X |Y ) = H(X ) sii X e Y son independientes.
Cota superior: H(X ) ≤ log |X |, llegando a la igualdad si X
es una v.a. uniforme.
Regla de la cadena:
H(X , Y ) = H(X ) + H(Y |X ) = H(Y ) + H(X |Y ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
14 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Definiciones
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
15 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Definiciones
Entropía relativa o distancia de Kullback–Leibler,
D(pkq) = Ep log
X
p(X )
p(x)
=
p(x) log
.
q(X )
q(x)
x∈X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
15 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Definiciones
Entropía relativa o distancia de Kullback–Leibler,
D(pkq) = Ep log
X
p(X )
p(x)
=
p(x) log
.
q(X )
q(x)
x∈X
Información mutua,
I(X ; Y ) = D (p(x, y )kp(x)p(y ))
p(x, y )
= EXY log
p(x)p(y )
XX
p(x, y )
=
p(x, y ) log
p(x)p(y )
x∈X y ∈Y
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
15 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
16 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades
Simetría:
I(X ; Y ) = H(X ) − H(X |Y ) = H(Y ) − H(Y |X ) = I(Y ; X ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
16 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades
Simetría:
I(X ; Y ) = H(X ) − H(X |Y ) = H(Y ) − H(Y |X ) = I(Y ; X ).
Relación con las entropía conjunta:
I(X ; Y ) = H(X ) + H(Y ) − H(X , Y ).
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
16 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades
Simetría:
I(X ; Y ) = H(X ) − H(X |Y ) = H(Y ) − H(Y |X ) = I(Y ; X ).
Relación con las entropía conjunta:
I(X ; Y ) = H(X ) + H(Y ) − H(X , Y ).
No–negatividad o Lema de Gibbs: D(pkq) ≥ 0, llegando a
la igualdad sii p(x) = q(x), ∀x.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
16 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades
Simetría:
I(X ; Y ) = H(X ) − H(X |Y ) = H(Y ) − H(Y |X ) = I(Y ; X ).
Relación con las entropía conjunta:
I(X ; Y ) = H(X ) + H(Y ) − H(X , Y ).
No–negatividad o Lema de Gibbs: D(pkq) ≥ 0, llegando a
la igualdad sii p(x) = q(x), ∀x.
No–negatividad de la información mutua:
I(X ; Y ) = D(p(x, y )kp(x)p(y )) ≥ 0, siendo nula sii
p(x, y ) = p(x)p(y ), i.e., cuando X e Y son independientes.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
16 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades: visualización
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
17 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades: visualización
La figura permite recordar las relaciones aditivas más usadas:
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
17 / 31
Probabilidades
Entropías
Shannon: SCT
Definiciones
Resultados
Información mutua
Propiedades: visualización
La figura permite recordar las relaciones aditivas más usadas:
H(X,Y)
H(X|Y)
I(X;Y)
H(X)
H(Y|X)
H(Y)
Figura: Entropías e información mutua
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
17 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Índice
1
Teoría de la Probabilidad
2
Información y entropía asociadas a variables aleatorias
3
Primer teorema de Shannon: SCT
Principio de Equipartición Asintótica, AEP
Conjunto de secuencias típicas, CST
Primer teorema de Shannon, SCT
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
18 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
V.a.’s independientes e idénticamente distribuidas, iid
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
19 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
V.a.’s independientes e idénticamente distribuidas, iid
Convergencia en probabilidad. Sea una sucesión de v.a.’s
P
(Xn )n∈N , escribiremos Xn −
→ X si ∀ε > 0
lim P(|Xn − X | > ε) = 0.
n↑∞
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
19 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
V.a.’s independientes e idénticamente distribuidas, iid
Convergencia en probabilidad. Sea una sucesión de v.a.’s
P
(Xn )n∈N , escribiremos Xn −
→ X si ∀ε > 0
lim P(|Xn − X | > ε) = 0.
n↑∞
V.a.’s independientes e idénticamente distribuidas, iid.
(Xn )n∈N son v.a.’s iid ∼ X cuando
P(Xn = x) = P(X = x), ∀n y ∀x,
es decir, todas las Xn siguen el “modelo” X .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
19 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Ley Débil de los Grandes Números, LDGN
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
20 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Ley Débil de los Grandes Números, LDGN
Ley Débil de los Grandes Números, LDGN. Sean
Xn iid ∼ X , se cumple
n
1X P
xi −
→ EX X
n
i=1
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
20 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Ley Débil de los Grandes Números, LDGN
Ley Débil de los Grandes Números, LDGN. Sean
Xn iid ∼ X , se cumple
n
1X P
xi −
→ EX X
n
i=1
La LDGN también se puede escribir,
∀ε, δ > 0, ∃n(ε, δ) ∈ N, tal que sin > n(ε, δ) es
n
P
P n1
xi − EX X > δ < ε,
i=1
n
1 P
P n
xi − EX X ≤ δ > 1 − ε
i=1
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
20 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Enunciado del AEP
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
21 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Enunciado del AEP
Teorema (AEP)
Si (Xn )n∈N es una sucesión de v.a.’s iid ∼ X , se cumple
1
P
− log PX n (X1 , . . . , Xn ) −
→ H(X ).
n
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
21 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Enunciado del AEP
Teorema (AEP)
Si (Xn )n∈N es una sucesión de v.a.’s iid ∼ X , se cumple
1
P
− log PX n (X1 , . . . , Xn ) −
→ H(X ).
n
O también con otra notación,
∀ε > 0, ∃ n(ε) ∈ N, tal que si n > n(ε)
es
P − n1 log PX n (X1 , . . . , Xn ) − H(X ) ≤ ε > 1 − ε.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
21 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn )n∈N una sucesión de v.a.’s iid ∼ X , definidas
(n)
en X , y un ε > 0, se define el CST, Aε , como el conjunto de
secuencias x (n) = (x1 , x2 , . . . , xn ) ∈ X n que verifican el AEP
para esos ε y n.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn )n∈N una sucesión de v.a.’s iid ∼ X , definidas
(n)
en X , y un ε > 0, se define el CST, Aε , como el conjunto de
secuencias x (n) = (x1 , x2 , . . . , xn ) ∈ X n que verifican el AEP
para esos ε y n.
(n)
Aε
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn )n∈N una sucesión de v.a.’s iid ∼ X , definidas
(n)
en X , y un ε > 0, se define el CST, Aε , como el conjunto de
secuencias x (n) = (x1 , x2 , . . . , xn ) ∈ X n que verifican el AEP
para esos ε y n.
(n)
Aε
=
(n)
x : − n1 log p(x1 , . . . , xn ) − H(X ) ≤ ε
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn )n∈N una sucesión de v.a.’s iid ∼ X , definidas
(n)
en X , y un ε > 0, se define el CST, Aε , como el conjunto de
secuencias x (n) = (x1 , x2 , . . . , xn ) ∈ X n que verifican el AEP
para esos ε y n.
(n)
Aε
(n)
x : − n1 log p(x1 , . . . , xn ) − H(X ) ≤ ε
= x (n) : H(X ) − ε ≤ − n1 log p(x1 , . . . , xn ) ≤ H(X ) + ε
=
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Conjunto de secuencias típicas, CST
Definición (CST)
Consideramos (Xn )n∈N una sucesión de v.a.’s iid ∼ X , definidas
(n)
en X , y un ε > 0, se define el CST, Aε , como el conjunto de
secuencias x (n) = (x1 , x2 , . . . , xn ) ∈ X n que verifican el AEP
para esos ε y n.
(n)
Aε
(n)
x : − n1 log p(x1 , . . . , xn ) − H(X ) ≤ ε
= x (n) : H(X ) − ε ≤ − n1 log p(x1 , . . . , xn ) ≤ H(X ) + ε
= x (n) : 2−n(H(X )+ε) ≤ p(x1 , . . . , xn ) ≤ 2−n(H(X )−ε)
=
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
22 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Propiedades del CST
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
23 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Propiedades del CST
(n)
La propia definición: si x (n) ∈ Aε , entonces
2−n(H(X )+ε) ≤ p(x (n) ) ≤ 2−n(H(X )−ε) .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
23 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Propiedades del CST
(n)
La propia definición: si x (n) ∈ Aε , entonces
2−n(H(X )+ε) ≤ p(x (n) ) ≤ 2−n(H(X )−ε) .
(n)
P(Aε ) > 1 − ε.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
23 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Propiedades del CST
(n)
La propia definición: si x (n) ∈ Aε , entonces
2−n(H(X )+ε) ≤ p(x (n) ) ≤ 2−n(H(X )−ε) .
(n)
P(Aε ) > 1 − ε.
˛
˛
˛ (n) ˛
(1 − ε)2n(H(X )−ε) ≤ ˛Aε ˛ ≤ 2n(H(X )+ε) .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
23 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Propiedades del CST
(n)
La propia definición: si x (n) ∈ Aε , entonces
2−n(H(X )+ε) ≤ p(x (n) ) ≤ 2−n(H(X )−ε) .
(n)
P(Aε ) > 1 − ε.
˛
˛
)−ε) ≤ ˛ (n) ˛ ≤ 2n(H(X )+ε) .
(1 − ε)2n(H(X
˛Aε ˛
Figura: Conjunto de secuencias típicas y AEP
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
23 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
5= n
0.07
0.06
0.05
0.04
0.03
0.02
0.01
Xn
20
40
60
80
100
Probs: 0.3369; 0.3456; 0.3175. Cards.: 6; 10; 16.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
6= n
0.04
0.03
0.02
0.01
Xn
20
40
60
80
100
Probs: 0.2333; 0.5875; 0.1792. Cards.: 7; 35; 22.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
7= n
0.025
0.02
0.015
0.01
0.005
Xn
20
40
60
80
100
Probs: 0.1586; 0.5516; 0.2898. Cards.: 8; 56; 64.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
8= n
0.015
0.0125
0.01
0.0075
0.005
0.0025
Xn
20
40
60
80
100
Probs: 0.1064; 0.7200; 0.1736. Cards.: 9; 154; 93.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
9= n
0.01
0.008
0.006
0.004
0.002
Xn
20
40
60
80
100
Probs: 0.2318; 0.6689; 0.0993. Cards.: 46; 336; 130.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
10 = n
0.006
0.005
0.004
0.003
0.002
0.001
Xn
20
40
60
80
100
Probs: 0.1673; 0.6665; 0.1662. Cards.: 56; 582; 386.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
11 = n
0.0035
0.003
0.0025
0.002
0.0015
0.001
0.0005
Xn
20
40
60
80
100
Probs: 0.1189; 0.7817; 0.0994. Cards.: 67; 1419; 562.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
12 = n
0.002
0.0015
0.001
0.0005
Xn
20
40
60
80
100
Probs: 0.0834; 0.7583; 0.1582. Cards.: 79; 2431; 1586.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
13 = n
0.0012
0.001
0.0008
0.0006
0.0004
0.0002
Xn
20
40
60
80
100
Probs: 0.0579; 0.8444; 0.0977. Cards.: 92; 5720; 2380.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
14 = n
0.0008
0.0006
0.0004
0.0002
Xn
20
40
60
80
100
Probs: 0.1243; 0.7255; 0.1501. Cards.: 470; 9438; 6476.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
15 = n
0.0004
0.0003
0.0002
0.0001
Xn
20
40
60
80
100
Probs: 0.0905; 0.8145; 0.0950. Cards.: 576; 22243; 9949.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
16 = n
0.00025
0.0002
0.00015
0.0001
0.00005
Xn
20
40
60
80
100
Probs: 0.0651; 0.8765; 0.0583. Cards.: 697; 49946; 14893.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
17 = n
0.00015
0.000125
0.0001
0.000075
0.00005
0.000025
Xn
20
40
60
80
100
Probs: 0.0464; 0.8617; 0.0919. Cards.: 834; 89012; 41226.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
18 = n
0.00005
0.00004
0.00003
0.00002
0.00001
Xn
20
40
60
80
100
Probs: 0.0942; 0.8482; 0.0576. Cards.: 4048; 195092; 63004.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
19 = n
0.00003
0.000025
0.00002
0.000015
0.00001
5 ´ 10-6
Xn
20
40
60
80
100
Probs: 0.0696; 0.8419; 0.0885. Cards.: 5036; 349486; 169766.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
20 = n
0.0000175
0.000015
0.0000125
0.00001
7.5 ´ 10-6
5 ´ 10-6
2.5 ´ 10-6
Xn
20
40
60
80
100
Probs: 0.0509; 0.8925; 0.0565. Cards.: 6196; 778430; 263950.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
21 = n
0.00001
8 ´ 10-6
6 ´ 10-6
4 ´ 10-6
2 ´ 10-6
Xn
20
40
60
80
100
Probs: 0.0369; 0.8781; 0.0849. Cards.: 7547; 1393745; 695860.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
22 = n
6 ´ 10-6
5 ´ 10-6
4 ´ 10-6
3 ´ 10-6
2 ´ 10-6
1 ´ 10-6
Xn
20
40
60
80
100
Probs: 0.0722; 0.8727; 0.0551. Cards.: 35443; 3061071; 1097790.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
23 = n
3 ´ 10-6
2 ´ 10-6
1 ´ 10-6
Xn
20
40
60
80
100
Probs: 0.0540; 0.9111; 0.0349. Cards.: 44552; 6645896; 1698160.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
CST: visualización
Secuencias muy probables, típicas y poco probables
pHx1 , ..., xn L
24 = n
-6
1.5 ´ 10
1.25 ´ 10-6
1 ´ 10-6
7.5 ´ 10-7
5 ´ 10-7
2.5 ´ 10-7
Xn
20
40
60
80
100
Probs: 0.0400; 0.9065; 0.0535. Cards.: 55455; 12181375; 4540386.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
24 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Probabilidad del CST
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
25 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Probabilidad del CST
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
10
20
Ramiro Moreno (Matemàtica, UdL)
30
40
50
10
Probabilidades, entropías y SCT
20
30
40
6 de febrero 2010
25 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Probabilidad del CST
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
10
20
30
40
50
10
20
30
40
Probabilidades del conjunto de secuencias típicas, CST
Muy probables+Poco probables=Secuencias no–típicas
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
25 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
1
Ordenamos todas las secuencias de X n .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
1
Ordenamos todas las secuencias de X n .
2
En ese conjunto ordenado definimos un índice.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
1
Ordenamos todas las secuencias de X n .
2
En ese conjunto ordenado definimos un índice.
3
(n)
Como |Aε | ≤ 2n(H(x)+ε) , sólo necesitamos
dn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
1
Ordenamos todas las secuencias de X n .
2
En ese conjunto ordenado definimos un índice.
3
4
(n)
Como |Aε | ≤ 2n(H(x)+ε) , sólo necesitamos
dn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
(n)
(n)
En el conjunto Aε = X n \ Aε , podemos “gastar” bits, ya
(n)
que P(Aε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n , es decir,
dn log |X |e ≤ n log |X | + 1 bits.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
Compresión a partir del AEP: Algoritmo
1
Ordenamos todas las secuencias de X n .
2
En ese conjunto ordenado definimos un índice.
3
4
(n)
Como |Aε | ≤ 2n(H(x)+ε) , sólo necesitamos
dn(H(x) + ε)e ≤ n(H(x) + ε) + 1 bits para codificar el CST.
(n)
(n)
En el conjunto Aε = X n \ Aε , podemos “gastar” bits, ya
(n)
que P(Aε ) < ε. Para codificarlo usamos tantos bits como
si quisiéramos codificar todo X n , es decir,
dn log |X |e ≤ n log |X | + 1 bits.
5
Para diferenciar ambos modos de codificación
anteponemos un bit diferenciador.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
26 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0. Entonces, para un n
suficientemente grande, existe un código que hace
corresponder uno a uno cada secuencia x n ∈ X n con una
palabra–código
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0. Entonces, para un n
suficientemente grande, existe un código que hace
corresponder uno a uno cada secuencia x n ∈ X n con una
palabra–código, tal que si `(X n ) es la longitud de las
palabras–código, será
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0. Entonces, para un n
suficientemente grande, existe un código que hace
corresponder uno a uno cada secuencia x n ∈ X n con una
palabra–código, tal que si `(X n ) es la longitud de las
palabras–código, será
1
n
`(X ) ≤ H(X ) + ε.
EX
n
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0. Entonces, para un n
suficientemente grande, existe un código que hace
corresponder uno a uno cada secuencia x n ∈ X n con una
palabra–código, tal que si `(X n ) es la longitud de las
palabras–código, será
1
n
`(X ) ≤ H(X ) + ε.
EX
n
NOTA.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Enunciado
Primer teorema de Shannon
Teorema (SCT)
Sea (Xn )n∈N una secuencia de v.a.’s iid ∼ X sobre un alfabeto
finito X , y ε un número real > 0. Entonces, para un n
suficientemente grande, existe un código que hace
corresponder uno a uno cada secuencia x n ∈ X n con una
palabra–código, tal que si `(X n ) es la longitud de las
palabras–código, será
1
n
`(X ) ≤ H(X ) + ε.
EX
n
NOTA. Nótese que n1 `(X n ) es la longitud de la palabra–código
por carácter de x n .
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
27 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
EX (`(X n )) =
X
p(x n )`(x n )
x n ∈X n
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
EX (`(X n )) =
X
p(x n )`(x n )
x n ∈X n
=
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n )
(n)
x n ∈Aε
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
x n ∈Aε
Ramiro Moreno (Matemàtica, UdL)
X
p(x n )`(x n )
(n)
x n ∈Aε
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
x n ∈Aε
X
p(x n )`(x n )
(n)
x n ∈Aε
≤
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
≤
p(x n )`(x n )
(n)
x n ∈Aε
X
X
x n ∈Aε
p(x n ) (n(H + ε) + 2)
(n)
x n ∈Aε
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
≤
p(x n )`(x n )
(n)
x n ∈Aε
X
X
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
Ramiro Moreno (Matemàtica, UdL)
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
≤
p(x n )`(x n )
(n)
x n ∈Aε
X
X
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
=
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
p(x n )`(x n ) +
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
(n(H + ε) + 2) P(A(n)
ε )
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
(n(H + ε) + 2) P(A(n)
)
| {zε }
≤1
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
≤1
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
≤1
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
<ε
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
X
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
≤1
<ε
≤
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
X
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
<ε
≤1
≤
p(x n ) (n log |X | + 2)
(n)
x n ∈Aε
nH + n ε + ε log |X | +
Ramiro Moreno (Matemàtica, UdL)
2(1 + ε)
n
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
X
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
<ε
≤1
≤
p(x n ) (n log |X | + 2)
(n)
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
nH + n ε + ε log |X | +
|
{z
ε0
Ramiro Moreno (Matemàtica, UdL)
2(1 + ε)
n
}
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
X
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
<ε
≤1
≤
p(x n ) (n log |X | + 2)
(n)
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
nH + n ε + ε log |X | +
|
{z
ε0
Ramiro Moreno (Matemàtica, UdL)
2(1 + ε)
n
= n(H + ε0 )
}
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Demostración
(n)
Sea n suficientemente grande para que P(Aε ) > 1 − ε
X
EX (`(X n )) =
p(x n )`(x n )
x n ∈X n
=
X
(n)
≤
x n ∈Aε
p(x n ) (n(H + ε) + 2) +
X
x n ∈Aε
(n)
(n(H + ε) + 2) P(A(n)
) + (n log |X | + 2) P(Aε )
| {zε }
| {z }
<ε
≤1
≤
p(x n ) (n log |X | + 2)
(n)
(n)
x n ∈Aε
=
p(x n )`(x n )
(n)
x n ∈Aε
X
X
p(x n )`(x n ) +
nH + n ε + ε log |X | +
|
{z
ε0
Ramiro Moreno (Matemàtica, UdL)
2(1 + ε)
n
= n(H + ε0 )
}
Probabilidades, entropías y SCT
6 de febrero 2010
28 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (I)
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
29 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobre
X = {0, 1}, con p = P(X = 1) = 00 2, luego
H(X ) = H(00 2, 00 8) = h(00 2) = 00 7219, es la entropía de la
fuente de bits.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
29 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobre
X = {0, 1}, con p = P(X = 1) = 00 2, luego
H(X ) = H(00 2, 00 8) = h(00 2) = 00 7219, es la entropía de la
fuente de bits.
(n)
El CST Aε se alcanza para ε = 00 05 en n = 960, ya que
(n)
P(Aε ) = 00 952063 > 1 − ε = 00 95.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
29 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobre
X = {0, 1}, con p = P(X = 1) = 00 2, luego
H(X ) = H(00 2, 00 8) = h(00 2) = 00 7219, es la entropía de la
fuente de bits.
(n)
El CST Aε se alcanza para ε = 00 05 en n = 960, ya que
(n)
P(Aε ) = 00 952063 > 1 − ε = 00 95.
Usaremos, según el algoritmo de la demostración,
dn(H + ε)e + 1 = d960(00 7219 + 00 05)e + 1 = 743 bits
para codificar cada secuencia del CST.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
29 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (I)
Tenemos una fuente con vas binarias iid ∼ X sobre
X = {0, 1}, con p = P(X = 1) = 00 2, luego
H(X ) = H(00 2, 00 8) = h(00 2) = 00 7219, es la entropía de la
fuente de bits.
(n)
El CST Aε se alcanza para ε = 00 05 en n = 960, ya que
(n)
P(Aε ) = 00 952063 > 1 − ε = 00 95.
Usaremos, según el algoritmo de la demostración,
dn(H + ε)e + 1 = d960(00 7219 + 00 05)e + 1 = 743 bits
para codificar cada secuencia del CST.
Y dn log |X |e + 1 = 961 bits para codificar las secuencias
no típicas.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
29 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (II)
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
30 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (II)
La longitud media de las palabras–código será
(n)
`(X n ) = P(A(n)
ε )(dn(H + ε)e + 1) + P(Aε )(dn log |X |e + 1)
= 00 952063 · 743 + (1 − 00 952063) · 961
= 7530 45
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
30 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Ejemplo (II)
La longitud media de las palabras–código será
(n)
`(X n ) = P(A(n)
ε )(dn(H + ε)e + 1) + P(Aε )(dn log |X |e + 1)
= 00 952063 · 743 + (1 − 00 952063) · 961
= 7530 45
Lo que supone
1
7530 45
`(X n ) =
= 00 784844
n
960
bits–código por cada bit–fuente, i.e., una ratio de
compresión del 78 %.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
30 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Unas notas
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
31 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Unas notas
Observad que en este ejemplo no se cumple la acotación
del SCT para ε = 00 05:
`(X n ) = 7530 45 6≤ n(H + ε) = 7410 051, pero sí para el ε0 de
la demostración, ε0 = ε + ε log |X | + 2(1+ε)
= 00 1021875,
n
pues entonces es n(H + ε0 ) = 7910 124.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
31 / 31
Probabilidades
Entropías
Shannon: SCT
AEP
CST
SCT
SCT: Unas notas
Observad que en este ejemplo no se cumple la acotación
del SCT para ε = 00 05:
`(X n ) = 7530 45 6≤ n(H + ε) = 7410 051, pero sí para el ε0 de
la demostración, ε0 = ε + ε log |X | + 2(1+ε)
= 00 1021875,
n
pues entonces es n(H + ε0 ) = 7910 124.
Si la entropía de la fuente binaria está próxima al máximo
de 1 bit, el teorema se cumple, pero el algoritmo puede
que no comprima. Por ejemplo, para p = P(X = 1) = 0,4 y
ε = 00 1 se alcanza el AEP para n = 23, pero la ratio de
compresión es
1
250 8222
`(X n ) =
= 10 12271,
n
23
es decir, ¡del 122 %!.
Ramiro Moreno (Matemàtica, UdL)
Probabilidades, entropías y SCT
6 de febrero 2010
31 / 31