Resumen Primer Parcial

Definicion de Informacion
Sea E un suceso que puede presentarse con probabilidad P(S). Cuando E tiene lugar decimos que hemos
recibido
I(E) = log 1
P(E)
E = evento
I = información
P(E) = probabilidad de evento
La eleccion de la base del logaritmo equivale a elegir una determinada unidad.
Base 2:
I(E) = log2 1
P(E)
bits
I(E) = ln 1
P(E)
nats
I(E) = log 1
P(E)
Hartley
I(E) = logr 1
P(E)
unidades de orden r
Logaritmo natural:
Base 10:
Empleando base r:
1
Fuentes de Informacion de Memoria Nula
Los símbolos son generados independientemente unos de otros.
a)
b)
c)
d)
Genera una secuencia de símbolos perteneciente a un alfabeto S={s1,s2,……,sq} alfabeto fuente
Ese alfabeto es finito y fijo
Los símbolos se emiten según una ley de probabilidad P(s1),P(s2),……,P(sq)
La emision de ellos es estadísticamente independiente
Información media
I(si) = log 1
P(si)
bits
Entropia
H(S).Puede ser el valor medio de la información por simbolo suministrada por la fuente o el valor medio de
la incertidumbre de un observador antes de conocer la salida de la fuente.
El simbolo con mayor incertidumbre, con menor probabilidad de aparicion suministrara mucha información
en escasas oportunidades, el que aparece frecuentemente aporta menos información pero mucha mas veces.
H(S) = ∑ P(si).log
1
P(si)
S
bits
Si medimos I(si) en unidades de orden r H(S) vendra dada con la misma unidad
Hr(S) = ∑ P(si).logr
S
1
P(si)
unidades de orden r
Propiedades de la Entropia
En una fuente de informacion de memoria nula con un alfabeto de q simbolos, el valor maximo de la entropia
es log q, alcanzandose solamente siu todos los simbolos de la fuente son equiprobables.
H(S) <= log2 q
H(S) = log2 q  P(si) = 1
q
Valor maximo: el valor de la entropia aumenta a medida que las probabilidades de los símbolos tienden a
igualarse. Cuando todos los símbolos tienen la misma probabilidad la entropia es maxima.
Monotonia: en la medida en que crece el numero de símbolos de una fuente aumenta el valor de la entropia
de la misma.
Entropia de una Fuente Binaria
Fuente de memoria nula que produce dos símbolos a, b, probabilidad de emision de cada uno P(a) y P(b) la
suma de las probabilidades debe ser 1
P(t) = P(a) + P(b) = 1
Cuando se tiene la certeza de un hecho, lo que implica probabilidad 1, la entropia es nula. Si un hecho se
conoce de antemano no aporta ningun contenido de información.
La entropia es maxima cuando todos los sucesos son equiprobables.
2
Una secuencia de binits producida por una fuente de información binaria de memoria nula equiprobables
suministra un bit de información por binit. Si no son igualmente probables, la cantidad de información dadad
por un binit sera menor o mayor a 1 bit dependiendo de los valores de las probabilidades. La cantidad media
de información suministrada por un binit sera siempre menor o igual a 1 bit por binit.
Para duplicar la cantidad maxima de información por simbolo en una fuente de q símbolos, seria necesaria
una fuente q2 simbolos.
Binit alude a digitos (0,1)mientras que el bit lo hace a la cantidad de información expresada en una cierta
unidad.
Extensión de una Fuente de Memoria Nula
Sea S={s1,s2,…..,sq} una fuente de información nula que tiene un alfabeto fuente Si
La extensión de S simbolizada con Sn en una fuente de qn símbolos cada uno de ellos denominado i
S={1,2,…..,q}
Cada i corresponde a un bloque de longitud n de los Si
En cuanto a la probabilidad de cada uno de ellos Pi ,se obtiene de la probabilidad correspondiente a la
secuencia Pi=Ps1,Ps2,….Psn
La sumatoria de las probabilidades de los símbolos de la fuente extendida es igual a 1
∑ Pi = 1
Sn
Tasa de Informacion
R = tasa de información
r = cantidad de símbolos por segundo que emite la fuente
 = tiempo medio de un simbolo
R = H(S) bit velocidad de transferencia de la informacion

seg
r = 1 bit = baudio
 seg
3
Feunte con Memoria
Cuando un nuevo simbolo se emite el estado cambia pasando del estado Ei al estrado Ei+1.
El nuevo estado Ei+1 depende del estado anterior y del simbolo que se acaba de transmitir.
La aparición de un simbolo condiciona la aparicion del siguiente.
La incertidumbre disminuye de modo que se necesitara almacenar y transmitir una menor cantidad de
información.
Cada simbolo que se emite recuerda cual ha sido el simbolo que le ha precedido.
Fuente de Markov
Consiste en aquella en que la presencia de un determinado simbolo si depende de un numero finito m de
símbolos presedentes.
Tendra n = qm conjuntos de m símbolos Si
Cada uno de los conjuntos qm constituye un estado
Cada uno de los estados asi surgidos se denomina Sj
Los estados iran desde Sj1 hasta Sjn
Se hablara de símbolos Si y probabilidades condicionales de que estando en un estado Sji se pasa a otro
estado Sji distinto.
La simbologia de las probabilidades es P(Si/Sj1,Sj2,….,Sjm)
El analisis suele hacerse mediante una representación grafica. Cada estado se representa por un punto y las
transiciones mediante una flecha.
si estando en el estado 00 aparece el simbolo 0 el nuevo estado sera 00
si estando en el estado 00 aparece el simbolo 1 el nuevo estado sera 01
si estando en el estado 01 aparece el simbolo 0 el nuevo estado sera 10
si estando en el estado 01 aparece el simbolo 1 el nuevo estado sera 11
si estando en el estado 10 aparece el simbolo 0 el nuevo estado sera 00
si estando en el estado 10 aparece el simbolo 1 el nuevo estado sera 01
si estando en el estado 11 aparece el simbolo 0 el nuevo estado sera 10
4
si estando en el estado 11 aparece el simbolo 1 el nuevo estado sera 11
Una fuente de Markov ergodica es aquella que, observando durante un tiempo suficientemente largo, emite
(con probabilidad 1) una secuencia tipica de símbolos.
Probabilidad de Sucesos Simultaneos
P(Sj1,Sj2,…..,Sjm,Si)= P(Si/Sj1,Sj2,….,Sjm).P(Sj1,Sj2,….,Sjm)
Entropia de la Fuente de Markov
La entropia de la fuente de Markov de orden m se obtendra calculando el valor medio de esta cantidad,
extendida a las qm estados posibles.
H(S) = ∑ P(Sj1,Sj2,…..,Sjm,Si).log
1
P( /Sj1,Sj2,….,Sjm)
Si
Sm+1
Fuente Afin
La fuente afin de S, llamada S, es la fuente de información de memoria nula de alfabeto identico a la de S, y
de símbolos de probabilidades P1,P2,…..,Pq. La entropia de una fuente afin S nunca es inferior a la entropia de
S. las dos fuentes S y S, tienen las mismas probabilidades de primer orden.
∑ P(Sj1,Sj2,….,Sjn).log
Sj
1
P(Sj1,Sj2,….,Sjn)
Su valor sera mayor que la de la entropia de la fuente de Markov
H(S) <= H(S)
5
La condicion de igualdad se da solamente cuando los símbolos de emision sean estadísticamente
independiente del estado de S en el que se encuentre la fuente.
6
Codificacion de Fuentes
En la medida en que se mejora la codificacion de la información a transmitir:
a) La longitud media de codificacion va a tender al valor de la entropia de la fuente original.
b) Se incrementa la velocidad de transmisión de la información
c) Aumentara el rendimiento de codificacion
Codigo: denominamos S={s1,s2,……,sq} al conjunto de símbolos de un alfabeto. Codigo es la
correspondencia de todas las secuencias posibles de símbolos de S a secuencias de símbolos de algun otro
alfabeto X={x1,x2,……,xq}. S recibe el nombre de alfabeto fuente y X alfabeto codigo.
Cada secuencia del alfabeto codigo se denomina palabra codigo y se designa con xi.
Codigo es la correspondencia entre cada uno de los símbolos del alfabeto fuente y una secuencia de símbolos
del alfabeto codigo, distinta para cada simbolo fuente. Este proceso se denomina codificacion de la fuente. El
pasaje de palabras codigo xi a símbolos fuente si se denomina decodificacion.
Codigo Bloque: es aquel que asigna cda uno de los símbolos del alfabeto fuente S a una secuencia fija de
símbolos del alfabeto codigo X. Esas secuencias fijas (secuencias de xi) reciben el nombre de palabras codigo.
Denominaremos xi a la palabra codigo que corresponde al simbolo si.
Simbolo de la fuente
s1
s2
Codigo
0
11
Codigo Bloque no Singular: todas las palabras codigo son distintas entre si.
Codigo Univocamente Decodificables: su extensión de orden n es no singular para cualquier valor finito de
n.
Codigos instantaneos: cuando es posible decodificar las palabras de una secuencia sin precisar el
conocimiento de los símbolos que las suceden. Si la palabra codigo es xi y se compone de los símbolos
xi1,xi2,….xin, prefijo sera cada secuencia compuesta por los símbolos xi1,xi2,…xij siendo j<= n.
Arbol de Codificacion
Otra manera de determinar un codigo instantáneo
Cada simbolo de la palabra codigo representa una rama con una determinada direccion y constituye un nodo
terminal del arbol. Dos condiciones:
a) toma la direccion indicada por cada uno de los símbolos constituyentes y en el orden en que ellos se
encuentran
b) constituye un nodo terminal del arbol
Si todas las palabras codigo constituyen nodos terminales del arbol, se podra afirmar que el codigo es
instantaneo.
7
Inecuación de kraft
Sea un codigo instantaneo con un alfabeto fuente S={s1,s2,…,sq} y un alfabeto codigo X={x1,x2,…,xr}.
Sean x1,x2,….,xq las palabras del codigo li. Para que exista un codigo instantaneo con palabras de longitud
l1,l2,……,lq vine definida por la inecuación de kraft donde r es el numero de simblos diferentes que
constituyen el alfabeto codigo.
q
∑ r-li <= 1
i=1
La longitud de los caracteres li se medira en caracteres r-arios es decir:
a) si r = 2 se tendran caracteres binarios
b) si r = 3 se tendran caracteres ternarios
c) si r = 4 se tendran caracteres cuaternarios
Simbolos del Alfabeto Fuente
Secuencia del Alfabeto Codigo
s1
s2
s3
s4
1
00
011
001
q
∑ 2-li = 2-1 + 2-2 +2-3 2-3 <= 1
i=1
Construccion de Codigos Instantaneos Empleando la Inecuación de Kraft
Se puede diseñar un codigo instantaneo de este modo:
a) se comienza con las longitudes de palabra codigo mas pequeñas
b) a partir de alli se derivan palabras codigo subsecuentes de modo tal que ningun prefijo de palabra codigo
sea otra palabra codigo
Es codificacion necesaria, pero no suficiente para determinar si un codigo dado es instantaneo o no.
Solamente informa se la cantidad de símbolos de codigo elegida y las longitudes de palabras de codigo son
aptas para la codificacion que se quiere realizar.
Nada dice con respecto a cuales son las palabras codigo de cada simbolo.
8
Longitud Media de un Codigo
Sea un codigo bloque que asocia los símbolos de una fuente s1,s2,….,sq con las palabras x1,x2,…,xq.
Supongamos que las probabilidades de los símbolos de la fuente son P1,P2,…,Pq y las longitudes de las
palabras l1,l2,….,lq. Definimos la longitud media:
q
L = ∑ Pi.Li
i=1
Un codigo univoco que asocia los símbolos de una fuente S con palabras formadas por símbolos de un
alfabeto r-ario, este codigo sera compacto si su longitud media es igual o menor que la longitud media de
todos los codigos univocos que pueden aplicarse a la misma fuente y el mismo alfabeto
H(S) <= L
logr
Hr(S) <= L
Metodo de Codificacion de Fuentes Especiales
Con un codigo instantaneo y una fuente de memoria nula, L debe ser igual o mayor que Hr(S). Ademas L
alcanzara su valor minimo si pueden elegirse las longitudes de las palabras li iguales a logr 1
Pi
La condicion de igualdad es que logr 1 sea un numero entero para cualquier valor de i.
Pi
La condicion de igualdad es que la probabilidad de los símbolos Pi sean de la forma 1 αi donde αi es un
r
numero entero. Si esas condiciones se cumplen se habran encontrado las longitudes de las palabras que
construyen un codigo compacto. Bastara con elegir li igual a αi. Una vez deducidas las longitudes, la
construccion del codigo debera
Lmin = li =logr 1
Pi
Pi = 1 αi
r
l1 = 0
l2 = 10
l3 = 110
l4 = 111
= (1/2)1
= (1/2)2
= (1/2)3
= (1/2)3
Cuando dice codigo trinario se usa log3
Primer Teorema de Shannon
Partiendo de
Hr(S) <= L < Hr(S)+1
Lo haremos a la extensión de orden n
Hr(Sn) <= Ln < Hr(Sn)+1
9
Ln representa la longitude media de las palabras correspondientes a los simbolos de la extension de orden n
de la fuente S. esto es si λi es la longitud de la palabra correspondiente al simbolo αi y P(αi) la probabilidad de
αi es
qn
Ln = ∑ P(αi). λi
i=1
Ln es el numero medio de simbolos empleado en cada simbolo simple de S. la entropia de Sn es igual a n
n
veces la entropia de S. la ecuación es
Hr(S) <= Ln < Hr(S) + 1
n
n
de modo que siempre sera posible encontrar un valor de Ln tan proximo a Hr(S) como queremos, sin mas que
n
codificar la extensión de orden n de S en lugar de S
lim Ln = Hr(S)
n->oo n
La definicion dada de entropia de una fuente H(S), medida en bits/simbolo ahora tiene un sentido mas claro.
La entropia de la fuente puede verse como la longitud optima promedio (medida en bits/simbolo) de un
codigo binario.
Hr(S) medida como el numero de símbolos codigo por simbolo fuente, es la longitud promedio optima de un
codigo de r símbolos.
No hay garantia que se pueda encontrar un codigo compacto con L = Hr(S). La relacion entre L y Hr(S)
determina cuan eficiente u optimo es l codigo.
Metodo de Huffman
Supongamos los simbolos ordenados de ta forma que P1>=P2>=,……,>=Pq. Imaginando que los dos ultimos
símbolos de S se confunden en uno solo se obtiene una fuente de q-1 simbolos. La denominaremos fuente
reducida de S, los símbolos símbolos de la reducida pueden reordenarse, agrupando de nuevo los dos de
menor probabilidad para formar una nueva fuente reducida. Continuando de esta forma se obtendra una
secuencia de fuentes, cada una con un simbolo menos que la anterior., hasta llegar a una fuente de dos
símbolos.
El segundo paso consiste en fijarse en que el codigo compuesto instantaneo binario de la ultima reducida esta
formado por las palabras 0 y 1. una vez demostrado esto, comenzando por la ultima fuente y el codigo
instantaneo compacto hallado, se ira ascendiendo hasta encontrar el codigo instantaneo compacto
correspondiente a la fuente original.
10
Codigo Compacto r-arios
La ultima fuente tendra r símbolos solamente si la fuente original esta formada por Nro. Simb = α + r(r-1)
símbolos, siendo α un numero entero. Si la fuente original no tiene este numero de símbolos, deberemos añadir
unos cuantos falsos símbolos en numero suficiente para alcanzarlo, con probabilidad nula de modo que pueden
ser ignorados una vez que el codigo haya sido construido.
Rendimiento y Redundancia de un Codigo
El rendimiento estara dado por:
η = Hr(S)
L
La redundancia sera:
R=1-η
Un codigo redundante puede emplearse para codificar otro alfabeto fuente que provea mayor información (es
decir, que posea una entropia Hr(S) mas grande)
Relacion entre la entropia Hr(S) de una fuente, la cantidad m de símbolos por segundo que emite y la C
capacidad de un canal
C >= m.H(S) fuente sin codificar
Codificando adecuadamente es posible transmitir la información por un canal con una velocidad igual a C
H(S)
símbolos por segundo con un ε 1 tan pequeño como se quiera indicando, en este caso, el ε 1 el grado de
desaprovechamiento del canal.
C >= m símbolos . Ln digitos binarios
segundos n
simbolo
fuente codificada
Conclusión
Con una adecuada extensión de la fuente y una adecuada codificacion, la longitud media de codificacion por
mensaje tendra, numéricamente, el valor de la entropia de la fuente (metodo Huffman).
Otro concepto de entropia: minima longitud de palabra codigo media esperable cuando se efectua una
codificacion.
Es facil ver que en la medida en que se aumentan las extensiones, o sea, que se hace mas compleja la
codificacion, el rendimiento mas tendera a la unidad.
La capacidad del canal requerida (para un canal sin ruido) para transmitir la información que la fuente genera
es:
C = m.H(S)
Con la capacidad C (expresada en bits/seg) y la entropia de la fuente H(S) (dada en bits/simbolo), sera posible
codificar la salida de la fuente de modo de transmitir por el canal a una velocidad promedio de:
C
simbolos
-ε1
m=
H(S)
segundo
11
Debe considerarse que si la relacion de la capacidad C del canal a la entropia H(S) de la fuente es mucho
mayor que la cantidad m de símbolos por segundo que la fuente emite, el canal estaria desaprovechando por lo
que el sistema seria ineficaz.
Precisamente, la relacion C/H(S) puede emplearse para evaluar los sistemas de comunicaciones.
12