TeoriaDeInformacion_FINAL

TEORÍA DE LA INFORMACIÓN
1. Modelo básico de un sistema de transmisión de información
Un sistema de comunicaciones se compone de cinco módulos básicos:
1) Fuente: genera un mensaje o una secuencia de mensajes para enviar al extremo en que se
encuentra el destinatario.
2) Transmisor: opera sobre el mensaje de manera tal que se produzca una señal adecuada para la
transmisión sobre el canal. Está compuesto (opcionalmente) de:
a. Codificador: se emplea cuando la información es digital, o se envía en forma digital. Este
módulo puede o no integrar el transmisor.
b. Generador de señales: en señales analógicas, convierte la información eléctrica en
información continua a transmitir. En señales digitales, produce señales eléctricas en
correspondencia a cada símbolo a transmitir.
c. Modulador: procesa la información a transmitir haciéndola apta para emitirse en un canal.
Para esto coloca la señal útil en una segunda señal llamada portadora.
3) Canal: es el medio usado para trasladar la señal desde la fuente al destinatario
4) Receptor: realiza la operación inversa del transmisor, reconstruyendo el mensaje desde la señal
recibida. Está compuesto (opcionalmente) de:
a. Demodulador: realiza el proceso inverso del modulador, recuperando la información que
trae la señal modulada
b. Decodificador: convierte los pulsos recibidos en las señales eléctricas originales
5) Destinatario: es la persona o entidad a quien se le envía el mensaje.
2. Qué es la Teoría de la Información? Cuál es su objeto?
La Teoría de la Información es una de las ramas de la ciencia que se ocupa de los procesos de las
comunicaciones y estudia la transmisión de información por ondas electromagnéticas.
La Teoría de la información es la teoría matemática de la comunicación de datos, y el almacenamiento de los
mismos. Como teoría matemática, se basa en la teoría de probabilidad y estadística.
La Teoría de la Información estudia:
a) Las características de la información en sí, es decir, las fuentes de información
b) La forma óptima de codificación
c) La capacidad teórica de los canales para poder transmitir esa información
Dado que el proceso de las comunicaciones es esencialmente estocástico (relacionado con el azar), para este
estudio se apoya en el cálculo de probabilidades.
Importante: la Teoría de la Información estudia los aspectos de la transmisión, y no la semántica de la misma,
lo cual es irrelevante a la cuestión de la ingeniería. Es decir: no se hace ninguna afirmación acerca de la verdad,
falsedad o significado de lo que transmite.
3. Según Shannon, cuál es el problema fundamental de la comunicación?
El problema de la comunicación es reproducir en un punto un mensaje seleccionado en otro punto, siendo el
aspecto significativo que tal mensaje es uno elegido de un conjunto de mensajes posibles.
Considerando que:
- la información emitida desde una fuente llega al destinatario a través de un medio (el canal de
comunicaciones)
- entre la fuente y el canal debe colocarse un dispositivo, el codificador, que transforme la información
original en una sucesión de ceros y unos, lo cual puede introducir una demora en el procesamiento
- a la salida del canal debe colocarse un decodificador
- el canal tiene una ley de probabilidad de transición entre la entrada y la salida, por lo cual tendrá una
determinada probabilidad de éxito en el tránsito de la información
1
La pregunta es: con qué rapidez y confiabilidad la información puede ser transmitida a través del canal, cuando
se optimiza el codificador y el decodificador?
4. Qué ideas aportó Shannon para el tratamiento del problema fundamental de la comunicación?
Shannon estudió el tema y estableció que:
a) Para una determinada fuente y canal es imposible alcanzar una confiabilidad mejor que cierto límite
dado por algunos parámetros físicos
b) Para grandes demoras introducidas en el proceso de codificación es posible alcanzar un
comportamiento tan bueno como el límite posible
Shannon dividió el problema en dos partes: fuente y canal, y asumió que se interconectaban por una interfaz
digital (ceros y unos, en principio) y luego unió los resultados. El codificador aparece dos veces: cuando se
analiza la fuente y cuando se estudia el canal.
Primero estudió el codificador/decodificador para optimizar la interfaz fuente a conversor digital, y luego el
codificador/decodificador para optimizar el comportamiento del canal como medio de transmisión de una
señal digital.
El concepto revolucionario de Shannon fue la inclusión de una interfaz digital: se digitalizaba la información.
5. Sobre qué se basa la teoría matemática de la información?
La Teoría de la información es la teoría matemática de la comunicación de datos, y el almacenamiento de los
mismos. Como teoría matemática, se basa en la teoría de probabilidad y estadística.
La teoría matemática de la información está relacionada con las leyes matemáticas que rigen la transmisión y el
procesamiento de la información. La teoría de la información se ocupa de la medición de la información y de la
representación de la misma (su codificación), y de la capacidad de los sistemas de comunicaciones para
transmitir y procesar información.
Shannon llegó a la teoría matemática a través del Álgebra de Boole, que se presentaba como algo equivalente
al cálculo lógico que hacía Shannon con los circuitos de comunicación. Shannon demostró que las operaciones
simples del álgebra de Boole se podían representar por circuitos de conmutación, y que el álgebra de Boole
posibilitaba la simplificación de tales circuitos de conmutación.
6. Cuáles son los tópicos o aspectos fundamentales de la Teoría de la Información? Ejemplos de
aplicación.
La teoría de la Información abarca tres aspectos fundamentales:
1. Compresión de datos sin pérdidas.
Plantea el interrogante: qué cantidad de datos pueden ser comprimidos de modo que otra persona
que los reciba pueda recuperar una copia idéntica a los datos no comprimidos? (archivos Zip)
2. Compresión de datos con pérdidas
Plantea: qué cantidad de datos pueden ser comprimidos de modo que otra persona que los reciba
pueda recuperar una copia aproximada de los datos no comprimidos? (MP3s)
3. Capacidad de canal
Aquí se plantea cuán rápidamente la información puede ser comunicada a cualquier otra persona a
través de un medio ruidoso (xDSL).
Estas tres cuestiones fueron respondidas por Claude Shannon en 1948.
7. Explicar cómo surgió la idea de cuantificar la cantidad de información de un mensaje (cómo se
explica que no todos los mensajes tengan la misma cantidad de información).
Se entiende que un mensaje transmite información, en la medida en que transmite algo que el destinatario no
conoce, con lo cual aumenta su conocimiento. Si no lo hace –es decir, si transmite algo que el destinatario ya
conoce- se está repitiendo algo, con lo cual no puede decirse que esté transmitiendo información.
2
Si entendemos por información algo novedoso, se deduce que todo mensaje tiene un contenido de
información diferente.
A fin de cuantificar el contenido de información de cada mensaje, se observa que el mismo está ligado a la
probabilidad de ocurrencia del mismo: a menor probabilidad de ocurrencia, mayor contenido de información, y
viceversa. O sea: la cantidad de la información es función de la inversa de la probabilidad de ocurrencia del
suceso.
Dados dos eventos, en una igualdad entre los mismos (ver pág 20/21) se observa que, mientras las
probabilidades de ocurrencia de cada evento se multiplican, los contenidos de información de ambos se
suman. De ahí se deduce que la función que cumple con esta relación es la logarítmica, por lo cual la fórmula
sería I= log 1/P . Esta expresión se conoce como información propia.
8. Qué importancia le da a la semántica de un mensaje la teoría de la información?
Ninguna. La Teoría de la Información estudia los aspectos de la transmisión, y no la semántica de la misma, lo
cual es irrelevante a la cuestión de la ingeniería. Es decir: no se hace ninguna afirmación acerca de la verdad,
falsedad o significado de lo que transmite.
9. Unidades de medida de la cantidad de la información
La cantidad de información de un suceso, evento o mensaje es una función logarítmica de la inversa de la
probabilidad de que tal suceso, evento o mensaje se produzca.
Para esa función logarítmica, el valor de la base decide la unidad de medición que se emplea.
Si la base es 2, la unidad es bit (Binary Unit). Un Flip-Flop puede almacenar un bit. Esta medida es útil cuando
las magnitudes representativas de los mensajes son pulsos con dos estados posibles (son unos y ceros).
Si es 10, es unidad decimal o Hartley. Se usa al emplear ruedas dentadas con diez dientes, o una computadora
con diez estados posibles, que tiene la capacidad de almacenar un dígito decimal.
Si la base es el número ‘e’, es unidad natural o nat. Su mejor aplicación es cuando se está desarrollando un
análisis matemático que requiere integración y diferenciación.
10. Entropía de una fuente: expresar su relación con la incertidumbre, los bits y la longitud media de la
codificación.
La información es medida por el cambio en la incertidumbre de un sistema.
Dado que la información es una disminución de la incertidumbre, la entropía es la información que se requiere
para construir el sistema de símbolos de una fuente.
La entropía de una fuente es igual a la información por símbolo necesaria para reconstruir su salida, y está
dada por H(S).
El concepto de entropía es una característica muy importante para Teoría de la Información: significa que en el
envío de la información hay una cierta incertidumbre en cuanto al arribo correcto de la misma en el extremo
receptor.
La entropía es la incertidumbre con relación a los símbolos que se eligen de un conjunto de ellos con
determinadas probabilidades ‘a priori’.
Por consiguiente, la definición más simple de información en la teoría de Shannon, es que la información es
una disminución o decrecimiento de la incertidumbre.
Entropía e información son términos numéricamente iguales solamente si una fuente emite símbolos
equiprobables. Si bien ambos términos suelen intercambiarse, no siempre significan lo mismo.
No deben confundirse los ceros y unos denominados dígitos binarios (binits) con los bits (unidad de medida) de
información que ellos transportan. Binits y bits son iguales sólo cuando una fuente emite solamente ceros y
unos de manera equiprobable.
El concepto de entropía describe cuánta información hay en una señal o en un evento. Shannon introdujo la
idea de entropía de la información en su trabajo ‘Una teoría matemática de Comunicación’ (1948). Una
comprensión intuitiva de entropía de la información relaciona la cantidad de incertidumbre de un evento,
asociándola con una distribución de probabilidad dada.
3
La definición de Shannon de entropía, aplicada a una fuente de información, puede determinar la capacidad
mínima del canal requerida para la transmisión de información de la fuente en forma confiable como dígitos
binarios codificados.
La fórmula puede obtenerse calculando la expectativa matemática de la cantidad de información contenida en
un dígito de fuente de información.
De este modo, la medida de la entropía según Shannon, puede tomarse como una medida de la incertidumbre
acerca de la realización de una variable aleatoria. Se tomó así el concepto de información contenido en un
mensaje como opuesto a la porción del mensaje determinado de manera predecible por sus estructuras
inherentes (ejemplo: la redundancia en la estructura del idioma, o las propiedades estadísticas que se
relacionan con las frecuencias de aparición de una letra en un idioma –cadenas de Markov-).
Es importante recordar que la entropía es una cantidad definida en el contexto de un modelo probabilístico
para una fuente de datos, de lo cual se deduce:
- La cantidad de entropía no siempre es un número entero de bits
- Muchos bits de datos no implican mayor información: por ejemplo, las estructuras de los datos
guardan a menudo información redundante.
11. Explicar las siguientes propiedades de la entropía de una fuente: máxima y monotonía
Máximo: el valor de la entropía aumenta a medida que las probabilidades de los símbolos tienden a igualarse.
Cuando todos los símbolos tienen la misma probabilidad la entropía es máxima.
Monotonía: en la medida en que crece el número de símbolos de una fuente, aumenta el valor de la entropía
de la misma. Cuanto mayor es la cantidad de símbolos, menor es la probabilidad de aparición de cada uno de
ellos, con lo cual aumenta la incertidumbre y por lo tanto el contenido de información.
12. Concepto de bits y binits.
Suponiendo una fuente que emite los símbolos '0' y '1', éstos pertenecen al sistema binaio, es decir, se
denominan dígitos binarios.
La denominación en inglés es binit (contraccion de BINary digIT), que es completamente distinta al concepto
de bit.
Binit alude a dígitos, mientras bit lohace a cantidad de información expresada en una cierta unidad.
Un binit puede ser numéricamente igual a 1 bit, cuando la probabilidad de aparición de un 0(cero) es
exactamente iguala la probabilidad de aparición de un 1(uno).
13. Tipos de fuentes: de memoria nula, con memoria, ergódicas, estacionarias, estocásticas.
De memoria nula: es aquélla en la que los símbolos aparecen con total prescindencia del que le ha precedido.
Se refiere a una fuente que genera sucesivos mensajes en forma independiente uno de otro y con una
distribución de probabilidad fija.
Con memoria: son las fuentes en las cuales la aparición de un símbolo condiciona la aparición del siguiente;
cada símbolo que se emite recuerda cuál fue el símbolo que lo precedió.
Ergódica: son aquéllas que, luego de un cierto número de pasos o transiciones, va de un estado a cualquier
otro con probabilidad distinta de cero. Observada durante un tiempo suficientemente largo emite (con
probabilidad 1) una secuencia de símbolos, llamada típica, de acuerdo con una distribución de probabiidades
llamadas estacionarias. Se fija un patrón de circulación.
Estacionaria: por estacionario se entiende un proceso que no cambia en su condición o carácter. Es un proceso
estocástico cuya distribución de probabilidad, en un determinado tiempo o posición, es la misma para todos
los tiempos o posiciones. Como resultado, parámetros como la media y la varianza tampoco cambian con ell
tiempo o la posición.
Estocástica: su comportamiento es no determinístico, es decir, el próximo estado es parcialmente (no
totalmente) determinado por el estado anterior.
(Nota al margen)
4
Fuente afín: aquélla cuyos símbolos están conformados por conjuntos de 'm' símbolos (siendo 'm' el orden de
la fuente de Markov) de la fuente primitiva (de símbolos Sj) y probabilidades de valor igual a las probabilidades
estacionarias. La fuent queda totalmente especificada por las probabilidades (Ps1, Ps2...Psj), que se producen
independientemente unas de otras. La entropía de la fuente afín es mayor que la de la fuente de Markov,
porque sus probabilidades (de la fuente afín) no están sujetas a ninguna condición (es una fuente de memoria
nula), y por lo tanto, no hay un conocimiento previo de los símbolos aparecidos, lo cual reduce la
incertidumbre de próximo símbolo, lo que sí ocurre en el caso de la fuente de Markov.
Una fuente afín es aquélla en la cual se han alcanzado los estados estacionarios.
Propiedades de la fuente de Markov ergódica
Si seleccionamos el estado inicial de una fuente de Markov (de acuerdo al conjunto de probabilidades propias a
cada estado) y dejamos transcurrir un gran número de transiciones de estado, existirá una probailidad finita de
que se presenten cada uno de ellos.
En una fuente ergódica, los estados que realmente aparecen en una secuencia larga lo harán (con probabilidad
1) con las mismas probabilidades.
La distribución de probabilidades de un conjunto de estados que se presentan después de producirse un gran
número de transiciones son depende de la distribución inicial on la que son elegidos los diferentes estados.
Existe una distribución de probabilidades única para un conjunto de estados de una fuente de Markov
ergódica, y los estados en cualquier secuencia suficientemente larga se presentarán (con probabilidad 1) de
acuerdo con esa distribución.
Esta distribución única recibe el nombre de Distribución Estacionaria del proceso ergódico de Markov.
Puesto que la distribución estacionaria no depende de la distribución inicial con la que los estados son
elegidos, puede calcularse a partir de las probabilidades condicionales de los símbolos.
14. Qué son códigos? Para qué se emplean?
Código es la correspondencia entre cada uno de los símbolos del alfabeto fuente, y una secuencia de símbolos
del alfabeto código (los símbolos de la salida del codificador), distinta para cada símbolo fuente. Este proceso
también se denomina codificación de la fuente.
La tarea inversa, o sea el pasaje de palabras código a símbolos fuente, se denomina decodificación de la fuente.
Si la información que se transmite es digital, se requiere un codificador en el extremo de la transmisión, que
transforma los símbolos de la fuente en combinaciones de cracteres aceptados por el equipo. En el extremo de
recepción debe haber un decodificador.
El codificador debe brindar un conjunto de caracteres completamente definidos, no ambiguos, aceptados por
convención y en cantidad suficiente para las tareas que debe realizar, y que además:
 Sea compatible con la comunicación por el canal que se desea usar
 el transmisor y el receptor los deben reconocer y entender, esto es, ambos deben 'hablar el mismo
idioma' para poder comunicarse. Este idioma se denomina 'protocolo' o 'protocolo de
comunicaciones'.
La teoría de codificación trata de encontrar métodos explícitos, denominados códigos, con el fin de
incrementar la eficiencia y la fidelidad de la comunicación de datos sobre canales ruidosos, hasta el límite que
Shannon probó que era posible.
Estos códigos pueden dividirse en dos tipos: códigos de compresión de datos y códigos de corrección de
errores, si bien un tercer campo lo constituyen los algoritmos empleados en criptografía.
15. En qué se basa el método Huffman de codificación? Cuál es su objeto?
El método Huffman permite crear en forma sencilla un código compacto instantáneo, basándose en los
símbolos de la fuente y sus probabilidades.
El método consta de varios pasos:
1) Definir la cantidad de símbolos 'r' de los que constará el alfabeto código
5
2) Analizar si se deben agregar símbolos adicionales , a los que se agregará un valor de probabilidad 0
(falsos símbolos, o símbolos fantasmas).
Con los falsos símbolos agregados, la fuentee pasa de tener 'q' símbolos a 'x' símbolos.
Para saber si hay que agregar símboos, se aplica la fórmula q= r + a(r-1), siendo q=símbolos iniciales de la
fuente, a: nro entero positivo, tal que 'x' sea mayor o igual a 'q'.
3) Se disponen en forma vertical los símbolos de la fuente, ordenados de mayor a menor de acuerdo con
sus probabilidades
4) Se comienzan a agrupar los símbolos fuente, de a tantos símbolos como símbolos tenga el alfabeo
código (o sea: de a 'r' símbolos).
5) Se construye una nueva fuente en la que se reemplazan la cantidad de símboos originales por otros
que hay surgido del agrupamiento realizado, manteniendo el orden dereciente de probailidades (esta
fuente se llama 'fuente reducida').
6) Se continúa con el procedimiento hasta llegar a una fuente reducida de 'r' símbolos, donde se culmina
el proceso.
7) A esta última fuente reducida se le asignan los símbolos 'r', con lo que se obtiene el código compacto
de dicha fuente reducida.
8) Continuar el procedimiento hasta la fuente reducida inmediata anterior a la última.
9) Se concluye cuando se han codificado todos los símbolos de la fuente.
16. Cómo se subdividen los códigos en la Teoría de la Información?
Código no singular: aquél en el que todas las palabras códigos son distintas entre sí.
Código bloque: cuando en un código singular, a cada uno de los símbolos del alfabeto fuente se le hace
corresponder una secuencia fija de símbolos del alfabeto código, es decir, todas las palabras códigos poseen la
misma longitud, estamos ante un código bloque.
Códigos unívocamente decodificables: un código lo es sí y solo sí la extensión de orden n del código es no
singular para ccualquier valor finito de n. Por lo tanto, un código bloque de longitud n que es no singular,
también es unívocamente decodificable.
Código instantáneo: para que un código sea instantáneo, ninguna palabraa del código debe tener coincidencia
con un prefijo de la otra. Se llama prefijo a cada una de las secuencias posibles de formar con los mismos
símbolos y el mismo orden de la palabra código en cuestión.
Otra definición sería: un código unívocamente decodificable es instantáneo, cuando es posible decodificar las
palabras de una secuencia sin precisar el conocimiento de los símbolos que la suceden.
En la construcción de un código instantáneo, cuando más cortas son las primeras palabras, más largas tienen
que ser las últimas.
Código compacto: la longitud media del código es igual o menor que la longitud media de todos los códigos
unívocos que pueden aplicarse a la misma fuente y al mismo alfabeto, o sea: tiene la menor longitud media.
17. Qué establece el teorema de codificación de las fuentes?
Este teorema –también llamado Primer Teorema de Shannon- dice que siempre se podrá codificar de modo de
hallar una longitud media de palabra de codificación de r símbolos tan próxima como se quiera, pero nunca
inferior, al va lor de la entropía de fuente original expresada en unidades r-arias.
El precio que se debe pagar es que el número de símbolos fuente se incrementa exponencialmente (qn) y la
complejidad de la codificación crece en la misma medida.
Este teorema también es válido para el caso de las fuentes de Markov.
Lim
Ln = Hr (S)
n->00
n
La entropía de la fuente puede verse como la longitud óptima promedio (medida en bits/símbolo) de un código
binario.
Hr (S), medida como el número de símbolos código por símbolo fuente, es la longitud promedio óptima de un
código de ‘r’ símbolos.
6
18. Qué significa “buena” codificación? Relacionar rate, longitud media de codificación, número de
símbolos por segundo que emite la fuente y entropía.
Una buena codificación es aquélla que aumenta la velocidad de transmisión, logrando un buen rendimiento de
la codificación.
La premisa para una buena codificación es asignar palabras código de corta longitud a los mensajes con mayor
probabilidad de aparición, y palabras código de longitud mayor a los mensajes con menor probabilidad de
aparición. En este caso, con una adecuada extensión de la fuente y una adecuada codificación, la longitud
media de codificación por mensaje tenderá, numéricamente, al valor de la entropía de la fuente (método de
Huffman).
Puede concluirse que otro concepto de entropía es mínima longitud de palabra código media esperable
cuando se efectúa una codificación adecuada.
En la medida en que se aumentan las extensiones, o sea, que se hace más compleja la codificación, el
rendimiento más tenderá a la unidad. Es importante analizar si se justifica el aumento de la complejidad en la
codificación, para lo cual hay que considerar varios factores, como el rendimiento y el rate.
Por otra parte, para una determinada tasa mi de símbolos/segundo, el rate a la salida del codificador
aumentará. Además, puede decirse que la capacidad del canal impone un límite a la velocidad de transmisión
de la información.
La capacidad del canal requerida (para un canal sin ruido) para transmitir la información que la fuente genera
es C= m * H(S).
Es decir: con la capacidad C (expresada en bits/seg) y la entropía de la fuente H(S) (dada en bits/símbolo), es
posible codificar la salida de la fuente de modo de transmitir por el canal a una velocidad promedio de m= (
C * ε1 ) símbolos
H(S)
segundo
Con ε1 arbitrariamente pequeño.
Debe considerarse que si la relación de la capacidad C del canal a la entropía H(S) de la fuente es mucho mayor
que la cantidad m de símbolos por segundo que la fuente emite, el canal estaría desaprovechado, por lo que el
sistema sería ineficaz.
Precisamente, la relación C/H(S) puede emplearse para evaluar los sistemas de comuncaciones.
19. Clasificación de códigos de fuentes
Hay dos clases de codificación:
- Codificación de fuentes (codificación de la entropía)
Intenta comprimir los datos de una fuente para transmitirlos más eficazmente. En internet, la
extensión ‘zip’ (compresión de datos) se usa para reducir la carga de la red y hacer los archivos más
pequeños.
- Codificación de canal (codificación FEC)
Agrega bits extra a los bits de datos, por ejemplo, bits de paridad, para hacer la transmisión de datos
más robusta ante perturbaciones que se presentan en el canal de transmisión.
La codificación de fuente es un mapeo o sucesión de símbolos de una fuente de información a una
sucesión de símbolos de un alfabeto (normalmente binario) tal que los símbolos de la fuente pueden
recuperarse exactamente de los dígitos binarios (codificación de fuente sin pérdidas) o pueden recuperarse
dentro de cierta distorsión (codificación de fuente con pérdidas).
La codificación de fuentes es un esquema que asigna símbolos códigos de modo de relacionar las
longitudes de la palabra código con las probabilidades de los símbolos del alfabeto fuente.
7
20. Cómo se modeliza un canal de comunicaciones?
Figura 6.1 de pág 262 y figuras 6.2 y 6.3 de pág 263.
Un canal puede ser físicamente modelado intentando calcular los procesos físicos qaue modifican la señal
transmitida. Por ejemplo, en comunicaciones inalámbricas el canal puede ser modelado calculando la reflexión
afuera de cada equipo en el ambiente en que se encuentran. Una sucesión de números aleatorios también
podría agregarse para simular interferencia externa y/o el ruido electrónico en el receptor.
Estadísticamente, un canal de comunicaciones es normalmente modelado con un alfabeto de la entrada, un
alfabeto de salida y, para cada par de elementos de entrada y salida (x,y) una probabilidad de transición p(y/x).
Semánticamente, tal probabilidad de transición es la probabilidad que el símbolo y se reciba cuando el símbolo
x se transmitió en el canal.
El modelado estadístico y físico pueden combinarse. Por ejemplo en comunicaciones inalámbricas el canal a
menudo es modelado por una atenuación aleatoria (conocido como fading) de la señal transmitida, seguida
por ruido aditivo. El término ‘atenuación’ es una simplificación de los procesos físicos subyacentes y se refiere
al cambio en la potencia de la señal en su desplazamiento en el canal. El ruido, en el modelo, se refiere a toda
interferencia externa y/o el ruido electrónico en el receptor. Si el término atenuación habla de una magnitud
completa, entonces también describe el tiempo relativo que una señal toma a través del canal (desplazamiento
de fase). Los valores estadísticos de la atenuación aleatoria son decididos por mediciones anteriores o por
simulaciones físicas.
Los modelos del canal pueden ser continuos (en donde no hay ningún límite en cómo definir precisamente los
valores) o bien estudiarse en un sistema de alfabeto discreto.
En Teoría de la Información es común empezar con canales sin memoria en los cuales la distribución de
probabilidad de salida sólo depende de la entrada del canal en ese momento.
21. Qué establece el teorema de la codificación de canales ruidosos?
El teorema de la codificación de canal establece que para cualquier ε > 0 y cualquier rate menor que la
capacidad del canal (R < C), hay un esquema de codificación y decodificación que puede usarse para asegurar
que la máxima probabilidad de error del bloque sea menor que ε para un bloque de mensajes M
suficientemente largo.
Del mismo modo, para cualquier rate mayor que la capacidad del canal, la probabilidad de error del bloque en
el receptor tiende a 1(uno) en la medida que la longitud del bloque tienda a infinito.
Si se acepta una probabilidad de error p, entonces pueden alcanzarse rates R (p) hasta un valor:
R(p) = C * [ 1- H (p) ]
22. A qué se denomina capacidad de un canal?
La capacidad de un canal es la cantidad máxima de información discreta que puede transmitirse
confiablemente a través del mismo. Por el teorema de la codificación de canales ruidosos surge que la
capacidad de un canal dado es el límite de la velocidad de transporte de la información (en unidades de
información por unidad de tiempo) que puede lograrse con una probabilidad de error pequeña.
La Teoría de la Información, desarrollada por Shannon en 1948, define la noción de capacidad del canal y
proporciona un modelo matemático por el cual puede computarse la cantidad máxima de información que
puede ser llevada por un canal. La clave está dada por la máxima información mutua entre la entrada y la salida
del canal, donde la maximización es con respecto a la distribución de los símbolos de entrada.
8
23. Para un canal ruidoso, relación el rate con la capacidad y la probabilidad de error del canal. Explique
el concepto de la misma.
El desarrollo de Shannon de la Teoría de la Información, dio un gran paso para comprender cuánta información
podría comunicarse en forma confiable a través de canales ruidosos.
Basado en los estudios de Hartley, el teorema de la codificación de canales ruidosos de Shannon describe la
máxima eficiencia posible de los métodos de corrección de error en función de los niveles de interferencia del
ruido.
El teorema de Shannon muestra cómo computar la capacidad de un canal a partir de su descripción estadística
y establece que, dado un canal ruidoso con una capacidad C y con un rate de transmisión de información,
entonces si R < C existe una técnica de codificación que permite que la probabilidad de error en el receptor
sea arbitrariamente pequeña, lo cual significa que es posible transmitir información casi sin error hasta un
límite muy próximo a C bits por segundo.
Lo inverso también es importante. SI R > C , la probabilidad de error en el receptor aumenta sin límite en la
misma medida que se incrementa el rate. Esto significa que ninguna información útil puede transmitirse más
allá de la capacidad C del canal.
24. Explique el teorema de Shannon-Hartley.
En Teoría de la Información, el teorema de Shannon-Hartley es una aplicación del teorema de codificación de
canales ruidosos al caso de un canal analógico, con señal continua en el tiempo, sujeto a ruido gaussiano.
El teorema establece la capacidad del canal de Shannon, que es un límite en la cantidad máxima de datos
digitales (información) libres de error que pueden transmitirse sobre tal vínculo de comunicaciones, con un
ancho de banda especificado, en presencia de ruido interferente, bajo la asunción que la potencia de señal se
halla limitada y que el ruido gaussiano se caracteriza por una potencia o densidad espectral conocida. En tal
caso, considerando todas las posibles técnicas de codificación multinivel y multifase, la capacidad C del canal
está dada por la expresión:
C = B. Log (1 + S/N)
Siendo
C: capacidad del canal en bits/seg
B: ancho de banda en Hertz
S: potencia de la señal en todo el ancho de banda
N: potencia de ruido gaussiano en todo el ancho de banda
El teorema de Shannon-Hartley establece cuál es la capacidad de un canal para un ancho de banda finito, con
una señal continua, sujeto a ruido gaussiano. Vincula con el resultado de Hartley en términos de la relación
señal a ruido, logrando la confiabilidad a través de la codificación con corrección de error más que mediante
niveles de pulsos confiablemente discernibles.
Es decir, el límite a la velocidad de transmisión de la información sin errores lo impone el ancho de banda finito
y el ruido siempre presente en el canal.
9
25. Expresión de la información mutua con relación a la probabilidad de los símbolos de entrada y la
probabilidad de error del canal
(Tomado de Wikipedia: http://www.it.uc3m.es/~prometeo/trdt/html/temas/tema1/t1_4.htm)

Definición de información mutua
La información mutua es, como la entropía, una medida de gran importancia, dentro de la
teoría de la información.
Define la información aportada por una variable aleatoria sobre otra. Matemáticamente, esto se
expresa de la siguiente manera:
Nos está diciendo, cuánto nos reduce la incertidumbre sobre X, el conocimiento de Y.

Expresiones para la información mutua en función de la probabilidad
Sustituyendo en la expresión del anterior apartado las expresiones de la entropía en función de
las probabilidades, Obtenemos:
La expresión de información mutua es I(X;Y) = H(Y) – H(Y/X)
Para un canal binario simétrico, la información mutua se transforma en:
I(Y;X) = H [P(x) * p + P(-x) * -p] – H(p)
Considerando que
P(-x) = 1 – P(x) y que
–p = 1 – p
La expresión de información mutua se transforma en
I(X;Y) = H [ P(x) * p + (1 – P(x)) * (1 - p) ] – H(p)
NOTA: que la información mutual sea 0(cero) se debe a que se conoce con toda certeza el símbolo de entrada,
aún antes de conocer la salida, y eso es independiente de la probabilidad de error p.
26. Peso de una palabra. Distancia Hamming
Dado ‘a’ perteneciente al conjunto Vn, se denomina peso de ‘a’ y se representa como |a| al número de 1s
(unos) que hay en ‘a’.
El conjunto Vn es el conjunto de las palabras código.
(de http://www.conocimientosweb.net/portal/term3856.html):
La efectividad de los códigos de bloque depende de la diferencia entre una palabra de código válida y otra.
Cuanto mayor sea esta diferencia, menor es la posibilidad de que un código válido se transforme en otro
código válido por una serie de errores.
A esta diferencia se le llama distancia de Hamming, y se define como el número de bits que tienen que
cambiarse para transformar una palabra de código válida en otra palabra de código válida.
10
Si dos palabras de código difieren en una distancia d, se necesitan d errores para convertir una en la otra.
Ejemplo: Entre los dos números binarios 01010101 y 00001111 hay una distancia de 4 bits (los bits en que
difieren ambos números aparecen en color rojo), es decir, se necesitan cuatro errores para transformar un
código en el otro.
27. Códigos sistemáticos y convolucionales
Códigos sistemáticos: son aquéllos en los que la palabra de información aparece en forma explícita en la
palabra codificada.
El término sistemático se refiere a aquellos códigos en los que una de sus ramas generadoras de los símbolos
de código emite justamente los bits de datos originales.
Códigos convolucionales: son aquéllos que no tienen un formato de bloque y, por lo tanto, no hay una
longitud definida. Y además, cada salida depende no solamente de los bits de entrada actuales, sino también
de los bits previos.
28. Paridad y CRC
El método de bit de paridad es el más simple de los códigos de detección de errores.
Este código se construye agregando un bit de control de paridad luego de los bitws de información.
Obviamente, este bit puede ser 0(cero) o 1 (uno), de acuerdo con la información transmitida y con el criterio
de paridad empleada.
Con el fin de calcular el bit de paridad se realiza una suma en módulo 2 de todos los 1s(unos) de la palabra
código y se elige el bit de paridad de modo tal que el número total de los 1s(unos), incluyendo el bit de
paridad, sea par (si se ha elegido paridad par) o impar (si se eligió paridad impar).
CRC
Cuando los errores no son aleatorios, sino que se presentan por ráfagas, se debe utilizar un método más
elaborado para la detección de errores. (Las ráfagas son un grupo de bits que comienza y concluye con un bit
erróneo).
Para esto suelen emplearse los códigos polinomiales. La idea es que por cada bloque de información que se
transmite se efectúa el cálculo de un conjunto de bits de verificación, que el transmisor añade al bloque de
información transmitido. El receptor, a su vez, realiza un cálculo similar con la información recibida, y si no hay
errores, se habrá obtenido el mismo resultado que el hallado del lado del transmisor.
Los bits de verificación calculados se denominan CRC (Cyclic Redundancy Check) o bits de verificación de
redundancia cíclica; también se los denomina FCS (Frame Check Sequence) o secuencia de verificación de
trama.
29. Concepto de diagrama de trellis y decodificación Viterbi
Para ciertas aplicaciones, resulta más adecuado utilizar un método para determinar los posibles errores del
proceso transmisión-recepción, que consiste en analizar un tren de datos continuo. Esta técnica, denominada
‘codificación convolucional’, es adecuada para una larga cadena de bits en canales ruidosos y se implementa en
hardware.
Ejemplo de ella son la codificación trellis y la decodificación Viterbi.
(proceso de codificación)
Debido a la memoria del código es necesario de disponer de medios adecuados para determinar la salida
asociada a una determinada entrada.
Hay tres métodos gráficos:
- Diagrama árbol o árbol del código: representación mediante un árbol binario de las
distintas posibilidades.
- Diagrama de estados: es la forma menos utilizada.
- Diagrama de Trellis o enrejado: es la forma más utilizada porque es la que permite realizar
la decodificación de la forma más sencilla.
11
A partir de la identificación de los estados del codificador se puede incorporar esta información en el
DIAGRAMA DE TRELLIS.
El diagrama de Trellis es un diagrama en forma de red. Cada línea horizontal se corresponde con
uno de los estados del codificador. Cada línea vertical se correspondería con uno de los niveles del
árbol del código.
Partimos del estado inicial del codificador en el primer nivel del árbol. A partir de aquí se trazan
dos líneas desde este estado. Una para el caso de que la siguiente entrada fuera un 0 y otra para el caso
de que fuera un 1. Estas líneas irán hasta el siguiente nivel del árbol al estado en el que queda el
codificador después de haber codificado las correspondientes entradas. Encima de cada una de estas
líneas escribiremos la salida del codificador para esa codificación.
Para cada nivel del árbol hacemos lo mismo desde todos los estados en los que el codificador se
puede encontrar.
Según todo esto, el diagrama de Trellis para el codificador (2,1,3) de nuestro ejemplo será:
Proceso de decodificación
El proceso de decodificación consiste en buscar un camino en el diagrama de Trellis (o en el árbol
del código) que nos dé la secuencia de bits más probable (si no hay errores obtendremos la secuencia
exacta).
El codificador convolucional añade una estructura a la secuencia de bits. Incluso aunque la
entrada sea totalmente aleatoria, se fuerza a que la salida siga unas determinadas secuencias. Esta
restricción es la que da la capacidad correctora a los códigos convolucionales.
El procedimiento de decodificación es equivalente a comparar la secuencia recibida con todas las
posibles secuencias que pueden obtenerse con el correspondiente codificador y seleccionando la
secuencia que está más próxima a la secuencia recibida.
Para realizar la decodificación se utiliza un algoritmo denominado Algoritmo de Viterbi.
El fundamento de este algoritmo está en que no se almacenan todas las secuencias a las que da lugar el
codificador.
Se basa en el principio de optimalidad: el mejor camino (menor distancia de Hamming) a través del
diagrama de Trellis que pasa por un determinado nodo, necesariamente incluye el mejor camino desde el
principio del diagrama de Trellis hasta este nodo.
El principio anterior implica que para cada uno de los nodos del diagrama de Trellis sólo es necesario
guardar el mejor camino (secuencia) hasta ese nodo. De esta forma, como mucho se tendrán tantos caminos
como estados diferentes (el número de estados es 2(m-1)*k).
12
Descripción del algoritmo de Viterbi:
- Paso 1: en el nivel j, calcular la distancia de Hamming de cada camino entrante en cada
nodo (estado) desde el nodo del nivel j-1 hasta el nodo del nivel j a través del camino
superviviente.
- Paso 2: para cada nodo (estado) del diagrama de Trellis en el nivel j, descartar todos los
caminos que entran en el nodo, excepto el de distancia mínima.
Cuando a un nodo llegan dos caminos con la misma distancia se toma el superior.
- Paso 3: pasar al nivel j+1 y repetir los pasos 1 y 2.
Estos pasos se aplican para j mayor o igual que 2. Hasta ese valor se expanden los caminos.
13