Cantidad de información. Para estudiar mejor la información

Cantidad de información.
Para estudiar mejor la información, Claude Shannon, de los laboratorios Bell, creó después
de la Segunda Guerra Mundial, una teoría matemática de la comunicación1. En ella, la
información que se comunica se define en función del conjunto total de mensajes que se
pueden enviar. En el nivel más básico del entramado matemático de Shannon, todos los
mensajes tienen la misma probabilidad de producirse o enviarse. La comunicación más
elemental consiste en el envío de una de dos posibles alternativas: "verdadero" o "falso",
"sí" o "no", etc. La cantidad de información que se transmite al comunicar a alguien una de
las alternativas se basa en la eliminación de la incertidumbre de cuál de las dos se recibirá.
A esta cantidad de información la denominamos bit. Cuando existe la posibilidad de enviar
no dos sino una cantidad
antidad n de diferentes mensajes equiprobables (con una misma
probabilidad p = 1/n), la cantidad de información I,, medida en bits, que se comunica
cuando se envía uno de los n mensajes es:
I = log2 n
Empleando esta fórmula podemos observar que la cantidad de información al enviar uno de
dos posibles mensajes equiprobables es:
I = log2 2 = l bit.
Así, en el caso de enviar una letra de las posibles 29 existentes en el alfabeto español,
suponiendo que es igualmente probable el envío de una de ellas, la cantidad información
sería:
I = log2 29 = 4,85 bits.
También podríamos decir que la cantidad de información de un mensaje, según los
supuestos anteriores, sería equivalente
equivalente al número medio mínimo de dígitos binarios
(cero/uno) necesarios para codificar todos los posibles mensajes a enviar.
Laa teoría matemática de la información incluye estudios más sofisticados para el análisis
de otros aspectos. Así, en el caso en el que
qu existan n mensajes que no son equiprobab1es
(cada uno cuenta con una probabilidad Pi de producirse), la fórmula para el cálculo de la
información es la siguiente:
1
Norbert Wiener trabajó sobre la teoría de la información y los sistemas a través de su concepto de
cibernética (N
N .Wiener, Cybernetics or Control and Communication in the Animal and the Machine, John
Wiley and Sons, 1948). Claude Shannon publicó por primera vez su teoría de la información en 1948 (C. E.
Shannon, "A mathematical theory of cornmunication,
co
Bell System Technical Journal,, 1948, pp. 379-423,
379
623659) y la consolidó en un libro junto a W.Weaver en 1962.
Así, si sabemos que la probabilidad de errar un blanco en el disparo de un arma es del
25%, la cantidad de información que recibimos cuando nos dicen que hemos acertado en el
objetivo es de 0,81 bits (I = ¼ * log2 4 + ¾ * log2 4/3). La cantidad de información sería la
misma que si nos dijeran que hemos errado. Sin embargo, ¿qué ocurre si la información no
es definitiva? Es decir, si aún queda incertidumbre cuando ha llegado el mensaje. Por
ejemplo, nos indican que según los observador
observadores
es del disparo, existe un 50% de
posibilidades de haber acertado en el blanco. La solución para medir la cantidad de
información está en el concepto de entropía
entropía.
La entropía H mide el grado de desorden o incertidumbre de un sistema. Para la
información, la fórmula de cálculo, muy parecida a la presentada anteriormente, es la
siguiente:
La información se cuantifica entonces recurriendo al cálculo de la disminución de
incertidumbre en el sistema,
sistema, es decir, haciendo la resta entre la incertidumbre existente
antes de llegar el mensaje y la que queda remanente después del mismo
Evidentemente, la teoría de Shannon (y la teoría de la información en general) es muy
amplia e incluye otros conceptos importantes como la redundancia en los mensajes las
técnicas para la codificación de información, los códigos óptimos, los simétricos, los
asimétricos, etc.