Aquí puedes utilizar la calculadora entropía de Shannon totalmente gratis. Conoce además un poco más sobre este tema en línea.
Tabla de contenido
Calculadora entropía de Shannon
Consideraciones sobre la calculadora entropía de Shannon
Esta calculadora en línea calcula la entropía de Shannon para una tabla determinada de probabilidades de eventos para un mensaje indicado.
En la teoría de la información, la entropía es una medición de la incertidumbre en una variable aleatoria. En este contexto, el término se refiere a la entropía de Shannon, que mide el valor esperado de la información contenida en un mensaje.
La fórmula de la entropía fue ideada por Claude E. Shannon en su ensayo de 1948 “A Mathematical Theory of Communication”.
H(X)= – \sum_{i=1}^np(x_i)\log_b p(x_i)
Se utiliza “menos” porque para valores menores que 1, el logaritmo es negativo, pero, como
-log a = \log frac{1}{a},
la fórmula se puede expresar como;
H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}
La expresión
\log_b \frac{1}{p(x_i)}
También conocida como “de incertidumbre” o “de sorpresa”, para probabilidades p(x_i) menores, por ejemplo, p(x_i) → 0, mayor es la incertidumbre o sorpresa, por ejemplo, u_i → ∞, para el resultado x_i.
La fórmula, en este caso, manifiesta la expectativa matemática de la incertidumbre y por eso la entropía de la información y la incertidumbre de la información pueden usarse de forma indistinta.
En este caso, la fórmula expresa la expectativa matemática de incertidumbre y por eso la entropía de la información y la incertidumbre de la información se pueden utilizar de manera indistinta
¿Quién fue Claude Shannon y qué invento?
Claude Elwood Shannon era un matemático, ingeniero eléctrico y criptógrafo estadounidense que era conocido como el “padre de la teoría de la información”.
A los 21 años, siendo estudiante de maestría en el Instituto Tecnológico de Massachusetts (MIT), escribió su tesis demostrando que las aplicaciones eléctricas del álgebra de Boole podían construir cualquier relación numérica lógica. Shannon contribuyó al campo del criptoanálisis para la defensa nacional de Estados Unidos durante la Segunda Guerra Mundial, incluyendo su trabajo fundamental en el descifrado de códigos y las telecomunicaciones seguras.
Shannon es conocido por formular la teoría de Shannon
¿Cuál es la teoría de Shannon?
La teoría de la información de Shannon dice que la máxima cantidad de información disponible en una situación determinada es la cantidad posible de retener en nuestra mente.
Esto se debe a que nuestras mentes sólo pueden contener una cantidad determinada de información a la vez.
Pero la teoría de la información de Shannon tiene una trampa. No te dice cuánta información puedes retener.
La teoría de Shannon trata de cómo la información viaja de una persona a otra.
Cuando una persona comparte información con otra, se están enviando bits de información (también llamados unidades de datos).
Estas unidades viajan por el aire o por el aire y el agua. También se denominan mensajes.
Shannon creía que la cantidad de información recibida por cada individuo es una función logarítmica de la cantidad de información que está dispuesto a compartir con otras personas.
Esto puede interpretarse como una creencia de que cuanto más se comparte, más valor se recibe.
¿Qué garantiza el teorema de Shannon?
La teoría de Shannon es la teoría matemática más utilizada en las ciencias sociales, y está ampliamente considerada como la piedra angular de la teoría de la información y la teoría moderna de la comunicación.
La teoría de Shannon -tal y como él la entendió- consistía en que la información podía transmitirse de un punto a otro más rápido que nunca.
Esto era posible gracias a un nuevo tipo de portador que podía transportar muchas veces más información que los métodos anteriores para mover la información a grandes distancias: la electricidad.
A lo largo de los años, Shannon ha influido no sólo en la teoría moderna de la información, sino también en la informática, la ingeniería y la electrotecnia al desarrollar la teoría de la comunicación.
Su trabajo también ha influido en el desarrollo de las matemáticas.
Por ejemplo, su trabajo tuvo el importante impacto de desarrollar el concepto de independencia e interdependencia.
Se ha dicho que Shannon cambió “las matemáticas tal y como las conocemos en uno de sus ámbitos más importantes” (Bell, 1990:14).
La teoría de la información de Shannon proporcionó la justificación teórica para utilizar las señales en la comunicación.
Esta teoría no proponía una forma específica de codificar la información en estas señales.
Simplemente proporcionó un modelo con el que razonar sobre diferentes escenarios y formas de codificar la información.
Este enfoque, conocido como el paradigma de la teoría de la información, se ha aplicado desde entonces en diversos campos como la comunicación, la informática y la psicología.
La industria de la tecnología de la información lo adoptó. El primer sistema de comunicación que utilizó la teoría de Shannon fue el telégrafo.
El telégrafo era un sistema para enviar mensajes a larga distancia utilizando la electricidad como medio de transmisión.
El telégrafo utilizaba un sistema de código en el que se enviaba una secuencia de señales a través de un cable, en el que cada letra del alfabeto estaba representada por una señal diferente.
El marco de Shannon se ha ampliado para incluir otras formas de codificar la información, como la teoría combinatoria de la información, y también se ha ampliado para incluir diferentes modelos sobre cómo se puede representar la información.
Esta expansión del paradigma de la teoría de la información ha permitido nuevas aplicaciones de la comunicación, como el uso del lenguaje como señal, y la creación de un nuevo campo de estudio, conocido como ciencia de la información, que aplica las teorías de la comunicación al estudio de la información.
¿Qué es la entropía en estadística?
El teorema de la entropía de Shannon para una cantidad determinada de información es la entropía de la información, como proporción de toda la información posible.
La teoría de Shannon es también la base de la explicación teórica de la información de la termodinámica, que afirma que la segunda ley de la termodinámica es válida para los sistemas pequeños, pero se rompe para los sistemas más grandes.
