
MatemáticasTecnología
Medir la sorpresa
Teoría de la información y entropía de Shannon
Un mensaje que ya sabías no te dice nada; uno que te sorprende, mucho. En 1948 alguien convirtió esa intuición en una fórmula que hoy mueve cada archivo, llamada y video del mundo.
Empezar ahora
12 enseñanzas · te llevas 12 conceptos usables
Fundamento
El mecanismo desnudo- 1InformaciónLos dos mensajes tienen casi la misma cantidad de palabras, pero no aportan lo mismo. El primero confirma lo que ya sabías; el segundo cambia por completo lo que esperabas. Esa diferencia se puede medir.
- Cuenta gratisBitAntes del lanzamiento había dos posibilidades igual de probables; después, solo una. Esa reducción, de dos opciones a una, es la cantidad más pequeña de información útil, y a partir de ella se mide todo lo demás.
- EntropíaSi ya sabes que casi siempre saldrá cara, cada lanzamiento te sorprende muy poco. Una moneda justa, en cambio, te deja en la duda cada vez. Esa diferencia en la incertidumbre promedio de una fuente tiene un nombre preciso.
- RedundanciaLeíste "puedes leer esta frase aunque le falten casi todas las vocales". Eso es posible porque el idioma repite y anticipa: gran parte de lo que escribimos se puede adivinar a partir del resto. Esa parte predecible tiene un nombre.
Mecanismo
El concepto chocando con otros- Caso: compresiónLos programas de compresión encogen archivos buscando lo que se repite y lo que es predecible. Pero hay archivos que se niegan a encoger, y la razón es la misma idea de sorpresa que atraviesa este tema.Te llevas: compresión
- Duelo: ruidoUna llamada se entrecorta, un cable recibe interferencia, un disco se raya, una señal de satélite atraviesa millones de kilómetros de espacio. En todos los casos, algo altera el mensaje en el camino. Shannon puso ese enemigo en el centro de su teoría.Te llevas: ruido
- Código corrector de erroresNo es suerte: el código guarda la misma información varias veces, de una forma matemática muy precisa. Si el ruido, una mancha o un rayón destruye una parte, el resto alcanza para reconstruir el mensaje completo.
- Capacidad del canalDurante años se pensó que para transmitir sin errores había que ir cada vez más despacio. Shannon demostró algo muy distinto: existe una velocidad máxima para cada canal, y por debajo de ella se puede transmitir casi sin errores.
Dominio
Lo contraintuitivo y cuándo NO aplica- Compresión con pérdidaLa compresión sin pérdida tiene un piso: la entropía. Para bajar de ahí, hay que aceptar perder algo. El truco está en elegir qué perder: aquello que el oído o la vista humana casi no detectan.
- Límites: información no es significadoSuena absurdo después de nueve enseñanzas, pero es exactamente lo que dice la teoría: lo aleatorio tiene entropía máxima. El problema no es la teoría, sino confundir lo que mide con lo que la palabra "información" significa en la vida diaria.Te llevas: información no es significado
- Caso: búsqueda binariaParece un truco de magia, pero es pura teoría de la información. La clave está en hacer preguntas que partan las opciones exactamente por la mitad, para que cada respuesta aporte la máxima información posible.Te llevas: búsqueda binaria
- Duelo: teoría de la informaciónInformación, bit, entropía, redundancia, compresión, ruido, código corrector de errores, capacidad del canal, compresión con pérdida, la diferencia entre información y significado, y la búsqueda binaria. Juntas forman el mapa que inauguró la era digital.Te llevas: teoría de la información
Empiezas la primera sin cuenta. Las 12 completas, gratis, con solo registrarte.