Al
despertar ponemos la radio y escuchamos noticias que no nos llaman la atención.
¿Por qué decimos que no había información?
Porque posiblemente sea
algo irrelevante para nosotros, no es tema que nos interese o bien, ya habíamos
escuchado la noticia anteriormente. Por lo tanto, es información con la que ya
contamos y no nueva.
Justifique
la definición logarítmica de cantidad de información, es decir la razón de que
ci = - log (pi).
Para un
suceso i, que tiene una
probabilidad Pi de que suceda,
diremos que hemos recibido
C(i)=-Log(Pi) unidades de
información. Como la
probabilidad de que
suceda dicho suceso
es Pi, la cantidad
de información promedio que nos da el suceso i es Pi*C(i) que es igual a Pi*Log (Pi).
Si se suma la cantidad
de información media de todos los
sucesos i se obtendrá la cantidad de
información promedio que da el conjunto de
N sucesos:
H
= -P1*Log (P1)-P2*Log (P2)-P3*Log (P3)-...-PN*Log(PN).
¿Por
qué usamos la base 2 en el logaritmo que define ci?
Para representar de
forma binaria que el bit se compone de dos estados, el 0 y el 1.
¿Cuál
es el número mínimo -e inteligente- de preguntas que hay que hacer para pasar
de la incertidumbre a la certeza en un sistema de n estados equiprobables? ¿Y
si ahora no son equiprobables?
Representación
equiprobables:
x=
logb(n) verificando n=2^x
n = número de
estados.
b = 2.
x = número
buscado de preguntas.
Representación
no equiprobables:
ci = log (Ii / If) = log Ii - log If
No hay comentarios.:
Publicar un comentario