网络上，在遇到很有内涵的内容的时候，人们往往会说“这条微博信息量真大”。从古至今，人们一直在试图找到一种衡量消息中“信息浓度”的方法。例如，我们很容易得出结论，对于一名 NBA 球迷来说“总冠军是小牛队”所蕴含的信息量比“总冠军是一支西部球队”大，但是要比较“本文作者是男生”和“本文作者是单身”这两条信息所蕴含的内容多少可就有点强人所难。在大多数语言中，“信息”一词往往以不可数的形式出现，这也从另一方面印证了这一问题的困难程度。

到了信息时代，对信号的处理与分析又需要一个适当的对信息量的衡量标准，所以数学家们也被这一问题困扰着。直到1948年，这个问题被香农在论文《通信的数学理论》中首次解决，这才让数学家们松了一口气。


香农公理和信息熵

信息就是使我们了解到的事物未知的性质，如果换成物理学家惯用的说法就是信息是对事件进行观测的结果。对于未知的事物，我们的观测存在着很多种可能的结果，而得到这些结果的可能性是不同的。换句话说，信息的作用就体现在使得某事件发生的概率从之前的某个概率变为1。所以信息量是与概率有关的。基于此，香农提出了他的第一条假设：信息量是关于事件发生概率的函数。同时为了方便起见，香农还规定这一函数连续。

除此之外，香农还提出其他 3 条假设，综合起来就是有名香农公理：

信息量是关于事件发生概率的连续函数；
如果两事件A与B，B是A的必要条件，那么获知事件A要发生所对应的信息所含的信息量要大于或等于获知事件B要发生所对应的信息所含的信息量；
获知独立事件将同时发生的信息量应为单独获知两事件发生的信息量之和；
任何信息的信息量都是有界的。