信息熵

为了利用与统计力学的关系，香农通过数学方法来定义信息，这种方法以信息元素组成的有限集合的概率分布为基础，他把这种度量方法称为“信息熵”。一系列可能的信息组成一个信息集合，这与热力学集合中有一系列可能的形态类似，这些形态的概率各不相同。在这个框架下，信息的量化是指衡量信息的不可能性，确切地说，是某一特殊信息从一个有限选择集合中被选中的概率的反函数（负对数）。正如上面所说，“信息是衡量人们选择消息时所具有的选择自由度”。比如，从一个二进制选择（是/否，开/关）中做出选择，你会得到一点信息——有一些，但不会太多——因为在信息的源头，可供选择的信息极其受限。然而，可供选择的集合越大，做出某一独特选择的可能性也就越小。这种计算信息值的方法毫无疑问是“自由”的，信息发送者的选择越多，被选中的消息所包含的信息就会越多。以这种“概率选择”为基础，香农对信息的数学形式化产生了一种“与熵相似的表达”，它与波尔茨曼对热力学熵的对数表达式类似：

H=-∑pilog pi

信息论把物理系统中的比率，或从不可能的有序到可能的无序，转换成了通信系统中的信号与噪声，或“有用”和“无用”的信息。在这个移项过程中，信息，或“信息熵”，成了一个复杂多变的衡量信息概率的尺度，一个由观察者在通信系统中所处位置决定的尺度。例如，观察者可以通过在源头增加有序，或在目的地降低无序，来估算一则消息的值。

总结一下，在一个通过做功将能量从一种形式转化为另一种形式的物理系统中，这个系统的热力学熵就是可以继续做功的能量，或者以热的形式“浪费掉”的能量。在通信系统中，信息的熵被用来衡量信息的概率，它与以下几点中的某一点相关：

·在信源端，人们观察到实际选择与可能选择之间的比率；(https://www.daowen.com)

·在信道中，人们考虑的是信号（“有用信息”）与噪声（“垃圾信息”）之间的比率；

·在信宿端，信息熵以意料之外（不可能的概率）与意料之中（可能的概率）之间的比率为基础。

在信源，信息值是一则消息从众多的可能出现的信息中被选中的概率，或不可能被选中的概率的函数；集合越小，可供选择的就越少，所有给定选择所携带的信息也越少。然而，在信源所作的选择只是一个通信事件的开端，它不能决定输出信息的值。比如，由于信道噪声，信号命令在传输过程中有可能丢失。信息值也可能最终是由它对信息接收者产生的影响决定：“接收到的信息量就是接收者不确定性……被削弱的程度”（Paulson，1988：55）。从信息传输过程中的接收端来考虑问题，这一点暗中决定了20世纪晚期的接受论、读者反应论，以及认知科学，这些领域关注通信观众的形成性或建构性的时刻。