能量与熵

为了进一步确定现代信息化及其统计结构的位置，我们必须翻阅一下能量科学的历史。香农以统计力学（物理学的一个分支）为模型，通过演算信息的概率将信息量化。在19世纪晚期，统计力学得到发展。路德维希·波尔茨曼把詹姆斯·克拉克·麦克斯韦用于气体动理论中的数学概率搬到了统计力学上，产生了一种用来衡量物理系统中能量混乱的尺度，或热力学熵的尺度。在所有涉及由一种能量转化成另一种能量的过程中，有一部分能量通过热的形式被消耗掉：热力学熵中有一个运用层面指的就是一种衡量这种“浪费”的尺度（参见Clarke，2002）。热力学第二定律有一个著名的说法：在一个封闭系统中，熵趋于最大化。也就是说，通过一段时间的观察，人们可以看到一个物理系统或机械系统——如一个钟摆或一台蒸汽机——会从正常变为失调。从热力学上来说，能量差别越大，熵值越低。因此，从信息的角度来讲，它所包含的信息就越多。有序或低熵，但能量差别大，这样的物理系统相对而言不大可能有。熵值小就等于信息更多，正如与发现一个常温下的杯子这个更加常见的情境相比，你在一个凉爽的屋子里发现桌子上有杯热咖啡（这是一个低熵值的环境）给你的关于环境的信息（附近可能有人）会更多。

在用数学概率处理有序与无序、做功与浪费之间的能量关系时，波尔茨曼的统计力学追随了麦克斯韦的脚步（见Prigogine & Stengers，1984）。他的创新之处在于将物理系统的熵定义为一种测量系统中可能出现的能量形态的功能——也就是粒子分布中可能出现的各种不同的方式。有序形态相对比较少见。有许多形态会产生无序（高熵）分布，它的热差会降到最低。人们更容易发现的是系统处于一种相对混乱的状态，并且随着时间的推移，混乱程度可能会增加，系统趋于一种最平衡的状态，而系统发展则减到最慢。那么，这就是在用概率来阐述热力学第二定律：在一个不受干扰的封闭的物理系统中，原子的无序状态最有可能增加。波尔茨曼对熵定律进行了量化：

S=k log P.(https://www.daowen.com)

随着一个系统可能有的形式——P——的增加，随机分布而不是有序分布的可能性也会增加，系统的熵S也会（成对数地）增加。

信息论和控制论的奠基性文献明确增加了对波尔茨曼的热力学统计分析的关注。1948年，约翰·冯·诺伊曼在谈到自动控制的数学逻辑时指出，“热力学，主要是从波尔茨曼那里获得的形式……它的部分理论物理的某些方面跟信息的操作、量化最为接近。”（1963，5：304）维纳认为，让信息与跟系列相关信息模式相连的概率这两个概念结合到一起，这“在物理学分支统计力学上已经为人们所熟知……同时也与著名的热力学第二定律挂上了钩”（1950：7）。韦弗认可了这个负责将能量与信息、热力学与控制论联系起来的系列思想家阵容——他还加上了克劳德·香农：“香农的工作可以追溯到波尔茨曼的观察，他的某些统计物理学研究（1894），即熵与‘信息的丢失’有关”（1949：3）。