6.3.1 熵理论
6.3.1.1 热力学熵
约140年前，科学家们在发现热力学第一定律（能量守恒定律）之后不久，又在研究热机效率的理论时发现，卡诺热机在完成一个循环时，它不仅遵守能量守恒定律，而且工作物质吸收的热量Q与当时绝对温度T的比值之和为零。鉴于以上物理量有这一优点，德国物理学家克劳修斯（R.Clausius）就把可逆过程中要作物质吸收的热与温度之比值称为Entropie，用符号S表示，这也标志着熵概念的正式诞生。克劳修斯同时发现熵还有一个重要性质，即：其改变量的大小仅与研究对象的起始状态和终止状态有关，而与其经历的热力学路径无关，也就是说熵是又一个新发现的状态函数，它意味着系统的状态一旦确定，其熵值就保持不变。在进而分析了不可逆过程中的熵变化后，他得出参与不可逆过程的各部分的熵变化之和总是大于∑Q/T的结论。1856年他把热力学第二定律视为孤立系统中熵仅能加大或不变的“熵增加原理”。
因此，第二定律的数学表述是熵增加原理：当物质系统在经绝热过程由一个状态到达另一个状态时，它的熵不会减少，熵在可逆绝热过程中保持不变，在不可逆绝热过程中增加。用dS表示熵的增加，则熵增加原理可表示为：
用系统平衡判据的语言表述，热力学第二定律的含义是：在一个与环境没有物质能量交换的系统（物理学称之为孤立系统）中，对于各种可能的变动来说，平稳态的熵最大。当这种系统处于非平衡态时，有dS>0，系统朝熵增加的方向演化；到达平衡态时，dS=0，系统保持在平衡态，最大熵态就是稳定平衡态。热力学第二定律是一条关于孤立系统演化的规律，它指明了系统的演化方向：熵在系统演化的未来方向上增加。
6.3.1.2 玻尔兹曼熵与信息熵
奥地利物理学家BOLTZMANN在研究气体分子运行过程中，基于把熵理解为微观尺度的分子运动的观点，对熵首先作出微观解释，称为玻尔兹曼熵。
它的重要意义在于把概率观点作为一种解释原则引入物理学，找到了熵的微观解释：宏观参量熵S是系统微观组分混乱程度的度量，表示粒子之间无规则的排列程度，熵的性质与物质系统处于平衡态时所对应的微观能量配置状态的可能实现办法的多少相关，实现的办法越多，即热力学几率增大，熵也越大。熵在平衡态达到最大值，表示系统微观混乱达到最大程度。熵增加原理是关于系统增加混乱程度的原理。
玻尔兹曼关于孤立系统演化规律的解释，可以扩展到那些与外部环境有能量交换而无物质交换的系统。物理学把这种系统称为封闭系统，把同时有物质、能量交换的系统称为开放系统。
玻尔熵表示粒子之间无规则的排列程度，也可以说表示系统的紊乱程度。系统越“乱”，熵就越大；系统越有序，熵就越小。根据热力学第二定律，一个系统在孤立的封闭情况下，总是自发地由有序到无序，熵都是增加的。如果把熵作为不确定性程度的量度，就要容易理解得多。统计学家哈特利（R.V.L.Hrtly）就把等可能结局的个数值称为信息量，现代信息论的创始人申农则把它称为不确定性（程度）。以H表示某一实验结局的不确定性，即：
这里C为常数，可取任何值，n为等可能结局的个数。申农把随机事件结局的不确定性称为熵，由于每个结局的出现概率p为1/n，所以上式也可写成：
对于大多数并非等概率随机试验来说，式（6-3）不能通用。申农据此推出以下概率不等时熵的计算式：
这样就把信息熵与概率问题直接联系起来了，在概率论中，随机试验的结果用随机量来表示，这样就有了随机变量熵的计算公式：
由式（4-9）可知，熵有如下主要性质。
（1）可加性。系统的熵等于其各个状态的熵之和。
（2）非负性。根据概率的性质，Pi∈[0，1]（i=1，2，…，m），因而系统的熵是非负的。
（3）极值性。当系统状态概率为等概率，Pi=1/m（i=1，2，…，m）时，其熵达到最大。上面所定义的信息熵是一个独立于热力学熵的概念，但具有热力学熵的基本性质（单值性、可加性和极值性），且与热力学熵相比，信息熵具有更为广泛和普遍的意义，所以也称广义熵。