3.2.1　信息熵

1948年，Shannon提出了信息熵的概念[147-148]：

式中，S为信息熵，p i表示某信息出现的概率，信息熵反映了系统信息的无序程度，信息熵越小，系统的无序程度越小，即系统越趋于有序化，信息熵越大，系统的无序程度越大。(https://www.daowen.com)

为了进一步提高信息熵计算的灵活性，Rényi于1961年提出了Rényi熵[149]：

当α＝2时，为二次Rényi熵。