5.3 互相关熵的基本概念
5.2节介绍了Alpha稳态分布的概念、性质和其数学表达，并将其作为非高斯脉冲噪声的表征［165，284］。在非高斯脉冲噪声的影响下，原始响应数据在时域上会表现出大量“野点”（或“离群点”），响应数据中的非高斯脉冲噪声对估计子的性能有着严重影响。传统估计子的构建都是基于二阶统计量方法（如最小二乘或最大似然估计），这些方法的前提是噪声的分布满足高斯假设。高斯假设具有数学形式上的简洁性，计算性质良好，可操作性强，并且实际情况下很大部分噪声满足高斯假设，因此基于二阶统计量方法的估计子得到工业和工程上的广泛应用，因为其在高斯意义下是最优估计。但是，非高斯脉冲噪声在实际中也广泛存在，而传统估计子在非高斯脉冲噪声所引起的大量“野点”的干扰下，偏离了最优性，估计性能退化严重［294，295］。因此本章将通过在估计子中引入互相关熵的概念，基于TARMA模型构建广义最大互相关熵估计子的一般形式和估计框架，从而使得新估计子具有对非高斯脉冲噪声的鲁棒性。
信息理论学习（information theoretic learning，ITL）框架以熵和距离来对系统进行描述，其独特的描述角度使其近年来得到广泛关注。互相关熵是直接从数据中得到的信息估计量，类似于统计理论中的二阶统计矩，如方差和协方差［296］。通常，互相关熵是两个变量间局部相似度的一种度量，但其并不依赖于高斯条件假设，这也是互相关熵和二阶统计矩方法的最大区别，这条性质使其在处理非高斯问题上具有天然的优势。
在信息理论学习的框架下，连续随机变量的瑞利二次熵可以定义为
式中，fX（x）为随机变量X的概率密度函数。
假定｛xi｝
是满足一系列独立同分布的概率密度函数fX（x）下的样本，则采用Parzen窗对fX（x）进行估计，可得
式中，κσ（x-xi）是高斯核函数，
N为数据个数；σ为核宽度。
考虑到在乘积运算下高斯核具有形式不变性，瑞利二次熵可以进一步表达为
式（5.12）的一种非参数化估计可以用信息势来表示：
可以看到，核宽度是控制瑞利二次熵估计值的自由变量，在给定样本集的情况下，瑞利二次熵估计值由核宽度决定。信息势IP（X）描述了投影数据的均方，即在再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）数据上的一阶统计矩。在此基础上，信息势的描述方式不被传统矩展开所限制，因此被用来进一步定义空间内的相似度度量，自相关熵的概念也因此而来。
假设｛x（t），t∈T｝为随机过程，T为字典集。若存在高斯核函数，通过非线性映射φ将数据映射到高维特征空间Φ，此时定义特征空间中的自相关函数VX（t，s）为
(https://www.daowen.com)
自相关熵是对称的、正定的函数，并且定义了新的再生核希尔伯特空间。在此基础上，Liu等［297］对其概念进行拓展，提出了互相关熵的概念。互相关熵是衡量任意两个随机变量的广义相似度度量，可以表达为
式中，fX，Y（x，y）是两个随机变量X和Y的联合概率密度函数。
在实际情况下，联合概率密度函数往往是未知的，因此在有效样本｛（xi，yi）｝
下，采用Parzen窗估计代替期望算子来估计互相关熵，则
互相关熵具有许多新颖性质［298，299］，限于篇幅，简略介绍如下：
性质一：互相关熵
（X，Y）是对称、正定、有界的，当且仅当X和Y取相同的值时取得最大值。
性质二：基于高斯核函数的互相关熵包含误差的所有高阶偶次项。该条性质可以从式（5.15）导出。利用泰勒展开，式（5.15）可以改写为
从式（5.17）可以看出，互相关熵在定义中除包含二阶统计矩信息外，还涵盖高阶的偶次矩信息。当核宽度趋于正无穷时，高阶偶次矩将变得非常小，此时二阶矩将占主导作用，这也是互相关熵具有灵活性的一个体现。
性质三：互相关熵是特征空间中数据的二阶统计量。
假设特征空间的维数为M（实际上高斯核空间为无穷维），核映射ϕ（X）＝［φ1（X），φ2（X），…，φM（X）］T，则ϕ（X）和ϕ（Y）的相关矩阵可以表示为
同时，互相关熵可以表示为相关矩阵的迹的和，即
性质三与在核方法中定义的协方差算子类似，只不过互相关熵是它的迹。
