10.3.2  互信息

互信息是指一个集合中的一组随机变量和其他随机变量之间同时具有某种信息的度量，互信息最小是度量ICA独立性的另一个重要指标。利用熵，可以将n个（标量）随机变量x_i，i=1，…，n之间的互信息I定义为

式中，X为包含所有x_i的向量。

互信息可以像熵一样解释成代码长度。H（x_i）这些项给出了当x_i这些变量各自单独编码时的码长，而H（X）给出了当X作为一个随机向量，即所有分量都编码在同一个代码中的码长。这样，互信息表明了对整个向量进行编码时的码长与对单个分量分别编码时的码长的长度差值。一般而言，对整个向量编码会得到更好的代码。然而，如果x_i之间相互独立，它们都不给出对方的信息，这时我们只需对各个变量分别单独编码，而不会增加码长。互信息总是非负的，当且仅当变量之间统计独立时为零，所以互信息最小也是衡量ICA独立性的重要方法。