10.1  ICA的定义

ICA的基本思想主要是在假设随机变量的各分量之间是统计独立或近似独立的情况下用一组基函数来表示这一随机变量，也就是能从训练样本中找到一组相互独立的分量，并以此来描述原来的样本数据。

ICA的目的是将观测数据通过某种线性变换分解成统计独立的分量。假设输入的随机向量x确实是通过统计独立的线性组合来合成的，并且从严格意义上讲，成分是固定的，见式（10-1）。

x=As（10-1）式中，x=[x₁，x₂，…x_n]^T是n维观测信号向量；A是n×m大小的混合矩阵；s=[s₁，s₂，…s_m]^T是m维零均值的源信号向量，其分量是相互独立的。

ICA的任务是给定一个输入样本x，通过确定一个可逆矩阵W得到变换后的向量y，即式（10-2）成立。

y=Wx（10-2）式中，y_i（i=1，2，…m）是源信号s的估计值。

假设所有独立分量都有相同的分布，且m=n，这样就可以认为W^-1是A的估计，在理想情况下，W=A^-1。由式（10-2）可知，为了估计其中的一个独立分量y_i，可考虑y_i=w^T_ix的线性组合，这里w是一个待定的向量，如果w^T_i是矩阵W（A的逆）的一个行向量，则这个线性组合实际上就是一个独立分量。但是由于矩阵A是未知的，所以不能准确地确定出w，但是我们可以找到一个很接近的估计。若将变量进行如下变换，即定义z=A^Tw，则有

y=w^Tx=w^TAs=z^Ts （10-3）

式中，y是s的一个线性组合，其权重由z给出。

由式（10-3）可知最大化w^Tx的非高斯性，即可得到一个独立分量。