8.3  主成分分析的定义

主成分分析也称主分量分析，其研究可以追溯到1901年，由Pearson首次提出，不过当时只是对非随机变量进行讨论。到1933年，Hotelling将主成分分析的概念推广到随机向量。Hotelling对主成分分析的定义如下：对于一个d维的观察向量序列{t_n}，n∈{1，2，…，n}，主成分分子就是要找到q个正交的主方向w_j，j∈{1，2，…，q}，使得观察向量序列{t_n}在这q个主方向张成的子空间上的投影保留的方差最大。1972年，K.Fukunaga在其出版的专著《Introduction to Statistical Recognition》中系统地阐述主成分分析的理论与方法。主成分分析可以在损失很少信息的前提下，将原有的多个指标转化为少数的几个综合指标，通常把转化生成的综合指标称为主成分。其中每个主成分都是原始指标的线性组合，并且彼此之间互不相关，这使得主成分比原始指标具有某些更优越的性能。因而，在多指标问题的研究中，可以只考虑少数的几个主成分，这样做不仅不会造成信息的过多损失，而且更易于把握问题的本质，并且揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。