8.3.1  主成分分析的基本原理

主成分分析的思想主要是运用统计学的知识从一个高维空间中的大量数据中提取比较主要的特征，形成新的子空间，实现一个从高维空间到低维空间的转换，从而达到去除数据间的冗余性和相关性，同时又保留了原始数据中最大信息的目的。它借助了一个正交变换，使其分量相关的原始随机向量转化为其分量不相关的新随机向量。这在数学上表现为将原始随机向量的协方差矩阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使得指向样本点散布最开的p个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。下面依次对主成分分析的数学原理和几何原理进行阐述。