8.3.3 主成分的推导

2025年09月26日

版权

8.3.3 主成分的推导

在下面推导主成分的过程中，需要用到线性代数中的两个定理：

定理一：若A是p×p阶是对称阵，则一定可以找到正交阵U，使

式中，λ₁，λ₂，…，λ_p是A的特征根。

定理二：若上述矩阵A的特征根所对应的单位特征向量为u₁，u₂，…，u_p，令

则实对称A属于不同特征根所对应的特征向量是正交的，即

u_iu₂=0⇒UU′=U′U=I

主成分的推导过程如下：

设F=a₁X₁+a₂X₂+…+a_pX_p=a′X，其中a=（a₁，a₂，…，a_p）′，X=（X₁，X₂，…，X_p）′，由主成分的定义可知，求取主成分也就是寻找X的线性函数a′X使相应的方差尽可能的大，即使

Var（a′X）=E（a′X-E（a′X））（a′X-E（a′X））′

=a′E（X-EX）（X-EX）′a

=a′Σa达到最大值，且a′a=1。

设协方差矩阵Σ的特征根为λ₁≥λ₂≥…≥λ_p>0，其对应的单位特征向量为u₁，u2，…，up。令

由前面的线性代数定理可知，UU′=U′U=I，且

因此

所以

而且，当a=u₁时，有

因此，a=u₁使Var（a′X）=a′Σa达到最大值，且

Var（u₁′X）=u₁′Σu₁=λ₁（8-27）同理

Var（u_i′X）=λ_i（8-28）而且

上述推导过程表明，以Σ的特征向量为系数的线性组合就是X₁，X₂，…，X_p的主成分，它们彼此互不相关，其方差为Σ的特征根。

由于Σ的特征根λ₁≥λ₂≥…≥λ_p>0，所以有Var（F₁）≥Var（F₂）≥…≥Var（F_p）>0。这就是主成分的次序按照特征根取值大小顺序排列的原因。

在解决实际问题时，一般不是取全部的p个主成分，确定新变量的个数k是一个关键问题。k越小，越能降低数据维数，便于分析，同时也能降低噪声。但是如果k过小，会导致一些有用的信息丢失，累计贡献率的大小反映了前k个主成分代替原始变量时的可靠性。贡献率越大，可靠性越大；反之，则可靠性越小。因此，根据累计贡献率的大小取前k个主成分。称第一主成分的贡献率为，由于Var（F₁）=λ_i，所以。因此第一主成分的贡献率就是第一主成分的方差占全部方差的比例。这个值越大，表明第一主成分综合X₁，X₂，…，X_p信息的能力越强。

前两个主成分的累计贡献率定义为，以此类推，前k个主成分的累计贡献率为。如果前k个主成分的贡献率达到85%，就表明前k个主成分中所包含的信息和那p个主成分所包含的几乎一样多。取这k个主成分就可以取代原始的那p个主成分，于是对p个主成分的n次测量值所组成的原始数据集，就压缩为对k个主成分的n次测量值所组成的数据集，这样既减少了变量的个数，又便于对实际问题的分析和研究。