一元线性回归分析

2025年09月26日

版权

三、一元线性回归分析

（一）基本公式

如果预测对象（因变量y）与主要影响因素（自变量x）之间存在线性关系，则它们之间的关系可以用一元线性回归模型表示为如下形式

y=a+bx+e

其中，a和b是揭示x和y之间关系的系数，a为回归常数，b为回归系数，e是误差项或称回归余项。

在实际预测中，e是无法预测的，回归预测是借助a+bx得到预测对象的估计值y。通过确定a和b，从而揭示变量y与x之间的关系，因此可以表示为

y=a+bx

y=a+bx是y=a+bx+e的拟合曲线。可以利用普通最小二乘法原理（OLS）^[1]求出回归系数。由此求得的回归系数为

式中 x_i、y_i——自变量x和因变量y的观察值；

x、——x和y的平均值。

式中 n——样本数量。

对于每一个自变量x的数值，都有拟合值：y_i′=a+bx_i；y_i′与实际观察值的差，便是残差项：e_i=y_i-y_i′。

（二）一元线性回归预测步骤

（1）利用历史数据计算回归参数a、b，建立回归模型。

（2）进行回归检验将历史数据代入模型对回归系数、回归方程进行检验，以判定预测模型的合理性和适用性。检验方法有方差分析、相关系数检验、t检验等。对于一元线性回归，这些检验效果是相同的，选择其中一项检验即可。

1）方差分析

①推导得出

其中，，称为偏差平方和，反映了n个y值的分散程度；

，称为回归平方和，反映了x对y线性影响的大小；

∑（y_i-y_i′）2=ESS，称为残差平方和，它反映了除x对y的线性影响之外的一切使y变化的因素，其中包括x对y的非线性影响及观察误差。即：

TSS=RSS+ESS

在进行检验时，通常先进行方差分析，一方面可以检验在计算上有无错误；另一方面，也可以提供其他检验所需要的基本数据。

②定义可决系数R²，是评价两个变量之间线性关系强弱的一个指标，它的大小表明了y的变化中可以用x来解释的百分比，由前式可导出

显然，可决系数R²≤1。R²越靠近1，说明x对y的线性影响越强，拟合模型的误差也较小。

2）相关系数检验。相关系数是描述两个变量之间的线性相关关系的密切程度的数量指标，除上面公式以外，R还可用以下公式表示：

因故，

R在-1和1之间，当R=1时，变量x和y完全正相关；当R=-1时，为完全负相关；当0<R<1时，为正相关；当-1<R<0时，为负相关；当R=0时，变量x和y没有线性关系。只有当R的绝对值大到一定程度时，才能采用线性回归模型进行预测。在计算出R值后，可以查相关系数检验表。在自由度（n-2）和显著性水平α（一般取α=0.05）下，若R大于临界值，则变量x和y之间的线性关系成立；否则，两个变量不存在线性关系。

3）t检验。即回归系数的显著性检验，以判定预测模型变量x和y之间线性假设是否合理。校验回归常数a是否为0的意义不大，通常只检验参数b。

式中 S_b——参数b的标准差，，

n——样本个数。

S_y为回归标准差，S²_y=∑（y_i-y_i′）2/（n-2），

也可以表达为：。

t_b服从t分布，可以通过t分布表查得显著性水平为α，自由度为n-2的数值t（α/2，n-2）。若t_b的绝对值大于t，表明回归系数显著性不为0，参数的t检验通过，说明变量x和y之间线性假设合理；若t_b的绝对值小于或等于t，表明回归系数为0的可能性较大，参数的t检验未通过，回归系数不显著，说明变量x和y之间线性假设不合理。