支持向量机模型

七、支持向量机模型

(一)概念

支持向量机(support vector machine,SVM)模型最早是由Vapnik(1995)提出的。SVM模型通过核函数非线性的映射,将初始的输入向量映射到一个高维特征空间。在高维空间中找到最优分类超平面,并且通过二次规划将数据用最大分类间隔隔开。

(二)模型设计

二分类SVM中包含:输入样本集{xi},xi为输入变量,xi∈Rn,i是样本数且i=1,2,…,m;输出样本集{yi},yi代表类别变量,且yi=1或yi=-1。xi,yi构成了训练集{xi,yi} ,寻找一个线性分类面ω·x+b=0,将空间划分为两个子空间,使不同类别样本位于不同子空间(此时称为训练样本线性可分),并最大化分类间隔。对于非线性问题,原样本空间中没有线性分类面,则将样本点通过事先确定的非线性映射——核函数(kernel function)实现从样本空间到高维特征空间的映射,在特征空间中寻找线性分类超平面,选用不同类型的核函数构造不同类型的SVM。

H1={x:ω·x+b=-Δ}

H2={x:ω·x+b=Δ}

其中,H1和H2分别表示两个类别边界的分隔面,则H1和H2之间的距离(margin)可以表示为图示

分类面H的位置与两类样本点的距离达到最大值时获得最佳泛化能力,定义H如下:

图示

称为Δ-分类超平面,Vapnik证明了关于分类面的VC维上界定理:如果x包含在一个半径为r的球中,那么Δ-分类超平面的VC维h有如下的界:

图示(https://www.daowen.com)

SVM模型在线性可分情况下保证了经验风险为零,然后通过选择最大间隔控制分类面的VC维。

(三)应用

Van Gestel等(2003)将改进的支持向量机LS-SVM模型应用于信用风险评估。通过和普通最小方差、普通Logistic回归和多层感知机模型进行对比,证实改进的LS—SVM模型预测精度更高。Schebesch和Stecking(2005)使用基于线性核函数的SVM模型将信用申请者,分为典型申请者和关键类别的拒绝申请者。Baesens等(2003)将17种不同的分类方法应用于8个不同的信用数据集中,发现6个方法分类精确性是最优的,并且SVM模型的预测能力要明显优于人工神经网络。

(四)SVM模型的优势及不足

1.优势

①SVM模型打破了人们对企业信用评价方法的传统认识,是综合多个财务指标的关联判别分析,具有科学性和合理性。

②SVM模型在解决小样本的问题上能够显示出更大的优势,克服了“维数灾难”和“过学习”等传统困难。

2.不足

①经典的SVM模型是二分类模型,在对企业信用风险进行定级时,需要多个SVM模型或与其他模型相结合,形成一种优势互补的组合分类器。

②SVM模型并不适合大规模训练的样本,因为它是借助二次规划来求解支持向量,样本个数过大时计算和存储将耗费大量的机器运算时间和内存。