13.2  支持向量机理论

机器学习领域凸现出了许多优秀的理论与算法，但是支持向量机（SVM）理论绝对是其中的集大成者。该理论由Vapnik和他的合作伙伴共同提出，一经提出就受到了世界范围的关注，随后便有了突飞猛进的发展势头，不但成为机器学习领域的标准工具之一，也成为众多其他领域经常采用的算法。支持向量机理论之所以如此优秀，是因为它建立在了众多优秀的理论的基础之上，比如凸二次规划、统计学理论、核函数理论等一批完备的数学理论。

近几年涌现出的大量理论研究成果，更为其应用研究奠定了坚实的基础。然而对于支持向量机来说，最大的问题在于解二次规划问题时的运行速度较慢。为了对此问题进行改善，众多国内外科学家和研究人员对其算法做出了研究与改进，从而形成了多种基于传统支持向量机的变形算法，而且这些经过变形的算法往往在某一领域具有较好的运行速度。下面具体列出了几种经常用到的变形算法，它们都是比较典型的变形算法：v-SVM、FuzzySVM、GSVM（General_- izedSVM）、LS-SVM（Least-SquareSVM）、One-ClassSVM、RSVM（Reduced SVM）等算法。另一方面，许多国内外科学家和研究学者从学习策略方面入手，针对实际情况中不同的应用问题结合各种支持向量机方法各自的优点，提出了多种新型的基于组合形式的支持向量机算法。下面我们对支持向量机的理论知识简单做一些介绍。