1. SVM 介绍

1.1 SVM 简介

支持向量机（support vector machines, SVM）的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM 还包括核技巧，这使它成为实质上的非线性分类器。SVM 的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM 的学习算法就是求解凸二次规划的最优化算法。

1.2 SVM 基本概念

了解 SVM 算法之前，首先需要了解一下线性分类器这个概念。比如给定一系列的数据样本，每个样本都有对应的一个标签。为了使得描述更加直观，我们以二维平面为例，将特征向量映射为空间中的一些点，就是如下图的实心点和空心点，它们属于不同的两类。

那么 SVM 的目的就是想要画出一条线，以“最好地”区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类，也就是说要使条直线能够达到最好的泛化能力。那么能够画出多少条线对样本点进行区分？线是有无数条可以画的，区别就在于效果好不好。比如下图中绿线就不好，蓝线一般，红线看起来会更好。我们所希望找到的这条效果最好的线叫作划分超平面，它是一个能使两类之间的空间大小最大的一个超平面。