SVM——线性可分支持向量机

目录

一、摘要

二、问题描述

三、函数间隔和几何间隔

1. 函数间隔
2. 几何间隔

四、最优化问题

​ 支持向量与间隔边界

五、对偶问题

1. 构造拉格朗日函数

2. 拉格朗日对偶性求解对偶问题

3. 拉格朗日乘子$\alpha$与原始参数$\omega ,b$的关系

4. 支持向量

六、总结

一、摘要

​ 支持向量机用于解决二分类问题，对于线性可分的输入数据，我们能够找到无数个超平面将数据完全正确分类，对应于二维特征输入数据，超平面就是直线。但是，为了更好的去预测未知分类问题，SVM使用最大间隔以使正类负类到超平面的距离最大，即鲁棒性最强，这也符合人类直觉。如何得到最大间隔是重中之重，SVM求最大间隔是求解约束最优化问题。通常，我们利用拉格朗日对偶性将原最优化问题转换为其对偶问题进行求解，这样降低了计算难度，同时自然引入核函数。

二、问题描述

​ 已知有数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，$x_i$为输入特征向量， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}为标签。$y=+1$代表正例，$y=-1$代表负例，且数据集满足线性可分条件。

​ 学习目标是在特征空间中找到唯一的超平面，将正类与负类完全分开，使得最邻近特征点到超平面的间隔最大。该超平面可表示为方程$\omega \cdot x+b=0$，$\omega$对应超平面的法向量，$b$对应超平面的截距，超平面可记为$(\omega ,b)$。

​ 最优化目标是求解出使得间隔最大化的参数$\omega$和$b$，通过变换得到一个凸二次规划问题（约束最优化问题），最终模型学习到的参数记为${\omega }^{\ast },b^{\ast }$，超平面为${\omega }^{\ast }\cdot x+b^{\ast }=0$，决策函数为$f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast })$。

三、函数间隔和几何间隔

1.函数间隔

​ 根据几何知识，点$x_0(x_0^1,x_0^2)$到直线$\omega \cdot x+b=0$的距离$d=\left|\begin{array}{c}\omega \cdot x_0+b\end{array}\right|$.定义超平面$(\omega ,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\stackrel{\wedge }{\gamma }}_i=y_i(\omega \cdot x_i+b)\text{\hspace{1em}(1)}$$
函数间隔${\stackrel{\wedge }{\gamma }}_i$表示了分类的正确性和距离（确信度），当分类正确时，$y_i$和$\omega \cdot x_i+b$同号；当分类错误时，$y_i$和$\omega \cdot x_i+b$异号。

​ 但是，当我们试图将参数$\omega$和$b$缩放同等倍数$\lambda$时，即$\omega \to \lambda \omega ,b\to \lambda b$，超平面$\omega \cdot x+b=0\to \lambda \omega \cdot x+\lambda b=0$并未发生变化，而函数间隔却被缩放了$\lambda$倍。将这样不稳定的函数间隔作为最优化目标显然是不合理的。想象一下，模型学习的过程中，参数$\omega$和$b$的值在不断变化，假如超平面没有改变，但是函数间隔确被改变了，模型训练发生错误。因此我们想要找到一个稳定的“间隔”去作为最优化目标（即超平面不变，“间隔”也不会变）。

2. 几何间隔

​ 在函数间隔的基础上，我们希望获得稳定的“间隔”，即增加对法向量$\omega$的约束，于是我们参考单位向量的思想$e=\frac{v}{\Vert \begin{array}{c}v\end{array}\Vert }$引入$\Vert \begin{array}{c}\omega \end{array}\Vert$，几何间隔定义如下：
$${\gamma }_i=y_i(\frac{\omega }{\Vert \begin{array}{c}\omega \end{array}\Vert }\cdot x_i+\frac{b}{\Vert \begin{array}{c}\omega \end{array}\Vert })\text{\hspace{1em}(2)}$$
​ 我们来看一下几何间隔的稳定性：

​ 对于SVM模型来说，其“间隔”表示为
$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i=\underset{i=1,\cdots ,N}{\min }{y}_i(\frac{\omega }{\Vert \begin{array}{c}\omega \end{array}\Vert }\cdot x_i+\frac{b}{\Vert \begin{array}{c}\omega \end{array}\Vert })\text{\hspace{1em}(3)}$$

​ 从上述可以看到，几何间隔可以作为我们的最优化目标，下面重点关注线性可分支持向量机的约束最优化问题。

四、最优化问题

​ 支持向量机的最优化问题即学习目标就是要将“间隔”最大化，定义如下：
$$\underset{\omega ,b}{\max }\gamma s.t.{\gamma }_i=y_i(\frac{\omega }{\Vert \begin{array}{c}\omega \end{array}\Vert }\cdot x_i+\frac{b}{\Vert \begin{array}{c}\omega \end{array}\Vert })\ge \gamma ,i=1,2,\cdots ,N$$

​ (6)式即为最终的约束最优化问题，通过求解得到其最优化解${\omega }^{\ast },b^{\ast }$，由此得到最终的超平面与决策函数：
$$\begin{gathered} 超平面({\omega }^{\ast },b^{\ast }):{\omega }^{\ast }\cdot x+b^{\ast }=0 \\ 决策函数f(x):f(x)=sign({\omega }^{\ast }\cdot x+b^{\ast }) \end{gathered}$$

支持向量与间隔边界

​ 支持向量即为使最优化问题(6)式约束条件等号成立的点$x_i$（距离超平面最近的点）；间隔边界即为使最优化问题(6)式约束条件等号成立的平面$y_i(\omega \cdot x_i+b)-1=0$；SVM分类器的间隔即为正类负类间隔边界间的距离$\frac{2}{\Vert \begin{array}{c}\omega \end{array}\Vert }$。如下图：

​ 从最优化问题的定义和上图可以看出，最大间隔只与距离超平面最近的点有关，即只与间隔边界上的支持向量有关，而与边界外的点无关。

五、对偶问题

​ 为求解线性可分支持向量机的最优化问题，我们将上一节的最优化问题(6)作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。对偶问题的复杂度往往要低于原始问题，且在SVM中求解对偶问题可以自然引入核函数，进而推广到非线性分类问题。拉格朗日对偶性参考《统计学习方法》中的附录C。

1.构造拉格朗日函数

​ 对于原始问题(6)，为每个约束条件（此问题只有不等式约束，没有等式约束）引进拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\cdots ,N$，定义拉格朗日函数$L(\omega ,b,\alpha )$：
$$\begin{gathered} L(\omega ,b,\alpha )=\frac{1}{2}{\Vert \begin{array}{c}\omega \end{array}\Vert }^2-\stackrel{N}{\sum _{i=1}}{\alpha }_i[y_i(\omega \cdot x_i+b)-1] \\ \Rightarrow L(\omega ,b,\alpha )=\frac{1}{2}{\Vert \begin{array}{c}\omega \end{array}\Vert }^2-\stackrel{N}{\sum _{i=1}}{\alpha }_i{y}_i(\omega \cdot x_i+b)+\stackrel{N}{\sum _{i=1}}{\alpha }_i\text{\hspace{1em}(7)} \end{gathered}$$
​ 转换为与原始最优化问题等价的形式为：

2.拉格朗日对偶性求解对偶问题

​ 根据拉格朗日对偶性，原始问题的对偶问题为极大极小问题：
$$\underset{\alpha ;{\alpha }_i\ge 0}{\max }\underset{\omega ,b}{\min }L(\omega ,b,\alpha )\text{\hspace{1em}(8)}$$
​ (1)先求 $\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$

​ (2)再求$\underset{\omega ,b}{\min }L(\omega ,b,\alpha )$对$\alpha$的极大

​ (10)式即为原始最优化问题(6)式的的对偶问题。求解对偶问题，可以得到最终的拉格朗日乘子向量$\alpha ={({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N)}^T$。下面来找到拉格朗日乘子$\alpha$与原始参数$\omega ,b$的关系，还原得到最终的超平面与决策函数。

3.拉格朗日乘子$\alpha$与原始参数$\omega ,b$的关系

​ 这里主要使用了KKT条件，定理可以参考《统计学习方法》中的附录C。

​ 求解对偶问题得到了最终解${\alpha }^{\ast }={({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })}^T$，则存在${\alpha }_j>0$，并有关系：
$${\omega }^{\ast }=\stackrel{N}{\sum _{i=1}}{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(11)}$$

$$b^{\ast }=y_i-\stackrel{N}{\sum _{i=1}}{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(12)}$$

支持向量

​ 之前我们定义了原始问题的支持向量，而其对偶问题的支持向量则为数据集中${\alpha }_i>0$的样本点$(x_i,y_i)$。因为当${\alpha }_i>0$时，由KKT条件3有${\omega }^{\ast }\cdot x_j+b^{\ast }=\pm 1$，对应于间隔边界。而对于${\alpha }_i=0$即间隔边界外的样本点，则对最优化没有任何影响，因为根据(11)(12)式的累加形式，'0’不会对最优化参数$\omega ,b$有任何贡献，这与第四节的结论一致。

六、总结

​ 从最简单的线性可分支持向量机模型我们可以看出，只有少部分数据（支持向量）影响分类器的训练，这也即是支持向量机的由来。线性可分支持向量机能够完美分类线性可分的数据集，超平面能够将正类负类完全分开，其学习的过程叫做硬间隔最大化。但是，现实中的数据往往是线性不可分的，采用硬间隔最大化会得到很糟糕的模型，所以，为了处理更一般的情况，引入了软间隔最大化方法与核函数，使支持向量机能够分类非线性数据。

参考

• 李航《统计学习方法》