文章目录

• 1 前言
• • 1.1 SVM的基本思想
  • 1.2 支持向量机的分类
• 2 线性可分支持向量机模型
• • 2.1 模型概述
  • 2.2 函数间隔与几何间隔

1 前言

1.1 SVM的基本思想

\qquad 支持向量机（Support Vector Machines）的核心思想是通过在特征空间上寻找一个线性超平面，将数据进行二分类且每类数据到超平面的间隔达到最大。其基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。SVM的学习策略是将问题转化为凸二次规划问题并求解。

1.2 支持向量机的分类

\qquad 线性可分支持向量机：训练数据线性可分时，采用硬间隔最大化，学习一个线性分类器。

\qquad 线性支持向量机：训练数据近似可分，此时采用软间隔最大化，学习一个线性分类器。

\qquad 非线性支持向量机：训练数据完全线性不可分时，使用核技巧（kernel trick）及软间隔最大化，学习一个实质上的非线性支持向量机

2 线性可分支持向量机模型

2.1 模型概述

\qquad 假设给定一个特征空间上的训练数据集

T = { ( x ⃗ 1 , y 1 ) , ( x ⃗ 2 , y 2 ) , ⋯   , ( x ⃗ N , y N ) , } T=\{(\vec{x}_{1},y_{1}),(\vec{x}_{2},y_{2}), \cdots ,(\vec{x}_{N},y_{N}),\} T={(x 1​,y1​),(x 2​,y2​),⋯,(x N​,yN​),}

\qquad 其中,

x ⃗ i = ( x 1 , x 2 , x 3 ⋯   , x n ) T ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , 3 , ⋯   , N \vec{x}_i=(x_{1},x_{2},x_{3} \cdots ,x_{n})^{T} \in R^{n}, \\ \quad y_{i} \in \{+1,-1\}, \quad i=1,2,3, \cdots ,N \\ x i​=(x1​,x2​,x3​⋯,xn​)T∈Rn,yi​∈{+1,−1},i=1,2,3,⋯,N

$x_i$ 是第i个特征向量，也称作实例，$y_i$ 是实例 $x_i$ 的标记，其中 $+1$ 表示为正例；$-1$ 表示为负例。假设数据集线性可分。

\qquad 线性可分支持向量机即是要在两组数据之间找到一个间隔超平面，将两组数据完美的划分开。此外，为了考虑模型的泛化效果，使得数据的扰动对于分类的结果影响尽可能的小，那么就需要超平面分别到两组数据的间隔达到最大，即对于距离超平面最近的点，也要能以尽可能高的确信度将它们分隔开，在间隔边界处的特征向量也被成为支持向量（Support Vector），如下图所示。

\qquad 线性可分支持向量机基本模型如下：
$$\{\begin{array}{ll}& w^T\cdot x+b=0\\ & f(x)=sign(w^T\cdot x+b)\end{array}$$

\qquad 其中，$w^T\cdot x+b=0$ 是超平面方程，$w$ 是超平面的法向量，$w=(w_1,w_2,\cdots ,w_n{)}^T$。$f(x)$ 是得到的分类器，$sign(x)$ 为符号函数,输出为正，则得到的是正例；输出为负，则得到的是反例。

2.2 函数间隔与几何间隔

函数间隔

\qquad 引入函数间隔，可用于定性表示分类的正确性以及确信程度。由于超平面方程为：$w^T\cdot x+b=0$ 不在超平面上的实例点 $(x_i,y_i)$代入超平面方程后会得到一个非零数 $(w^T\cdot x_i+b)$，其与实例的标记 $y_i$的乘积定义为实例点到超平面的函数间隔，记作：

$${\hat{\gamma }}_i=y_i(w^T\cdot x_i+b)$$

${\hat{\gamma }}_i$ 为正，则分类正确；反之，则分类错误。${\hat{\gamma }}_i$ 的绝对值越大,表示分类结果的确信程度越高。

\qquad 因此，定义训练集与超平面的函数间隔即为所有实例点与超平面函数距离的最小值，记作：

$$\hat{\gamma }=\underset{i=1,2,3,\cdots ,N}{\min }{\hat{\gamma }}_i$$

几何间隔

\qquad 在二维平面直角坐标系中求点到直线的距离公式为：
$$l=\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$$
\qquad 那么，推广到更高维的超平面 $H:w^T\cdot x+b=0$ 上，可以得到更加一般性的距离公式：

$$L=\frac{|w^T\cdot x+b|}{\Vert w\Vert }$$

其中，$\Vert w\Vert$ 是法向量 $w$ 的二阶范数，$\Vert w\Vert =\sqrt{{\sum }_{i=1}^n{w}_i^2}$ 。

\qquad 由于在训练数据时，实例点的标记 y i ∈ { + 1 , − 1 } y_{i} \in \{+1,-1\} yi​∈{+1,−1}，则可以将距离公式中的绝对值符号去掉，用各个实例点的标记值替代，定义为实例点到超平面的几何间隔，记作：

$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }$$

\qquad 与函数间隔类似，${\gamma }_i$ 为正，则分类正确；反之，则分类错误。${\gamma }_i$ 的绝对值越大,表示分类结果的确信程度越高。

\qquad 因此，定义训练集与超平面的几何间隔即为所有实例点与超平面几何距离的最小值，记作：

$$\gamma =\underset{i=1,2,\cdots ,N}{\min }{\gamma }_i$$

函数间隔与几何间隔的关系

\qquad 由上述定义得，

\qquad 函数间隔：
$${\hat{\gamma }}_i=y_i(w^T\cdot x_i+b)$$

\qquad 几何间隔：
$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }$$

\qquad 得到二者之间的关系：

$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{\Vert w\Vert }$$

\qquad 另外，函数间隔的定义规定了函数间隔不是一个确定的数，其可以随着超平面参数成比例地倍增而改变，是一个定性的衡量工具。

\qquad 例如，对于超平面 $(w,b)$，有：$(w^{{}^{\prime }},b^{{}^{\prime }})=10(w,b)$，则有：

$$w^{{}^{\prime }T}\cdot x+b^{{}^{\prime }}=10w^T\cdot x+10b=10(w^T\cdot x+b)=0=w^T\cdot x+b$$

\qquad 这表明超平面参数的倍增并不改变这一超平面，$(w,b),(w^{{}^{\prime }},b^{{}^{\prime }})$ 表示同一个超平面，故：

$$\begin{gathered} {\hat{\gamma }}_i=y_i(w^T\cdot x_i+b) \\ {\hat{\gamma }}_i^{{}^{\prime }}=y_i(w^{{}^{\prime }T}\cdot x_i+b^{{}^{\prime }}) \end{gathered}$$

${\hat{\gamma }}_i$ 和 ${\hat{\gamma }}_i^{{}^{\prime }}$ 均可以表示实例点对同一超平面的函数间隔。

\qquad 对于几何间隔来说，由于分母位是法向量的二阶范数，在超平面参数倍增的同时，$\Vert w\Vert$ 也以同样的倍数增加，仍以 $(w^{{}^{\prime }},b^{{}^{\prime }})=10(w,b)$ 为例，

$${\gamma }_i=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }=\frac{y_i(10w^T\cdot x_i+10b)}{\Vert 10w\Vert }=\frac{y_i(w^{{}^{\prime }T}\cdot x_i+b^{{}^{\prime }})}{\Vert w^{{}^{\prime }}\Vert }$$

\qquad 所以，对于确定的超平面和实例点来说几何间隔是一个确定的值，也即几何上与超平面之间的距离。