文章目录

• 一、Support Vector Machine
• 二、距离的计算
• 三、数据标签定义
• 四、优化的目标
• 五、目标函数
• 六、拉格朗日乘子法
• 七、SVM求解
• 八、soft-margin
• 九、低维不可分问题
• 十、参考文献

一、Support Vector Machine

• 要解决的问题：什么样的决策边界才是最好的呢？
• 特征数据本身如果就很难分，怎么办呢？
• 计算复杂度怎么样？能实际应用吗？
• 目标：基于上述问题对SVM进行推导
• 决策边界：选出来离边界上的点最远的决策面

二、距离的计算

假设在决策平面$L$上有两点$x^{\prime }$和$x^{\prime \prime }$，满足以下条件：

• $w^T{x}^{\prime }=-b,w^T{x}^{\prime \prime }=-b$
• $w\perp L$，即：$$\left[\begin{array}{c}{w}^T(x^{\prime \prime }-x^{\prime })\end{array}\right]=0\text{\hspace{1em}(1)}$$
• 平面外一点$x$到该平面$L$的距离为：$$distance={\text{Proj}}_L(x-x^{\prime })\text{\hspace{1em}(2)}$$化简可得：$$distance(x,b,w)=\left|\frac{w^T}{||w||}(x-x^{\prime })\right|=\frac{1}{||w||}|w^{T}x+b|\text{\hspace{1em}(3)}$$

三、数据标签定义

• 数据集：$(X_1,Y_1),(X_2,Y_2),\cdots ,(X_n,Y_n)$
• $Y$为样本的类别：当$X$为正例时，$Y=+1$；当$X$为负例时，$Y=-1$
• 决策方程：$y(x)=w^T\Phi (x)+b$(其中$\Phi (x)$是对数据做了核变换，使低维不可分数据映射为高维可分数据)$$⟹\begin{array}{rl}& y(x_i)>0⟺y_i=+1\\ & y(x_i)<0⟺y_i=-1\end{array}⟹y_i\cdot y(x_i)>0\text{\hspace{1em}(4)}$$

四、优化的目标

• 通俗解释：找到一条线($w$和$b$)，使得离该线最近的点能够最远
• 将点到直线的距离化简得：$$\frac{y_i\cdot \left(w^T\Phi (x_i)+b\right)}{||w||}\text{\hspace{1em}(5)}$$(由于$y_i\cdot y(x_i)>0$，所以将绝对值展开原式依旧成立)

五、目标函数

• 放缩变换：对于决策方程$(w,b)$可以通过放缩使得其结果值$|Y|\ge 1⟹y_i\cdot \left(w^T\Phi (x_i)+b\right)\ge 1$
• 优化目标：$$\underset{w,b}{\mathrm{argmax}}\left\{\frac{1}{||w||}\underset{i}{\min }\left[y_i\cdot \left(w^T\cdot \Phi (x_i)+b\right)\right]\right\}\text{\hspace{1em}(6)}$$由于$y_i\cdot \left(w^T\Phi (x_i)+b\right)\ge 1$，只需要考虑$\underset{w,b}{\mathrm{argmax}}\frac{1}{||w||}$
• 当前目标：${\max }_{w,b}\frac{1}{||w||}$，约束条件：$y_i\cdot \left(w^T\Phi (x_i)+b\right)\ge 1$
• 常规套路：将求解极大值问题转换成极小值问题$⟹{\min }_{w,b}\frac{1}{2}||w|{|}^2$
• 应用拉格朗日乘子法求解

六、拉格朗日乘子法

• 原式转换：$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T\cdot \Phi (x_i)+b)-1)\text{\hspace{1em}(7)}$$约束条件：$$y_i\cdot \left(w^T\Phi (x_i)+b\right)\ge 1\text{\hspace{1em}(8)}$$

七、SVM求解

• 由对偶性质可得：$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )\to \underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(9)}$$
• 对$w$求偏导：$$\frac{\partial L}{\partial w}=0⟹w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_i)\text{\hspace{1em}(10)}$$对$b$求偏导：$$\frac{\partial L}{\partial b}=0⟹0=\sum _{i=1}^n{\alpha }_i{y}_i\text{\hspace{1em}(11)}$$
• 代入原式可得：$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_i)-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i \\ =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}(\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_i){)}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_i) \\ =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T(x_i)\Phi (x_j)\text{\hspace{1em}(12)} \end{gathered}$$完成了第一步求解${\min }_{w,b}L(w,b,\alpha )$
• 继续对$\alpha$求极大值：$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi (x_i)\cdot \Phi (x_j)\right)\text{\hspace{1em}(13)}$$条件：$$\begin{array}{rl}& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}\text{\hspace{1em}(14)}$$
• 极大值转换成求极小值：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi (x_i)\cdot \Phi (x_j)\right)-\sum _{i=1}^n{\alpha }_i\text{\hspace{1em}(15)}$$条件：$$\begin{array}{rl}& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}\text{\hspace{1em}(16)}$$

八、soft-margin

• 软间隔：有时候数据中有一些噪音点，如果考虑它们那么得出的决策边界往往不太好
• 为了解决该问题，引入松弛因子：$$y_i\cdot (w\cdot x_i+b)\ge 1-{\xi }_i\text{\hspace{1em}(17)}$$
• 新的目标函数：$$\min \frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\text{\hspace{1em}(18)}$$
• 当$C$趋近于很大时：意味着分类严格不能有错误；当$C$趋近于很小时：意味着可以有更大的错误容忍
• $C$是我们需要指定的一个参数

九、低维不可分问题

• 目标：找到一种变换的方法，也就是$\Phi (X)$，使其数据变成高维可分问题
• 问题：如果将维数扩展到非常高的时候，计算复杂度会爆炸性增长
• 方法：支持向量机通过某非线性变换$\Phi (X)$，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数$K(x,x^{\prime })$，它恰好等于在高维空间中这个内积，即$K(x,x^{\prime })=<\Phi (x),\Phi (x^{\prime })>$。那么支持向量机就不用计算复杂的非线性变换，而由这个函数$K(x,x^{\prime })$直接得到非线性变换的内积，大大简化了计算。这样的函数 K(x, x′) 称为核函数。
• 常用核函数：
• 高斯核函数：$$K(X,Y)=exp\left\{-\frac{||X-Y|{|}^2}{2{\sigma }^2}\right\}\text{\hspace{1em}(19)}$$

十、参考文献

[1] 唐宇迪. 跟着迪哥学Python数据分析与机器学习实战[M]. 北京: 人民邮电出版社, 2019: 260-284.