神经网络与深度学习-7- 支持向量机2 -PyTorch-CFANZ编程社区

参考文档：

《统计学习方法》

1： SMO 算法流程

2： SMO 推导过程

2: pytorch 例子

一 SMO(sequential minimal optimizaion)

输入：

训练数据集 $T=\begin{Bmatrix} (x_1,y_1) & (x_2,y_2) & .... &, (x_N,y_N) \end{Bmatrix}$

其中 $x_i \in \chi=R^n, y_i \in \begin{Bmatrix} -1, & +1 \end{Bmatrix}$

i=1,2...,N

精度 $\epsilon$

输出：

$\hat{\alpha}$

优化过程：

1 初始值 $\alpha^{0}=0,k=0$

2 选取优化变量 $\alpha_1^{k},\alpha_2^{k}$ 解析求解两个变量的最优化问题（101-103)，求得最优化问题

，求得最优解

$\alpha_1^{k+1},\alpha_2^{k+1}$ ,更新 $\alpha$ 为 $\alpha^{k+1}$

3 如果精度 $\epsilon$ 范围内满足停机条件，执行4

否则设k=k+1,转2

4 取 $\hat{\alpha}=\alpha^{k+1}$

二 SMO 原理推导

整个算法包含两个部分：

两个变量二次规划的解析方法和选择变量的启发式方法

2.1 两个变量的二次规划求解方法

$W(\alpha_1,\alpha_2)=\frac{1}{2}K_{11}\alpha_1^2+\frac{1}{2}K_{22}\alpha_2^2+y_1y_2K_{12}\alpha_1\alpha_2-(\alpha_1+\alpha_2-\zeta )+y_1\alpha_1\sum_{i=3}^{N}\alpha_iy_iK_{i1}+y_2\alpha_2\sum_{i=3}^{N}\alpha_iy_iK_{i2}\bigl(\begin{smallmatrix} 101 \end{smallmatrix}\bigr)$

$s.t \left\{\begin{matrix} \alpha_1 y_1+\alpha_2 y_2 =-\sum_{i=3}^{N}y_i \alpha_i=\zeta \begin{pmatrix} 102 \end{pmatrix}\\ 0\leq \alpha_i\leq C, i=1,2 \left ( 103 \right ) \end{matrix}\right.$

2.1 约束条件

$\left\{\begin{matrix} L= max(0,\alpha_2^{old}-\alpha_1^{old}),H=min(C,C+\alpha_2^{old}-\alpha_1^{old}),y_1 \neq y_2\\ L= max(0,\alpha_2^{old}+\alpha_1^{old}-C),H=min(C,\alpha_2^{old}+\alpha_1^{old}),y_1 = y_2 \end{matrix}\right.$