R-CNN—双正则化参数的L2-SVM

文章目录

• ​​一、前言​​
• ​​二、SVM算法​​

• ​​2.1 SVM 原型算法​​
• ​​2.2 SVM 改进算法 L2—SVM​​

• ​​三、Doupenalty-Gradient方法​​

• ​​3.1 选取目标函数​​
• ​​3.2 确定 SVM 类型​​
• ​​3.3 参数优化方法​​

一、前言

• 在单正则化SVM的基础上，提出双正则化参数的L2-SVM,获得它的对偶形式，从而确定最优化的目标函数，结合梯度下降形成：Doupenalty gradient（一种新的SVM参数选择方法）
• Doupenalty-Gradient方法在同时寻找 以及核参数这三个参数的最优值时，SVM的性能得到了极大的改善。

二、SVM算法

2.1 SVM 原型算法

• ( 其中
• 
• 
• 
• 
• 

用对偶理论求解最优化，并引入核函数，求出式（1）的对偶形式：

为Lagrange乘子，是核函数。

2.2 SVM 改进算法 L2—SVM

我们把式子 (1) 称为 -SVM，它的改进算法：二范数软间隔SVM 称为 -SVM。详情如下 ()：

上式的对偶为

式中

约束条件式 (5) 中​​​去掉了上界​​​ 这就是L2-SVM的重要特性。
它可以将软间隔转换成硬间隔，即将线性不可分转换成线性可分，而目标函数中仅仅是在核函数的对角线上加上一个常数因子1/C，可以当作是核函数的一个微小改动，即：

三、Doupenalty-Gradient方法

Doupenalty-Gradient方法：将从最小化VC维出发，确定包含参数的目标函数，​​通过梯度法进行优化，来确定SVM的最优参数。​​​已知对于 维空间 间隔的超平面，它的 VC 维上界 满足下面的不等式。 (R为映射到高维空间的球半径。):

3.1 选取目标函数

针对式（8），如果确定了核参数，也就确定了向高维空间的核映射，则球半径R为常数，所以在最优化的过程中，将其省略，仅求了 ,即

而Doupenalty-Gradient方法中，核参数也是最优参数选择的目标之一，目标函数为 :

3.2 确定 SVM 类型

Osuna等人采用两个正则化参数 () 的-SVM，来改善SVM的性能。其二次规划的形式如下():

由（4）L2-SVM的对偶可以转换成线性可分，Doupenalty-Gradient 方法选用具有两个正则化参数 () 的L2-SVM，它的形式如下：

上式（12）的Lagrangian（拉格朗日）函数为：

将上式（13）分别对 求导，并令其等于零可得如下：

运用上述前三个式子，并用核函数替换内积运算得到最后一个式的对偶形式：

上式（15）中：

此时式（15）是硬间隔线性可分的SVM，核函数如下（三个待优化参数：核参数、正则化参数）：

3.3 参数优化方法

Doupenalty-Grandient 方法采用RBF核函数，需要优化的函数如下：

• 其中
• w为最优超平面法向量，
• R是特征空间的最小球半径，是下式最优化目标函数值。
  

使用梯度求解过程如下：

上式中

由上面三式得：

因为采用的是RBF核，所以：

此时，给定一个初始值 即可求出 从而求出 ,梯度法求解式（29）。
步骤如下：

• 步骤1. 给定初始值 及精度 ，如果 那么
• 步骤2. 如果 ，那么用下式求出 点：
  （其中 为步长）
  
• 步骤3. 如果 ，那么