最新 Blender 4.2 保姆级安装教程（附安装包）

SVM支持向量机

1 概述

Support Vector Machine是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示， $wx+b=0$ 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。

2 推导

2.1 距离

正常三维条件下点$(x_0,y_0,z_0)$到平面$Ax+By+Cz+D=0$的距离公式（高中知识）：
$$\frac{|A{x}_0+B{y}_0+C{z}_0+D|}{\sqrt{A^2+B^2+C^2}}$$
推导分析过程：

平面方程： $ax+by+cz=d$ ，平面外一点$P(x_0,y_0,z_0)$

PQ垂直平面，即为求PQ的长度，但不知Q点的具体数据。

故构造一个平面上的点$P^{{}^{\prime }}(x_1,y_1,z_1)$，问题即转化为求$P^{{}^{\prime }}P$ 在法向量N上面的分量，即$P^{{}^{\prime }}P$ 与N相同方向的单位向量的点积。

设距离为D。

现在考虑一般情况：

求平面外一点 $x$ 到平面$w^{T}x+b=0$ 的距离：

同上述原理：

距离就为
$$distance(x,b,w)=|\frac{w^T}{||w||}(x-x^{{}^{\prime }})|=\frac{1}{||w||}|w^{T}x+b|$$

2.2 数据

数据集：$(x_1,y_1)(x_2,y_2)...(x_n,y_n)$

$Y$ 为样本的类别：当$X$ 为正例时，$Y=+1$，当$X$为负例时，$Y=-1$

决策方程：$y(x)=w^T\Phi (x)+b$ （其中$\Phi (x)$是对数据做了核变换，可以暂时理解为$x$）
$$\{\begin{array}{l}y(x_i)>0\iff y_i=+1\\ y(x_i)<0\iff y_i=-1\end{array}⟹y_{i}y(x_i)>0$$

2.3 目标函数求解

将点到直线距离进行转化（化简）：
$$\frac{y_i\cdot (w^T\cdot \Phi (x)+b)}{||w||}$$

放缩变换：对于决策方程（w, b）可以通过放缩变换使其结果值$|Y|\ge 1$ ，则
$$y_i\cdot (w^T\cdot \Phi (x_i)+b)\ge 1$$

优化目标：
$$\underset{w,b}{argmax}\left\{\frac{1}{||w||}\underset{i}{\min }\right\{y_i\cdot (w^T\cdot \Phi (x_i)+b)\left\}\right\}$$

当前目标变为：$\underset{w,b}{\max }\frac{1}{||w||}$，即求$||w||$的最小值，但有约束条件 $y_i\cdot (w^T\cdot \Phi (x_i)+b)\ge 1$

将求极大值转化为求极小值的问题，求$\frac{1}{2}||w|{|}^2$ 的最小值。

需要使用拉格朗日乘子法：（此处不做证明，直接给出结论）
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i\cdot (w^T\cdot \Phi (x_i)+b)-1)$$

3 SVM实例

有三个数据：3个点，正例$x_1(3,3),x_2(4,3)$， 负例$x_3(1,1)$，（数据是二维数据）对其进行二分类。

首先需要求解下式的最小值：
$$\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\alpha }_i(1)$$

将对应的数据带入（1）式，得：
$$\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3$$
由于${\alpha }_1+{\alpha }_2={\alpha }_3$，化简得：
$$4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$$
分别对${\alpha }_1,{\alpha }_2$求偏导，偏导等于0得
$$\{\begin{array}{l}{\alpha }_1=1.5\\ {\alpha }_2=-1\end{array}$$
发现不满足约束条件${\alpha }_i\ge 0$，故解应在边界上。分别让两个值等于0求解
$$\begin{gathered} \{\begin{array}{l}{\alpha }_1=0\\ {\alpha }_2=-\frac{2}{13}\end{array}(\times ) \\ \{\begin{array}{l}{\alpha }_1=0.25\\ {\alpha }_2=0\end{array}(✓) \end{gathered}$$
第一组解不满足，故最小值在$(0.25,0,0.25)$处取得。

将$\alpha$结果带求解$w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_i)$，$\Phi (x_i)$以$x_i$来代替
$$\begin{gathered} w=\frac{1}{4}\times 1\times (3,3)+\frac{1}{4}\times (-1)\times (1,1)=(\frac{1}{2},\frac{1}{2}) \\ b=y_i-\sum _{i=1}^n{a}_i{y}_i(x_i{x}_j)=1-(\frac{1}{4}\times 1\times 18+\frac{1}{4}\times (-1)\times 6)=-2 \end{gathered}$$
故平面方程为：
$$0.5x_1+0.5x_2-2=0$$

4 软间隔

数据中有时候会有一些噪音点，如果考虑它们结果可能不会很好。

之前讨论的是要求所有样本点全部满足约束（这是硬间隔），而实际情况中这显然是不太可能的，软间隔则是允许某些样本点不满足约束。

为解决该问题，引入松弛因子：$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$

新的目标函数：
$$\underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$

解法基本一样：

5 SVM核变换

将低维不可分映射到高维，找到一种变换方法，即为 $\varphi (x)$

高斯核函数：
$$K(X,Y)=\exp \{-\frac{||X-Y|{|}^2}{2{\sigma }^2}\}$$

6 基于sklearn求解SVM

参考 https://blog.csdn.net/weixin_42600072/article/details/88644229