支持向量机概述
硬间隔、软间隔和非线性 SVM
算法思想
超平面方程：
w
⋅
x
+
b
=
0
\mathbf{w} \cdot \mathbf{x} + b = 0
w⋅x+b=0
间隔（Margin）：
Margin
=
2
∥
w
∥
\text{Margin} = \frac{2}{\|\mathbf{w}\|}
Margin=∥w∥2
决策函数：
(
w
⋅
x
+
b
)
/
∣
∣
w
∣
∣
>
=
d
,
y
=
1
(\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=1
(w⋅x+b)/∣∣w∣∣>=d,y=1
(
w
⋅
x
+
b
)
/
∣
∣
w
∣
∣
>
=
d
,
y
=
−
1
(\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=-1
(w⋅x+b)/∣∣w∣∣>=d,y=−1
如图所示，根据支持向量的定义我们知道，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d
至此可以得到最大间隔超平面的上下两个超平面:
d
=
∣
w
⋅
x
+
b
∣
/
∣
∣
w
∣
∣
d=|\mathbf{w} \cdot \mathbf{x} + b | /||w||
d=∣w⋅x+b∣/∣∣w∣∣
