文章目录
Probabilistic Perspective of Noise
假设数据来源于一个确定的函数,叠加了高斯噪声。我们有:
y
=
h
(
x
)
+
ϵ
y = h(x) + \epsilon
y=h(x)+ϵ
其中
ϵ
∼
N
(
0
,
β
−
1
)
\epsilon \sim \mathcal{N}(0, \beta^{-1})
ϵ∼N(0,β−1)
等价地,给定输入
x
x
x,以及函数
h
h
h 和噪声的精度
β
\beta
β,
y
y
y 的条件分布可以写作:
p
{
y
∣
x
,
h
,
β
}
=
N
(
y
∣
h
(
x
)
,
β
−
1
)
p\{y|x, h, \beta\} = \mathcal{N}(y|h(x), \beta ^ {-1})
p{y∣x,h,β}=N(y∣h(x),β−1)
即 y y y 的条件分布是以 h ( x ) h(x) h(x) 为均值、以 β − 1 \beta^{-1} β−1 为方差的正态分布。
我们现在有一个由
n
n
n 个数据点组成的数据集
S
=
{
(
x
1
,
y
1
)
,
…
,
(
x
n
,
y
n
)
}
S = \{(x_1,y_1), \ldots, (x_n,y_n)\}
S={(x1,y1),…,(xn,yn)}。我们假设数据点是独立同分布的,即每个数据点的生成不依赖于其他数据点。因此,整个数据集
S
S
S 的似然是所有单个数据点似然的乘积:
p
(
S
∣
X
,
h
,
β
−
1
)
=
∏
i
=
1
n
p
(
y
i
∣
h
(
x
i
)
,
β
−
1
)
p(S|X, h, \beta^{-1}) = \prod\limits_{i=1}^n p(y_i|h(x_i), \beta^{-1})
p(S∣X,h,β−1)=i=1∏np(yi∣h(xi),β−1)
这个似然模型告诉我们,对于给定的函数 h h h 和噪声精度 β \beta β,数据集 S S S 的"可能性"或"合理性"是多少。
假设我们的模型参数为
h
h
h,先验分布为
p
(
h
)
p(h)
p(h),那么基于贝叶斯定理,参数
h
h
h 的后验分布为:
p
(
h
∣
S
)
=
p
(
S
∣
h
)
p
(
h
)
p
(
S
)
p(h|S) = \frac{p(S|h) p(h)}{p(S)}
p(h∣S)=p(S)p(S∣h)p(h)
其中,
p
(
S
∣
h
)
p(S|h)
p(S∣h) 是似然,
p
(
S
)
p(S)
p(S) 是边缘似然,与参数
h
h
h 无关。
MAP估计就是找到使后验分布
p
(
h
∣
S
)
p(h|S)
p(h∣S) 最大的参数
h
h
h。由于分母
p
(
S
)
p(S)
p(S) 与
h
h
h 无关,所以MAP估计等价于:
h
MAP
=
arg max
h
p
(
S
∣
h
)
p
(
h
)
h_{\text{MAP}} = \argmax_{h} p(S|h) p(h)
hMAP=hargmaxp(S∣h)p(h)
取负对数,问题可以转化为:
h
MAP
=
arg min
h
{
−
ln
p
(
S
∣
h
)
−
ln
p
(
h
)
}
h_{\text{MAP}} = \argmin_{h} \{-\ln p(S|h) - \ln p(h)\}
hMAP=hargmin{−lnp(S∣h)−lnp(h)}
为了解决这个优化问题,你通常需要的是:
- 一个关于似然的负对数的表达式
- 一个关于先验的负对数的表达式
回顾我们的似然模型:
p
(
S
∣
X
,
h
,
β
−
1
)
=
∏
i
=
1
n
N
(
y
i
∣
h
(
x
i
)
,
β
−
1
)
p(S|X, h, \beta^{-1}) = \prod_{i=1}^n \mathcal{N}(y_i|h(x_i), \beta^{-1})
p(S∣X,h,β−1)=i=1∏nN(yi∣h(xi),β−1)
根据正态分布的定义:
N
(
y
∣
h
(
x
)
,
β
−
1
)
=
β
2
π
exp
(
−
β
(
y
−
h
(
x
)
)
2
2
)
\mathcal{N}(y|h(x), \beta^{-1}) = \frac{\beta}{\sqrt{2\pi}} \exp\left(-\frac{\beta (y - h(x))^2}{2}\right)
N(y∣h(x),β−1)=2πβexp(−2β(y−h(x))2)
因此,我们可以写出似然函数为:
p
(
S
∣
X
,
h
,
β
−
1
)
=
∏
i
=
1
n
β
2
π
exp
(
−
β
(
y
i
−
h
(
x
i
)
)
2
2
)
p(S|X, h, \beta^{-1}) = \prod_{i=1}^n \frac{\beta}{\sqrt{2\pi}} \exp\left(-\frac{\beta (y_i - h(x_i))^2}{2}\right)
p(S∣X,h,β−1)=i=1∏n2πβexp(−2β(yi−h(xi))2)
对似然函数取对数,我们得到:
ln
p
(
S
∣
X
,
h
,
β
−
1
)
=
∑
i
=
1
n
ln
β
2
π
−
β
(
y
i
−
h
(
x
i
)
)
2
2
\ln p(S|X, h, \beta^{-1}) = \sum_{i=1}^n \ln \frac{\beta}{\sqrt{2\pi}} - \frac{\beta (y_i - h(x_i))^2}{2}
lnp(S∣X,h,β−1)=i=1∑nln2πβ−2β(yi−h(xi))2
将上述式子进一步拆分并合并相似的项,我们可以得到:
ln
p
(
S
∣
X
,
h
,
β
−
1
)
=
n
ln
β
−
n
2
ln
(
2
π
)
−
β
2
∑
i
=
1
n
(
y
i
−
h
(
x
i
)
)
2
\ln p(S|X, h, \beta^{-1}) = n \ln \beta - \frac{n}{2} \ln(2\pi) - \frac{\beta}{2} \sum_{i=1}^n (y_i - h(x_i))^2
lnp(S∣X,h,β−1)=nlnβ−2nln(2π)−2βi=1∑n(yi−h(xi))2
此时, − β 2 ∑ i = 1 n ( y i − h ( x i ) ) 2 -\frac{\beta}{2} \sum_{i=1}^n (y_i - h(x_i))^2 −2β∑i=1n(yi−h(xi))2就是我们定义的风险 R S ( h ) R_S(h) RS(h)的部分,它表示模型在训练数据上的平均误差。
因此,我们有:
−
ln
p
(
S
∣
h
)
=
−
n
2
ln
β
+
n
2
ln
(
2
π
)
+
β
2
n
R
S
(
h
)
-\ln p(S|h) = -\frac{n}{2} \ln \beta + \frac{n}{2} \ln(2\pi) + \frac{\beta}{2} n R_S(h)
−lnp(S∣h)=−2nlnβ+2nln(2π)+2βnRS(h)
这就是似然的负对数的表达式。
为了完整地解决优化问题,你还需要一个先验的负对数形式。比如,如果 h h h的先验是高斯分布,那么负对数先验的形式会是 h h h的二次函数。
结合似然和先验的负对数形式,你可以使用优化技巧(例如梯度下降)来求解 h MAP h_{\text{MAP}} hMAP。这样得到的 h MAP h_{\text{MAP}} hMAP既考虑了数据的似然,又考虑了先验知识,从而可能得到更好、更稳定的估计结果。
Bias and Variance
当 λ \lambda λ 很小或为0时:模型可能会过于复杂,拟合训练数据中的每一个细节,包括噪声。这会导致低偏差但高方差,即模型容易过拟合。
当 λ \lambda λ 很大时:模型会变得过于简单,参数值会被强烈地压缩,导致模型不能很好地捕获数据中的模式。这会导致高偏差但低方差,即模型容易欠拟合。
Robustness among Surrogate Loss Functions
在许多优化问题中,直接对目标函数进行操作可能会非常困难。可能是因为这个函数在数学上很复杂,或者它涉及到的计算量太大,导致直接优化不切实际。在这些情况下,转化或重参数化问题可以使其更容易处理。
在这里,考虑 g ( t ) = f ( t h ) g(t) = f(th) g(t)=f(th) 是一个这样的尝试。通过引入新的变量 t t t 并考虑如何改变 h h h 的长度(即通过 t t t 来缩放),我们试图在某种程度上简化问题。
当 t = 1 t=1 t=1 时,我们实际上是在查看原始函数 f f f 在点 h h h 的行为。如果 g ′ ( 1 ) = 0 g'(1) = 0 g′(1)=0,那么我们知道 f f f 在 h h h 这点取得极值(可能是最小值或最大值)。因此,这个技巧为我们提供了另一种方式来寻找 f ( h ) f(h) f(h) 的最小值点,而不是直接对 f f f 进行操作。
现在考虑四种损失函数及其对应的 g ′ ( 1 ) g'(1) g′(1):
-
最小二乘损失 (Least squares loss):
ℓ ( h ( x i ) , y i ) = ( y i − h ( x i ) ) 2 \ell(h(x_i), y_i) = (y_i - h(x_i))^2 ℓ(h(xi),yi)=(yi−h(xi))2
这意味着,
g ′ ( 1 ) = − 2 ∑ i = 1 n ( y i − h ( x i ) ) h ( x i ) g'(1) = -2 \sum_{i=1}^n (y_i - h(x_i)) h(x_i) g′(1)=−2i=1∑n(yi−h(xi))h(xi) -
绝对损失 (Absolute loss):
ℓ ( h ( x i ) , y i ) = ∣ y i − h ( x i ) ∣ \ell(h(x_i), y_i) = |y_i - h(x_i)| ℓ(h(xi),yi)=∣yi−h(xi)∣
这的导数与误差的符号有关。 -
Cauchy损失 (Cauchy loss):
ℓ ( h ( x i ) , y i ) = log ( 1 + ( y i − h ( x i ) ) 2 σ 2 ) \ell(h(x_i), y_i) = \log(1 + \frac{(y_i - h(x_i))^2}{\sigma^2}) ℓ(h(xi),yi)=log(1+σ2(yi−h(xi))2)
其中, σ \sigma σ是一个正的常数。 -
Correntropy损失 (Welsch loss):
ℓ ( h ( x i ) , y i ) = σ 2 2 ( 1 − exp ( − ( y i − h ( x i ) ) 2 σ 2 ) ) \ell(h(x_i), y_i) = \frac{\sigma^2}{2}(1 - \exp(-\frac{(y_i - h(x_i))^2}{\sigma^2})) ℓ(h(xi),yi)=2σ2(1−exp(−σ2(yi−h(xi))2))
对于每个损失函数, g ′ ( 1 ) g'(1) g′(1)都会有一个与 c i = ( y i − h ( x i ) ) ( − h ( x i ) ) c_i = (y_i - h(x_i))(- h(x_i)) ci=(yi−h(xi))(−h(xi))相关的项。这个项可以被看作是数据点 ( x i , y i ) (x_i, y_i) (xi,yi)对损失函数的贡献与 h ( x i ) h(x_i) h(xi)的关系。具体地说, c i c_i ci可以被看作为两部分的乘积:
-
( y i − h ( x i ) ) (y_i - h(x_i)) (yi−h(xi)):这是观测值 y i y_i yi与预测值 h ( x i ) h(x_i) h(xi)之间的误差。此误差项衡量了模型在特定数据点上的预测准确性。
-
− h ( x i ) - h(x_i) −h(xi):这是模型预测的负值,这种乘积形式通常是为了衡量模型的响应强度和误差之间的关系。在某些情境中,更强烈的模型响应(无论正负)可能与更大的误差相关。
整体来说, c i c_i ci是一个衡量在数据点 ( x i , y i ) (x_i, y_i) (xi,yi)上模型响应强度与模型误差之间关系的量。不同的损失函数会对这些项赋予不同的权重,当误差(或噪声)增大时,某些损失函数会对这些项赋予更小的权重,从而更"鲁棒"。
NMF
-
标准的NMF (Basic NMF):
使用欧氏距离或Frobenius范数来最小化重建误差。此方法对噪声敏感。
min W , H ∥ X − W H ∥ F 2 subject to W ≥ 0 , H ≥ 0 \min_{W,H} \|X - WH\|_F^2 \text{ subject to } W \geq 0, H \geq 0 W,Hmin∥X−WH∥F2 subject to W≥0,H≥0 -
L1-Norm Regularized Robust NMF:
在NMF的基础上加入L1正则化项,旨在捕获噪声和离群值。
min W , H , E ∥ X − W H − E ∥ F 2 + λ ∥ E ∥ 1 subject to W ≥ 0 , H ≥ 0 \min_{W,H,E} \|X - WH - E\|_F^2 + \lambda \|E\|_1 \text{ subject to } W \geq 0, H \geq 0 W,H,Emin∥X−WH−E∥F2+λ∥E∥1 subject to W≥0,H≥0 -
L1-Norm Based NMF:
使用L1范数来衡量重建误差,使得分解更加鲁棒,尤其是对噪声和离群值。L1范数倾向于产生稀疏的解。
min W , H ∥ X − W H ∥ 1 subject to W ≥ 0 , H ≥ 0 \min_{W,H} \|X - WH\|_1 \text{ subject to } W \geq 0, H \geq 0 W,Hmin∥X−WH∥1 subject to W≥0,H≥0 -
L2,1-Norm Based NMF:
使用L2,1范数来增强鲁棒性。L2,1范数可以鼓励列的稀疏性,使得某些特定的特征在所有样本上都为零,这有助于去除离群值带来的影响。
min W , H ∥ X − W H ∥ 2 , 1 subject to W ≥ 0 , H ≥ 0 \min_{W,H} \|X - WH\|_{2,1} \text{ subject to } W \geq 0, H \geq 0 W,Hmin∥X−WH∥2,1 subject to W≥0,H≥0 -
Truncated Cauchy NMF:
这种方法使用截断的Cauchy损失来增加鲁棒性。与L1和L2范数相比,Cauchy损失更能够容忍较大的离群值,因此这种方法在面对有很多噪声和离群值的数据时更为鲁棒。 -
Hypersurface Cost Based NMF:
通过在损失函数中加入超曲面成本项来增加鲁棒性。此方法试图找到描述数据变化的超曲面,从而更好地应对噪声和离群值。