Anomaly Detection 异常检测之 CSI：Contrasting shifted instances论文解读-CFANZ编程社区

1. 背景

异常检测目标

给定数据集 ${x_{m}}_{m = 1}^{M} \{x_m\}^M_{m=1}$ ，分布外（OOD）检测的目标是对 $\{x_m\}$ 上的检测器建模，识别x为分布内（ID）或者分布外（OOD）数据。

对比学习

对比学习的思想是学习编码器 $f_θ$ ，以提取必要的信息，将相似样本与其他样本区分开来。设 $x$ 为查询， ${x_+}$ 与 ${x_−}$ 分别为一组正样本和负样本。对比损失的原始形式定义如下：在这里插入图片描述
其中 $|{x_+}|$ 表示集合{x+}的势， $z(x)$ 表示对比层的输出特征， $τ$ 表示温度超参数。可以定义对比特征 $z(x)$ 。 $sim(z,z')$ 为余弦相似性。

在这里插入图片描述
可以直接定义对比特征 $z(x)$ 为编码器 $f_θ$ ，即 $z(x)=f_θ(x)$ ，或应用额外的投影层 $g_φ$ ，即 $z(x)=g_φ(f_θ(x))$ 。论文中使用了投影层。

SimCLR的目标损失函数通过对比损失来定义：
在这里插入图片描述
其中 $B:={x_i}^B_{i=1}$ 为给定的批次，每个 $(\tilde{x}^{(1)}_i，\tilde{x}^{(2)}_i)$ 为查询密钥（query-key）对，分别为对样本 $x$ 进行两个同系列变换得到的变换样本。其他来自不同图片的样本为负样本。

2. CSI

2.1 Contrasting shifted instances

论文定义的 CSI（Contrasting shifted instances）损失为：

其中 $S S$ 为不同变换（包括恒等式 $I$ ）中的一个，即 $S∈ \{S_1, . . . , S_{K−1}\}$ .

2.2 Classifying shifted instances

论文还考虑了一个辅助任务，该任务可以预测给定的输入 $x x$ 应用了哪些移位转换 $y^S∈ S$ ，以便于 $f_θ$ 区分每个移位实例。论文在 $f_θ$ 上添加了一个线性层，用于建模辅助softmax分类器。设 $\tilde{B}_S$ 为通过SimCLR从 $B_S$ 扩充而来的批次，损失定义如下：

最终损失CSI通过结合两个目标来定义：

实验中 $λ=1$ 。