20220304 组会记录

论文一

文章做的工作就如同标题说的, 在防御MIA(Membership Inference Attacks)的同时, 也不损失分类精度

在 $n$ 个 $e p o c h$ 中

自己设定一个阈值 $\alpha$ , 当计算交叉熵损失在 $\mathcal{L}(\theta)\geq\alpha$ 时, 就对损失值做梯度下降更新模型参数 $\theta$
假如此时 $\mathcal{L}(\theta)\lt\alpha$ 时
1. 当此时 $e p o c h$ 为偶数时, 则对模型参数 $\theta$ 做梯度上升更新
2. 当此时 $e p o c h$ 为奇数时, 则通过以下方法对模型参数 $\theta$ 进行以下更新
  1. 当前样本 $x_i$ , 经过模型的输出得到 $p_i=f(x_i;\theta)$
  2. 对样本 $x_i$ 构建软标签得到 $t_i$ , 其中 $t_i$ 是样本 $x_i$ 的软标签
  $t^{c}_{i}=\left\{ \begin{array}{l} p_i^c & & {if \quad y_i^c=1}\\ (1-p_i^{gt})/(C-1) & & {otherwise} \end{array} \right.$
  
  论文中算法流程图中给出的是 $1-p_i^c)$ , 但是真正的应该是 $1-p_i^{gt})$
  1. 用软标签 $t_i^c$ 计算交叉熵损失
  1. 根据用软标签计算出来的交叉熵损失 $\mathcal{L}$ 进行梯度下降更新模型参数 $\theta$
算法流程图:

在 $\mathcal{L}$ 小于 $\alpha$ 后, 为什么要梯度上升?
1. 防止"过于拟合"训练集
2. "拉宽"决策边界
3. 我们猜测作者是想通过对训练集放松拟合, 以尝试去提高在测试集上的精度
4. 但是没有确切理论可以证明在训练集上"放松"拟合, 可以提高泛化性
在 $\mathcal{L}$ 小于 $\alpha$ 后的另外一个操作, 为什么要用软标签? 而且要将非真实类"拉平(平均)"
1. 也是和上述第一点提到的一样, 并不想梯度"直直地"往着 $[0, 0, 1]$ 的方向走去拟合训练集
2. 对非真实类"拉平"通俗地讲是防止"差异化", 防止成员推理攻击(MIA)
3. 最终, 模型并非往着 $[0, 0, 1]$ 的方向走, 也不是往着 $[0.1, 0.2, 0.7]$ 的方向走, 而是往着 $[0.15, 0.15, 0.7]$ 的方向走
4. 这样做的目的无非也就是防止对训练集"过于拟合", 以达到在测试集上"有更高精度", 并且防止"差异化"过大而受到MIA

此为组会记录, 并未仔细读过该篇论文, 且对 MIA 成员推理攻击并未有过多了解, 因此该篇文章仅作记录.

论文下载