下表根据是否使用单视图或多视图方法以及是否使用主动学习来对半监督技术进行分类. 粗体显示的即为本文的成果.

1. Democratic Co-Learning

文中符号表定义如下:

Democratic Co-Learning 算法流程如下:

• 1.在每个 ${\mathbf{L}}_{\mathbf{i}}$ 上利用 $A_i$ 训练分类器 $H_i$.
• 2.使用 $H_i$ 为 $\mathbf{U}$ 上的每个示例 $x$ 预测一个标签值 $c_j$, 令 $c_k$ 为 majority prediction.
• 3.计算 $H_i$ 在 $\mathbf{L}$ 上的 95% 置信区间 $[l_i,h_i]$ 和平均置信度 $(l_i+h_i)/2$.
• 4.初始化 $n$ 个 ${\mathbf{L}}^{\prime }$, 如果多数群体中学习者的平均置信值之和大于少数群体中学习器的平均置信值之和, 则将 $(x,c_k)$ 加入到 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 中.
• 5.评估将 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 添加到 ${\mathbf{L}}_{\mathbf{i}}$ 中是否提升准确率. 计算 $H_i$ 在 ${\mathbf{L}}_i$ 上的 95% 置信区间 $[l_i,h_i]$, 然后分别计算在 ${\mathbf{L}}_i$, ${\mathbf{L}}_i^{\prime }$ 和 ${\mathbf{L}}_i\cup {\mathbf{L}}_i^{\prime }$ 上的错误率 $q_i$, $e_i^{\prime }$ 和 $q_i^{\prime }$.
• 6.如果 $q_i^{\prime }>q_i$ 则将 ${{\mathbf{L}}_{\mathbf{i}}}^{\prime }$ 添加到 ${\mathbf{L}}_{\mathbf{i}}$ 中
• 7.重复操作1-6直到 ${\mathbf{L}}_1,\cdots {\mathbf{L}}_n$ 不在变化时为止. 最终返回一个组合的分类器 $Combine(H_i,\dots ,H_n)$. 组合算法如1.2所示.

1.1 Labeling Criteria

除非大多数学习器同意标签, 否则一个学习器不会为另一个学习器标记未标记的示例. 除此多数票要求外, 我们还要求多数群体中学习者的平均置信值之和大于少数群体中学习器的平均置信值之和, 其中学习器的平均置信度为 $(l+h)/2$, $l$ 和 $h$ 由 95% 置信区间 $[l,h]$ 定义. 使用以置信度为权重的投票, 可以消除大多数学习器以非常低的置信度做出相同错误预测的可能性.

为了平衡向训练数据添加更多标记示例的好处与标签中可能出现的噪声率增加, 使用一些测试来估计标记数据的增加是否足以补偿错误标记示例数量的增加. 具体细节在上面算法流程中已经展示.

1.2 Combining

除了每个标签的票数外, 我们还考虑了每个单独分类器的置信度值(以 95% 置信区间的平均值衡量). 我们将分类器分为 $r$ 组, 每组大小为 $n$, 并对应一个可能的标签. 我们使用 $m-estimator$ 来调整每个组的平均置信度值的平均值, 以便如果一个组的平均平均置信度值(average mean confidence value)较小时, the average mean confidence value of a group is discounted more.

我们使用 $s=\frac{n+0.5}{n+1}$ 的 Laplace 校正来避免投票频率为零, 并且当小组规模太小时, 偏向0.5的投票权. 具有最高discounted confidence value的分类器组用于预测示例. 当组内分类器的置信度值方差较大时, 上述调整可能无效. 因此, 我们忽略任何置信度值小于 50% 的分类器. 如下图所示:

• 1.计算 $H_i$ 在 $\mathbf{L}$ 上的 95% 置信区间 $[l_i,h_i]$ 和平均置信度 $w_i=(l_i+h_i)/2$.
• 2.对于每个实例空间的示例 $x$, 如果 $H_i(x)$ 有预测值 $c_j$ 并且 $w_i>0.5$, 则将 $H_i$ 添加到集合 $G_j$ 中. 同时计算 $G_j$ 的平均置信均值 ${\overline{C}}_{G_j}$.
• 3.选择最大 ${\overline{C}}_{G_j}$ 对应的组 $G$, 即最终得到组合 $H$.

2. Democratic Priority Sampling

在 Democratic Co-Learning 中, 我们首先使用标记数据 $\mathbf{L}$ 训练 $k$ 个不同的学习器以获得 $k$ 个分类器 $H_1,\dots ,H_k$. 然后, 一种选择要主动标记的示例的可能方法是使用 QBC 中的投票熵. 但是, 我们还希望将每个单独分类器的置信度纳入优先级估计中. 因此, 我们定义了一个置信加权投票熵, 通过计算由分类器的平均置信度加权的投票熵, 将每个单独分类器的置信度纳入优先级估计中.

令 $r$ 为不同的标签的个数, $G_i(x)$ 为分类器 $H_1,\dots ,H_k$ 的集合. 定义未标记示例 $x$ 的优先级为:
$$Priority(x)=-\sum _{i=1}^r\frac{W_i(x)}{W}\log \frac{W_i(x)}{W}$$
其中:

• $W_i(x)={\sum }_{H_j\in G_i(x)}{w}_j$.
• $w_j$ 为 $H_j$ 的 95% 置信区间的平均值.
• $W={\sum }_{j=1}^k{w}_j$

将具有最高优先级标签的示例提供给专家进行标记. 然后使用更大的标记数据池重新计算假设, 并重复该过程.