2019-AAAI
摘要
多标签学习 (MLL) 旨在从训练数据中学习，其中每个示例由单个实例表示，同时与一组候选标签相关联。大多数现有的 MLL 方法通常旨在处理丢失标签的问题。然而，在许多现实世界的场景中，多标签数据的标签信息总是冗余的，这是经典的 MLL 方法无法解决的，因此提出了一种新颖的部分多标签学习 (PML) 框架来解决这个问题，即从多标签集中删除嘈杂的标签。在本文中，为了进一步提高 PML 框架的去噪能力，我们利用低秩和稀疏分解方案，提出了一种新颖的通过低秩和稀疏分解（PML-LRS）方法进行的部分多标签学习。具体来说，我们首先将观察到的标签集重新构造为标签矩阵，然后将其分解为真实标签矩阵和不相关标签矩阵，其中前者被约束为低秩，而后者被假设为稀疏。接下来，我们利用特征映射矩阵来探索标签相关性，同时将特征映射矩阵约束为低秩，以防止所提出的方法过拟合。最后，我们通过最小化标签损失来获得真实标签，其中结合了增强拉格朗日乘数 (ALM) 算法来解决优化问题。大量的实验结果表明，与其他最先进的方法相比，PML-LRS 可以实现卓越或具有竞争力的性能。
为了克服上述问题，（Xie and Huang 2018）提出了一种称为部分多标签学习（PML）的新框架，用于从具有冗余标签信息的多标签数据中学习，其中他们利用标签置信度来衡量被每个候选标签的groundtruth标签，并根据标签排名获得groundtruth标签。但是，这种方法也存在一些缺点，即仅简单地利用先验知识获取标签相关性，或者直接使用冗余标签信息对特征原型进行 ob5016 tain 获取标签置信度值，可能会降低学习模型的有效性.因此，处理 PML 问题的一种直观策略是消歧，即如何从候选标签中识别出真实标签。然而，一旦不相关的标签过度冗余，这样的识别工作就相当具有挑战性甚至是不可能的。幸运的是，在实际场景中，不相关的标签通常在观察到的标签中是稀疏的，这使得消歧工作变得可能并且易于实现。
| 1、我们提出了通过低秩和稀疏分解（PML-LRS）方法进行的部分多标签学习，该方法能够同时从观察到的标签矩阵中捕获真实标签矩阵并学习预测模型通过低秩和稀疏分解方案。。 |
| 2、具体来说，我们首先通过假设不相关标签是稀疏的来引入'1-范数正则化来约束冗余标签矩阵，其次，引入了跟踪规范正则化来捕获真实标签之间的依赖关系。第三，充分利用标签相关性，通过迹范数正则化约束特征映射矩阵。 |
| 3、最后，采用增广拉格朗日乘数（ALM）方法学习期望的部分多标签预测模型。与之前的 PML 算法相比，我们的方法可以去除不相关的标签，避免噪声标签的负面影响，这使得我们的方法在实际应用中变得更加健壮和适用。在真实世界数据集上的大量实验结果验证了我们的模型相对于其他竞争算法的有效性。 |
符号定义
实例矩阵X=[x1,𝑥2,.….,𝑥𝑛]∈𝑅𝑑×𝑛 ,d是特征的维度和n是实例的数量，标签矩阵Y=[𝑦1,𝑦2,.…𝑦k]𝑇 ∈{0,1}𝑘×𝑛 ,k是标签的数量，如果实例 j 用标签 𝑦𝑖标注，则 𝑦𝑖𝑗 = 1；否则，𝑦𝑖𝑗= 0
多标签学习模型目标函数表示如下
Rank(W)表示一个正则化项以限制模型的复杂度
秩函数的离散，使使用种流行的方法是用迹范数（或核范数）替换秩函数。
假设不相关的标签矩阵为稀疏的，引入“1-范数正则化”来约束冗余标签矩阵，引入了trace norm正则化来捕获ground-truth标签之间的依赖关系
因为秩和基数算子是不连续的和非凸的。因此，这些算子分别放松到它们的凸代理：核范数和'1-范数。
部分多标签学习模型的最终目标函数，η、γ 和 β 是权衡参数以保持模型的平衡
实验数据集
结论
在本文中，我们提出了一种新颖的方法来以有原则的方式解决部分多标签学习问题。解决部分多标签学习问题的关键是从冗余标签矩阵中识别真实标签。所提出的算法试图利用低秩和稀疏分解的思想从观察到的候选标签矩阵中捕获真实标签矩阵和不相关的标签矩阵，同时训练预测模型。广泛的实验结果表明，我们的方法是有效的，并且在多个数据集上优于其他基线方法。
