Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification-Accepted to NeurIPS 2021 Workshop on Deep Generative Models and Downstream Applications

文章目录

• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification-Accepted to NeurIPS 2021 Workshop on Deep Generative Models and Downstream Applications
• 前言
• 一、摘要
• 二、method
• • 1.高斯混合潜在的空间
  • 2.contrastive learning
  • 3.Loss
• 三、实验
• 总结

前言

学习该篇论文讲了什么内容，学习method

一、摘要

我们的方法还采用了学习和对齐特征和标签的潜在空间的思想。与基于单峰先验的先前工作相比，C-GMVAE 在潜在空间上施加了高斯混合结构，以缓解后向塌陷和过度正则化问题。

二、method

1.高斯混合潜在的空间

这里通过网络对标签进行embedding，然后进行独立高斯分布

通过$y$激活正类的标签，从而获得高斯混合子空间。

这里embedding得到的标签维度与后面$\hat{x}$的维度保持一致。
然后采用KL散度进行计算loss

重建损失仍然是标准的负对数似然：

2.contrastive learning

若样本存在该标签：

若样本不存在该标签：

3.Loss

预测的$\hat{y}$，通过$\hat{x}$激活得到。

三、实验

实验数据
mulan公开数据集
在5个指标上效果很好：

总结

这篇文章利用了标签嵌入维度，与特征变换后维度一致来运用对比学习。如果原样本有这个标签就降低该损失，如果没有这个标签就增加损失。通过这种方式来增加特征和标签的相关性。