本文提出了一种名为多层解缠网络（MDNet）的新模型，用于基于多模态生理信号进行跨个体情感识别。MDNet 通过结合模态级解缠模块和个体级解缠模块，分别提取模态不变特征和模态特定特征，从而同时建模多模态信号的一致性与异质性。此外，模型还处理个体差异，通过分离共享特征和个体特征来提高跨个体情感识别的准确性。实验结果表明，MDNet 在两个多模态情感数据集上表现优于其他现有方法。
1 多层解缠网络
l多模态情感识别
- 多模态情感识别是通过整合来自不同模态（如生理信号、文本、音频和视频）的信息，来准确识别和分析人类情感状态的技术。该方法可以克服单一模态带来的局限性，提供更全面的情感理解。
l跨个体情感识别
- 跨个体情感识别是指通过分析不同个体的生理信号，识别和理解他们的情感状态。这一过程面临个体差异和生理信号一致性与异质性等挑战，需采用有效的模型进行特征提取与融合。
多层解缠网络通过整合模态和个体层面的特征，提升情感识别性能。其在多个多模态情感数据集上表现出色，超越现有技术。
模态级解缠模块：
- ·提取模态不变特征和模态特定特征。
- ·同时建模多模态生理信号的一致性和异质性。
· 个体级解缠模块：
- ·分离共享特征和个体特征，处理个体差异。
- ·增强跨个体情感识别的准确性。
2 结语
这篇文章提出了一种多层解缠网络（MDNet），旨在通过同时建模多模态生理信号的一致性和异质性，以及跨个体的个体差异，实现更高效的跨个体情感识别。
论文题目： Multi-level Disentangling Network for Cross-Subject Emotion Recognition Based on Multimodal Physiological Signals
论文链接： https://www.ijcai.org/proceedings/2024/340
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
精彩回顾
1. PTDE: 用于多智能体强化学习的个性化训练与蒸馏
2. AutoML-Agent：用于自动机器学习的多智能体框架
3. 多模态兴趣点推荐
