今天分享一篇2021最新的人体姿态估计综述,这里仅做简单的内容介绍,详细的细节请参考原文,如果对你有所帮助,欢迎分享给你的小伙伴!
标题:Single Person Pose Estimation: A Survey
论文:https://arxiv.org/pdf/2109.10056.pdf
ICCV2021 论文整理:https://github.com/DWCTOD/ICCV2021-Papers-with-Code-Demo
1、摘要
无约束图像和视频中的人体姿态估计是计算机视觉的一项基本任务。为了说明技术上的发展路径,在本次调查中,我们在结构化分类法中介绍了人类姿态方法,特别关注深度学习模型和单人图像设置。具体而言,我们检查和调查了典型人体姿态估计管道的所有组件,包括数据增强、模型架构和主干网络、监督表征、后处理、标准数据集、评估指标。为了展望未来的发展方向,我们最后讨论了人体姿态估计中尚未解决的关键问题和潜在的发展趋势。
深度学习人体姿态估计pipeline:
模型组件视角下的人体姿态估计分类:
2、数据增强
2.1 Random Data Augmentation
- Flipping
- Rotation
- Scaling
- Color jittering
- Occlusion
- Pose-specific augmentations
2.2 Optimized Data Augmentation
Two representative types of learning framework in the literature are adversarial learning and neural architecture search.
文献中两种有代表性的学习框架是对抗式学习和神经结构搜索。
3、Model Architecture and Network Design
3.1 Model Architecture
- Sequential architecture
- Cascaded architecture
- Recurrent architecture
- Adversarial architecture
3.2 Network Design
- Multi-scale feature learning
- Prior knowledge incorporation
- Spatial relation modelling
- Attention mechanism
4、Post-processing
5、Supervision Representatio
人体姿态估计的方法可分为基于坐标的和基于热力图的方法
6、Human Pose Dataset
数据集示例:
数据集概述:
7、Performance Evaluation Metrics
Percentage of Correct Parts (PCP).
- Percent of Detected Joints (PDJ)
- Percentage of Correct Keypoints (PCK)
- Other Metrics.