背景

• 通过网络预测关节点有两种方式，一种是预测Nnn*n的heatmap，另外一种是预测预测heatmap通过积分计算获取关节点的位置，前者可参考视频reference,后者后可参考论文笔记1
• 当前直接预测关节点位置的方法，可能出现关节长度的异常或者左右肢体长度不对称的情况，带有shape的人体模型可以反过来对关节点的位置进行优化
• 【基于模型的预测】直接从图像预测模型参数比较困难，所有有的方法会在输入端借助3D关节点的位置、人体肢体分割或者2D heatmap,本文采用借助3D关节点位置的方法
• 【反向动力学】reference1
  中有对机器人自由度进行简化的操作
  reference2涉及swing-twist

方法介绍

• 基于3D关节点位置预测模型参数，模型可以反过来优化关节点的位置
• 采用3D关节点位置采用反向动力学预测角度是一个ill-posed的问题，没有唯一解
• 本文采用swing-twist方式实现反向动力学中的旋转，即纵向旋转和平面内旋转，其中swing是采用3D关节点的位置计算出的，而twist是网络预测出的一个自由度，并根据关节对其进行相应的角度限制
• 利用解析解可解释的特征和神经网络的灵活性，引入了前馈混合 IK 算法，该方法可微分，因此可以进行端到端的训练
• 对左臀、右臀、脊柱进行SVD分解，可以得到根节点的旋转R0
• 因为初始关节和目标关节长度不同，所以引入了容差项，该项以目标方向为方向向量，其长度为初始与目标长度的差异
• 采用网络去预测3D关节点的位置P、twist角度和shape参数，再采用smpl模型获取模板T，然后将P、T、和twist角度送人HybrIK结构，即可得到预测的角度，将角度送入smpl模型就可以得到最终的关节点的位置。
• 3D关节点位置的预测采用Integral human pose regression方法，预测twist角度时采用预测正余弦两个变量，而不是一个角度的方式
  [方法效果依赖计算出的根节点的旋转角度]
• 输入图像被resize到256*192,输入图像为什么不是正方形
• 消融实验说明了twist正确预测的影响，twist的不准确并不影响重建的smpl关节点位置的准确性，但是会影响根据smpl生成的mesh的凸点的位置,进而影响由mesh生成的LSP的关节点的位置