DSNT与SCN
1. DSNT
地址:anibali/dsntnn: PyTorch implementation of DSNT (github.com)
比起主流的预测heatmap再使用argmax获得最大响应点的方法,作者提出用soft-argmax方法,直接从featuremap计算得到近似的最大响应点,从而模型可以直接对坐标值进行回归预测。
该方法的好处是:
可以极大节约显存,减少了很多代码量(省去了高斯热图的生成)
计算速度很快(省去argmax)
训练过程全部可微分
能取得还不错的效果
但是从近年的新论文实验对比,基于坐标回归的方法,先天缺少空间和上下文信息,这限制了方法的性能上限
(2021.7.8)补充:
DSNT这种regression-based method对移动端非常友好,在移动设备上为了提高fps往往特征图会压到14x14甚至7x7,这个尺度下heatmap根本用不了
另一个好处是可以比较方便地混合使用2d和3d训练数据,由于每一轴上的坐标都是通过将特征图求和压缩到一维再求期望得到的,因此可以很容易地用2d数据监督3d特征图(2d只比3d少算一次回归)<