A closer look at local aggregation operators in point cloud analysis Liu等人(2020)
Liu等人(2020)针对点云局部特征聚合操作,总结了基于多层感知机(multi-layer perceptron,MLP)、基于伪网格特征和基于相对位置加权的3种改进方式。
浅看一下论文的三种改进方式
最近的点云处理方法开发了可以直接对无序和非网格三维点数据建模的网络。这些针对点云设计的体系结构由两层组成:逐点转换层和局部聚合层。当逐点变换层应用于每个点的特征时,局部聚合层对点的作用与卷积层对图像像素的作用相似。具体来说,它以特征和邻域点到中心点的相对位置作为输入,输出该中心点的变换特征。为了在不同的点云处理任务中获得更好的性能,开发有效的局部聚合算子是点云网络设计的一个关键任务。
现有的局部聚合算子根据其结合相对位置和点特征的方式大致可以分为三类:基于点向多层感知(MLP)的[22,35,13,11],基于伪网格特征的[9,17,38,12,27,30]和基于自适应权值的[34,5,16,36,32,14]。
基于逐点MLP的方法通过连接的方式平等地对待点特征及其相应的相对位置。然后用一个小的PointNet[20](多个逐点转换层,然后是一个MAX池化层)对邻域的所有连接特征进行抽象,以产生中心点的输出特征。基于伪网格特征的方法首先在预定义的网格位置上生成伪特征,然后像正则卷积层一样学习这些网格位置上的参数化权值。基于自适应权值的方法通过加权平均对相邻特征进行聚合,并根据相邻特征的相对位置自适应地确定权值。
Point-wise MLP based Methods
N (i)表示点i的邻域。j ∈ N (i),边缘特征{fi,∆fij}(∆fij = fj−fi)可以代替∆pij作为输入。
拼接后的多个逐点层可以近似任何关于相对坐标和点特征的连续函数,缺点在于计算复杂度大。
Pseudo Grid Feature based Methods
在多个采样的规则网格点上生成伪特征,从而可以应用规则卷积方法。有代表性的方法是KPConv[30],对均匀分布的球面网格点进行采样,计算第k个网格点上的伪特征为
每个网格点k的索引与中心点的相对位置∆pik
Adaptive Weight based Methods
基于自适应权值的方法定义任意相对位置上的卷积滤波器,因此可以计算所有相邻点上的聚合权值。H通常由几个点向变换(全连接)层实现[34,5]
本文使用的残差架构。它由5个不同的点分辨率阶段组成,每个阶段由几个瓶颈剩余块堆叠。每个瓶颈残块依次由1×1点向转换层、局部聚合层和另一个1×1点向转换层组成。在连接两个阶段的块上,采用跨行的局部聚合层,以较高的分辨率选择局部邻域,以较低的分辨率输出。为了便于训练,在每1 × 1层之后应用批处理归一化和ReLU层。对于头部网络,我们分别使用4层分类器和U-Net风格的编码器-解码器[24]进行分类和语义分割。
PosPool: An Extremely Simple Local Aggregation Operator
fj0;1; 2是fj等分的3个子向量,如fj = [f 0 j;f 1 j;f 2 j ]