0
点赞
收藏
分享

微信扫一扫

NMS和soft-NMS

NMS

python实现代码:

import numpy as np
import matplotlib.pyplot as plt


def py_cpu_nms(dets, thresh):

   x1 = dets[:, 0]
   y1 = dets[:, 1]
   x2 = dets[:, 2]
   y2 = dets[:, 3]
   scores = dets[:, 4]
   areas = (x2-x1+1)*(y2-y1+1)
   res = []
   index = scores.argsort()[::-1]
   while index.size>0:
       i = index[0]
       res.append(i)
       x11 = np.maximum(x1[i],x1[index[1:]])
       y11 = np.maximum(y1[i], y1[index[1:]])
       x22 = np.minimum(x2[i],x2[index[1:]])
       y22 = np.minimum(y2[i],y2[index[1:]])

       w = np.maximum(0,x22-x11+1)
       h = np.maximum(0,y22-y11+1)

       overlaps = w * h
       iou = overlaps/(areas[i]+areas[index[1:]]-overlaps)

       idx = np.where(iou<=thresh)[0]
       index = index[idx+1]
   print(res)
   return res

def plot_boxs(box,c):
    x1 = box[:, 0]
    y1 = box[:, 1]
    x2 = box[:, 2]
    y2 = box[:, 3]

    plt.plot([x1,x2],[y1,y1],c)
    plt.plot([x1,x2],[y2,y2],c)
    plt.plot([x1,x1],[y1,y2],c)
    plt.plot([x2,x2],[y1,y2],c)
    
if __name__ == '__main__':
    boxes = np.array([[100, 100, 210, 210, 0.72],
                      [250, 250, 420, 420, 0.8],
                      [220, 220, 320, 330, 0.92],
                      [230, 240, 325, 330, 0.81],
                      [220, 230, 315, 340, 0.9]])
    plt.figure()
    ax1 = plt.subplot(121)
    ax2 = plt.subplot(122)
    plt.sca(ax1)
    plot_boxs(boxes,'k')

    res = py_cpu_nms(boxes,0.7)
    plt.sca(ax2)
    plot_boxs(boxes[res],'r')
    plt.show()

在这里插入图片描述

soft-NMS

论文(CVPR2017): 《Improving Object Detection With One Line of Code》

Soft-NMS的优势

  • 它仅需要对传统的NMS算法进行简单的改动且不增额外的参数。该Soft-NMS算法在标准数据集PASCAL - VOC2007(较R-FCN和Faster-RCNN提升1.7%)和MS-COCO(较R-FCN提升1.3%,较Faster-RCNN提升1.1%)上均有提升。
  • Soft-NMS具有与传统NMS相同的算法复杂度,使用高效。
  • Soft-NMS不需要额外的训练,并易于实现,它可以轻松的被集成到任何物体检测流程中。

原理

见下图伪代码,整个改进只需要使用绿色虚线表示的Soft-NMS替换红色虚线表示的NMS。

B集合是检测到的所有建议框,S集合是各个建议框得分(分数是指建议框包含物体的可能性大小),Nt是指手动设置的阈值。M为当前得分最高框,bi 为待处理框。

在这里插入图片描述

  • f(iou(M,bi))权重函数的形式
    • 原来的NMS可以描述如下:将IoU大于阈值的窗口的得分全部置为0。在这里插入图片描述

    • Soft-NMS的改进有两种形式,一种是线性加权的:
      在这里插入图片描述

    • 一种是高斯加权的:
      在这里插入图片描述

综上,soft-nms的核心就是降低置信度。比如一张人脸上有3个重叠的bounding box, 置信度分别为0.9, 0.7, 0.85 。选择得分最高的建议框,经过第一次处理过后,得分变成了0.9, 0.65, 0.55(此时将得分最高的保存在D中)。这时候再选择第二个bounding box作为得分最高的,处理后置信度分别为0.65, 0.45(这时候3个框也都还在),最后选择第三个,处理后得分不改变。最终经过soft-nms抑制后的三个框的置信度分别为0.9, 0.65, 0.45。最后设置阈值,将得分si小于阈值的去掉。

效果示例

在这里插入图片描述
假如还检测出了3号框,而我们的最终目标是检测出1号和2号框,并且剔除3号框,原始的nms只会检测出一个1号框并剔除2号框和3号框,而softnms算法可以对1、2、3号检测狂进行置信度排序,可以知道这三个框的置信度从大到小的顺序依次为:1-》2-》3(由于是使用了惩罚,IoU越大,得分越低,所有可以获得这种大小关系),如果我们再选择了合适的置信度阈值,就可以保留1号和2号,同时剔除3号,实现我们的功能。

但是,这里也有一个问题就是置信度的阈值如何选择,作者在这里依然使用手工设置的值,依然存在很大的局限性,所以该算法依然存在改进的空间。

参考:https://zhuanlan.zhihu.com/p/41046620

举报

相关推荐

0 条评论