一、视觉里程计方法:特征点法和光流法。(视觉里程计的核心是如何根据图像估计相机运动)
1.1 特征点法:提取和匹配特征点,然后根据配对的特征点估计相机的运动。
特征点由关键点和描述子组成。关键点是指特征点在图像里的位置,有些特征点还具有朝向、大小信息;描述子通常是一个向量,描述了该关键点周围像素的信息。
1.2 常用的特征点方法:
一、SIFT(尺度不变特征变换),充分考虑了图像变换过程中出现的光照、尺度、旋转等变化,但需要大量的计算。
二、SURF(加速稳健特征),SURF算法是SIFT算法的加速版,SURF相对于SIFT而言,特征点检测的速度有着极大的提升,所以在一些实时视频流物体匹配上有着很强的应用。而SIFT因为其巨大的特征计算量而使得特征点提取的过程异常花费时间,所以在一些注重速度的场合难有应用场景。但是SIFT相对于SURF的优点就是,由于SIFT基于浮点内核计算特征点,因此通常认为, SIFT算法检测的特征在空间和尺度上定位更加精确,所以在要求匹配极度精准且不考虑匹配速度的场合可以考虑使用SIFT算法。
三、FAST关键点属于计算特别快的一种特征点(这里对关键点的描述,他并没有描述子)。
四、ORB(Oriented Fast and Rotated BRIEF)特征是目前非常具有代表性的实时图像特征。他改进了FAST不具有方向性的问题,并采用速度极快的二进制描述子BRIEF(Binary Robust Independent Elementary Feature),使图像特征提取环节速度加快。
参考:特征检测和特征匹配方法汇总
1.3 ORB特征
ORB特征由关键点和描述子组成,它的关键是“Oriented Fast”,是一种改进的FAST角点;描述子称为BRIEF。提取ORB特征分为两个步骤:
FAST关键点
原始FAST角点不具有方向信息(简单来说就是判断一个像素 p 周围半径为3的圆上16个像素中是否有连续N个像素灰度大于/小于某阈值),同时存在尺度问题(远看是角点的地方,近看就可能不是)。
为了避免角点集中问题,可以添加非极大值抑制操作,在一定区域内仅保留最“明显”的角点。
FAST存在的问题:重复性不强,分布不均匀,不具有方向信息,存在尺度问题。
因此ORB添加了尺度和方向的描述。尺度不变性由构建图像金字塔,并在金字塔的每一层上检测角点来实现;利用由灰度质心法获得方向向量(描述图像梯度指向)。
BRIEF描述子
原始BRIEF同样无方向信息,简单来说就是判断关键点周围X个点对的大小关系并表示为0或1。
改进BRIEF使用FAST特征点阶段计算关键点的方向,计算旋转后的Steer BRIEF,使ORB的描述子具有较好的旋转不变性。
1.4 特征匹配
就是测量描述子的距离,对于二进制描述子使用汉明距离(两个二进制间的汉明距离就是不同位数的个数)。