什么是局部图像描述子

所谓局部特征描述子就是用来刻画图像中的局部特征的，是以图像中的一个像素点的周围像素点的分布特征来获取该点的局部特征的算法。我们可以使用局部特征的特征点来代表图像的内容包括运动目标跟踪，物体识别，图像配准，全景图像拼接，三维重建等。如果我们想匹配同一个场景中的两幅图像。首先，我们检测每幅图像中的特征，然后提取他们的描述子。第一幅图像中的每一个特征描述子向量都会与第二幅图中的描述子进行比较，得分最高的一对描述子，也就是两个向量的距离最近，将被视为那个特征的最佳匹配。这些图像的局部特征需要以下性质：

位移不变性
旋转不变性
尺度不变性
光照不变性
以及更多

我们学习 Harris 角点检测算法，用于提取图像的特征点；学习 SIFT（尺度不变特征转换），用于解决图像缩放、旋转、曝光、噪声等因素对特征匹配的影响。

Harris角点检测算法

角点（corner points）：

局部窗口沿各方向移动，均产生明显变化的点
图像局部曲率突变的点

角点特征:

轮廓之间的交点。
对于同一场景，即使视角发生变化，通常具备稳定性质的特征。
该点附近区域的像素点无论在梯度方向上还是其梯度幅值上有着较大变化。
角点处的一阶导数最大，二阶导数为0。
角点指示了物体边缘变化不连续的方向。

Harris 角点检测算子：

Harris 算子是一种简单的点特征提取算子，这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M。M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是特征点。为了消除噪声对于角点检测的影响，可以使用一个高斯滤波器来平滑图像。

Harris 角点检测算法的基本思想：

利用矩形窗在图像上移动，若窗内包含有角点，则窗口向各个方向移动时，窗内的灰度值都会发生变化。从而达到检测图像角点的目的。如果像素周围显示存在多于一个方向的边，我们认为该点为兴趣点。该点就称为角点。

Harris 角点检测算法的数学表达：

总的来说，算法的核心就是是利用局部窗口在图像上进行移动，判断灰度是否发生较大的变化。如果窗口内的灰度值（在梯度图上）都有较大的变化，那么这个窗口所在区域就存在角点。
这样就可以将 Harris 角点检测算法分为以下三步：

当窗口（局部区域）同时向 xx （水平）和 yy（垂直）两个方向移动时计算窗口内部的像素值变化量 E(x,y)E(x,y) ；
对于每个窗口，都计算其对应的一个角点响应函数R；
然后对该函数进行阈值处理，如果 R>threshold，表示该窗口对应一个角点特征。

Harris角点检测实例

from pylab import *
from PIL import Image
from PCV.localdescriptors import harris


# 读入图像
im = array(Image.open('image/tingzi.jpg').convert('L'))

# 检测harris角点
harrisim = harris.compute_harris_response(im)

# Harris响应函数
harrisim1 = 255 - harrisim

#画出Harris响应图
figure()
gray()
imshow(harrisim1)
print (harrisim1.shape)
title('Harris')
axis('off')
axis('equal')


threshold = [0.01,0.05,0.1,]
for i, thres in enumerate(threshold):
    filtered_coords = harris.get_harris_points(harrisim, 6, thres)
    # subplot(1, 4, i+2)
    # subplot(4, 1, i + 2)
    figure()
    gray()
    title('threshold='+str(thres))
    imshow(im)
    print(im.shape)
    plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
    axis('off')

show()

角点检测结果如下：

从上图可以明显看出，随着阈值从0.01增到0.05再到0.1，检测出的角点越来越少，并且角点检测算子对亮度的变化更敏感，在亮区域角点更多。可以看出，Harris角点检测获取的角点在图像中分布不均匀（对比度高的区域角点多）。

Harris 角点检测算法下实现的图像匹配

Harris 角点检测器仅仅能够检测出图像中的兴趣点，但是没有给出通过比较图像间的兴趣点来寻找匹配角点的方法。我们需要在每个点上加入描述子信息，并给出一个比较这些描述子的方法。

兴趣点描述子是分配给兴趣点的一个向量，描述该点附近的图像的表观信息。描述子越好，寻找到的对应点越好。我们用对应点或者点的对应来描述相同物体和场景点在不同图像上形成的像素点。
实现代码：

from pylab import *
from PIL import Image
from PCV.localdescriptors import harris
from PCV.tools.imtools import imresize

im1 = array(Image.open('image/tingzi1.jpg').convert("L"))
im2 = array(Image.open('image/tingzi.jpg').convert("L"))

# resize加快匹配速度
im1 = imresize(im1, (im1.shape[1]//2, im1.shape[0]//2))
im2 = imresize(im2, (im2.shape[1]//2, im2.shape[0]//2))

wid = 5
harrisim = harris.compute_harris_response(im1, 5)
filtered_coords1 = harris.get_harris_points(harrisim, wid+1)
d1 = harris.get_descriptors(im1, filtered_coords1, wid)

harrisim = harris.compute_harris_response(im2, 5)
filtered_coords2 = harris.get_harris_points(harrisim, wid+1)
d2 = harris.get_descriptors(im2, filtered_coords2, wid)

print('starting matching')
matches = harris.match_twosided(d1, d2)

figure()
gray()
harris.plot_matches(im1, im2, filtered_coords1, filtered_coords2, matches)
show()

匹配结果：

该算法的结果存在一些不正确匹配。这是因为，与现代的一些方法（SIFT特征检测等）相比，图像像素块的互相关矩阵具有较弱的描述性。实际运用中，我们通常使用更稳健的方法来处理这些对应匹配。这些描述符还有一个问题，它们不具有尺度不变性和旋转不变性，而算法中像素块的大小也会影响对应匹配的结果。

小结

Harris角点检测算法优缺点

优点：

旋转不变性，椭圆转过一定角度但是其形状保持不变（特征值保持不变）。
对于图像灰度的仿射变化具有部分的不变性，由于仅仅使用了图像的一介导数，对于图像灰度平移变化不变；
对于图像灰度尺度变化不变。

缺点：

它对尺度很敏感，不具备几何尺度不变性。
提取的角点是像素级的

SIFT算法（尺度不变特征变换）

SIFT简介

尺度不变特征转换即SIFT (Scale-invariant feature transform)是一种计算机视觉的算法。它用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由 David Lowe在1999年所发表，2004年完善总结。

其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

SIFT算法可以的解决问题：

目标的旋转、缩放、平移（RST）
图像放射/投影变换（视点viewpoint）
光照影响（illumination）
部分目标遮挡（occlusion）
杂物场景（clutter）
噪声

SIFT算法流程图

SIFT特征检测基本步骤

1. DoG尺度空间的极值检测：

首先构造DoG尺度空间，在SIFT中使用不同参数的高斯模糊来表示不同的尺度空间，而构造尺度空间是为了检测在不同尺度下都存在的特征点，特征点的检测比较常用的方法是高斯拉普拉斯，但是LoG的运算量是比较大的，Marr和Hidreth指出可以使用DoG（高斯差分）来近似计算LoG，所以在DoG的尺度空间下检测极值点。

2. 删除不稳定的极值点：

低对比度的极值点+不稳定的边缘响应点

3. 确定特征的的主方向：

以特征点的为中心、以3×1.5σ3×1.5σ为半径的领域内计算各个像素点的梯度的幅角和幅值，然后使用直方图对梯度的幅角进行统计。直方图的横轴是梯度的方向，纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰所对应的方向即为特征点的方向。

4. 生成特征描述子：

首先将坐标轴旋转为特征点的方向，以特征点为中心的16x16的窗口的像素的梯度幅值和方向，将窗口内的像素分为16块，每块是其像素内8个方向的直方图统计，共可以形成128维的特征向量。