角点检测

在进行图像匹配的时，通常需要对两幅图像中的特征点进行匹配。为了保证匹配的准确性，选择的特征点必须具有其独特性，而图像的角点则经常被看成是一种不错的选择。由观察可知，角点往往是两天边缘的交点，它是两条边缘方向变换的一种表示，因此，其两个方向的梯度变化通常都比较大并且容易检测。人们通过在一个小小的窗口区域内观察像素点的灰度值大小来识别角点，如果向任何方向移动窗口都会引起较大的灰度变化，则该位置往往就是我们要找的角点。

Harris算子

对于角点检测，有很多的算法，其中Harris 算法是最常用的角点检测算法之一，算法依据的正是上图的直观判断。

要衡量在某个方向上的梯度变化大小，可定义图像在某个方向上灰度的变化E（u，v）。

E(u,v)= $\Sigma_x_y w(x,y)(I(x+u,y+v)-I(x,y))^{2}$

其中w（x，y）为窗口函数，它可以是如图所示的加权函数，也可以是高斯函数。

向量(u,v)表示某个方向，以及在该方向上的位移。I（x，y）表示像素灰度值强度，范围为0~255，I（x+u，y+v）表示位移强度。由上述公式可知，我们要研究在哪个方向上图像灰度值变化最大，只需令E（u，v）的值最大即可，因为E（u，v）表示的是某个方向上图像灰度的变化。而求解问题，则可通过泰勒展开式：

得到：

记上式最后结果为 $\Delta$ ，则得到： $E(u,v)=\sum _x_yw(x,y)\cdot \Delta =[u,v]M\begin{bmatrix} u\\v \end{bmatrix}$

其中M为2*2的Harris矩阵， I_x和I_y 分别是x方向和y方向的图像导数（灰度值强度），则可得： $M=\sum _x_yw(x,y)\begin{bmatrix} I_x^{2} &I_xI_y \\ I_yI_x & I_y^{2} \end{bmatrix}$

根据Harris矩阵来计算矩阵特征值 $\lambda _1$ , $\lambda_2$ ,并通过一个评分函数R来判断一个窗口中是否含有角点：

其中， $det(M)=\lambda_1,\lambda_2,trace(M)=\lambda_1+\lambda_2$ 。 $\lambda_1,\lambda_2$ 皆为M的特征值。上述公式即为：

这些特征值决定了一个区域是否为角点，边缘或平面。

①.当λ1和λ2都很小时，|R|的值也很小，则该区域为平坦区域。

②.当λ1>>λ2，或者λ1<<λ2，则该区域为边缘。

③.当λ都很大时，且λ1≈λ2时，也很大，则该区域为角点。

因此，Harris角点检测可以“R>阈值”作为条件判断一个图像区域是否为为角点。J·西（J·Shi）和C·托马西（C·Tomasi）于1994年在其论文“Good Features to Track”中提出了一种对Harris角点检测算子的改进算法，也就是Shi—Tomasi角点检测算子。我们也可以通过goodFeaturesToTrack算法进行角点检测，它同样定义了评分函数R，也是用R值的大小来判断区域是否为特征点：

我们这里就直接使用OPenCV中的角点检测函数。

函数原型：

基于Harris角点检测的示例代码：

import numpy as np
import cv2
#将图像导入将其转化为float类型，用于传递给Harris函数
filename='D:\Image\\four.jpg'
img=cv2.imread(filename)
gray_img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray_img=np.float32(gray_img)
#对图像进行角点检测
Harris_detector=cv2.cornerHarris(gray_img,2,3,0.04)
#对图像进行膨胀处理，将灰度值增大（视觉上比较亮）的区域增强扩展，主要用来连通相似颜色或强度的区域
dst=cv2.dilate(Harris_detector,None)
#设置阈值
thres=0.01*dst.max()
#对角点进行红色标记
img[dst>thres]=[0,0,255]
cv2.imshow('Harris角点检测',img)
cv2.waitKey()

代码结果展示：

根据图像我们可以发现，角点的检测有些不太准确，只能检测较为明显的角点，并且存在很多的错误角点标记。于是，opencv便推出了更为精确的算法函数。

goodFeaturesToTrack算子

函数原型：

利用goodFeaturesToTrack算法进行图像检测示例代码：

#goodFeaturesToTrack算法
import numpy as np
import cv2
#读入图像
filename='D:\Image\\four.jpg'
img=cv2.imread(filename)
img2=img
#将其转换为float型
img_gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
img_gray=np.float32(img_gray)
#得到角点坐标向量
goodFeatures_corners=cv2.goodFeaturesToTrack(img_gray,25,0.01,10)
goodFeatures_corners=np.int0(goodFeatures_corners)
for i in goodFeatures_corners:
    x,y=i.flatten()
    #用绿点标记角点
    cv2.circle(img2,(x,y),3,[0,255,],-1)
cv2.imshow('goodFreaturesToTack角点检测',img2)
cv2.waitKey()

其中绿点表示角点，从两个算法检测结果来看，对于图像角点的标记，goodFeaturesToTrack算法更为精确，准确性高，但是也有误差。

几何形状检测

在数字图像中，往往存在一些特殊形状的几何图形，例如人眼瞳孔的圆形，建筑物立面的直线等。在图像处理与识别中，物体的形状属于高级信息，而基本几何形状是图像目标的主要特征之一，在数字图像中对其进行准确的检测有重要意义。

Hough算法

Hough变换是一种常用的几何图形检测算法，其基本原理是将特定图形上的点变换到一组参数空间上，然后根据参数空间点的累加结果找到一个极大值对应的解，而这个解正对应着要寻找的几何形状的参数（例如直线的斜率k与常数b，圆的圆心o与半径r等）。

$\rho=xcos\Theta +ysin\Theta$

直线检测

OpenCV内置的置于Hough算法的直线检测函数有标准Hough变换函数HoughLines（）和统计Hough变换函数HoughLinesP（），二者的参数和用法基本一致。我们的示例代码以HoughLinesP（）函数为例。

函数原型：

基于Hough变换算法的图像直线检测示例代码：

#形状检测
import cv2
import numpy as np
import matplotlib.pyplot as plt
img=cv2.imread('D:\Image\\four.jpg')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#转化为灰度图像
#对图像进行Canny边缘检测
edges=cv2.Canny(gray,50,200) #基于Canny算子的图像边缘检测
plt.subplot(121)
plt.imshow(edges,'gray')
plt.xticks([])
plt.yticks([])
#基于统计Hough变换的直线检测
lines=cv2.HoughLinesP(edges,1,np.pi/180,30,minLineLength=60,maxLineGap=10)
lines1=lines[:,0,:]#返回包含检测到的所有直线的二维矩阵
for x1,y1,x2,y2 in lines1[:]:
    cv2.line(img,(x1,y1),(x2,y2),(255,255,0),1) #在图像中用黄色的线标记检测出的直线
plt.subplot(122)
plt.imshow(img,)
plt.xticks([])
plt.yticks([])
plt.show()

结果展示：

根据图像显示，黄色标记的为直线，图像检测结果较为准确，但是依然存在部分重叠，这就需要程序员根据自己的需要调参数。

圆检测

对于圆的检测，我们知道圆的数学方程为：

因此，一个圆的确定至少需要3个参数，那么Hough变换的累加器必须是三维的，需要通过三层循环来实现，从而把图像上的所有点映射到三维参数空间上。理论上，圆的检测比直线检测费时，不过OpenCV进行了优化。

函数原型即其参数说明：

基于Hough算法的圆形图像检测示例代码：

#圆形检测
import numpy as np
import cv2
import matplotlib.pyplot as plt
img=cv2.imread('D:\Image\circle.jpg')
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
plt.subplot(121)
plt.imshow(gray,'gray')
plt.xticks([])
plt.yticks([])
#基于Hough算法的圆形检测
circles1=cv2.HoughCircles(gray,cv2.HOUGH_GRADIENT,1,100,param1=100,param2=30,minRadius=150,maxRadius=200)
circles=circles1[0,:,:] #返回检测道德圆的参数
circles=np.uint16(np.around(circles)) #四舍五入，取整
for i in circles[:]:
    cv2.circle(img,(i[0],i[1]),i[2],(255,0,0),5) #画圆
    cv2.circle(img,(i[0],i[1]),2,(255,0,255),10) #画圆心
plt.subplot(122)
plt.imshow(img)
plt.xticks([])
plt.yticks([])
plt.show()

标记内圆则需要更改参数（minRadius，maxRadius），这里更改参数后的标记如图：

尺度不变特征变换

尺度不变特征转化（Scale-Invariant Feature Transform，SIFT）是用于图像处理的一种算法，是一种局部特征描述算子，具有尺度不变性，可在图像中检测出关键点。

该算法于1999年由戴维·劳（David Lowe）在计算机视觉国际会议（International Conference on Computer Vision，ICCV）中首次提出，2004年，他再次整理完善后将相关论文发表于国际计算机视觉杂志（International Journal of Computer Vision，IJCV）。SIFT算法是用于提取图像局部特征的经典算法，其实质是在不同的尺度空间查找关键点（特征点），并计算出关键点的方向。SIFT所查找的关键点是一些十分突出，不会因光照，仿射变换（Affine Transformation）和噪声等因素而变化的点，如角点，边缘点，暗区的亮点及亮区的暗点等。

OpenCV内置了SIFT算法的诸多函数，包括示例化SIFT类的cv2.xfeatures2d.SIFT_create().

在图像中查找关键点的sift.detect(gray,None),计算找到关键点的描述符的sift.compute(grag,kp)以及在图中画出关键点的cv2.drawKeypoints(gray,kp,img)。

示例代码如下：

结果展示：