【本学期选修国科大计算机视觉课程，本人方向也是cv，因此想通过博客方式记录课程中比较重要的点，巩固并且进行一些扩展学习】
【从本章节开始由申抒含老师为我们讲述相关知识】
【本章节内容针对相机标定与稀疏重建进行讲解】
接下来我们将主要针对以下内容进行介绍：
• 三角化：已知x、K、R、t，求X
• 相机标定：已知x、X，求K、R、t
• 姿态估计：已知x、X 、K ，求R、t
• 稀疏重建：已知x，求K、R、t、X
• 重投影误差最小化
• 通过线性方法求解初始值（代数误差最小化）,通过非线 性优化迭代求精（几何误差最小化）
• 相机标定与稀疏重建实践：Photo Tourism
稀疏点云重建：
输入：多视角图像 输出:相机位姿、稀疏点云
我们针对不同的条件和环境对其进行一系列划分：
• 已知 x 、 K 、 R 、 t ，求 X ： 三角化（ Triangulation ）
• 已知 x 、 X 、 K ，求 R 、 t ： 姿态估计（ Pose Estimation ）
• 已知 x 、 X ，求 K 、 R 、 t ： 相机标定（ Camera Calibration ）
• 已知 x ，求 K 、 R 、 t 、 X ：稀疏重建（ Sparse Reconstruction ）
Structure from Motion (SfM)
Structure and Motion Estimation
如上章所讲：
一. 三角化
• 已知x、K、R、t，求X
但是这两个Image所得到的X不一定会相交
若为两视图，则可以通过两条视线公垂线的中点，如下图
若为n视图，上图方法不可实现，采用最小化重投影误差平方和
具体矩阵变化如下，感兴趣的同学可以看看。
基本思路：以 代数误差解 （好不好很取决于初值选定） 为初值，迭代求解几何误差解
二. 相机标定（Camera Calibration）
• 已知x、X，求K、R、t
需要知道一组2D—3D对应，并知道对应点的2D与3D坐标
标定物:人工标定的标定物，特征点易于提取
优点
— 标定精度高
— 通过一幅图像即可标定
• 缺点
— 需要高精度的三维标定块
n 组 2D-3D 对应点提供关于 P 的 2 n 个线性方程
• 当 n≥6 时， P 可以通过 DLT 线性解出（ P 的自由度为 11 ）
从P中分解相机内外参数K、R、t：
对P的前三列进行RQ分解：
K^(-1)乘以P的第四列得到t
平面标定板:
• 优点
— 容易制作（打印一张黑白棋盘格、一块足够平的木板）
— 标定工具箱成熟（ Matlab 、 OpenCV ）
缺点
— 标定精度不如三维标定物
• H 称为单应，有 8个自由度
• n 组 2D-3D 对应点提供关于 H 的 2 n 个线性方程
• 当 n≥4 时， H 可以通过 DLT 线性解出
具体过程如下：（感兴趣的同学可以看一下）
标定过程：
标定流程 1 ：打印一张模板并贴在一个平面上
标定流程 2 ：从不同角度拍摄若干张模板图像
标定流程 3 ：检测图像中的特征点
标定流程 4 ：求解相机内外参数
标定流程 5 ：分析重投影误差
标定流程 6 ：输出标定结果
利用消影点标定（需要假设K中只有f未知）
消影点（vanishing points） ：空间平行线在图像投影线的交点， 对应三维空间中的无穷远点。消影点只与三维直线方向有关， 与其位置无关
注意：消影点越靠近图像中心， f 计算的越准确
DLT求解相机标定的优缺点：
• 优点：
— 线性求解
• 缺点：
— 不包含相机畸变参数
— 无法添加其他约束（如已知相机焦距）
—最小化代数误差（无几何意义）
三.姿态估计（Pose Estimation）
• 已知x 、X、K，求R、t
最简单的方法：用与相机标定相同的 DLT 方法求解
• 6 组 2D-3D 对应点提供关于 P 的 12 个线性方程
• DLT 线性求解 P
• 从 P 中分解相机内外参数 K 、 R 、 t
PnP（Perspective-n-Point）问题：
输入：
• n 个 3D 点（世界坐标系）
• n 个 2D 点（图像坐标系）
• 2D-3D 点对应关系已知
• 相机内参数 K 已知
输出：
• 3D 点在相机坐标系下的坐标
• 根据坐标变换可以计算 R 、 t
P2P ：无穷多解
P3P ：最多四个解，需要第 4 个点验证
P4P ：最多四个解，当四点共面时有唯一解
P5P ：最多两个解
EPnP ： ≥4 组不共面点时有唯一解
PnP ：线性求解（ n>5 ）
其他PnP ：相机参数未知、相机高度已知、相机重力方向已知等等
四. 稀疏重建（Sparse Reconstruction）
八点法求F
5点法求解本质矩阵E
通过SVD分解从E中分解R和t（假设camera 1为R1=I, t1=0）：
选择四组解中三角化得到的X在两个相机前方数量最多的解
• 刚才假设摄像机内参数K已知，实践中如何给定K?
Focal length (pixels) = Focal length (mm) x Image width (pixels) / Sensor size (mm)
= 6.0 mm x 600 pixels / 5.75 mm = 626.1 pixels
在获得 K 、 R 、 t 后，通过三角化计算空间点 X
• 以给定的 K 、通过 E 分解求得的 R 、 t 、以及三角化后的 X 为初
始值，迭代求解重投影误差最小化问题：
得到几何误差最小化意义下的 K 、 R 、 t 、 X
重投影误差最小化是一个非线性最小二乘问题，求解非线性最小二乘问题的方法：
• 非线性最小二乘是非线性优化的一类特殊形式；
• 针对一般非线性优化的 梯度下降法（1阶 ）、 牛顿法（2阶） ；
• 针对非线性最小二乘的 高斯牛顿法 、 LM法 （ Levenberg Marquardt）。
非线性最小二乘问题迭代优化的基本思路 ：
1 ）给定初始值；
2 ）开始迭代优化
— 选择最优移动方向使目标函数值下降最快；
— 以一定步长沿最优方向移动当前值；
— 如果两次迭代间目标函数值差异小于阈值或迭代次数 超出阈值，则转步骤3 ），否则返回 2 ）；
3 ）迭代结束，输出当前值。
五.实践：Photo Tourism——增量式SfM
主要难点：
– 参数数量多
具体过程如下：
1. 选择初始图像对
2. 通过两视图 SfM 计算初始模型
3. 如果图像连接关系图还有未选择的图像，则：
a. 选择一幅能看到目前模型中最多 3D 点的图像；
b. 根据 3D‐2D 点对应估计相机位姿；
c. 三角化新的特征点 Tracks
d. Bundle adjustment
Photo Tourism — 添加新图像
下一步 : 在初始模型中添加新图像，同时三角化新
的 3D 点
• 姿态估计 ( 已知 x 、 X 、 K ，求 R 、 t ) 和三角化 ( 已知 x
、 K 、 R 、 t ，求 X ) 均可通过 DLT 求解
• 实际应用中，一次可以添加多幅图像
• 如果剩余图像中单幅图像与模型的最多匹配点数
量为 N ，则匹配点数量多于 0.75 N 的图像一次添加
Photo Tourism — 外点处理
• 特征点匹配中的外点是不可避免的
• 外点处理策略：
1. 每次 Bundle adjustment 后去除外点并重新优化
2. 使用鲁棒目标函数，如 Huber 函数
