《Natural Image Stitching with the Global Similarity Prior》论文笔记
@(sinbad)[360sinbad@gmail.com]
继续接上一篇，总结下我对论文中定义的网格优化能量函数的另外两个优化项的理解，如有不同意见欢迎交流。
局部相似项：
局部相似项引用论文ARAP的方法，能量优化函数如下
其中
。
在阅读过程中，一直对
中的c和s到底表示的实际涵意不解，通过阅读其他文章，我猜想相似性有可能是这么回事,这里拿三角网格为例进行下面的猜想。
考虑空间定向三角网格G的某顶点
处的一个夹角，不妨假设位于三角形
中（如下图）所示，记
为顶点
的两条边
和
关于
为法向的有向转角（夹角方向与法向构成右手系为正，左手系为负），且记两边的连长比为
。易知，三角网格G的每一个顶点处的夹角所定义的
是与平移、旋转和缩放无关的几何量，决定了G的几何内在性质。
图1
网格相似性的目标是使网格变形后的三角形与变形前的三角形具有相同的夹角和邻边长度的比值，从而保持对应三角形的相似性。具体地，如果网格上的三角面片
对应变形后的三角形
如图1所示，则有
(1)
式中，
是平面上旋转角
角的旋转矩阵。记顶点坐标为
，则方程可以展开写成：
(2)
按三角网格中的每一个夹角依次联立可得如下的线性方程组；
(3)
其中，
为网格顶点的坐标向量，系数矩阵A为一个阶为
的稀疏矩阵，m为顶点度数的总和,n为网格顶点个数。可以用最小二乘求解
。
因为系数矩阵A非方阵，只能在最小二乘意义下求解方程组的解。由于相邻两边的夹角和它们的长度的比值是关于旋转和缩放变量的不变量，因此，在实际求解中，需要给定初始条件，如指定网格的一条边的顶点坐标，不妨设为
,
。
可以将顶点
，
的坐标作为已知量将方程组
的未知量个数减少。但也可以将顶点
，
作为软约束条件加到方程组中，然后利用最小二乘法求解能得到更好的解，即将2个顶点坐标的4个约束条件
(4)
加入到线性方程组中，得到
(5)
式中，
为
的稀疏矩阵，b为
阶列向量。
对于上式方程组求最小二乘解可得到
。因为
是稀疏矩阵，所以方程组的系数矩阵
也是稀疏矩阵，该稀疏方程组可以采用TAUCS库快速求解。
回到本文我估计
可能是cos项和sin项的缩写。
全局相似项:
(6)
对于
如何求解参考资料见文章后面的补充说明2。
这里说下我对本文全局相似项的猜想:
全局相似性优化不考虑
和
参数时表达形式应该是：
(7)
其中
。
通过网格边缘与重叠区域的距离
，结合一个调整量
，用于控制全局相似性的作用程度。由于重叠区域内的边缘
，而非重叠区域的
随着远离重叠区域而变大。因此，可以实现：在重叠区域局部单应性和局部相似性的对齐能力更为重要，而非重叠区域全局单应性的保持能力更为重要的特性。
按照上面的说法及代码实现的过程分析，全局相似项应该是局部相似项类似的定义，多了一个权重定义，但本文应该进行了改进，引入直线保护的最佳si和sitai的估计计算。所以这里还是没弄明白最后一部分具体是什么。
补充说明2.
下图为两种相机运动模型
对极几何（Epipolar Geometry Constraint）和假设相机仅做纯旋转运动的单应性近似。
世界坐标系到像素坐标系转换时假定世界坐标系中三维点
和像素坐标系中二维点
的关系为：
(8)
即（针孔相机模型）
(9)
其中，s为缩放因子，A为相机的内参矩阵，
为相机的外参矩阵，
和
分别为p和P对应的齐次坐标。
归纳为：世界坐标系--<外参矩阵>--相机坐标系--<内参矩阵>--像素坐标系
确定坐标系，再谈下对极几何约束。
如上图左边模型，根据相机运动过程所拍摄的两幅图像中的匹配特征点对p与q，以及对极几何模型来推导相机内参
与外参
，
。
首先，假定第一幅图为初始位置，即
,则根据投影模型可以得到如下公式
(10)
其中
和
表示尺度因子，p和q为一对匹配特征点对，P为该对特征点对的空间点坐标，将第一行代入第二行可得公式
(11)
公式中，
表示向量
的外积矩阵。对上式两边同时乘以
并且去除尺度因子
可得：
式中，
利用外参的组合来表达本质矩阵；另有等式关系
,利用本质矩阵与内参的组合来表达基础矩阵
另外一篇讲对极几何比较清楚的链接如下：https://www.cnblogs.com/gemstone/archive/2011/12/20/2294551.html
Natural Image Stitching with the Global Similarity Prior 论文笔记（二）
原文：https://www.cnblogs.com/sinbad360/p/12328128.html