深度揭秘京东全景主图背后的技术

在运动过程中，像素点的位置是时间的函数，按链导法则展开，得到：

上图是一个体像素示意图，数字图像可表示为一个三维矩阵，离散量 i,j 为像素点的横纵坐标，k可以理解为相邻两幅图像的编号或同一个视频中相邻两帧编号。

2） 平滑性。

指的是相邻像素之间速度是渐进平滑的变化。之所以假设这个约束是为了排除物体遮挡情况，在遮挡区域的边界像素点的运动速度是突变的。描述平滑性大小的量是像素点的运动速度梯度值，如下：

在综合考虑所有像素点都满足上述2种约束后，光流估计问题被描述为一个全变差最优化问题，优化的目标函数为：

对该优化问题的求解过程比较复杂，在此略过。该方法具有里程碑性质，第一次将像素点的亮度与运动速度联系并建立了光流估计模型。数学形式优美，但计算量较大且约束太强，现实环境往往不满足假设条件。

改进方法

Horn & Schunck（HS）的方法在实际中会遇到遮挡、大量噪声、运动速度过快、照明发生变化、非刚性形变等难以解决的问题，但也为后续的光流估计奠定了基调，后续一系列方法都有形无形中考虑了上述2种约束。

1985年，拿到CMU哲学博士学位的Bruce D. Lucas在其研究图像配准的博士论文中明确提出了后来广为流行的两帧差分光流法，即Lucas-Kanade方法，其中Kanade是其导师的名字。该算法是在HS方法的基础上建立了n个二元线性方程组，然后通过最小二乘法求解方程组得到每个像素点的速度矢量，其代码在OpenCV中有实现。