1、HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案基于变分理论的高精度光流估计High Accuracy Optical Flow Estimation Based on a Theory for WarpingThomas Brox Michael*Beechan（陈兵）重庆理工大学摘要：我们研究了能量泛函在计算光流方面结合三种假设：光亮不变性假设，梯度不变假设和不连续保护的时空平滑约束。考虑到大位移，线性化要严格避免两组数据的关系（In order to allow for large displacements, lin
2、earisations in the two data terms are strictly avoided.）。我们基于两种嵌套的定点迭代提出了一种一致的数值化方案。为了证明这种方案应用于由粗到精的变分策略，我们给出了变分理论依据，到目前为止，用于主要实验基础。我们的光流估计表明这种新颖的方法显著地缩小了角误差比以前的技术。我们得出：此方法对参数变化十分敏感。我们也证实在噪声下具有很好的鲁棒性。1 前言 光流估计仍然是计算机视觉的关键问题之一。估计两个图像之间的位移场，应用对应像素之间是必要的。这种类型的问题不仅限制运动估计，而且呈现在3D重建或图像识别中。在过去的二十年，光流估计方法显著地
3、增强了。从H-S11 Horn and Schunck和L-K15 Lucas and Kanade的原始方法，以及对于以前模式的缺点研究发展了很多新的概念。为了处理光流的不连续，用光滑约束代替了Horn and Schunck方法中的二次惩罚，允许分段光滑处理1,9,19,21,25。这下观点的一些方法很接近节点运动估计和运动分割10,17，并且对于从鲁棒性统计激发的光流方法，对异常值的罚值不够6,7。粗到精的策略3,7,16和非线性模型19,2已经用于处理大位移问题。最终，时空的方法改进结果，仅仅需要额外维度的信息18,6,26,10。 然而，新的观点不仅改善了光流估计技术的质量，而且努力
4、获得了更好的理解在方法详细实施方面以及参数改变所带来的影响方面，给出了一种理解：几种模式怎样共同工作。此外，模型的变分构想在解决部分艰难最优化问题上，给出了一种逼近数值数学的长历经。对于确定的模型找到最优解通常是重要的，并且通常不使用全部潜能，因为承认去实现这些方面不得不这样做。 在这篇文章中，我们提出了结合以前提及的几种概念的新的变分方法，并且能最小化一致的数值方法。这也进一步展现了由粗到精策略在所谓变分技术中的使用7,16，和非线性光流约束的执行使用19,2，以及在图像配准。有两个重要的影响：其一，方法使得将变分技术（目前为止唯一在算法上的动机）整合到变分框架成为了可能性。其二，方法展现了
5、理论上叙述方式：怎样解决图片一致性问题，用高效的多分辨率技术。除了Lefebure and Cohen 14那篇非常好的论文外，到目前为止没有很多关于变分的理论结果。 最后，灰度不变性假设是光流估计的基础假设，由此延伸了梯度不变性假设。这使得本文方法对灰度值的变化具有鲁棒性。而文献23,22中提出了梯度不变性假设为了解决当前方法区域的孔径问题，他们用在变分方法中是新颖的。 实验评估显示我们的方法产生了良好的结果。与那些文献相比，其精度总是显著提高，有事甚至比目前的最佳值高出两倍。而且，此方法也证明了在考虑大噪声和现代硬件仅每帧几秒钟的计算时间下鲁棒性的可能。本文结构：下一部分，介绍变分模型，先
6、讨论所有模型假设，然后形成能量基本公式。第三部分针对这个能量公式导出最小化方案。变分方法的理论基础用于数值逼近阶段在第四部分给出。实验估计在第五部分呈现，第六部分是简洁的概述。2 变分模型 在我们用光流方法推导出变分公式之前，我们给出约束应该包含模型的直观的想法。2.1 灰度不变性假设 自光流估计初始，就假设位移的灰度像素不变。I(x, y, t) = I(x + u, y + v, t + 1) (1)其中：表示一个矩形图像序列。图像在时间t和时间t+1之间的搜索位移矢量。灰度不变性假设线性视觉产生著名的光流约束11其中下标表示偏导数。然而，在此假设下，这种线性化是唯一有效的，图像的线性变化
7、是随着位移变化的，但一般来说不是这样的，特别是对大位移。因此，我们的模型将用原始的，非线性的灰度不变性假设（1）。2.2 梯度不变性假设 灰度不变性假设有一个决定性缺点：在自然条件下，对光照的轻微变化十分易受影响。因此，在灰度值方面允许一些小的变化，并且有助于在某一标准下（不变量）位移矢量的确定（在灰度值不变下）。这个标准是图像灰度的梯度，也可以认为不是由于位移不同23。其中：表示空间梯度。获得它可以有助于避免线性化。约束方程（3）是对平移运动特别有用，而约束（2）能更好的适应更复杂的运动模式。2.3 平滑性假设 到目前为止，像素的位移模型估计仅限于没有任何相邻的像素之间的相互作用。因此，导致
8、的问题是：某一地方的梯度消失或者要是光流在法线方向的梯度估计，这就是“孔径问题”。而且，可能在估计中会存在一些异常值。因此，进一步假设光流场的光滑是有必要的。这种平滑约束也能单独的用于空间域，如果图像序列的位移是有效的。作为最优位移场将在场景中具有物体边界不连续性，它对推广平滑假设要求分段平滑光流场是敏感的。2.4 多尺度方法 在位移大于每帧一像素的情况下，在一个变分公式内罚函数必须期望是多模式的，例如：一个最小化的算法很容易陷入局部最小值。为了找到全局最小化，应用多尺度观点是必要的：一开始解决粗的，平滑版的问题在平滑的图像序列。新问题可能有一个独特的最小，希望接近全局最小的初始问题。粗解作为
9、初始化用于解决问题的改进（精确）版本,直到一步一步初始问题的解决。而不是平滑的图像序列，更有效的是降低抽样图像，考虑抽样定理，所以模型最终用多分辨率策略。 由以上描述，它是对简单获得能量的功能偏离这些模型假设。令，。然后从灰度不变性假设和梯度不变性假设得出全局偏差，用能量方程：表示两种假设的权值。由于二次惩罚，异常值对估计得到太多的影响，增加一个凹函数，导出一个鲁棒性能量方程7,16：函数也可以单独用于这两项。用函数推导的最简化。由于小正常数， (s)是凸函数在，最小化提供优势。此外，的选择不是引进额外参数，因为仅仅作为数值的原因并且可以设置为定值，选择为0.001。 最后，一个平滑项来描述分
10、段光滑光流场的假设模型。通过惩罚光流场总变差获得20,8。表示为：同上。时空梯度表示包含了时空平滑假设。仅对两个图片可用，并且被空间梯度所取代。 总能量是数据项和平滑项的加权和。包含正则化参数 0，现在的目标是找到函数u和 v使得能量最小化。3 最小化3.1 欧拉-拉格朗日方程由于E(u, v)是高非线性的，最小化是重要的。为了更好的可读性我们定义以下缩写，用Z代替t，强调这种表达不是时间导数而是寻求最小化的区别。 根据变分法，(7)的极小化必须满足欧拉-拉格朗日方程。考虑边界条件。3.2 数值逼近 在论点上，前述的欧拉-拉格朗日方程是非线性。第一步是一个线性系统方程是用定点迭代w，能够用相同
11、的数值方法解决。为了实现一个多尺度方法,需要更好的近似全局最优能量, 这些定点迭代将结合采样策略。而不是在每个层面上0.5的标准采样因子，在这儿提出了用任意因子(0,1)，允许平滑从一个Scale转换到另一个Scale(Since the grid size in both x- and y-direction is reduced by , the image size in fact shrinks with a factor 2 at each scale.)。此外，使用完整的金字塔的图像，从最小的可能图像在粗网格。令，初始化在粗网格中。另外，用代表(8)的缩略定义，而用迭代变量wk代替
12、w。然后wk+1将为：只要定点在wk达到，改变到下一个更好的邻域并且使用这个定点迭代解作为这个邻域的初始化。注意到我们拥有一个完全隐式形式的平滑项和半隐式形式的的数据项。隐式形式的应用会产生更高的稳定性和快速地收敛。然而，这个新系统任然是非线性的，因为由非线性函数和非线性标志。为了消除非线性，一阶泰勒展开：其中：。所以在先前迭代阶段分离未知数和未知增量。为了更好地可读性，即： 其中：理解为数据项的鲁棒性，作为平滑项的扩散性。(9)的第一个公式可以写为：第二个公式可以表示类似的形式。这任然是一个非线性系统方程对于定点k，而现在存在未知增量。由于作为仅剩的非线性，并且选择用做凸函数，剩余的优化问题
13、是一个凸的问题。例如：存在一个独特的最小的解决方案。 为了消除剩余非线性，第二个，内部的，定点迭代循环被应用。令作初始化，表示迭代变量at some step 。此外，和分别表示鲁棒因子和扩散系数定义在(10)，k和表示迭代次数。最终线性系统方程在可理解为：对于第一个方程，利用标准离散化做（导数）derivatives，由此产生的稀疏线性方程组现在可以常见的数值方法解决，例如高斯赛德尔和逐次超松驰（SOR）迭代。计算类型的表达式通过双线性插值方法。4 关于变分法 由粗到精的变分技术是一种常用的工具在提高光流方法性能上3,7,17。而经常建立在一个纯粹的实验基础上，在这部分可以在理论上作为合理的
14、数值逼近。 为了建立这种关系，限制灰度不变性模型设置 = 0。也可以简化模型假设单独的空间平滑17。在这些条件下(11)可以写成：对于定值k，文献17提到这个系统等价于欧拉-拉格朗日方程。同时，du和dv是第一张图像和被变分的第二张图像仅有增量。相同的增量会在外部定点迭代中找到，为了解决灰度不变性假设的非线性。This shows that the warping technique implements the minimisation of a non-linearised constancy assumption by means of fixed point iterations on
15、 w. 在前面的方法中，变分的主要推动是由粗到精的策略。由于u和v的计算用粗网格，仅有du和dv计算用细网格。所以，所使用的估计不到一个像素每帧的量级(大小)，独立于总位移的量级(大小)。在微分光流估计中，这种处理大位移能力被证明是一个非常重要的方面。 第二个处理大位移的策略已经用于非线性的灰度不变性假设19,2。在这儿，首次允许大位移。然而，非线性导致了多模泛函的出现。在这种设置下，由粗到精的策略不仅需要，甚至是更好近似全局最小化的需要。最后，两种策略得到了相同的结果。事实上，正如前面看到的，两种策略是完全等价的。因此，由粗到精的变分技术可以单独论证最小化问题，并且图像配准技术依赖非线性不变
16、性假设近似得到高效的多分辨率方法从而最小化能量泛函。5 估计 出于估计的目的，实验做了合成和真实图像数据。根据文献5提出并计算了角误差。实验估计用一个著名序列的两个变量：the Yosemite sequence with and without cloudy sky。The original version with cloudy sky was created by Lynn Quam (ftp:/ftp.csd.uwo.ca/pub/vision.) 包含了反向和同向运动。The version without clouds is available at (/www.cs.brown.
17、edu/people/black/images.html)。表1显示了文献中两种序列最好结果的比较。如图所示，我们的变分方法优于其他方法。至于云序列，我们得出结论：精度是其他文献的两倍多。没有云的序列角误差低于1度，随着方法提供了密集流(with a method that offers full density)达到了一倍。如图1展示了这些未知序列相应的光流场：与地面实况匹配非常好。不仅保存了两种运动类型的不连续性，而且准确估计了云的平移运动。原因是这种行为基于我们的假设，并且清晰展现在能量泛函中：虽然平滑项的选择允许不连续，但梯度恒定假设能处理亮度变化，就像在云区域内。 由于在欧拉拉格朗日
18、方程的第二部分存在图像衍生项，我们在下个实验中用噪声影响测试了此方法的性能。我们增加均值为0的高斯噪声和不同的标准偏差于两种序列。获得的结果如表2。表明，我们的方法在存在噪声时也会产生极好的光流估计。对于云Yosemite序列，我们的平均角误差当存在噪声且标准差为40时比文献中提到的没有噪声结果更好。 在第三个实验中，我们评估了我们方法中自由参数的鲁棒性：灰度值与梯度恒定假设的权值，平滑参数。通常图像序列是被通过标准差为的高斯卷积预处理5。在这种情况下，可以作为第三个参数。我们计算结果通过偏离最佳设置的程度参数设定两个因子。结果列写在表3，表明了我们的方法在参数变化情况下具有很好的鲁棒性。 尽
19、管我们的论文不关注快速计算，但精度高。隐式最小化方案在这也展现了相当快的速度，特别是如果削减因子被降低或者完全收敛时停止迭代。收敛行为和计算时间如表4。计算在3.06 GHz的英特尔奔腾4处理器执行，执行用C/C+代码。 Nagel用Ettlinger Tor交通序列估计了我们方法的性能。这个序列由512*512大小的50帧组成。在http:/i21www.ira.uka.de/image sequences/. 图2是计算的光流场和光度。我们的估计给出了非常现实的结果，并且算法几乎不受人工隔行扫描的影响。此外，光流边界相当尖锐，能直接用于简单阈值步骤的分割目的。6 结论 论文中我们研究了能量
20、泛函光流计算的连续和旋转不变性，基于亮度不变性的鲁棒性数据项和梯度恒定性假设，结合不连续保护的时空TV校准。而这些概念已经在前面证明(如22,26)，到目前为止我们已经展现了我们是最优的。主要原因之一，即此方法的性能是用一个能量泛函的非线性数据项和我们策略的结果是推迟所有的线性数值方案：在模型中，线性化直接让步于系统的总性能。在数值方案中，线性化提高了全局最小值的收敛。另一个本论文的重要的结论证明：广泛使用变分数值逼近方案理论上是合理的，不影响连续模型。我们希望这种易懂的连续模型策略与数值逼近结合是一致的，展现优越的性能和具有更深的理论理解且不矛盾：他们不仅仅相同模型的两个方面。Referen
21、ces1. L. Alvarez, J. Esclarn, M. Lefebure, and J. Sanchez. A PDE model for computing the optical flow. In Proc. XVI Congreso de Ecuaciones Diferenciales y Aplicaciones, pages 13491356, Las Palmas de Gran Canaria, Spain, Sept. 1999.2. L. Alvarez, J.Weickert, and J. Sanchez. Reliable estimation of den
22、se optical flow fields with large displacements. International Journal of Computer Vision, 39(1):4156, Aug. 2000.3. P. Anandan. A computational framework and an algorithm for the measurement of visual motion. International Journal of Computer Vision, 2:283310, 1989.4. A. Bab-Hadiashar and D. Suter.
23、Robust optic flow computation. International Journal of Computer Vision, 29(1):5977, Aug. 1998.5. J. L. Barron, D. J. Fleet, and S. S. Beauchemin. Performance of optical flow techniques. International Journal of Computer Vision, 12(1):4377, Feb. 1994.6. M. J. Black and P. Anandan. Robust dynamic mot
24、ion estimation over time. In Proc. 1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 292302, Maui, HI, June 1991. IEEE Computer Society Press.7. M. J. Black and P. Anandan. The robust estimation of multiple motions: parametric and piecewise smooth flow fields. C
25、omputer Vision and Image Understanding, 63(1):75104, Jan. 1996.8. I. Cohen. Nonlinear variational method for optical flow computation. In Proc. Eighth Scandinavian Conference on Image Analysis, volume 1, pages 523530, Troms, Norway, May 1993.9. R. Deriche, P. Kornprobst, and G. Aubert. Optical-flow
26、estimation while preserving its discontinuities: a variational approach. In Proc. Second Asian Conference on Computer Vision, volume 2, pages 290295, Singapore, Dec. 1995.10. G. Farneback. Very high accuracy velocity estimation using orientation tensors, parametric motion, and simultaneous segmentat
27、ion of the motion field. In Proc. Eighth International Conference on Computer Vision, volume 1, pages 171177, Vancouver, Canada, July 2001. IEEE Computer Society Press.11. B. Horn and B. Schunck. Determining optical flow. Artificial Intelligence, 17:185203, 1981.12. S. Ju, M. Black, and A. Jepson. S
28、kin and bones: multi-layer, locally affine, optical flow and regularization with transparency. In Proc. 1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 307314, San Francisco, CA, June 1996. IEEE Computer Society Press.13. S.-H. Lai and B. C. Vemuri. Reliable a
29、nd efficient computation of optical flow. International Journal of Computer Vision, 29(2):87105, Oct. 1998.14. M. Lefebure and L. D. Cohen. Image registration, optical flow and local rigidity. Journal of Mathematical Imaging and Vision, 14(2):131147, Mar. 2001.15. B. Lucas and T. Kanade. An iterativ
30、e image registration technique with an application to stereo vision. In Proc. Seventh International Joint Conference on Artificial Intelligence, pages 674679, Vancouver, Canada, Aug. 1981.16. E. Memin and P. Perez. A multigrid approach for hierarchical motion estimation. In Proc. Sixth International
31、 Conference on Computer Vision, pages 933938, Bombay, India, Jan. 1998. Narosa Publishing House.17. E. Memin and P. Perez. Hierarchical estimation and segmentation of dense motion fields. International Journal of Computer Vision, 46(2):129155, 2002.18. H.-H. Nagel. Extending the oriented smoothness
32、constraint into the temporal domain and the estimation of derivatives of optical flow. In O. Faugeras, editor, Computer Vision ECCV 90, volume 427 of Lecture Notes in Computer Science, pages 139148. Springer, Berlin, 1990.19. H.-H. Nagel and W. Enkelmann. An investigation of smoothness constraints for the estimation of displ
