HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案.docx
- 文档编号:24674277
- 上传时间:2023-05-31
- 格式:DOCX
- 页数:15
- 大小:1.11MB
HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案.docx
《HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案.docx》由会员分享,可在线阅读,更多相关《HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案.docx(15页珍藏版)》请在冰豆网上搜索。
HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping课案
基于变分理论的高精度光流估计
HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping
ThomasBroxMichael*Beechan(陈兵)
重庆理工大学
摘要:
我们研究了能量泛函在计算光流方面结合三种假设:
光亮不变性假设,梯度不变假设和不连续保护的时空平滑约束。
考虑到大位移,线性化要严格避免两组数据的关系(Inordertoallowforlargedisplacements,linearisationsinthetwodatatermsarestrictlyavoided.)。
我们基于两种嵌套的定点迭代提出了一种一致的数值化方案。
为了证明这种方案应用于由粗到精的变分策略,我们给出了变分理论依据,到目前为止,用于主要实验基础。
我们的光流估计表明这种新颖的方法显著地缩小了角误差比以前的技术。
我们得出:
此方法对参数变化十分敏感。
我们也证实在噪声下具有很好的鲁棒性。
1前言
光流估计仍然是计算机视觉的关键问题之一。
估计两个图像之间的位移场,应用对应像素之间是必要的。
这种类型的问题不仅限制运动估计,而且呈现在3D重建或图像识别中。
在过去的二十年,光流估计方法显著地增强了。
从H-S[11]HornandSchunck和L-K[15]LucasandKanade的原始方法,以及对于以前模式的缺点研究发展了很多新的概念。
为了处理光流的不连续,用光滑约束代替了HornandSchunck方法中的二次惩罚,允许分段光滑处理[1,9,19,21,25]。
这下观点的一些方法很接近节点运动估计和运动分割[10,17],并且对于从鲁棒性统计激发的光流方法,对异常值的罚值不够[6,7]。
粗到精的策略[3,7,16]和非线性模型[19,2]已经用于处理大位移问题。
最终,时空的方法改进结果,仅仅需要额外维度的信息[18,6,26,10]。
然而,新的观点不仅改善了光流估计技术的质量,而且努力获得了更好的理解在方法详细实施方面以及参数改变所带来的影响方面,给出了一种理解:
几种模式怎样共同工作。
此外,模型的变分构想在解决部分艰难最优化问题上,给出了一种逼近数值数学的长历经。
对于确定的模型找到最优解通常是重要的,并且通常不使用全部潜能,因为承认去实现这些方面不得不这样做。
在这篇文章中,我们提出了结合以前提及的几种概念的新的变分方法,并且能最小化一致的数值方法。
这也进一步展现了由粗到精策略在所谓变分技术中的使用[7,16],和非线性光流约束的执行使用[19,2],以及在图像配准。
有两个重要的影响:
其一,方法使得将变分技术(目前为止唯一在算法上的动机)整合到变分框架成为了可能性。
其二,方法展现了理论上叙述方式:
怎样解决图片一致性问题,用高效的多分辨率技术。
除了Lef´ebureandCohen[14]那篇非常好的论文外,到目前为止没有很多关于变分的理论结果。
最后,灰度不变性假设是光流估计的基础假设,由此延伸了梯度不变性假设。
这使得本文方法对灰度值的变化具有鲁棒性。
而文献[23,22]中提出了梯度不变性假设为了解决当前方法区域的孔径问题,他们用在变分方法中是新颖的。
实验评估显示我们的方法产生了良好的结果。
与那些文献相比,其精度总是显著提高,有事甚至比目前的最佳值高出两倍。
而且,此方法也证明了在考虑大噪声和现代硬件仅每帧几秒钟的计算时间下鲁棒性的可能。
本文结构:
下一部分,介绍变分模型,先讨论所有模型假设,然后形成能量基本公式。
第三部分针对这个能量公式导出最小化方案。
变分方法的理论基础用于数值逼近阶段在第四部分给出。
实验估计在第五部分呈现,第六部分是简洁的概述。
2变分模型
在我们用光流方法推导出变分公式之前,我们给出约束应该包含模型的直观的想法。
2.1灰度不变性假设
自光流估计初始,就假设位移的灰度像素不变。
I(x,y,t)=I(x+u,y+v,t+1)
(1)
其中:
表示一个矩形图像序列。
图像在时间t和时间t+1之间的搜索位移矢量。
灰度不变性假设线性视觉产生著名的光流约束[11]
其中下标表示偏导数。
然而,在此假设下,这种线性化是唯一有效的,图像的线性变化是随着位移变化的,但一般来说不是这样的,特别是对大位移。
因此,我们的模型将用原始的,非线性的灰度不变性假设
(1)。
2.2梯度不变性假设
灰度不变性假设有一个决定性缺点:
在自然条件下,对光照的轻微变化十分易受影响。
因此,在灰度值方面允许一些小的变化,并且有助于在某一标准下(不变量)位移矢量的确定(在灰度值不变下)。
这个标准是图像灰度的梯度,也可以认为不是由于位移不同[23]。
其中:
表示空间梯度。
获得它可以有助于避免线性化。
约束方程(3)是对平移运动特别有用,而约束
(2)能更好的适应更复杂的运动模式。
2.3平滑性假设
到目前为止,像素的位移模型估计仅限于没有任何相邻的像素之间的相互作用。
因此,导致的问题是:
某一地方的梯度消失或者要是光流在法线方向的梯度估计,这就是“孔径问题”。
而且,可能在估计中会存在一些异常值。
因此,进一步假设光流场的光滑是有必要的。
这种平滑约束也能单独的用于空间域,如果图像序列的位移是有效的。
作为最优位移场将在场景中具有物体边界不连续性,它对推广平滑假设要求分段平滑光流场是敏感的。
2.4多尺度方法
在位移大于每帧一像素的情况下,在一个变分公式内罚函数必须期望是多模式的,例如:
一个最小化的算法很容易陷入局部最小值。
为了找到全局最小化,应用多尺度观点是必要的:
一开始解决粗的,平滑版的问题在平滑的图像序列。
新问题可能有一个独特的最小,希望接近全局最小的初始问题。
粗解作为初始化用于解决问题的改进(精确)版本,直到一步一步初始问题的解决。
而不是平滑的图像序列,更有效的是降低抽样图像,考虑抽样定理,所以模型最终用多分辨率策略。
由以上描述,它是对简单获得能量的功能偏离这些模型假设。
令
,
。
然后从灰度不变性假设和梯度不变性假设得出全局偏差,用能量方程:
γ表示两种假设的权值。
由于二次惩罚,异常值对估计得到太多的影响,增加一个凹函数
,导出一个鲁棒性能量方程[7,16]:
函数Ѱ也可以单独用于这两项。
用函数
推导
的最简化。
由于小正常数ϵ,Ѱ(s)是凸函数在,最小化提供优势。
此外,Ѱ的选择不是引进额外参数,因为ϵ仅仅作为数值的原因并且可以设置为定值,选择为0.001。
最后,一个平滑项来描述分段光滑光流场的假设模型。
通过惩罚光流场总变差获得[20,8]。
表示为:
Ѱ同上。
时空梯度
表示包含了时空平滑假设。
仅对两个图片可用,并且被空间梯度所取代。
总能量是数据项和平滑项的加权和。
包含正则化参数α>0,现在的目标是找到函数u和v使得能量最小化。
3最小化
3.1欧拉-拉格朗日方程
由于E(u,v)是高非线性的,最小化是重要的。
为了更好的可读性我们定义以下缩写,用Z代替t,强调这种表达不是时间导数而是寻求最小化的区别。
根据变分法,(7)的极小化必须满足欧拉-拉格朗日方程。
考虑边界条件。
3.2数值逼近
在论点上,前述的欧拉-拉格朗日方程是非线性
。
第一步是一个线性系统方程是用定点迭代w,能够用相同的数值方法解决。
为了实现一个多尺度方法,需要更好的近似全局最优能量,这些定点迭代将结合采样策略。
而不是在每个层面上0.5的标准采样因子,在这儿提出了用任意因子η∈(0,1),允许平滑从一个Scale转换到另一个Scale(Sincethegridsizeinbothx-andy-directionisreducedbyη,theimagesizeinfactshrinkswithafactorη2ateachscale.)。
此外,使用完整的金字塔的图像,从最小的可能图像在粗网格。
令
,初始化在粗网格中
。
另外,用
代表(8)的缩略定义,而用迭代变量wk代替w。
然后wk+1将为:
只要定点在wk达到,改变到下一个更好的邻域并且使用这个定点迭代解作为这个邻域的初始化。
注意到我们拥有一个完全隐式形式的平滑项和半隐式形式的的数据项。
隐式形式的应用会产生更高的稳定性和快速地收敛。
然而,这个新系统任然是非线性的,因为由非线性函数Ѱ’和非线性标志
。
为了消除非线性
,一阶泰勒展开:
其中:
。
所以在先前迭代阶段
分离未知数
和未知增量
。
为了更好地可读性,即:
其中:
理解为数据项的鲁棒性,
作为平滑项的扩散性。
(9)的第一个公式可以写为:
第二个公式可以表示类似的形式。
这任然是一个非线性系统方程对于定点k,而现在存在未知增量
。
由于Ѱ’作为仅剩的非线性,并且Ѱ选择用做凸函数,剩余的优化问题是一个凸的问题。
例如:
存在一个独特的最小的解决方案。
为了消除剩余非线性Ѱ’,第二个,内部的,定点迭代循环被应用。
令
作初始化,
表示迭代变量atsomestepƖ。
此外,
和
分别表示鲁棒因子和扩散系数定义在(10),k和Ɩ表示迭代次数。
最终线性系统方程在
可理解为:
对于第一个方程,利用标准离散化做(导数)derivatives,由此产生的稀疏线性方程组现在可以常见的数值方法解决,例如高斯·赛德尔和逐次超松驰(SOR)迭代。
计算
类型的表达式通过双线性插值方法。
4关于变分法
由粗到精的变分技术是一种常用的工具在提高光流方法性能上[3,7,17]。
而经常建立在一个纯粹的实验基础上,在这部分可以在理论上作为合理的数值逼近。
为了建立这种关系,限制灰度不变性模型设置γ=0。
也可以简化模型假设单独的空间平滑[17]。
在这些条件下(11)可以写成:
对于定值k,文献[17]提到这个系统等价于欧拉-拉格朗日方程。
同时,du和dv是第一张图像和被变分的第二张图像仅有增量。
相同的增量会在外部定点迭代中找到,为了解决灰度不变性假设的非线性。
Thisshowsthatthewarpingtechniqueimplementstheminimisationofanon-linearisedconstancyassumptionbymeansoffixedpointiterationsonw.
在前面的方法中,变分的主要推动是由粗到精的策略。
由于u和v的计算用粗网格,仅有du和dv计算用细网格。
所以,所使用的估计不到一个像素每帧的量级(大小),独立于总位移的量级(大小)。
在微分光流估计中,这种处理大位移能力被证明是一个非常重要的方面。
第二个处理大位移的策略已经用于非线性的灰度不变性假设[19,2]。
在这儿,首次允许大位移。
然而,非线性导致了多模泛函的出现。
在这种设置下,由粗到精的策略不仅需要,甚至是更好近似全局最小化的需要。
最后,两种策略得到了相同的结果。
事实上,正如前面看到的,两种策略是完全等价的。
因此,由粗到精的变分技术可以单独论证最小化问题,并且图像配准技术依赖非线性不变性假设近似得到高效的多分辨率方法从而最小化能量泛函。
5估计
出于估计的目的,实验做了合成和真实图像数据。
根据文献[5]提出并计算了角误差。
实验估计用一个著名序列的两个变量:
theYosemitesequencewithandwithoutcloudysky。
TheoriginalversionwithcloudyskywascreatedbyLynnQuam(ftp:
//ftp.csd.uwo.ca/pub/vision.)包含了反向和同向运动。
Theversionwithoutcloudsisavailableat(//www.cs.brown.edu/people/black/images.html)。
表1显示了文献中两种序列最好结果的比较。
如图所示,我们的变分方法优于其他方法。
至于云序列,我们得出结论:
精度是其他文献的两倍多。
没有云的序列角误差低于1度,随着方法提供了密集流(withamethodthatoffersfulldensity)达到了一倍。
如图1展示了这些未知序列相应的光流场:
与地面实况匹配非常好。
不仅保存了两种运动类型的不连续性,而且准确估计了云的平移运动。
原因是这种行为基于我们的假设,并且清晰展现在能量泛函中:
虽然平滑项的选择允许不连续,但梯度恒定假设能处理亮度变化,就像在云区域内。
由于在欧拉拉格朗日方程的第二部分存在图像衍生项,我们在下个实验中用噪声影响测试了此方法的性能。
我们增加均值为0的高斯噪声和不同的标准偏差于两种序列。
获得的结果如表2。
表明,我们的方法在存在噪声时也会产生极好的光流估计。
对于云Yosemite序列,我们的平均角误差当存在噪声且标准差为40时比文献中提到的没有噪声结果更好。
在第三个实验中,我们评估了我们方法中自由参数的鲁棒性:
灰度值与梯度恒定假设的权值γ,平滑参数α。
通常图像序列是被通过标准差为σ的高斯卷积预处理[5]。
在这种情况下,σ可以作为第三个参数。
我们计算结果通过偏离最佳设置的程度参数设定两个因子。
结果列写在表3,表明了我们的方法在参数变化情况下具有很好的鲁棒性。
尽管我们的论文不关注快速计算,但精度高。
隐式最小化方案在这也展现了相当快的速度,特别是如果削减因子η被降低或者完全收敛时停止迭代。
收敛行为和计算时间如表4。
计算在3.06GHz的英特尔奔腾4处理器执行,执行用C/C++代码。
Nagel用EttlingerTor交通序列估计了我们方法的性能。
这个序列由512*512大小的50帧组成。
在http:
//i21www.ira.uka.de/imagesequences/.图2是计算的光流场和光度。
我们的估计给出了非常现实的结果,并且算法几乎不受人工隔行扫描的影响。
此外,光流边界相当尖锐,能直接用于简单阈值步骤的分割目的。
6结论
论文中我们研究了能量泛函光流计算的连续和旋转不变性,基于亮度不变性的鲁棒性数据项和梯度恒定性假设,结合不连续保护的时空TV校准。
而这些概念已经在前面证明(如[22,26]),到目前为止我们已经展现了我们是最优的。
主要原因之一,即此方法的性能是用一个能量泛函的非线性数据项和我们策略的结果是推迟所有的线性数值方案:
在模型中,线性化直接让步于系统的总性能。
在数值方案中,线性化提高了全局最小值的收敛。
另一个本论文的重要的结论证明:
广泛使用变分数值逼近方案理论上是合理的,不影响连续模型。
我们希望这种易懂的连续模型策略与数值逼近结合是一致的,展现优越的性能和具有更深的理论理解且不矛盾:
他们不仅仅相同模型的两个方面。
References
1.L.Alvarez,J.Esclar´ın,M.Lef´ebure,andJ.S´anchez.APDEmodelforcomputingtheopticalflow.InProc.XVICongresodeEcuacionesDiferencialesyAplicaciones,pages1349–1356,LasPalmasdeGranCanaria,Spain,Sept.1999.
2.L.Alvarez,J.Weickert,andJ.S´anchez.Reliableestimationofdenseopticalflowfieldswithlargedisplacements.InternationalJournalofComputerVision,39
(1):
41–56,Aug.2000.
3.P.Anandan.Acomputationalframeworkandanalgorithmforthemeasurementofvisualmotion.InternationalJournalofComputerVision,2:
283–310,1989.
4.A.Bab-HadiasharandD.Suter.Robustopticflowcomputation.InternationalJournalofComputerVision,29
(1):
59–77,Aug.1998.
5.J.L.Barron,D.J.Fleet,andS.S.Beauchemin.Performanceofopticalflowtechniques.InternationalJournalofComputerVision,12
(1):
43–77,Feb.1994.
6.M.J.BlackandP.Anandan.Robustdynamicmotionestimationovertime.InProc.1991IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,pages292–302,Maui,HI,June1991.IEEEComputerSocietyPress.
7.M.J.BlackandP.Anandan.Therobustestimationofmultiplemotions:
parametricandpiecewisesmoothflowfields.ComputerVisionandImageUnderstanding,63
(1):
75–104,Jan.1996.
8.I.Cohen.Nonlinearvariationalmethodforopticalflowcomputation.InProc.EighthScandinavianConferenceonImageAnalysis,volume1,pages523–530,Tromsø,Norway,May1993.
9.R.Deriche,P.Kornprobst,andG.Aubert.Optical-flowestimationwhilepreservingitsdiscontinuities:
avariationalapproach.InProc.SecondAsianConferenceonComputerVision,volume2,pages290–295,Singapore,Dec.1995.
10.G.Farneb¨ack.Veryhighaccuracyvelocityestimationusingorientationtensors,parametricmotion,andsimultaneoussegmentationofthemotionfield.InProc.EighthInternationalConferenceonComputerVision,volume1,pages171–177,Vancouver,Canada,July2001.IEEEComputerSocietyPress.
11.B.HornandB.Schunck.Determiningopticalflow.ArtificialIntelligence,17:
185–203,1981.
12.S.Ju,M.Black,andA.Jepson.Skinandbones:
multi-layer,locallyaffine,opticalflowandregularizationwithtransparency.InProc.1996IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,pages307–314,SanFrancisco,CA,June1996.IEEEComputerSocietyPress.
13.S.-H.LaiandB.C.Vemuri.Reliableandefficientcomputationofopticalflow.InternationalJournalofComputerVision,29
(2):
87–105,Oct.1998.
14.M.Lef´ebureandL.D.Cohen.Imageregistration,opticalflowandlocalrigidity.JournalofMathematicalImagingandVision,14
(2):
131–147,Mar.2001.
15.B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProc.SeventhInternationalJointConferenceonArtificialIntelligence,pages674–679,Vancouver,Canada,Aug.1981.
16.E.M´eminandP.P´erez.Amultigridapproachforhierarchicalmotionestimation.InProc.SixthInternationalConferenceonComputerVision,pages933–938,Bombay,India,Jan.1998.NarosaPublishingHouse.
17.E.M´eminandP.P´erez.Hierarchicalestimationandsegmentationofdensemotionfields.InternationalJournalofComputerVision,46
(2):
129–155,2002.
18.H.-H.Nagel.Extendingthe’orientedsmoothnessconstraint’intothetemporaldomainandtheestimationofderivativesofopticalflow.InO.Faugeras,editor,ComputerVision–ECCV’90,volume427ofLectureNotesinComputerScience,pages139–148.Springer,Berlin,1990.
19.H.-H.NagelandW.Enkelmann.Aninvestigationofsmoothnessconstraintsfortheestimationofdispl
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- HighAccuracyOpticalFlowEstimationBasedonaTheoryforWarping 课案
链接地址:https://www.bdocx.com/doc/24674277.html