基于单目视频无标记点的三维人体姿态估计研究可编辑Word格式.docx
- 文档编号:22479394
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:21
- 大小:26.63KB
基于单目视频无标记点的三维人体姿态估计研究可编辑Word格式.docx
《基于单目视频无标记点的三维人体姿态估计研究可编辑Word格式.docx》由会员分享,可在线阅读,更多相关《基于单目视频无标记点的三维人体姿态估计研究可编辑Word格式.docx(21页珍藏版)》请在冰豆网上搜索。
授予学位单位:
哈尔滨工业大学
ClassifiedIndex:
TP391.4U.D.C.:
681.39DissertationfortheDoctoralDegreeinEngineering
3DMARKERLESSHUMANPOSEESTIMATION
BASEDONMONOCULARVIDEOSEQUENCES
Candidate:
ChenguangLiu
Supervisor:
Prof.XianglongTang
AcademicDegreeAppliedfor:
DoctorofEngineering
Speciality:
ArtificialIntelligenceandInformationProcessing
Affiliation:
SchoolofComputerScienceand
Technology
DateofDefence:
June2011
Degree-Conferring-Institution:
HarbinInstituteofTechnology摘要
摘要
基于视频的人体姿态跟踪和三维姿态估计在人体动画、游戏、人机交互、
视觉监控、体育运动分析、医疗诊断、虚拟现实和增强现实等领域均有着广
阔的应用前景。
传统的方法中,需要在人体上安装标记点以实现对人体精确
的姿态跟踪,但此类系统通常都非常昂贵,而且添加的标记点一定程度上影
响了人体的运动,极大地限制了该系统的应用。
如智能监控、人机接口
(HCI)、医疗诊断、体育运动分析等应用都需要利用无标记点的人体运动
跟踪方法。
基于视频的无标记点人体运动捕捉系统就是为了这一目标而提出
的,并且经过二十余年的发展,逐渐成为一个热门的研究领域。
本文着眼于
单目视频中无标记点的人体姿态跟踪和三维姿态估计展开研究工作,主要贡
献包括以下三个方面:
首先,在目标跟踪领域,常常通过建立先验模型,如路径一致性假设模
型,对目标轨迹进行预测来处理跟踪过程中的遮挡问题。
然而,当这种预测
与目标的实际运动轨迹相差较大的时候就会发生跟踪失败。
针对这一问题,
本文提出了一种交互式粒子滤波方法,通过判断不同目标样本观测之间的遮
挡关系,自适应地选择不同外观模板进行相似性度量以更新粒子权值,成功
地解决了跟踪过程中各目标之间的相互遮挡问题。
人体四肢可以看做铰链连
接的多个目标进行跟踪,因此可以利用交互式粒子
滤波算法思想解决肢体之
间的遮挡问题,实现对肢体的稳定的二维跟踪。
其次,提出一种适用于三维人体运动跟踪和姿态估计的具有肢体长度约
束信息的人体图模型,并将该模型与一个用于获取肢体观测的二维外观纸板
人体模型和一个用于三维人体姿态估计的三维火柴棍人体模型进行了有机地
结合。
作者针对分块采样粒子滤波算法提出人体图模型。
在该模型中,图的
节点与关节点相对应,而边与肢体观测和肢体长度约束相对应,能够更好地
将约束信息融合到人体姿态跟踪的概率框架内。
同时,该人体图模型与二维
纸板模型和三维火柴棍人体模型有着相同的关节结构,便于二维和三维关节
点坐标序列的计算。
-I-哈尔滨工业大学工学博士学位论文
最后,粒子滤波算法虽然提供了一种在一组非高斯、非线性且多模的观
测数据中估计后验概率的有效方法。
但由于人体姿态跟踪的高维特性,在使
用粒子滤波解决这一问题时通常需要大量的粒子,使粒子滤波算法运行缓慢
甚至失效。
本文引入分块采样粒子滤波算法(PartitionedSamplingParticle
Filtering),在此框架下使用颜色、边缘和运动特征相融合构造粒子权值度
量函数。
同时,在所提出的人体图模型上使用一种改进的信任度传播
(BeliefPropagation)算法进行权值的传播,使得在一个关节点上能够同时
应用多个人体约束。
结合交互式粒子滤波算法,实现了对肢体的稳定的二维
跟踪。
在捕获人体关节点二维图像坐标后,根据摄像机成像模型计算出各关
节点的相对三维坐标,进而估算出人体相对图像坐标系的三维姿态。
本文的研究工作为多目标跟踪领域提供了一种处理目标间遮挡问题的方
法,并将该方法应用到二维铰链人体姿态跟踪领域,较好地处理了肢体间的
自遮挡问题。
同时,通过引入分块采样粒子滤波算法并在一个人体图模型上
应用肢体长度约束,实现了较为精确的二维人体姿
态跟踪。
最后,通过采用
比例正交投影模型计算关节点相对三维坐标,实现
了三维人体姿态的估计。
实验表明,本文方法具有较高的精度和较强的鲁棒
性。
关键词:
单目视频;
无标记点;
人体三维姿态估计;
人
体模型;
分块采样;
粒子滤波-II-Abstract
Abstract
Visionbasedhumanposeestimationcanbeappliedtoanumberoffields
including3Danimation,videogames,humancomputerinteractionHCI,in-
telligentsurveillance,computeraidedsportstrainingsystem,etc.Even
thoughcurrentmarkerbasedmulti-camerahumanposetrackingsystemhas
beenwidelyusedincommercialfield,itistooexpensiveandthemarkersat-
tachedtothehumanbodymoreorlessaffectthemotionofthesubjectsHenceitisunsuitableforsomeapplicationssuchasintelligentsurveillance,
HCI,sportstrainingandanalysis.Theresearchofmonocularvideo
based
markerlesshumanposetrackingisboomedbecauseofitslowercostandwid-
erapplication.Aimingatmonocularvideobasedmarkerless3Dhumanpose
trackingandestimation,theauthordoesresearchesinthreemajoraspectsFirstly,whentrackingmultipleobjects,priormodelssuchaspathcon-
sistencyassumptionmodelareestablishedinordertohandleocclusionprob-
lems.However,thetrackerisdoomedtofailwhentherealtrajectoriesofthe
objectsaregreatlydistinguishedfromtheassumption.Tosolvethisproblem,
theauthorputsforwardadefinitionofinteractiveparticlefilterwhichadap-
tivelyselectsappearancetemplateforaparticletomeasureitslikelihoodby
judgingtheocclusionrelationshipbetweencorrelatedobjects.Thealgorithm
successfullysolvedtheocclusionproblemamongobjectsbeingtrackedMoreover,thehumanbodylimbscanberegardedasarticulated
objects.By
applyingtheproposedinteractiveparticlefiltering,the2Dmotionsofthe
limbsareabletobetrackedrobustlyevenifseriousself-occlusionhappensSecondly,theauthorproposesasetofhumanbodymodelsincludinga
constrainedgraphmodel,a2Dcardboardhumanbodymodelusedforgrabing
humanbodylimbs’observation,anda3Dstickhumanbodymodelwhich
are
suitableforrendering3Dhumanposes.Thegraphmodelisproposedforap-
plyingparticlefilteringwithpartitionedsampling.Inthegraphmodel,each
nodecorrespondstoajoint,whileeachedgecorrespondstoanobservationof
alimboralimblengthconstraint,sothattheconstraintscanbeeasilycom-
binedtotheprobabilityframeworkofhumanposetracking.Moreover,the
-III-哈尔滨工业大学工学博士学位论文
graphmodelhasthesamejointarchitecturewiththe2Dcardboard
modeland
3Dstickmodel,hencethecomputationofthe2Dand3Dcoordinatesse-
quenceofthejointsbecomesmoreconvenientFinally,eventhoughparticlefilteringprovidesaneffectivenon-Gaussian,
non-linearandmulti-modemeasuretoestimatetheposterior,itrequiresa
tremendousnumberofparticles,whichmakesittootimeconsumingtobeuti-
lizedforhumanposetracking.Partitionedparticlefilteringalgorithmisin-
troducedandappliedastheframeworkoftracking2DhumanbodaylimbsBycombiningwithmultiplefeaturesincludingcolor,edgeandmotion,a
weighingfunctionisconstructedtomeasuretheparticles’weights.Inthe
frameworkofparticlefilterwithpartitionedsampling,theauthorputsfor-
wardanewadaptivewayforfusingcolor,edgeandmotioncuestogetherto
constructtheweightingfunctionofparticles.Inaddition,asimplifiedBelief
PropagationBPisdevelopedtopropagatetheweightsoflimbobservations
tothecorrespondingparticlesalongtheedgesoftheproposedgraphmodel,
whichiscapabletomakeasetofparticlesbeabletocarrymultiplecon-
straints.Byapplyingtheproposedinteractiveparticlefilteringtodealwith
occlusionamongbodylimbs,arobust2Dhumanposetrackingmethodisde-
veloped.Finally,therelative3Dcoordinatesofeachjointarecomputedbased
ontheestimated2Dimagecoordinatesofthejoint.Subsequently,the3Dhu-
manposeisreconstructedaccordingtotherelative3Dcoordinatesofeach
jointThestudysuppliesthemultipleobjectstrackingwithamethodfordeal-
ingwithocclusionamongobjects,andappliesitto2Darticulatedhumanpose
trackingforself-occlusionproblem.Meanwhile,byadoptingpartitionedsam-
plingmethodandapplyinglimblengthconstraintsonagraphmodel,itsuc-
cessfullytracks2Dhumanposes,andthenestimates3Dhumanposesbyus-
ingscaledorthographicprojectionmodel.Experimentsshowtheaccuracyand
robustnessoftheproposedmethod
Keywords:
Monocularvideosequences,3Dhumanposeestimation,humanbodymodel,makerless,partitionedsampling,particlefiltering
-IV-目录
摘要I
AbstractIII
第1章绪论1
1.1课题研究背景及意义1
1.2人体运动分析技术简介2
1.2.1人体运动分析的处理流程3
1.2.2人体运动分析技术的应用及存在的问题.4
1.3主要研究方法及存在问题7
1.3.1基于模型的方法.8
1.3.2非模型的方法12
1.3.3存在问题.14
1.4课题来源及主要研究内容151.4.1课题来源.15
1.4.2主要研究内容15
第2章基于交互式粒子滤波的多目标跟踪17
2.1引言17
2.2目标跟踪问题的建模过程182.3粒子滤波器.20
2.4交互式粒子滤波器23
2.4.1粒子空间位置冲突判断242.4.2交互式粒子滤波过程.262.4.3似然函数.29
2.5实验结果及分析30
2.6本章小结40
第3章人体模型的构建413.1引言41
3.2人体模型简介42
3.2.1人体图模型42
3.2.2人体动力学模型45
3.2.3人体外观模型47
-V-哈尔滨工业大学工学博士学位论文3.3本文使用的人体模型.493.3.1人体动力学模型49
3.3.2人体外观模型50
3.3.3带有约束的人体图模型513.4本章小结52
第4章基于分块采样粒子滤波的二维人体姿态跟踪
53
4.1引言53
4.2分块采样粒子滤波器.544.2.1基本分块采样算法54
4.2.2应用于铰链物体的分块采样算法.564.3二维铰链人体姿态跟踪.584.3.1肢体约束及其度量60
4.3.2多特征融合的似然函数构建624.3.3粒子权值更新66
4.4实验结果与分析68
4.4.1粒子数量和分布68
4.4.2实验结果.70
4.5本章小结74
第5章基于比例正交投影模型的三维人体姿态估计
75
5.1引言75
5.2投影模型78
5.2.1摄像机模型78
5.2.2透视投影模型78
5.2.3比例正交投影模型81
5.3三维人体姿态估计83
5.4实验结果与分析86
5.5本章小结92
结论94
参考文献96
攻读学位期间发表的学术论文.104
哈尔滨工业大学博士学位论文原创性声明.105致谢.106
个人简历.107
-VI-ContentsContents
AbstractChinese.I
AbstractEnglishIII
Chapter1Introduction1
1.1BackgroundandSignificance.11.2IntroductionofHumanPoseTrackingandAnalysis2
1.2.1ProceduresofHumanPoseTrackingandAnalysi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 目视 标记 三维 人体 姿态 估计 研究 编辑