1、北京理工大学计算机学院北京理工大学计算机学院2010-20112010-2011二维运动估计二维运动估计 三维运动估计三维运动估计 目目标跟踪分跟踪分类 身体跟踪身体跟踪 手手势跟踪跟踪运动分析与估计数字视频处理的基本内容难点和热点应用场合计算机视觉机器人导航，无人驾驶飞机目标跟踪军事侦察、地面和空中的交通管制工业监视工业自动化控制视频压缩8不同场合对运动估计的要求计算机视觉领域：真实运动估计目标跟踪、工业监视、机器人视觉等视频压缩编码领域：率失真最优运动估计最大限度地减小视频数据量估计的结果不一定是真实的运动参数可视电话、流媒体、DVD、HDTV、IPTV等概述概述9运动分类根据摄像机和目标
2、物体的运动状态摄像机不动物体不动（SCSO）摄像机不动物体动（SCMO）摄像机动物体不动（MCSO）摄像机动物体动（MCMO）根据观察者单摄像机系统、多摄像机系统根据对象单目标、多目标简单默认的运动情况单摄像机固定不动的单一运动目标概述概述10时间序列图像（运动图像）摄像机放置在三维空间的某一位置上，对运动物体进行观测，所拍摄到的一系列图像不仅是空间位置的函数，也是随时间变化的函数 运动物体特征特征点：尖锐点特征直线：边缘直线特征曲线：边缘曲线可用来观察分析物体的运动概述概述11运动估计要研究的基本问题估计运动前后相邻时刻两幅图像上对应点坐标之间的差值，即运动矢量。特征对应：运动物体上的特征与
3、其在二维图像平面上的投影坐标的对应关系OYXZyxP(X,Y,Z)P(X,Y,Z)p(x,y)p(x,y)(x,y)(X,Y,Z)12根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息图像序列的光流分析方法运动信息一阶：位移二阶：速度三阶：加速度运动图像处理二维运动参数估计三维运动参数估计运动目标检测与分割运动物体的三维结构及各个物体之间的空间关系13两帧视频图像 和 之间的运动估计。t1到t2时刻的位移矢量（运动矢量）为 ，其中所有点的运动矢量形成运动场当前帧：参考帧：14前向运动估计与后向运动估计后向运动估计后向运动估计前向运动估计前向运动估计xxxd(x,t;t-dt)d(x,
4、t;t+dt)t-dttt+dt在基于运动补偿的视频编码中常用在基于运动补偿的视频编码中常用1516摄像机变焦摄像机变焦摄像机绕摄像机绕Z轴旋转轴旋转1718透透视视投投影影当物体表面为平面时，当物体表面为平面时，19平移平移双线性双线性透视投影透视投影仿射仿射20观察到的二维运动与真实的投影二维运动的不一致性21二维运动估计存在的几个问题二维运动估计存在的几个问题l遮挡问题遮挡问题l孔径问题孔径问题l噪声问题噪声问题22二维运动模型及估计方法参数模型：物体运动被建模为某种映射形式。全局 -摄像机移动、单个运动物体区域 -多个运动物体（运动区域分割）非参数模型：对运动场施加平滑约束条件。光流、
5、像素、随机场 -估计每个像素运动矢量块匹配 -分割成小的规则块，估计每个块的运 动矢量网格 -分割成不重叠的多边形单元，可克服块失真 23四种二维运动估计方法基基于于像像素素全全局局基基于于区区域域基基于于块块24光流观察动态物体时在视网膜上产生连续的光强变化，如同光的“流动”。在视频序列运动估计中，观察到的二维运动。视频序列空间坐标关于时间的变化率-像素的瞬时速度矢量。25光流方程亮度守恒假设：运动物体点的亮度（或色度）在其运动轨迹上保持不变，变化的是物体的位置。或或其中其中 为空间梯度向量，为空间梯度向量，为光流场。为光流场。26其中：其中：为图像空间梯度方向为图像空间梯度方向 上的单位矢
6、量上的单位矢量光流v v的分解将光流v v分解为两个正交的分量：为切线方向上的单位矢量为切线方向上的单位矢量只能确定图像空间梯度方向上的分量（法向流）只能确定图像空间梯度方向上的分量（法向流）即：即：孔径问题孔径问题27光流方程的要求：亮度函数可微数字视频：有限差分法近似m,nm+1,nm,n+1m+1,n+128光流方程 一个方程，两个未知数多点邻域约束假设 的邻域 内所有像素具有相同的光流矢量，光流方程在邻域 上的误差定义为：其中其中 为分配给为分配给 的权重。令的权重。令 可可得：得：29多点邻域约束则光流矢量的估计值为：则光流矢量的估计值为：30运动场的平滑性运动场的平滑性31运动平滑
7、约束由Horn和Schunck提出，对整个运动场或局部窗施加全局平滑约束。目标误差函数为：其中其中 为运动估计的定义域，可以是为运动估计的定义域，可以是整幅图像整幅图像或一个或一个局部窗局部窗。为为光流空间梯度光流空间梯度的平方函数，它反映了光流矢量随的平方函数，它反映了光流矢量随像素像素变化的快慢程度变化的快慢程度为为光流方程误差光流方程误差的平方函数的平方函数32对对 求关于求关于 和和 的偏微的偏微分，并令其为分，并令其为0，可得：，可得：运动平滑约束最小化 施加光流约束最小化 施加运动平滑约束 表示对像素邻域（不包括当表示对像素邻域（不包括当前像素）求平均。前像素）求平均。表示迭代次数
8、，初始光流矢表示迭代次数，初始光流矢量量 可设为零。可设为零。33有向平滑约束Horn-Schunck方法的运动平滑假设并不一定成立“运动边缘”现象：实际的运动场在物体边缘处是不连续的，施加全局平滑约束导致物体边界的运动估计不精确引入有向平滑，减少图像空间梯度方向上的平滑约束方法：将平滑约束 中引入权值矩阵 ，即：为常数为常数34有向平滑约束误差函数：误差函数：当当F=0，时，时，Horn-Schunck运动平滑约束方法运动平滑约束方法有向平滑约束方法的一个特列有向平滑约束方法的一个特列35与光流法一样，估计每个像素的运动矢量位移帧差像素x从t1时刻到t1+dt时刻的位移帧差为：为为x处的位移
9、矢量处的位移矢量由亮度守恒假设由亮度守恒假设 ，即：，即：两边同时除以两边同时除以dt，可得：，可得：（光流方程）（光流方程）36多点邻域约束多点邻域约束l假设假设 的邻域的邻域 内所有像素具有相同的运动矢量，领内所有像素具有相同的运动矢量，领域域 上的误差函数为：上的误差函数为：其中，其中，w(x)为分配给为分配给x的权重。误差函数关于运动矢量的权重。误差函数关于运动矢量di的的梯度为：梯度为：使用基于使用基于一阶梯度下降一阶梯度下降的方法求解运动矢量的方法求解运动矢量di：为更新步长。为更新步长。也可以使用也可以使用穷尽搜索法穷尽搜索法寻找寻找di。37像素递归法像素递归法l沿图像沿图像扫
10、描方向逐个扫描方向逐个估计像素的运动矢量。估计像素的运动矢量。l新像素新像素的运动矢量由的运动矢量由已估计像素已估计像素的运动矢量进行的运动矢量进行预测预测l使用基于位移帧差函数最小化的方法更新运动矢量使用基于位移帧差函数最小化的方法更新运动矢量l像素的像素的位移矢量无需编码位移矢量无需编码解码器端使用同样的预测更新机制解码器端使用同样的预测更新机制l估计精度较低，预测误差较大估计精度较低，预测误差较大局部平滑约束局部平滑约束 光流约束光流约束38基于梯度下降的算法(Netravali-Robbins)最小化位移帧差函数迭代方程：为更新步长；为关于d的梯度。关于位移矢量的梯度计算关于图像梯度的
11、计算终止迭代条件：更新项或位移帧差小于某阈值收敛速度取决于 的选取同样存在孔径问题39自适应步长算法如果 很小，需要较多的迭代次数如果 较大，运动矢量可能会在真实值附近震荡。图像梯度的大小影响更新的速度边界区域：梯度大，小的更新平坦区域：梯度小，大的更新Walker-Rao算法Caffario-Rocca算法 可以避免在平坦亮度区域（空间梯度几乎全为可以避免在平坦亮度区域（空间梯度几乎全为0）出现除）出现除以以0的情况的情况40使用多点邻域约束的像素递归法目标误差函数为：123456x16为已经估计的像素为已经估计的像素x为当前像素为当前像素41基于贝叶斯准则的方法基于运动估计问题的概率公式随
12、机场视频图像函数 观察模型运动场 运动场模型运动场估计最大后验概率(MAP)问题用概率密度函数建模用概率密度函数建模运动场运动场给定两帧图像下运动场的后验给定两帧图像下运动场的后验概率密度函数概率密度函数使用贝叶斯公式使用贝叶斯公式:不包含运动矢量，视为常数不包含运动矢量，视为常数似然性测度似然性测度运动场的先验概率模型运动场的先验概率模型42基于贝叶斯准则的方法运动场最大后验概率估计：似然模型：对运动场施加光流约束光流约束噪声-沿运动轨迹的亮度改变，如噪声为高斯分布，均值为0，方差为先验模型：对运动场施加平滑约束平滑约束43基于贝叶斯准则的方法团（clique）可包含一个或多个像素为一个团上
13、的势函数为一个团上的势函数包含两个像素的团，其势函数为：包含两个像素的团，其势函数为：最大化最大化最小化最小化4像素领域像素领域8像素领域像素领域44将图像分成一个个规则的图像块，对每个块进行运动估计。广泛应用于各种视频压缩编码标准中。块运动模型块平移模型假定每个块只做平移运动优点：实现简单缺点：1、不能表征旋转、缩放和局部变形；2、物体边界和块边界通常不一致，导致块失真；3、同一块可能包含多个运动物体。可变形块模型可以对物体的旋转、缩放、变形建模三种模型：投影运动、仿射运动、双线性运动方法：相位相关法、块匹配法45块平移模型块平移模型a)非重叠块非重叠块b)重叠块重叠块46参考帧参考帧当前帧
14、当前帧47匹配函数归一化互相关函数均方误差绝对值误差匹配像素数如果如果N1，N2固定，即块的大小一定固定，即块的大小一定48全搜索块匹配算法（EBMA）全搜索计算量非常大！如使用MAD匹配准则，全搜索一个块需计算减法、绝对值、加法各N1N2(2s+1)2次N1N2x搜索窗搜索窗N1+2sN2+2ss：搜索范围：搜索范围49真实运动未必是整数值分数精度搜索可提高运动估计的精度半像素精度 MPEG-1、MPEG-2、H.2631/4和1/8像素精度 MPEG-4、H.26450原始参考图像原始参考图像线性内插线性内插内插后的参考图像内插后的参考图像MN2M2N51不降低估计精度的搜索方法通过减少每
15、个候选块的运算量部分失真搜索法（提前退出法）三角不等式法牺牲估计精度的搜索方法（快速搜索算法）通过减少候选块的数目三步搜索法新三步搜索法二维对数搜索法交叉搜索法菱形搜索法其他方法：四步搜索法、遗传搜索法、钻石搜索法等52又称提前退出法在全搜索块匹配方法（或其他快速搜索方法）基础上，在每次失真测度计算之后加入一个判断搜索窗每移动一个位置，都将保留最小的失真测度当搜索窗移动到某个位置时，失真测度进行累加计算，每计算一次（一个像素），比较当前失真累加值与前面保留的最小失真测度，如果当前失真累加值较大，则停止计算，将搜索窗移动到下一个位置，反之，则继续进行累加。53与部分失真搜索法相同，搜索窗每移动一
16、个位置，保留最小的失真测度，如绝对值误差和（SAD）min根据三角不等式先计算图像块的灰度值和，包括当前块（只一次就可以了）和搜索块如果两个灰度值和之间的差值已经超出了保留的最小失真测度，则停止运算，匹配下一个位置。54search 9+8+8=25 points55search cases：1、9+8=17points2、9+8+8+8=33points3、9+8+3=20points小位移矢量的出小位移矢量的出现概率较大现概率较大56search at most5+4+2+3+2+8=24 points菱形排列的四菱形排列的四个点以及零位个点以及零位移点移点57search at most
17、5+4+4+4=17 points二维对数法：二维对数法：使用（使用（+）型的）型的4个点个点交叉搜索法：交叉搜索法：使用（使用（X）型的）型的4个点个点58性能最优异的性能最优异的算法之一，被算法之一，被MPEG-4标准标准采纳采纳1st step2nd step3rd step4th step5th step各步骤之间的各步骤之间的相关性较大相关性较大由移动模版而由移动模版而新增加的检测新增加的检测点不多点不多9个检测点的大模版个检测点的大模版5个检测点的小模版个检测点的小模版59块平移模型的缺陷之一：实际的物体运动块平移模型的缺陷之一：实际的物体运动不是简不是简单的平移单的平移运动运动可
18、变形块可解决此缺陷，可对物体的可变形块可解决此缺陷，可对物体的旋转、缩放、旋转、缩放、变形变形等建模等建模对对节点节点进行运动估计，块内像素的运动矢量使用进行运动估计，块内像素的运动矢量使用节点运动矢量内插得到节点运动矢量内插得到当前帧当前帧参考帧参考帧60可变形块运动模型可变形块运动模型l投影模型投影模型对应于透视投影对应于透视投影l仿射运动仿射运动对应于正交投影对应于正交投影l双线性运动双线性运动无对应物理运动无对应物理运动多项式运动模型多项式运动模型61可变形块运动估计可变形块运动估计l估计各个模型的参数估计各个模型的参数如：投影模型，需估计如：投影模型，需估计a0,a1,a2,b0,b
19、1,b2,c0,c1基于节点的可变形块模型基于节点的可变形块模型l假设块的假设块的控制节点控制节点（如块的顶点）可（如块的顶点）可自由运动自由运动l对每个对每个节点节点求取位移矢量求取位移矢量l块内像素块内像素的位移矢量由节点位移矢量的位移矢量由节点位移矢量内插内插得到得到l优点：优点：比多项式表示的可变形运动模型更加比多项式表示的可变形运动模型更加直观直观估计块节点的运动比估计多项式参数估计块节点的运动比估计多项式参数容易容易62内插公式内插公式lK=1，退化为平移模型，退化为平移模型lK=3，对应于仿射运动模型，对应于仿射运动模型lK=4，对应于双线性运动模型，对应于双线性运动模型第第k个
20、节点对像素个节点对像素x的贡献，的贡献，称称内插核内插核63内插核需满足的条件内插核需满足的条件l保证运动的连续性保证运动的连续性l保证节点处的运动只与其自身有关保证节点处的运动只与其自身有关64内插核函数设计内插核函数设计l使用与节点结构相关的使用与节点结构相关的形状函数形状函数l标准三角形标准三角形l标准四边形标准四边形65节点的运动估计节点的运动估计l匹配函数匹配函数l最小化匹配函数方法最小化匹配函数方法全搜索法：需较大的计算量全搜索法：需较大的计算量基于梯度的迭代法（基于梯度的迭代法（Newton-Raphson）其中：其中：66(a)使用三角形网格使用三角形网格(b)使用四边形网格使
21、用四边形网格当前帧被分割为当前帧被分割为不重不重叠的多边形单元（网叠的多边形单元（网格），格），运动估计为网运动估计为网格的每个节点在参考格的每个节点在参考帧找到对应点（即得帧找到对应点（即得到其运动矢量），其到其运动矢量），其余点的位移矢量由节余点的位移矢量由节点的运动矢量点的运动矢量插值插值得得到。到。67(a)基于块匹配的运动估计基于块匹配的运动估计(b)基于网格的运动估计基于网格的运动估计(c)基于网格的运动跟踪基于网格的运动跟踪68单元内像素的运动由节点的运动矢量内插得到单元内像素的运动由节点的运动矢量内插得到每个网格节点只有一个运动矢量，与其相邻的所有多每个网格节点只有一个运动矢量
22、，与其相邻的所有多边形单元共享此运动矢量边形单元共享此运动矢量69主要步骤建立网格规则网格自适应网格 复杂运动的区域节点密集，简单运动的区域节点稀疏节点运动估计最小化位移帧差函数二阶梯度迭代先后顺序光栅扫描根据节点处图像梯度值分组70图像梯度较大：区域运动较复杂图像梯度较大：区域运动较复杂预测误差较大：此区域的运动模型建模失效预测误差较大：此区域的运动模型建模失效SG（x,y）和）和PPE（x,y）非零时：网格节点密集）非零时：网格节点密集图像梯度图像梯度预测误差预测误差如果如果如果如果重建图像重建图像运动补偿图像运动补偿图像71更新第更新第n个节点的运动矢量时，其余节点的运动矢量保持不变个节
23、点的运动矢量时，其余节点的运动矢量保持不变S(n)表示与第表示与第n个节点相连接的多边形单元个节点相连接的多边形单元全搜索法全搜索法基于梯度下降的方法基于梯度下降的方法72步骤节点运动估计初始值：块匹配法按顺序迭代估计每个节点给定某个节点，固定其他节点在不改变拓扑结构的范围内移动该节点，计算误差函数最小化误差函数更新的运动矢量满足某条件，终止迭代每个节点的更新过程全搜索梯度下降73基于网格基于网格全搜索块匹配全搜索块匹配(半像素精度半像素精度)参考帧参考帧当前帧当前帧预测图像预测图像74网格当前帧可以分成规则的或不规则的网格参考帧中的不规则网格是不重叠的每个节点只有一个运动矢量可变形块当前帧分
24、成规则的网格参考帧中的不规则网格是重叠的每个节点有多个运动矢量不可变形块当前帧分成规则的网格参考帧中的规则网格是重叠的75将视频图像分割为多个区域，每个区域对应一个特定的运动，然后为每个区域估计运动参数区域分割：力图区域内的所有像素的运动具有一致性，可以由一个运动模型表示运动模型：仿射模型、双线性模型、投影模型方法分类区域优先运动优先联合区域分割和运动估计76区域优先的方法基于当前帧的纹理、边缘信息进行区域分割局部区域的直方图区域连接增长为每个区域估计运动参数表示当前帧第表示当前帧第n个区域个区域Rn中像素中像素x的运动矢量的运动矢量区域误差函数：区域误差函数：表示表示Rn的运动参数矢量的运动
25、参数矢量可以是仿射、双线性、投影运动模型中的任意一种可以是仿射、双线性、投影运动模型中的任意一种77运动优先的方法首先估计整个运动场 光流、像素、块、网格等方法运动场分割聚类：将具有相似运动矢量的像素进行聚合，形成区域。分层：分成主导运动和次主导运动，从占主导的区域开始，剔除误差较大的区域，直到第一层；然后进一步剔除区域，直到没有剔除区域。78联合区域分割和运动估计的方法区域分割和运动估计相互依赖，相辅相成。可交替进行区域分割和运动估计79整幅图像的运动可以用单一的运动模型表示通常指摄像机相对于静止场景运动产生的运动整个场景作为一个整体运动（很少发生）。方法直接估计法间接估计法80直接估计法误
26、差函数：表示表示全局全局运动参数矢量运动参数矢量可以是仿射、双线性、投影运动模型中的任意一种可以是仿射、双线性、投影运动模型中的任意一种为权值系数，调节为权值系数，调节 可减小与全局运动不匹配的可减小与全局运动不匹配的像素对误差函数的影响。像素对误差函数的影响。81是是 的线性函数，即的线性函数，即间接估计法假设已经得到一些特征点 的运动矢量匹配误差函数：对上式求偏导并令其为零，可得运动参数：对上式求偏导并令其为零，可得运动参数：82间接估计法若全局运动建模为仿射运动模型（正交投影）仿射运动模型的矩阵仿射运动模型的矩阵为减小矩阵计算量，可分别估计为减小矩阵计算量，可分别估计x和和y方向上的参数
27、方向上的参数如估计如估计x方向上的参数方向上的参数 ，对应的矩阵对应的矩阵则则83分分辨辨率率增增加加层层1层层2层层3可由空间低通滤波和亚采样得到可由空间低通滤波和亚采样得到84前面介绍的运动估计方法存在的问题最小化误差函数可能收敛到局部最小值最小化误差函数过程的计算量很大多分辨率运动估计可有效解决这两个问题首先在最小分辨率层（由空间低通滤波和亚采样获得）进行运动估计，并把结果作为下一层的初始解。然后每层依次进行运动估计，每层的运动估计结果都将作为下一层的初始解每层的运动估计可使用前面介绍的方法，如基于光流、像素、块、网格等运动估计方法85优点运动场接近最优解的概率更大较小分辨率层上，误差函
28、数可以接近全局最小值，通过插值，获得高分辨率上的初始解，最后到达最大分辨率时，误差函数接近全局最小值的可能性更大。计算量比直接在最大分辨率上进行运动估计时要小较小分辨率层上，搜索范围限制在较小的范围。86分层块匹配法当前帧当前帧参考帧参考帧87分层块匹配法当前帧当前帧参考帧参考帧88分层块匹配法89分层块匹配法的计算量假设图像大小为MxM，块尺寸为NxN，所有层都使用 的搜索范围第l层的块数为 ，每个块进行全搜索的运算量为 总运算量：直接在最大分辨率上总运算量：计算量降低倍数90基于光流的运动估计光流方程；平滑约束基于像素的运动估计像素递归法基于块的运动估计块匹配快速算法可变形块基于网格的运动估计基于区域的运动估计全局运动估计多分辨率运动估计91
