无人机图像拼接算法综述Word格式.docx
- 文档编号:22637875
- 上传时间:2023-02-05
- 格式:DOCX
- 页数:20
- 大小:157.88KB
无人机图像拼接算法综述Word格式.docx
《无人机图像拼接算法综述Word格式.docx》由会员分享,可在线阅读,更多相关《无人机图像拼接算法综述Word格式.docx(20页珍藏版)》请在冰豆网上搜索。
关键词:
无人机;
图像拼接;
尺度不变特征变换算法;
图像融合
中图分类号:
TP391文献标志码:
A
Surveyonimagemosaicalgorithmofunmannedaerialvehicle
DIYingchen,CHENYunping,CHENYingying,CHENYan
(InstituteofGeoSpatialInformationTechnology,UniversityofElectronicScienceandTechnologyofChina,ChengduSichuan611731,China
Abstract:
ImagemosaicofUnmannedAerialVehicle(UAVisoneoftheincreasinglypopularareasofresearchinterests.Ithasbecomethehotspotoftheresearchintophotocartography,computergraphics,etc.Firstly,itgavethegeneral
stepsofimagemosaics,andemphazedthreekindsofmosaicalgorithm.Secondly,itrepresentedthestepsandalgorithmofimagefusion.Finally,itselectsanalgorithmadaptedtoimagemosaicafteranalysisanddiscussedthefutureprospectsofi
magemosaicofUAV.Keywords:
UnmannedAerialVehicle(UAV;
imagemosaic;
ScaleInvariantFeatureTransform(SIFTalgorithm;
i
magefusion0引言
无人机(UnmannedAerialVehicle,UAV搭载的多模态CCD相机对地观测可获得大量航空遥感图像,如果要便捷地实现航空遥感图像镶嵌,需要航空遥感图像拼接系统的支持[1]。
因为无人机遥感平台获取图像时,受到无人机飞行高度和数码相机焦距的限制,单张图像很难完全包含感兴趣的区域。
为了得到更多目标区域的信息,需要进一步扩大视场范围,可以通过将不同角度的成像进行平滑无缝的拼接融合,构造一幅全景图达到扩展视场范围的目的。
无人机图形拼接已经受到了国内外越来越多的关注,成为了图像处理的热点。
在国外,尤其是发达国家,由于经济技术力量雄厚,使用的飞行平台是更大、更轻、更先进的无人机,配备完整的传感器系统、全球卫星定位系统(GlobalPositioningSystem,GPS和零售销售点终端(PointOfSale,POS系统。
在仪器设备和处理软件上更为先进和高度集成,已经出现了很多产品,且应用于民用和军用领域。
在我国,由于技术发展相对落后,硬件比较滞后。
在软件方面,积累基础条件较好,制订了成体系的生产规定和产品标准,但是图像处理软件的先进度和集成度不如国外,需要推出成套的软硬件系统[2]。
总体来说,无人机图像拼接的研究不够深入,尤其是在国内,成套的图像处理软件的研发比较落后。
近年来,相对于无人机技术的快速发展,无人机的图像处理仍然落后,需要很长时间才能完成图像拼接以及信息提取[3],无法发挥无
人机的灵活、机动和快速到达危险区域等优点。
1无人机图像拼接流程
无人机图像拼接主要有4个步骤:
图像的几何校正、图像
预处理、图像配准和图像融合[4]
。
由于无人机体积比较小,自稳定性和抗风能力差,虽然装有自动驾驶与增稳陀螺,但是在拍照的过程中不可避免地会出现倾斜、抖动,相机本身也存在镜头的几何畸变,所以首先要对无人机图像进行几何校正[5]。
图像的几何校正就是要校正成像过程中所造成的各种畸变,产生一幅符合某种地图投影或图形表达要求的新图像。
图像预处理就是将变形的图像纠正并且统一到建立的坐标系中,以便可测量地物的坐标信息。
图像的配准是指对图像间的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,完成图像间的对齐。
图像拼接的成功与否主要是看图像的配准。
图像的融合是指在配准以后对图像进行缝合并平滑边界,让图像过渡自然。
图像拼接的流程如图1所示。
本文只重点介绍研究图像的配准以及简单的介绍图像的融合,对于几何校正和预处理暂不讨论。
图1图像拼接流程
2无人机图像配准算法
目前图像配准算法主要集中在频率域和空间域讨论:
频
第31卷第1期
2011年1月
计算机应用
JournalofComputerApplications
Vo.l31No.1
Jan.2011
率域一般是利用Fourier变换的相位相关性;
空间域分为基于
灰度的配准算法[6]和基于特征的配准算法。
频率域的方法优点是使用了快速傅里叶变换(FastFourierTransform,FFT,但是对于尺寸缩放比较敏感。
空间域的优点是对图像变形具有较好的鲁棒性,但是在图像之间寻找匹配的特征区域运算量比较大[7]。
2.1基于频率域的图像配准
利用傅里叶变换将空域的图像信息变为频域的信息,然后通过功率谱来计算两幅图像间的平移、旋转及缩放,从而实现两幅图像拼接[8]
该类方法利用了傅里叶变换的良好性质,即函数平移、旋转和缩放在频域都有其对称性。
对于图像的平移,计算两幅图像功率谱的傅里叶变换可得一个脉冲函数,该函数仅在平移量处不为零。
对于旋转[9],可使用极坐标方式表示,使图像的旋转转化为图像的平移,再利用相同的方法计算图像间的旋转角度。
如果图像之间不仅有平移还有旋转,就分两步进行计算,首先计算旋转后的图像,再计算平移。
该类方法对小平移量和旋转及缩放的图像配准非常适合。
因为它有相关的硬件系统和配套的快速算法,计算速度很快,同时还能解决相关性噪声和依赖频率噪声的问题。
2.1.1FourierMellin算法
待拼接的图像是g1和g2经过平移(x0和y0是两幅图像在X轴和Y轴的平移量、旋转0和一致的尺度缩放(即各个方向的尺度变换因子相等变换后的图像,即:
g1(x,y=g2[(xcos0+ysin0-x0,
(-xsin0+ycos0-y0]
(1根据Fourier变换的平移性质,两幅图像的FourierMellin域是不变的,但是能看到旋转与比例的变化。
因此将图像转换到极坐标(,,可将旋转与尺度因子分解。
旋转角度被映射到圆周位移轴上,尺度因子被映射到轴上,其极坐标下的傅里叶幅度谱为[10]:
M1(,=M2(/,-0(2轴的对数变换(以自然对数e为底将进一步将尺度因子转为平移变换:
令=ln,=ln,得:
M1(,=M2(-,-0(3这里将极坐标变换后的对数变换成为对数极坐标变换,也称为FourierMellin变换
[11]
通过式(4可知道,在原始图
像中的均一比例变换会在FourierMellin中产生轴的平移,而在原始图像中的旋转变换会在FourierMellin中产生轴的平移。
利用Fourier变换位移理论很容易得出0,根据FourierMellin变换位移理论可以求出0和,且=ln。
根据得出的和0对图像g1(x,y进行反变换得到图像g1(x,y,然后通过FourierMellin变换位移理论计算出g1(x,y和g2(x,y之间的平移量x0和y0,并完成图像拼接。
图2为拼接
算法流程。
图2FourierMellin拼接算法流程
FourierMellin算法是一种非线性、基于功率谱的频域相关算法,以其对图像内容的依赖少、具有一定的抗干扰能力获
得广泛关注[12]。
但是这种方法有其局限性,就是对小角度和
小缩放因子的图像检测不敏感。
改进的FourierMellin算法
用一点一线法[13]
求出其小角度旋转因子和尺寸变化的因子,然后对其中一幅图进行反变换后再用FourierMellin变换求出平移量,从而实现图像拼接。
一点一线小角度检测精度高,可以有效弥补相位相关法的不足,提高图像拼接精度[14]。
2.2基于空间域的图像配准
基于空间域的拼接算法主要分为基于灰度和基于特征的图像配准算法。
基于灰度相关的配准是从待配准图像的灰度值出发,计算待配准图像中与参考图像中的相同尺寸灰度的差异[15],判断待拼接图像重叠区域的相似程度,由此得到待拼接图像重叠区域的范围和位置[16],从而实现图像拼接。
基于特征相关的配准分为两个过程:
特征提取和特征匹配,主要是利用一些图像中明显的特征信息,比如边缘、角点、颜色[17]等,采用不同的方法对特征点进行提取,对特征点之间进行匹配。
基于特征相关的配准算法有四个主要步骤:
特征提取、特征匹配、变换模型的估计和图像的插值与变换[18]。
本文采用尺度不变特征变换(ScaleInvariantFeatureTransform,SIFT算法。
尺度不变特征变换算法配准主要分为5步。
步骤1尺度空间的生成与极值检测。
由影像与高斯卷积得到尺度空间并且找出高斯差值(DifferenceOfGaussian,DOG后进行极值检测,初步确定特征点的位置和尺度[19]。
尺度空间是由影像和高斯卷积得到:
L(x,y,=G(x,y,*I(x,y(4
其中:
G是尺度可变高斯函数:
G(x,y,=
122
e-(x2+y2/22
;
L表示尺度空间;
(x,y表示图像I上的点;
是尺度空间因子,其值越小则表征图像被平滑得越少,相应的尺度也就越小。
选择合适的尺度因子平滑是建立尺度空间的关键[20]。
为了提高在尺度空间检测稳定特征点的效率,Lowe提出了利用DOG方程同图像的卷积求取尺度空间极值,用D(x,y,表示,即用固定的系数k相乘的相邻的两个尺度的差值计算:
D(x,y,=[G(x,y,k-G(x,y,]*I(x,y=L(x,y,k-L(x,y,
(5
其中k是常数,一般取2。
对DOG尺度空间每个点与相邻尺度和相邻位置的点逐个进行比较,得到的局部极值位置即为特征点所处的位置和对应的尺度[21]。
步骤2将特征点位置最佳化[22],首先就是要删除低对比点。
使用:
D(X=D+
DTXX+12XT2D
x2
X(6
X=(x,y,为候选特征点,D为DOG后的结果,DT为
矩阵的转置。
根据泰勒展开式求出一个偏移量:
X^=-2D-1X2D
X
把这个值作为实际区域极值的位置,将此偏移量代入泰勒展开式,若求出的值绝对值后小于一个设定值,则将其删除[23]。
接着,因为DOG算子会产生较强的边缘响应,用式(7判断特征点是否是边缘点:
Tr(H2Det(H<
(r+12
r
(7
H为候选特征点位置的海森矩阵,Tr为海森矩阵的迹,
171第1期狄颖辰等:
Det为矩阵的行列式的值,r为一个阈值(一般取r=10。
当式(7不成立时,特征点是边缘点,应该删除。
步骤3计算特征点的方向性,利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性。
(x,y处的梯度值和方向分别为:
m(x,y={[L(x+1,y-L(x-1,y]2+
[L(x,y+1-L(x,y-1]2
}
1/2
(8(x,y=tan-1{[L(x,y+1-L(x,y-1]/
[L(x+1,y-L(x-1,y]}
(9
一个特征点可能会被指定具有多个方向,这可以增强匹配的鲁棒性。
步骤4特征点描述,一个特征点可以产生448=128个数据,形成128维的SIFT特征向量,即为特征描述符。
步骤5特征匹配,以两个特征点描述符之间的欧氏距离作为特征点匹配的相似度准则。
设特征点p和q的特征描述符分别为Desp和Desq,则欧氏距离为:
d=
i=0,,127
[Desp(i-Desq(i]2
(10
特征点和最近的两个特征点的欧氏距离的比值为r,如果比值小于预设定的阈值(一般选取r=0.8,则视为匹配成功。
SIFT特征对于旋转和尺度均具有不变性,并且对于噪声、视角变化和光照变化等具有良好的鲁棒性[24]。
2.3结合频率域和空间域的配准算法
将频率域和空间域的两种方法结合,通过频率域获得全局信息,指导空间域中的局部匹配,减少了无效的搜索,也减少了局部独立运动导致的错配。
本文采用无人机图像全自动稳健配准算法。
该算法的根本思想是对两幅图像的特征点匹配从粗到细的一种非常稳健的选择策略层层过滤,保证以提纯后准确的特征点数据来做点变换估计,这样就对自动的特征点提取和匹配的准确性放松了限制条件,把核心的任务移交给了特征点的过滤策略和点变换的估计算法[25]。
步骤1利用相位相关法得到重叠区域。
相位相关法是一种基于傅里叶功率谱的频率相关技术[26],该方法利用了互功率谱的相位信息进行配准。
假设图像f1和图像f2的变换模型是平移运动模型:
f2(x,y=f1(x-x0,y-y0
(11
将式(1进行傅里叶变换再将功率谱进行傅里叶反变换得到:
(x-x0,y-y0=F-1[e-j2(ux0+vy0]
(12
寻找式(2中冲激函数的峰值位置即可确定图像f1和f2
之间的平移运动参数。
相位相关法使用FFT实现,速度很快,虽然估算的平移参数不是很精确,但足以为角点匹配过程提供一个初始搜索范围。
步骤2在已经确定的重叠区域内进行特征角点提取。
该算法是用Harris算子[27]来判定点是否是特征点。
角点检测公式:
E(u,v
(x,y
=
x,y
w(x,y[I(x+u,y+v-I(x,y]2
(13
E的含义是在点(x,y处移动一个(u,v小窗口所发生的亮度变化值。
w(x,y是高斯平滑因子。
将式(3进行泰勒级数展开并且忽略高阶得到矩阵M,再将它相似对角化得到[28]:
MR-1
100
2
R(14
式中,1和2是四元矩阵M的特征值。
每个像素对应着一个这样的四元矩阵。
把R看成旋转因子,这样就可以仅由特征值
来分析亮度的变化量:
当二者都较小时,定义为平坦区域;
当二者值有一个较大、而另一个较小时,定义为边缘;
当二者都较大时,定义为角点。
用公式表示:
Cornerness=DetM-k(TrM2(15其中:
DetM=12,TrM=1+2。
Det和Tr分别表示求行列式的和与迹。
系数k一般取0.04~0.2。
当Cornerness大于一个阈值threshold且在某个领域内取得局部极值时,则标记该点为候选角点。
Harris算子在存在图像旋转、灰度变化、噪声影响和视点变化时是一种较稳定的特征点的提取算法。
但是它对尺度变化非常敏感,当遇到尺度变换比较大的两幅图像时有一半的特征点检测不到。
步骤3图像间点变换的自动稳健估计。
1变换估计与配准误差计算,利用平面透视变换矩阵的平均几何配准误差来衡量配准算法精度,初步去除误匹配点。
给定图像f1(x,y和f2(x,y及n组候选初始匹配点:
(xt,yt(xt,yt,根据单应性矩阵公式x2=Hx1,其中H是一个33的满秩矩阵,称为平面透视变换矩阵,又称单应性矩阵。
对每一匹配点产生两个方程:
xt(h31xt+h32yt+h33=h11xt+h12yt+h13(16
yt(h31xt+h32yt+h33=h21xt+h22yt+h23(17一共有8个未知数(H矩阵有9个未知数,利用h33归一化,因此H仅有8个独立无关的未知数[29],理论上只要代入4对不共线的匹配点,就可以得到H的8个参数,但是考虑到噪声、误匹配的因素,需要代入10对以上的匹配点坐标,然后利用最小二乘法求解。
H的平均几何配准误差是衡量配准算法精度的重要指标:
Sn=
1
2n
i=1,2,,n
[Ddist(xi,Hxi+Ddist(xi,H-1xi]
(18
Ddist表示两点之间的距离,误差的单位是像素。
一般地,设特征点提取误差符合高斯分布,只要设定一个阈值,就可以初步去除误差匹配点。
2用鲁棒变换估计(RANSAC算法来提纯匹配点[30]。
它的基本思想是进行参数估计时,不是不加区分地对待所有可用的输入数据,而是首先针对具体问题设计出一个目标函数,然后迭代地估计该函数的参考值,利用这些初始参数值把多有的数据分为所谓的内点(即满足估计参数的点和外点(即不满足估计参数的点。
最后反过来用所有的内点重新计算和估计函数的参数。
RANSAC方法和传统方法的区别在于传统的方法把全部的数据点作为内点和外点;
而RANSAC最开始是利用一部分数据作为内点得到初始值,然后寻找数据集中所有别的内点。
使用RANSAC估计方法,可以最大限度地减少噪声及外点的影响。
这样就得到了精确的匹配点从而使图像得到配准。
整个算法无论是对数据本身还是图像的外部复杂重复纹理特征等干扰都有很强的容错能力,是一种稳健有效的实用算法。
3图像融合
得到图像间的最优变换矩阵即图像配准后,需要进行图
172计算机应用
第31卷
像融合将两幅待拼接图像合并为一幅图像。
但是拍摄时由于照度不均匀而引起的两幅图像重叠区有较大的亮度不一致或由于镜头畸变引起的图像几何形变时,拼接后的图像会有明显的拼接接缝。
为达到视觉一致性,我们需要消除此接缝,所以要进行图像融合。
3.1图像融合规则
图像的融合规则是图像融合的核心,图像融合进行规则的好坏直接影响融合图像的速度和质量。
这其中有:
基于像素选取的融合规则、考虑分解层内图像及分解层间相关性的像素选取融合规则等。
3.2图像的融合算法
图像融合的算法有很多,最简单的有光强平均融合、加权平均融合、中值滤波法、采样权重函数法,复杂的有图像Voronoi权重法、高斯样条插值法、基于欧氏距离的有效权重法等。
3.2.1加权平均法
加权平均法是一种最简单的图像融合算法[31]。
这种方法使用一个帽函数来加权平均到每个重叠帧的对应像素上,该函数在图像边缘处权重较低,而在中心处权重较高。
加权平均法直观简洁,速度较快,是比较常用的一种融合算法。
将两幅图像对应像素点乘以一个加权系数后再相加得到融合的图像[32]。
设图像I
(i,j的加权系数为,则融合图像可表示为:
I(i,j=I
1(i,j+(1-I
(i,j(19
加权系数满足01。
若=0.5,则相当于两幅图像取平均值;
若取为渐变系数,即在不同的坐标点它的取
值也不同;
当由1慢慢变化为0时,图像从I
(i,j慢慢过渡
到I
(i,j。
这样就实现了图像间的平滑过渡,从而消除了拼接的痕迹。
3.2.2双线性插值法
假设图像I
1和I
需要融合的区域在x轴方向上的最大
值、最小值分别为x
max和x
min
则融合后的图像I在重叠区域的
颜色值为:
I=I
1(x,y+(1-I
(x,y(20
其中=(x
max-x/(x
max
-x
min
在双线性插值法中,新创造的像素值是由原图像附近的(2x-2个邻近像素值通过加权平均计算得出的,这种平均算法具有防锯齿效果,创造出来的图像拥有平滑的边缘,锯齿感难以觉察[33]。
此外,还有很多的融合算法,比如:
小波变换融合法、高通滤波融合法等,根据对拼接图像质量和时间的要求选用合适的算法。
3.3图像的融合步骤
图像的融合方法有很多种,但是主要的步骤都差不多,现在归纳如下。
步骤1预处理对获取的两种图像数据进行去噪声、信号增强等处理,统一数据格式、图像大小和分辨率。
对序列断层图像作三维重建和显示,根据目标特点建立数学模型。
步骤2分割目标和选择配准特征点,在二维或者三维情况下,对目标或兴趣区进行分割。
选取的特点应该是同一物理标记在两个图像上的对应点,该物理标记可以是人工标记,也可以是人体解剖特征点。
步骤3利用特征点进行图像配准,可视做两个数据集间的线性或非线性变换,使变换后的两个数据集的误差达到某种准则的最小值。
步骤4融合图像创建,配准后的两种模式的图像在同一坐标系下将各自的有用的信息融合表达成二维或三维图像。
步骤5参数提取,从融合图像中提取和测量特征参数,定性、定量分析。
4结语
无人机图像具有数据量大、重叠度高等特点,这就需要我们重点关注拼接算法的运算速度和自动化程度。
基于频率域的图像配准算法如FourierMellin算法可以很好地解决平移、旋转和缩放的问题,但是对于图像的尺度和重合度要求较高,所以不是很适合无人机图像拼接。
基于空间域的配准算法如SIFT算法,该方法拼接后图像的质量较高、鲁棒性较好,但是算法非常复杂,拼接耗时很多,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 无人机 图像 拼接 算法 综述