小波分析.docx
- 文档编号:8152080
- 上传时间:2023-01-29
- 格式:DOCX
- 页数:16
- 大小:223.75KB
小波分析.docx
《小波分析.docx》由会员分享,可在线阅读,更多相关《小波分析.docx(16页珍藏版)》请在冰豆网上搜索。
小波分析
小波分析
摘要小波分析是将小波函数和小波理论结合起来,解决图像和信号处理的一门学科,并且在科技信息产业得以广泛应用。
若将图像作为二维信号,那么信号和图像处理就可以归并为信号处理。
对于理想状态,即不随时间变化的稳定信号,多数情况下使用傅里叶分析。
然而实际工作中不稳定的信号居多,故此专用于处理非稳定信号的小波分析较傅里叶分析的使用情况更为普遍。
关键词小波分析,小波函数,小波去噪,支持向量机(SVM)
1.引言
统计学是通过对数据在收集,整理,分析的过程中,得到该数据的本质特征,并根据已知数据所表现出来规律对事物的未来发展进行预测的科学。
作为近几年应用广泛并且发展迅速的学科之一,统计学的范围也是非常广泛的。
常用的分析数据方法有高等代数里面的线性代数方程组,矩阵特征值的求法,常微分方程里的微分方程数值解法,数学分析里的函数的数值逼近问题,运筹学里面的最优化计算问题,以及统计学专业里的傅里叶变换,通过小波函数和小波分析的方法等,至于分析数据的软件,最常用的非专业一点儿是SPSS,SAS则是相对来说比较专业的需要编程用的统计分析软件,以及在函数拟合方面有很大优势的SVM(支持向量机)。
另外,对于数据分析过程中的数据挖掘,可以使用CLEMENTINE,而在经济学范畴的则可以利用计量经济学中的E-PLUS和STSTE来分析数据。
下面简单说说傅里叶变换和小波分析。
传统的傅里叶变换是常用的分析信号的方法,但它有两点局限性:
一方面,其三种形式下的傅里叶系数是不随时间变化而变化的常数,只能用于处理平稳信号,也就是有频谱成分不变的这个限制。
然而,在对频谱不变的稳定信号进行处理时,误差的存在对分析结果有很大的误导性,但这又是不可避免的。
而另一方面,傅里叶系数的求法是在全时间域上取加权平均,这样一部分突变信息就被正负相互消除,因而突变信息的作用就被忽略,不能在傅里叶变换中表现出来。
基于上述傅里叶变换的局限性,用来替代的一种更好的方法——小波分析进入了研究者的视线并逐渐得到了青睐。
首先,小波系数的变化,是随着频率的不同而改变的,在不同时刻,即使是对于同一个频率指标,小波系数也是不同的。
因为小波级数是对数据的两重求和,有频率和时间双指标。
其次,各个频率水平下小波系数的求法,针对不同的时刻,只需用到这个时刻旁边的信息即可,因为紧支撑,即某一区间外为零是小波函数特有的性质
。
小波分析最为重要的应用就是滤波,而小波函数必不可少的线性相位是为了在对滤波的处理中不失真。
另外在连续小波函数中,还可以对突变信号进行捕捉和分析。
因此,小波函数也成为很多专家学者在处理和数据时最常用的方法之一。
本文首先介绍了小波分析发展的历史,作为统计学里数据分析的主要方法,小波分析是怎样从原始的绳结计数,逐步发展成初等数学,再到高等数学,最终统计学也发展成熟,而小波分析也成为统计学中一个重要的方法。
接下来是小波分析的应用。
小波分析既然是一个重要的分析方法,那么他在实际生活中能解决什么具体问题呢?
本文将通过小波去噪的例子来说明小波分析在统计学,乃至生活中的实用性和重要性。
其次,既然介绍了历史,应用,那么究竟什么是小波分析,为什么他这么重要,他在解决具体问题的时候,方法步骤又是什么。
所以本文将会从理论方面作为切入点,系统的介绍一下什么是小波分析。
为了使结果更加直观,将会对一组已知的数据运用小波分析的方法进行试验,看看经过小波分析后的数据是什么样子的,看看这样的结果对于我们去解决实际问题有什么帮助。
最后是总结。
众所周知小波分析只是统计学中处理数据的一种方法。
那么小波分析和其他方法相比,优势是什么,弊端又是什么。
就针对各种方法对已知的数据的处理结果,本文会进行简单的对比分析,得出一个结论,究竟在什么条件下运用小波分析的方法解决问题最为合适。
2.小波介绍
2.1数学的发展
对于数据的统计分析,最早起源于古巴比伦人,随后是上古时期中国人,随后公元前五世纪的初等数学,延续了两千多年后到公元十七世纪,高等数学时期正式登上历史舞台。
高等数学不同与其他学科的特征主要有两点:
微积分是数学分析的基础,其对变量的研究是它的特征之一。
现实中的事物多是有限的,而无穷作为对他们本质的概括,是又一个鲜明的特征。
2.2小波函数
随着高等数学的蓬勃发展,在二十世纪初期,一个发展与若干相异的思路息息相关的“小波”出现了,它像炎炎夏日里一阵清凉的风,为高等数学的发展开辟了又一条道路,并且逐渐登上了数学历史的舞台。
在当时对小波函数理论有较为杰出贡献的是JeanMorlet和PierreGoupillaud,以及AlexGrossman。
第一个出现的小波,即哈尔小波(Haar),由AlfredHaar在1909年给出;五十年代以来有JeanMorlet以及AlexGrossman;而YvesMeyer,StephaneMallat,IngridDaubechies,RonaldCoifman,VictorWickerhauser
则是在八十年代前后提出的。
2.3小波变换
小波变换概念的首次出现是在1974年,由在法国进行石油信号处理,地质物理学家J.Morlet提出的。
虽然他的理论没有得到当时专业人士的认可,但是他的成就—通过物理学方面的知识,物理的信号处理和直观的实际需要,相应的建立了反演公式,还是为后人的研究提供了宝贵的参考资料。
小波分析是由法国的数学科学研究者Grossman和Morlet在针对地震的信号进行分析
的时候提到了平移,伸缩在二十世纪八十年代中期前后发现并迅速发展的一门基于数学理论的方法。
2.3小波变换理论
2.3.1发展
小波变换理论在上个世纪七十年代,A.Calderon和Hardy
分别发表的对于定理的发现,空间的原子分解机无条件基的深入研究,给小波变换理论的诞生奠定了坚实的理论基础。
同时J.O.Stromberg还构筑了一种和现在特别相近的小波基,尽管在当时没有引起数学界的关注。
随后Meyer在1985证明了小波函数的存在性,进一步的理论研究上进行了深入,并且是在一维空间的前提下。
Mallat在多分辨的分析思想上,提出了Mallet算法,这在小波应用的发展之路上铺下了一块非常重要的基石。
终于到了1986年,数学家在一个很偶然的条件下构造出了小波基,同时,在与S.Mallat一起建立并统一了多尺度分析,即构造小波基的方法之后,小波基才逐渐广为人知并得以大量运用。
之后的比利时科学家I.Daubechies的潜心著作《小波十讲》(TenLecturesonWavelets)
,着重分析了小波基的应用范围,对小波的蓬勃发展起到了推波助澜的作用。
2.3.2连续小波变换
。
(2-1)
<
时,称
为一个MotherWavelet,即基小波或母小波。
将基小波
经过平移,伸缩后,就可以得到一个小波序列:
(2-2)
2.4小波
2.4.1小波定义
小波是朝着稀疏表示的方向选择和收缩系数,用完全标准的正交基来表示函数。
具有很少一部分孤立隆起的函数,是可以用很少一部分隆起的基函数表示的,就像光滑的函数是可以用很少一部分样条的基函数表示是一种类型的。
小波基在进行压缩方面以及信号处理的工作时是非常方便且受欢迎的,因为它运用其自身独特的方式,使得被称做频率和时间局部性的一种现象,局部隆起或者是光滑的函数被清晰有效的表示出来。
如上图所示,纵轴Ψ指小波不同的频率,其标度有高有低。
然而现实中,在每一个标度下,小波都会并排地完全将时间轴填满。
小波利用最小二乘的方法拟合小波基的系数,然后自动过滤掉相比之下比较小的,只需保留有效的系数。
介于每个不同频率标度下都有很多的基函数,故而可以丢弃掉不需要的而使用有效的部分,这样可以更准确的得到频率和时间的局部性。
2.4.2小波基函数
由上述小波定义介绍,可以得到小波基函数如下三个特点:
(1)波动性。
因为由(2-1),
,也就是直流分量为0,所以可以断定小波具有波动性,其表现形式为正负交替的。
(2)带通性,因为
,所以可得出
具有带通性。
(3)紧支性,由于
,
,则表明
具有快速的衰减性。
另外,小波中“小”的来源,就是因为是局部非零的具有紧支性的函数。
2.5一维小波分解函数
2.5.1对常用的函数比如dwt、wavedec、appcoef的常用格式进行举例说明。
[ca,cd]=dwt(X,’wname’)%单尺度一维离散小波分解
[C,L]=wavedec(X,N,’wname’)%多尺度一维小波分解(多分辨分析函数)
ca=appcoef(C,L,’wname’,N)%提取一维小波变换低频系数
对此有三点说明:
(1)小波分解函数和系数提取函数的结果都是分解系数;
(2)小波系数是信号在做小波分解时所选择的小波函数空间的投影。
就像我们知道的,一个信号可以分解为一组三角函数之和的傅里叶级数,而傅里叶变换又一一对应于傅里叶级数的系数;同样,一个信号可以用一组小波基函数之和来表示,那么小波的系数就自然对应于这组小波基函数的系数。
(3)多尺度分解的过程是严格根据多分辨分析理论进行的,分解的尺度越大,分解系数的长度就越小,其值往往是上一个尺度的二分之一。
通过这样的分解,不难发现得到的小波低频系数的变化规律和原始信号相似,但要同时可以发现低频系数的数值和长度与原始信号以及之后重构得到的各层信号是不一样的。
2.5.2举例
%载入原始信号
loadleleccum;
s=leleccum(1:
3920);
ls=length(s);
(1)单尺度一维离散小波分解函数dwt的应用
[ca1,cd1]=dwt(s,'db1');%用小波函数db1对信号s进行单尺度分解
figure
(1);
subplot(411);plot(s);ylabel('s');
title('原始信号s及单尺度分解的低频系数ca1和高频系数cd1');
subplot(423);plot(ca1);ylabel('ca1');
subplot(424);plot(cd1);ylabel('cd1');
注:
figure
(1)中原始信号s的长度是3920,为ca1和cd1的长度1960的二倍。
(2)多尺度一维小波分解函数wavedec的应用
[C,L]=wavedec(s,3,'db1');%用小波函数db1对信号s进行3尺度分解
figure
(2);
subplot(411);plot(s);title('原始信号');ylabel('s');
subplot(412);plot(C);
title('信号s的3尺度分解结构:
尺度3的低频系数和尺度3、2、1的高频系数');
注:
wavedec中经过多尺度的小波分解之后得到的系数C的存储方式是按照[caj,cdj,cdj-1,…,cd1]的方式存放的,数组L中标有各层系数的长度。
figure
(2)中第二行将系数C显示出来,1~490段是尺度3的低频系数ca3(长度490),491~980段是尺度3的高频系数cd3(长度是490),981~1960段是尺度2的高频系数cd2(长度是980),1961~3920段是尺度1的高频系数cd1(长度是1960)。
(3)提取一维小波变换低频系数函数appcoef的应用
ca1=appcoef(C,L,'db1',1);%从前面小波3尺度分解结构[C,L]中提取尺度1的低频系数
ca2=appcoef(C,L,'db1',2);%从前面小波3尺度分解结构[C,L]中提取尺度2的低频系数
ca3=appcoef(C,L,'db1',3);%从前面小波3尺度分解结构[C,L]中提取尺度3的低频系数
figure(3);
subplot(411);plot(s);title('原始信号');ylabel('s');
subplot(412);plot(ca1);
title('从小波3尺度分解结构[C,L]中提取尺度1,2,3的低频系数');
ylabel('ca1');
subplot(413);plot(ca2);ylabel('ca2');
subplot(414);plot(ca3);ylabel('ca3');
注:
figure(3)中随着的尺度增加,低频系数的长度减为原来的二分之一,我们得出结论,即每一层低频系数的变化规律与原始信号的变化规律是相似的,这也就表明低频系数完整的将信号的基本信息反映出来。
3.支持向量机
3.1SVM的发展
本文介绍的另一个数据分析的工具—SVM(支持向量机),是在1995年,由Vapnik8和CorinnaCortes等研究者首先提出的,它的优势是在高维模式的识别,非线性的模式识别以及解决小样本数据等,同时在进行函数拟合或者其他的学习研究问题中,也能够得到推广。
在1999年,最小二乘支持向量机作为另一种方法被提出,不仅可以处理多维大规模数据,并且研究范围已经涉及多个方面,例如参数调节和选择问题,训练和仿真等。
此后,主动学习向量机,加权支持向量机,基于决策树的支持向量机,模糊支持向量机等在解决实际问题中得以应用。
3.2SVM简介
支持向量机是在一个高维的空间里,对已知向量(本文是小波基向量)进行映射,在这个高维空间里建立一个超平面W,使它有最大的间隔。
再在这个超平面的两边,分别建两个互相平行的超平面,这样之前的超平面M就可以使得这两个超平面实现距离最大化。
而该平行超平面的间距大小,决定了分类器误差的大小,距离越大误差越小,反之亦然。
我们通常所说的分类,是将已知n维数据点通过n-1维的超平面分开,而最佳分类就是是得分属于两类的数据点之间间隔最大的那个平面,即前文提到的最大间隔超平面。
简单介绍分类器的操作步骤:
我们假设M是由以下形式的n个点所组成的测试点集,
,其中
的取值为
1。
而超平面可以记做
,其中W为垂直于超平面的向量,X为超平面上的点,b为截距。
由立体几何可知W向量
分类超平面。
之所以有截距b,是为了增加平行超平面的间距;若是b=0,那么会因为超平面经过原点而限制了分类器的灵活性。
如上图,要得到最大间隔,就需要知道与最大间隔超平面平行的最近的超平面,可以表示成
1和
-1。
因为w为垂直于超平面的法向量,故
表示两个相反的两个常量。
若假设的测试数据点集M为线性可分的,那么必然会得到两个间距为
的平行超平面,因此需要将
最小化。
这时
需满足
or
,合并在一起就得到:
,
。
3.3SVM应用
支持向量机多用于文本和超文本的分类,突出的特点体现在明显减少在归纳和直推方法中所需要的有类标的样本数。
其次是用于对图像的分类。
在实验中也已得出结论,即经过四至五轮的相关反馈后,和传统的查询优化方案相比,用支持向量机分类,搜索准确度明显比传统方法更为高效。
另外,支持向量机涉猎广泛,在医学上也有建树。
通过SVM对蛋白质进行分类,对于化合物的分类,准确率高达90%。
在此理论基础上,较之于传统的分类方法,支持向量机很好的解决了训练集误差较小但同时测试集误差又很大的难题,那就是通过提高数据自身的维度,用线性分类替代原本的非线性分类问题,如此一来,算法的效率和精确度都会较之前有所提高。
所以,近几年支持向量机被广泛应用于解决回归和分类模型的问题中。
4.应用实例
4.1去噪问题的提出
噪音污染越来越成为社会性话题,消除噪音污染势在必行。
在解决实际问题中,通过实验可以取得原始信号声音,这些声音里有信号本身,还有来自车辆等可以避免的人为噪音。
另一方面,去掉了噪音,也能为相关人员从纷繁复杂的声音中提取有用的信息提供方便。
在需要进行处理的信号中,通过信号的性质是否随时间的变化而变化,分为稳定信号和不稳定信号。
稳定信号有时会出现一些未知事件,而这些事件是能够由统计学知识推断出的先验概率的未知事件。
在实际的噪音检测中,收集到的噪声通常表现为非平稳或高频的信号,纵然人们希望可以将噪音污染完全改善,但事实上,只能利用先验知识对其所包含的噪音信号在最小均方误差这一项上处理,而所希望的完全改善是不可能的。
4.2问题的分析
假设收集的原始信号中有白噪音,该噪音可以看作是一个平稳的随机变量,它任意一个时刻的取值是随机的,大小与采样点位置无关,并且各个采样点之间是不相关的。
噪音的分布在某一时间区域内是均匀密集的,当且仅当相对于任意一个确定的信号而言。
其分布也可以看成是零均值并且能量无限的白噪声在时间区域内是不会减弱的,但是会随机变动。
另外,噪音在各个时刻的总和为一,因为他包含着所有的频谱。
4.3传统的Fourier变换
在小波理论这一概念还没有提出之前的时间里,最为早期的信号排除噪声干扰工作时是基于上述变换理论,其主要步骤是对搜集到的原始信号进行Fourier变换,再用通过低通滤波器将原始信号低通滤波,接下来重构一个已经除去噪音的信号,通过Fourier逆变换的方法。
但是,利用低通滤波器处理原始信号去噪音也是有弊端的,因为纵然噪音主要表现在高频区域,但是正常信号除了以低频部分为主,也有部分分布在高频区域,因此不能做到将由噪音引起的高频率干扰波和正常情况下的高频信号波区分开来。
该变换进行原始信号去除噪音的工程,是让原始信号通过变换后,能够得到各个频域的信号信息,因此整个除去噪音的过程都是在频率区域里操作并进行分析的。
然而这个方法不能体现出某个信号在某个时间点的变化,所以如果时间轴上有突变信号,那么这个看不见的隐形信号必然会对整个频率波谱产生影响。
Fourier变化只能在信号的时间区域和频率区域分开进行处理,因此,对于频谱中任意一个特定频率来说,无法从时域或者频域观察出这个频率产生于什么时候。
这样对于非平稳信号去除噪音的这个过程,利用这样的变换就有些麻烦了。
3.4小波变换的应用
与传统的Fourier变换相比,小波变换的特性是时频局部化分析。
在数学上,基于小波的信号去除噪音的问题,是一个类似于函数中极限逼近的问题。
也就是在由小波基函数平移和伸缩所存在的这么一个函数空间中,根据类似于向量的一个衡量准则,来逼近和真实信号的距离,从而达到从原始信号除去噪音的目的。
用统计公式可以表述为:
(4.1)
,“opt”表示最优解(4.2)
代表含噪音信号,
代表实际真实信号(4.3)
(4.4)
(4.5)
由此可见,去噪问题实际上就是在基于小波信号的基础上找到一个最佳映射,从包含噪音的空间到小波函数空间,用来在一个最佳环境下完成对真实信号的恢复。
从对原始信号进行处理的角度,小波去除噪音的问题,实际上就是将原始信号频率中属于噪音波的频率去除掉的过程。
小波去除噪音实际上就是低通滤波,但是在去除噪音的这一过程之后,和F变换不同的是,小波去噪音可以完整的保留原始信号的信息。
实际操作中,介于噪音信号大多出现在高频信号,通常对信号小波进行分解,常见的是分为四层。
再对包含在这四层里的噪音分别进行分解,然后为分解后的小波系数找到合适的阙值,这样只需进行最后的处理就行了。
接下来把这些经过处理的小波系数重新组成一组信号,这就是除去噪音的信号。
第1章绪论
1.1平台搭建的背景和意义
当今社会科学发展观与可持续发展理念已经深入人心,低碳生活,绿色生活更是大街小巷备受关注的话题。
支持低碳生活、绿色生活必不可少的就是个人闲置物品的交易,当然这个交易包含着货款对付和以物易物,然而个人闲置物品的交易在校园这样的知识的殿堂却并不多见,在校园中最多只能见到“好友买卖”。
在校园中并不是不存在闲置物品交易的需求,相反的,在校园中闲置物品的交易需求是极为巨大的,每当毕业季,最常见的就是被用来当作离别发泄品的暖瓶,脸盆,还有那些我们用一麻袋钱买回来的一麻袋书被我们廉价的卖给了废品回收站,卖回来的钱却买不了一个麻袋,与此同时却又有很多同学对被廉价卖掉的书有需求,却最终不得不以高价从二手书摊收购。
分析这种现象产生的原因,是因为在校园内没有一个公开、统一的平台,个人总不可能每天摆一个地摊在街边卖自己的闲置物品吧。
而交易平台,是一个可以集合买方、卖方信息,同时又有第三方提供交易安全保障的平台,在这个平台下,买方的需求可以快速的与卖方的闲置物品完成匹配,达到快速、安全成交的效果,同时减少了买方与卖方的时间成本,减少了买方的货币成本,增加了卖方的资金所有量,从而达到共赢的目标。
交易对手方能够通过面对面或者是电话等方式进行交易详情的约定,再通过网上提供的三方担保交易平台进行线上交易。
现如今,最多的形式,是客户直接在平台上进行检索、查询,从而最直接的获得所需物品的详细信息,直至达成成交。
像众所周知的“淘宝”、“天猫”、“拍拍”“QQ网购”“苏宁”“京东”,这些都是相对较为成熟的交易平台,通过这个平台,小卖家与大商家同台竞技,通过这个平台,小买家的权益相对于陌生人直接交易得到了更好的保障。
最近几年,各地的地方性闲置物品交易网站如如后春笋般冒出,大浪淘沙,却不剩下几个,只剩下为数不多的几家地方性网站在与互联网界的大佬:
“赶集网”“58同城”“百姓”网等苦苦抗争。
虽然这些大佬们在各个地方都有专属与地方的二级网站,但是在这些二级网站中,鱼龙混杂,信息的质量良莠不齐,不时有人上当受骗;同时,在这些网站中,涉及的覆盖面太广,浏览者进入之后很容易地就会迷失在茫茫信息海中,自己需要的信息却不容易找到;而且在这些网站中,更多的提供的是信息,不能提供较好的交易体验。
在这种情况下,我们的交易平台应运而生。
通过我们的交易平台,只针对在校学生,通过对学号、姓名、所住宿舍、学院等信息的收集,使交易双方彼此的信赖得到提升,交易双方直接在平台交易,方便省时。
1.2平台设计用到的理论方法
本O2O交易平台采用较为新颖的理论方法,即同时采用IRP由底向上进行数据建模和EA由顶向下进行业务建模的信息化手段,使用HTML超文本标记语言和ASP动态语言实现软件功能,达到所期目标。
使用IRP(InformationResourcePlanning信息资源规划)中的工程化方法,具体分为两个阶段:
第一、对即将开发的交易平台做需求分析。
这其中包含有:
物品的分类、检索、查询浏览、信息更新,买方、卖方的信息收集,以及以个人闲置物品为标的的供销系统,交易后的品论等。
第二、进行系统化、模块化的建模。
利用ACCESS、以及SQLServer设计系统所需数据表,其中最主要的是字段和数据存储类型的设计。
我们采用的另一技术是EA(企业架构)。
我们在进行平台需求分析之后,利用这一技术设计了前台交易及后台管理流程,这将使产品信息实现自动化流动,维持整个交易平台的运转。
利用EA做架构,可以使各企业的工业品形成一个“网”,做到交易有序。
这里我们需要使用的另外一项技术为EA(EnterpriseArchitecture企业架构)。
在进行了交易平台设计的需求分析以后,我们通过这一技术进行前台交易以及后台管理的设计,从而使物品信息得以自动流动,最终使交易平台能够稳定、高效运转。
在利用EA完成架构之后,可以将买家、卖家,以及各式各样的闲置物品整合成一张无形的“网”,使所有信息井然有序、一目了然。
最后,我们使用HTML(HyperTextMarkupLanguage,超文本标记语言)和ASP( Internet Information Services,Internet信息服务)动态语言设计出前、后台模块,其中前台模块主要是交易模块,后台模块为交易管理模块。
并通过ADO(ActiveXDataObject
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分析