最小二乘法线性分类器设计Word文档格式.docx
- 文档编号:17267134
- 上传时间:2022-11-30
- 格式:DOCX
- 页数:11
- 大小:52.17KB
最小二乘法线性分类器设计Word文档格式.docx
《最小二乘法线性分类器设计Word文档格式.docx》由会员分享,可在线阅读,更多相关《最小二乘法线性分类器设计Word文档格式.docx(11页珍藏版)》请在冰豆网上搜索。
(图1)。
在曲线拟合中,函数类
可有不同的选取方法。
图1曲线拟合的最小二乘法
2方法描述
2.1通用最小二乘法的算法
设z是一个N*q矩阵(可能有复数部分),令Y是
(或
)空间的一个矢量。
线性代数就是要研究方程ZV=Y,详细的写出就是:
如果N〉q
,那么方程ZV=Y对于
通常没有唯一解,因为方程的个数(N)比未知数的个数
多。
如果没有唯一解,那么最小二乘法问题就变为寻求次优解,找一个矢量
,从而ZV尽可能的逼近于Y。
在为一组数据点
,i=1,…,N寻求最佳拟合线的问题中,矩阵Z为:
矢量Y和V是:
此时,矩阵积ZV为:
这里的X和U是(0.7)中给出的矢量。
这样,寻求矢量V=(m,b)使得ZV最逼近于Y,等效于寻求数据
,i=1,…,N的最佳拟合线的斜率和截距。
最小二乘法的通用算法在下面的定理中给出:
定理0.35设Z是一个N*q矩阵(可能有复数部分),有最大秩且N
q.令Y是
或
空间的一个矢量,则有一个唯一的矢量V
使得ZV最逼近于Y。
并且矢量V是下列矩阵方程的唯一解:
Z*Y=Z*ZV
如果Z是一个是矩阵,那么前面的方程变为:
注意,在最佳拟合线问题中的矩阵z与方程
中的Z是一样的。
证明这个定理的证明与构造最佳拟合线时给出的证明相似。
令
是矩阵Z的列矢量,那么
生成的子空间
内的点。
我们希望找到最接近于Y的点ZV。
如图0.11所示,Y-ZV必定正交于M,或者等同于,Y-ZV必定与生成的M的
正交。
即:
图2Y-ZV必须与
正交
这个方程可简写为:
Z*(Y-ZV)=0
因为这个(矢量)方程的第i个部分是Y-ZV和
的内积。
重新整理方程得
证毕
矩阵Z*Z的维数是q*q,得出该矩阵式满秩的(用Z有最大秩序这个事实)。
因此,方程Z*Y=Z*ZV;
有唯一解
3最小二乘法matlab实现
基于分类判别的思想,我们期望w1类的输出为y1=-1,w2的输出为y2=1。
但实际的输出和期望并不总是相等的。
运用最小二乘法(LeastSquaresMethods),可以让期望输出和真实的输出之间的均方误差最小化,即:
要使得J(w)最小,需要满足正交条件(orthogonalitycondition):
可以得到:
就是求得的加权向量。
其中:
称为自相关矩阵;
称为期望输出和输入特征向量的互相关。
通过最小均方误差算法实现线性分类的程序流程如图3所示:
图3最小均方误差算法程序流程图
如果数据是非常准确的,那么提高拟合次数,可以拟合的曲线更准确。
但是如果数据本身有很大的误差,则多项式的次数提高,曲线将变的不够光滑,预测值将出现较大的偏差。
n的选择随已知数据点的分布规律而定。
MATLAB调用的函数格式如下:
线性最小二乘曲线拟合
1多项式拟合
(1)pn=polyfit(x,y,n),y0=polyval(pn,x0),polt(x,y,x0,y0)
(2)pn=polytool(x,y,n)
2多元线性拟合
(1)利用回归矩阵建立拟合函数,c=A\y
(2)c=regress(y,A)
非线性最小二乘曲线拟合
1c=nlinfit(x,y,’cfun’,c0)
如:
非线性拟合函数
functiony=cfun(c,x)
y=c
(1)+exp(c
(2)*x)+sin(c(3)*x);
x=(0:
0.1:
1.0)'
;
y=[1.02.53.02.01.50.90.0-1.0-2.0-1.5-0.8]'
c0=[111];
c=nlinfit(x,y,'
cfun'
c0)
2nlintool(x,y,’cfun’,c0)
非线性最小二乘问题
[x,rs,rd]=lsqnonlin(,’fun’,x0,lx,ux)
3.1实际用的最小二乘法Matlab应用1
50个样本进行最小二乘法,该算法的MATLAB程序源代码如下:
functionMSE1()clearall;
closeall;
%样本初始化
x1(1,1)=5.1418;
x1(1,2)=0.5950;
x1(2,1)=5.5519;
x1(2,2)=3.5091;
x1(3,1)=5.3836;
x1(3,2)=2.8033;
x1(4,1)=3.2419;
x1(4,2)=3.7278;
x1(5,1)=4.4427;
x1(5,2)=3.8981;
x1(6,1)=4.9111;
x1(6,2)=2.8710;
x1(7,1)=2.9259;
x1(7,2)=3.4879;
x1(8,1)=4.2018;
x1(8,2)=2.4973;
x1(9,1)=4.7629;
x1(9,2)=2.5163;
x1(10,1)=2.7118;
x1(10,2)=2.4264;
x1(11,1)=3.0470;
x1(11,2)=1.5699;
x1(12,1)=4.7782;
x1(12,2)=3.3504;
x1(13,1)=3.9937;
x1(13,2)=4.8529;
x1(14,1)=4.5245;
x1(14,2)=2.1322;
x1(15,1)=5.3643;
x1(15,2)=2.2477;
x1(16,1)=4.4820;
x1(16,2)=4.0843;
x1(17,1)=3.2129;
x1(17,2)=3.0592;
x1(18,1)=4.7520;
x1(18,2)=5.3119;
x1(19,1)=3.8331;
x1(19,2)=0.4484;
x1(20,1)=3.1838;
x1(20,2)=1.4494;
x1(21,1)=6.0941;
x1(21,2)=1.8544;
x1(22,1)=4.0802;
x1(22,2)=6.2646;
x1(23,1)=3.0627;
x1(23,2)=3.6474;
x1(24,1)=4.6357;
x1(24,2)=2.3344;
x1(25,1)=5.6820;
x1(25,2)=3.0450;
x1(26,1)=4.5936;
x1(26,2)=2.5265;
x1(27,1)=4.7902;
x1(27,2)=4.4668;
x1(28,1)=4.1053;
x1(28,2)=3.0274;
x1(29,1)=3.8414;
x1(29,2)=4.2269;
x1(30,1)=4.8709;
x1(30,2)=4.0535;
x1(31,1)=3.8052;
x1(31,2)=2.6531;
x1(32,1)=4.0755;
x1(32,2)=2.8295;
x1(33,1)=3.4734;
x1(33,2)=3.1919;
x1(34,1)=3.3145;
x1(34,2)=1.8009;
x1(35,1)=3.7316;
x1(35,2)=2.6421;
x1(36,1)=2.8117;
x1(36,2)=2.8658;
x1(37,1)=4.2486;
x1(37,2)=1.4651;
x1(38,1)=4.1025;
x1(38,2)=4.4063;
x1(39,1)=3.9590;
x1(39,2)=1.3024;
x1(40,1)=1.7524;
x1(40,2)=1.9339;
x1(41,1)=3.4892;
x1(41,2)=1.2457;
x1(42,1)=4.2492;
x1(42,2)=4.5982;
x1(43,1)=4.3692;
x1(43,2)=1.9794;
x1(44,1)=4.1792;
x1(44,2)=0.4113;
x1(45,1)=3.9627;
x1(45,2)=4.2198;
x2(1,1)=9.7302;
x2(1,2)=5.5080;
x2(2,1)=8.8067;
x2(2,2)=5.1319;
x2(3,1)=8.1664;
x2(3,2)=5.2801;
x2(4,1)=6.9686;
x2(4,2)=4.0172;
x2(5,1)=7.0973;
x2(5,2)=4.0559;
x2(6,1)=9.4755;
x2(6,2)=4.9869;
x2(7,1)=9.3809;
x2(7,2)=5.3543;
x2(8,1)=7.2704;
x2(8,2)=4.1053;
x2(9,1)=8.9674;
x2(9,2)=5.8121;
x2(10,1)=8.2606;
x2(10,2)=5.1095;
x2(11,1)=7.5518;
x2(11,2)=7.7316;
x2(12,1)=7.0016;
x2(12,2)=5.4111;
x2(13,1)=8.3442;
x2(13,2)=3.6931;
x2(14,1)=5.8173;
x2(14,2)=5.3838;
x2(15,1)=6.1123;
x2(15,2)=5.4995;
x2(16,1)=10.4188;
x2(16,2)=4.4892;
x2(17,1)=7.9136;
x2(17,2)=5.2349;
x2(18,1)=11.1547;
x2(18,2)=4.4022;
x2(19,1)=7.7080;
x2(19,2)=5.0208;
x2(20,1)=8.2079;
x2(20,2)=5.4194;
x2(21,1)=9.1078;
x2(21,2)=6.1911;
x2(22,1)=7.7857;
x2(22,2)=5.7712;
x2(23,1)=7.3740;
x2(23,2)=2.3558;
x2(24,1)=9.7184;
x2(24,2)=5.2854;
x2(25,1)=6.9559;
x2(25,2)=5.8261;
x2(26,1)=8.9691;
x2(26,2)=4.9919;
x2(27,1)=7.3872;
x2(27,2)=5.8584;
x2(28,1)=8.8922;
x2(28,2)=5.7748;
x2(29,1)=9.0175;
x2(29,2)=6.3059;
x2(30,1)=7.0041;
x2(30,2)=6.2315;
x2(31,1)=8.6396;
x2(31,2)=5.9586;
x2(32,1)=9.2394;
x2(32,2)=3.3455;
x2(33,1)=6.7376;
x2(33,2)=4.0096;
x2(34,1)=8.4345;
x2(34,2)=5.6852;
x2(35,1)=7.9559;
x2(35,2)=4.0251;
x2(36,1)=6.5268;
x2(36,2)=4.3933;
x2(37,1)=7.6699;
x2(37,2)=5.6868;
x2(38,1)=7.8075;
x2(38,2)=5.0200;
x2(39,1)=6.6997;
x2(39,2)=6.0638;
x2(40,1)=5.6549;
x2(40,2)=3.6590;
x2(41,1)=6.9086;
x2(41,2)=5.4795;
x2(42,1)=7.9933;
x2(42,2)=3.3660;
x2(43,1)=5.9318;
x2(43,2)=3.5573;
x2(44,1)=9.5157;
x2(44,2)=5.2938;
x2(45,1)=7.2795;
x2(45,2)=4.8596;
x2(46,1)=5.5233;
x2(46,2)=3.8697;
x2(47,1)=8.1331;
x2(47,2)=4.7075;
x2(48,1)=9.7851;
x2(48,2)=4.4175;
x2(49,1)=8.0636;
x2(49,2)=4.1037;
x2(50,1)=8.1944;
x2(50,2)=5.2486;
x2(51,1)=7.9677;
x2(51,2)=3.5103;
x2(52,1)=8.2083;
x2(52,2)=5.3135;
x2(53,1)=9.0586;
x2(53,2)=2.9749;
x2(54,1)=8.2188;
x2(54,2)=5.5290;
x2(55,1)=8.9064;
x2(55,2)=5.3435;
holdon;
%保持当前的轴和图像不被刷新,在该图上接着绘制下图
%初始化函数
y1=-ones(45,1);
%w1类的期望输出为-1
y2=ones(55,1);
%w2类的期望输出为1
x1(:
3)=1;
%考虑到不经过原点的超平面,对x进行扩维
x2(:
%使x'
=[x1],x为2维的,故加1扩为3维
x=[x1;
x2]'
%使x矩阵化
y=[y1;
y2];
%使y矩阵化
display(x)%显示x矩阵
display(y)%显示y矩阵
R=x*x'
%求出自相关矩阵
E=x*y;
%求出期望输出和输入特征向量的互相关
w=inv(R)*E%求权向量估计值
x=linspace(0,10,5000);
%取5000个x的点作图
y=(-w
(1)/w
(2))*x-w(3)/w
(2);
%x*w1+y*w2+w0=0,w=[w1;
w2;
w0]
plot(x,y,'
r'
);
%用红线画出分界面
title(‘最小二乘法’);
axis([1,12,0,8]);
%设定当前图中,x轴范围为1-12,为y轴范围为0-8
disp(w);
%显示权向量
end
所得结果如图4所示:
图4最小二乘法分类图
3.2实际用的最小二乘法Matlab应用2
现在我们再举一列说明其最小二乘法拟合的运用:
例如:
对某日隔两小时测一次气温。
设时间为
,气温为
,i=0,2,4,…,24。
数据如下:
2
4
6
8
10
12
14
16
18
20
22
24
15
23
28
27
26
25
表1温度(
)随时间(
)变化关系
分析:
用精确的解析式子描述一天的气温变化规律是不可能的也是没有必要的,但根据所测得的数据,可以用拟合数据方法求出近似的解析式子。
根据一天内气温的变化趋势,我们可以看出用三次多项式拟合比较合理。
其图形如下:
x=[024681012141618202224];
y=[15141416202326272625221816];
o'
gridon
holdon
p=polyfit(x,y,3)
x1=0:
0.01:
24;
y1=polyval(p,x1);
plot(x1,y1,'
)
title('
温度变化'
axis([0241228])
图5温度变化图
图5的图形可以大致反映该天的天气变化,如果想知道某一时刻的大致温度,我们可以从图中估计出来,当然也可以利用我们所做数据拟合的曲线方程求出大致的温度。
4结果分析
最小二乘法分类方法分类错误的数据个数为3个,且错误较明显;
最小二乘方法是应实际需要而产生和发展起来的有广泛适用性的多元统计分析方法。
相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。
最小二乘法分类方法在处理较大的训练样本时,计算量较大,导致误差偏大。
由于该方法是基于最小平方误差来进行分类的,所以不能保证最小样本错误分类数,即不保证一定能将样本完全正确分开。
作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法 线性 分类 设计