多元线性回归与最小二乘估计文档格式.docx
- 文档编号:13297330
- 上传时间:2022-10-09
- 格式:DOCX
- 页数:45
- 大小:168.73KB
多元线性回归与最小二乘估计文档格式.docx
《多元线性回归与最小二乘估计文档格式.docx》由会员分享,可在线阅读,更多相关《多元线性回归与最小二乘估计文档格式.docx(45页珍藏版)》请在冰豆网上搜索。
rk(X'
X)=rk(X)=k.
其中rk(⋅)表示矩阵的秩。
假定⑷解释变量是非随机的,且当T→∞时
T–1X'
X→Q.
其中Q是一个有限值的非退化矩阵。
最小二乘(OLS)法的原理是求残差(误差项的估计值)平方和最小。
代数上是求极值问题。
minS=(Y-X
)'
(Y-X
)=Y'
Y-
X'
Y-Y'
X
+
X
=Y'
Y-2
Y+
.(1.5)
因为Y'
是一个标量,所以有Y'
=
Y。
(1.5)的一阶条件为:
=-2X'
Y+2X'
=0(1.6)
化简得
Y=X'
因为(X'
X)是一个非退化矩阵(见假定⑶),所以有
=(X'
X)-1X'
Y(1.7)
因为(1.5)的二阶条件
=2X'
X≥0(1.8)
得到满足,所以(1.7)是(1.5)的解。
因为X的元素是非随机的,(X'
X)-1X是一个常数矩阵,则
是Y的线性组合,为线性估计量。
求出
,估计的回归模型写为
Y=X
+
(1.9)
其中
=(
…
是β的估计值列向量,
=(Y-X
)称为残差列向量。
因为
=Y-X
=Y-X(X'
X)-1X'
Y=[I-X(X'
]Y(1.10)
所以
也是Y的线性组合。
的期望和方差是
E(
)=E[(X'
Y]=E[(X'
(Xβ+u)]
=β+(X'
E(u)=β(1.11)
Var(
)=E[(
–β)(
–β)'
]=E[(X'
uu'
X(X'
X)-1]
=E[(X'
σ2IX(X'
X)-1]=σ2(X'
X)-1.(1.12)
高斯—马尔可夫定理:
若前述假定条件成立,OLS估计量是最佳线性无偏估计量。
具有无偏性。
具有最小方差特性。
具有一致性,渐近无偏性和渐近有效性。
2.残差的方差
s2=
/(T-k)(1.13)
s2是σ2的无偏估计量,E(s2)=σ2。
的估计的方差协方差矩阵是
(
)=s2(X'
X)-1(1.14)
3.多重确定系数(多重可决系数)
=
+
(1.15)
总平方和
SST=
=Y'
Y-T
(1.16)
是yt的样本平均数,定义为
=
。
回归平方和为
SSR=
-T
(1.17)
的定义同上。
残差平方和为
SSE=
(1.18)
则有如下关系存在,
SST=SSR+SSE(1.19)
R2=
(1.20)
显然有0<
R2<
1。
R21,拟合优度越好。
4.调整的多重确定系数
当解释变量的个数增加时,通常R2不下降,而是上升。
为调整因自由度减小带来的损失,又定义调整的多重确定系数
如下:
=1-
(1.21)
5.OLS估计量的分布
若u~N(0,σ2I),则每个ut都服从正态分布。
于是有
Y~N(Xβ,σ2I)(1.22)
因
也是u的线性组合(见公式1.7),依据(1.11)和(1.12)有
~N(β,σ2(X'
X)-1)(1.23)
6.方差分析与F检验
与SST相对应,自由度T-1也被分解为两部分,
(T-1)=(k-1)+(T-k)(1.24)
回归均方定义为MSR=
,误差均方定义为MSE=
表1.1方差分析表
方差来源
平方和
自由度
均方
回归
SSR=
-T
2
k-1
MSR=SSR/(k-1)
误差
T-k
MSE=SSE/(T-k)
总和
SST=Y'
T-1
H0:
β1=β2=…=βk-1=0;
H1:
βj不全为零
F=
~F(k-1,T-k)(1.25)
设检验水平为α,则检验规则是,若F<
Fα(k-1,T-k),接受H0;
若F>
Fα(k-1,T-k),拒绝H0。
0Fα(k-1,T-k)-tα(T-k)0tα(T-k)
F检验示意图t检验示意图
7.t检验
H0:
βj=0,(j=1,2,…,k-1),H1:
βj≠0
t=
~t(T-k)(1.26)
判别规则:
若∣t∣≤tα(T-k)接受H0;
若∣t∣>
tα(T-k)拒绝H0。
8.βi的置信区间
(1)全部βi的联合置信区间接受
(β-
(X'
X)(β-
)/s2~Fα(k,T-k)(1.27)
X)(β-
)<
s2kFα(k,T-k),它是一个k维椭球。
(1.28)
(2)单个βi的置信区间
βi=
±
stα/2(T-k).(1.29)
9.预测
(1)点预测
C=(1xT+11xT+12…xT+1k-1)(1.30)
则T+1期被解释变量yT+1的点预测式是,
=C
0+
1xT+11+…+
k-1xT+1k-1(1.31)
(2)E(yT+1)的置信区间预测
首先求点预测式C
的抽样分布
E(
)=E(C
)=Cβ(1.32)
)=Var(C
)=E[(C
-Cβ)(C
-Cβ)'
]
=E[C(
-β)[C(
-β)]'
]=CE[(
-β)(
-β)'
]C'
=CVar(
)C'
=Cσ2(X'
X)-1C'
=σ2C(X'
(1.33)
服从多元正态分布,所以C
也是一个多元正态分布变量,即
=C
~N(Cβ,σ2C(X'
X)-1C'
)(1.34)
构成t分布统计量如下
t=
~t(T-k)(1.35)
置信区间C
tα/2(1,T-k)s
(1.36)
(3)单个yT+1的置信区间预测
yT+1值与点预测值
有以下关系
yT+1=
+uT+1(1.37)
其中uT+1是随机误差项。
E(yT+1)=E(
+uT+1)=Cβ(1.38)
Var(yT+1)=Var(
)+Var(uT+1)=σ2C(X'
X)-1C'
+σ2
=σ2(C(X'
+1)(1.39)
服从多元正态分布,所以yT+1也是一个多元正态分布变量,即
yT+1~N(Cβ,σ2C(X'
+1)
与上相仿,单个yT+1的置信区间是
C
±
tα/2(T-k)s
(1.40)
计算举例:
(见《计量经济分析》第19-27页,熟悉矩阵运算)
10.预测的评价指标
注意,以下6个公式中的et表示的是预测误差,不是残差。
可以在样本内、外预测。
(1)预测误差。
预测误差定义为
et=
-yt,t=T+1,T+2,…
(2)相对误差PE(PercentageError)。
PE=
t=T+1,T+2,…
(3)误差均方根rmserror(RootMeanSquaredError)
rmserror=
(4)绝对误差平均MAE(MeanAbsoluteError)
MAE=
(5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError)
MAPE=
(6)Theil系数(TheilCoefficent)
Theil=
t=1,2,…,T
以上6个式子中,
表示预测值,yt表示实际值。
Theil的取值范围是[0,1]。
显然在预测区间内,当
与yt完全相等时,Theil=0;
当预测结果最差时,Theil=1。
公式中的累加范围是用1至T表示的,当然也可以用于样
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 最小 估计
![提示](https://static.bdocx.com/images/bang_tan.gif)