多元线性回归模型的各种检验方法.docx
- 文档编号:29853775
- 上传时间:2023-07-27
- 格式:DOCX
- 页数:15
- 大小:69.34KB
多元线性回归模型的各种检验方法.docx
《多元线性回归模型的各种检验方法.docx》由会员分享,可在线阅读,更多相关《多元线性回归模型的各种检验方法.docx(15页珍藏版)》请在冰豆网上搜索。
多元线性回归模型的各种检验方法
对多元线性回归模型的各种检验方法
对于形如
Y = β 0 + β1 X 1 + β 2 X 2 + L L + β k X k + u
(1)
的回归模型,我们可能需要对其实施如下的检验中的
一种或几种检验:
一、 对单个总体参数的假设检验:
t 检验
在这种检验中,我们需要对模型中的某个(总体)
参数是否满足虚拟假设 H 0 :
β j = a j ,做出具有统计意
义(即带有一定的置信度)的检验,其中 a j 为某个给
定的已知数。
特别是,当 a j =0 时,称为参数的(狭义
意义上的)显著性检验。
如果拒绝 H 0 ,说明解释变量
ˆ
X j 对被解释变量 Y 具有显著的线性影响,估计值 β j 才
敢使用;反之,说明解释变量 X j 对被解释变量 Y 不具
有显著的线性影响,估计值
ˆ
β
j
对我们就没有意义。
具
体检验方法如下:
(1) 给定虚拟假设 H 0 :
β j = a j ;
1
(2) 计算统计量
t =
β j - E ( β j )
Se( β j )
=
β j - a j
Se( β j ) 的数值;
ˆˆ
Se( β j ) = σC jj,其中C jj = (X T X) -1 j +1j +1
(3) 在给定的显著水平 α 下( α 不能大于 0.1 即
10%,也即我们不能在置信度小于 90%以下的前提下做
结论),查出双尾 t( n - k - 1 )分布的临界值 tα / 2 ;
(4) 如果出现
t > tα / 2 的情况,检验结论为拒绝
H 0 ;反之,无法拒绝 H 0 。
t 检验方法的关键是统计量
t =
β j - β j
Se(β j )
必须服从已
知的 t 分布函数。
什么情况或条件下才会这样呢?
这需
要我们建立的模型满足如下的条件(或假定):
(
(1) 随机抽样性。
我们有一个含 n 次观测的随机
样 { X i1 , X i 2 ,L , X ik , Yi ):
i = 1,2,L , n}。
这保证了误
差 u
2
自身的随机性,即无自相关性,
Cov(ui - E (ui ))(u j - E (u j )) = 0 。
(2) 条件期望值为 0。
给定解释变量的任何值,误
差
u的期望值为零。
即有
E (u X 1 , X 2 ,L , X k ) = 0
这也保证了误差 u 独立于解释变量 X 1 , X 2 , L , X ,即
模型中的解释变量是外生性的,也使得 E (u ) = 0 。
(3) 不存在完全共线性。
在样本因而在总体中,
没有一个解释变量是常数,解释变量之间也不存在严
格的线性关系。
(4) 同方差性。
Var (u X 1 , X 2 ,L , X k ) = σ 2 = 常数 。
(5)正态性。
误差 u 满足 u ~ Normal (0 , σ 2 ) 。
在以上 5 个前提下,才可以推导出:
ˆˆ
β j ~ N [ β j , Var ( β j )]
ˆˆ
ˆˆ
( β j - β j ) / Sd ( β j ) ~ N (0,1)
( β j - β j ) / Se( β j ) ~ t n - k -1
3
由此可见, t 检验方法所要求的条件是极为苛刻的。
二、 对参数的一个线性组合的假设的检验
需要检验的虚拟假设为 H 0 :
β j1 = β j2 。
比如 β1 = β 2 无
法直接检验。
设立新参数 θ1 = β1 - β 2 。
原虚拟假设等价于 H 0 :
θ1 = 0 。
将 β1 = θ1 + β 2 代入原模型
后得出新模型:
Y = β 0 + θ1 X 1 + β 2 ( X 1 + X 2 ) + L L + β k X k + u
(2)
在模型
(2)中再利用 t 检验方法检验虚拟假设 H 0 :
θ1 = 0 。
我们甚至还可以检验这样一个更一般的假设
H 0 :
λβ = λ0 β 0 + λ1 β 1 + L + λ k β k = C
t 统计量为
t =
ˆ
λβ - λβ
Se 2 λ(X T X) -1 λ T
~ t (n - k - 1)
三、 对参数多个线性约束的假设检验:
F 检验
4
需要检验的虚拟假设为
H 0 :
β k - q +1 = 0, β k - q + 2 , L , β k = 0 。
该假设对模型
(1)施加了 q 个排除性约束。
模型
(1)在该约束下转变为如下的新模型:
Y = β 0 + β1 X 1 + β 2 X 2 + L L + β k -q X k -q + u
(3)
模型
(1)称为不受约束(ur)的模型,而模型(3)
称为受约束(r)的模型。
模型(3)也称为模型
(1)
的嵌套模型,或子模型。
分别用 OLS 方法估计模型
(1)和
(2)后,可以计算出如下的统计量:
F =
RSS ur /( n - k - 1)
关键在于,不需要满足 t 检验所需要的假定(3),统
计量 F 就满足:
F ~ Fq ,n-k -1 。
利用已知的 F 分布函数,
我们就可以拒绝或接受虚拟假设
H 0 :
β
k -q+1
= 0, β
k -q+2
L , β k = 0 了。
所以,一般来讲,F 检验比 t 检
验更先使用,用的更普遍,可信度更高。
利用关系式
5
r2
RSS r = TSS (1 - R 2 ) , RSS ur = TSS (1 - Rur ) ,F
统计量还可以写成:
F =
2
ur
2
ur
四、 对回归模型整体显著性的检验:
F 检验
需要检验的虚拟假设为
H 0 :
β1 = 0, β 2 ,L , β k = 0 。
相
当于前一个检验问题的特例, q = k 。
嵌套模型变为
Y = β 0 + u 。
R
为:
2
r
2
= 0 , RSS r = TSS , Rur = R 2 。
F 统计量变
F =
=
2
2
ESS / k
RSS /(n - k - 1)
五、 检验一般的线性约束
需要检验的虚拟假设比如为
β1 = 1, β 2 ,L , β k = 0 。
受约束模型变为:
6
H 0 :
其中,
Y = β 0 + X 1 + u
再变形为:
Y - X 1 = β 0 + u 。
F 统计量只可用:
F =
RSS ur /(n - k - 1)
2 2
。
六、 检验两个数据集的回归参数是否相等:
皱(至庄)
检验
虚拟假定是总体回归系数的真值相等。
步骤如下:
(1) 基于两组样本数据,进行相同设定的回归,
将二
者的 RSS 分别记为 RSS1 和 RSS 2 。
(2) 将两组样本数据合并,基于合并的样本数据,
进行相同设定的回归,将回归的 RSS 记为 RSST 。
(3) 计算下面的 F 统计量:
7
F =
( RSST - RSS1 - RSS 2 ) /(k + 1)
( RSS1 + RSS 2 ) /(n1 + n2 - 2k - 2)
(4) 如果 F ≥ Fα ,拒绝原假定。
七、 非正态假定下多个线性约束的大样本假设检验:
LM(拉格郎日乘数)检验
F 检验方法需要模型
(1)中的 u 满足正态性假定。
在不满足正态性假定时,在大样本条件下,可以使用
LM 统计量。
虚拟假设依然是 H 0 :
β k -q+1 = 0, β k -q+2 ,L , β k = 0 。
LM 统计量仅要求对受约束模型
的估计。
具体步骤如下:
(ⅰ)将 Y 对施加限制后的解释变量进行回归,
~
~~~~
~
如下回归估计
8
uˆˆˆˆˆ
~ = α 0 + α 1 X 1 + α 2 X 2 + L L + α k X k + ε
并得到 R-平方,记为
(ⅲ)计算统计量
2
Ru 。
2
LM = nRu 。
(ⅳ)将 LM 与χq 分布中适当的临界值 c 比较。
如
2
果 LM > c ,就拒绝虚拟假设 H 0 ;否则,就不能拒绝虚拟
假设 H 0 。
八、 对模型函数形式误设问题的一般检验:
RESET
如果一个多元回归模型没有正确地解释被解释变
量与所观察到的解释变量之间的关系,那它就存在函
数形式误设的问题。
误设可以表现为两种形式:
模型
中遗漏了对被解释变量有系统性影响的解释变量;错
误地设定了一个模型的函数形式。
在侦察一般的函数
形式误设方面,拉姆齐(Ramsey,1969)的回归设定
误差检验(regression specilfication error test ,
RESET)是一种常用的方法。
RESET 背后的思想相当简
单。
如果原模型
(1)满足经典假定(3),那么在模型
9
(1)中添加解释变量的非线性关系应该是不显著的。
尽管这样做通常能侦察出函数形式误设,但如果原模
型中有许多解释变量,它又有使用掉大量自由度的缺
陷。
另外,非线性关系的形式也是多种多样的。
RESET
则是在模型
(1)中添加模型
(1)的 OLS 拟合值的多
项式,以侦察函数形式误设的一般形式。
ˆ
为了实施 RESET,我们必须决定在一个扩大的回归
模型中包括多少个拟合值的函数。
虽然对这个问题没
有正确的答案,但在大多数应用研究中,都表明平方
项和三次项很有用。
令 Y 表示从模型
(1)所得到的 OLS
估计值。
考虑扩大的模型
Y =β+βX +βX + L L +βX +δYˆ +δYˆ +ε
01122kk12
2 3
(4)
住, Yˆ 和 Yˆ 都只是 X 的非线性函数。
这个模型看起来有些奇怪,因为原估计的拟合值的函
数现在却出作为解释变量出现。
实际上,我们对模型
(4)的参数估计并不感兴趣,我们只是利用这个模型
来检验模型
(1)是否遗漏掉了重要的非线性关系。
记
23
j
对模型(4),我们检验虚拟假设 H 0 :
δ1 = 0 , δ 2 = 0 。
这时,
10
模型(4)是无约束模型,模型
(1)是受约束模型。
计算 F 统计量。
需要查 F2 , n - k - 3 分布表。
拒绝 H 0 ,模型
(1)存在误设,否则,不存在误设。
九、利用非嵌套模型检验函数形式误设
寻求对函数形式误设的其他类型(比如,试图决定某
一解释变量究竟应以水平值形式还是对数形式出现)
作出检验,需要离开经典假设检验的辖域。
有可能要
相对模型
Y = β 0 + β1 log( X 1 ) + β 2 log( X 2 ) + L L + β k log( X k ) + ε
(5)
检验模型
(1),或者把两个模型反过来。
然而,它们
是非嵌套的,所以我们不能仅使用标准的 F 检验。
有
两种不同的方法。
一种方法由 Mizon and Richard (1986)提出,构造
一个综合模型,将每个模型作为一个特殊情形而包含
其中,然后检验导致每个模型的约束。
对于模型
(1)
和模型(5)而言,综合模型就是
11
Y = γ 0 + γ 1 X 1 + L + γ k X k + + γ k+1 log( X 1 ) + L + γ k+k log( X k ) + μ
(6)
可以先检验 H 0 :
γ k+1 = 0 ,L , δ k+k = 0 ,作为对模型
(1)的检验。
也
可以通过对检验 H 0 :
γ 1 = 0 ,L , δ k = 0 ,作为对模型(5)的检验。
ˆˆ
另一种方法由 Davison and MacKinnon (1981)提出。
认为,如果模型
(1)是正确的,那么从模型(5)得
到的拟合值在模型
(1)中应该是不显著的。
因此,为
了检验模型
(1)的正确性,首先用 OLS 估计模型
(5)以得到拟合值,并记为 Y 。
在新模型
Y =β+βX +βX + L L +βX +θYˆ +μ
01122kk1
ˆ
(7)
ˆˆ
ˆˆ
中计算 Y 的 t 统计量,利用 t 检验拒绝或接受假定 H 0 :
θ1 = 0 。
显著的 t 统计量就是拒绝模型
(1)的证据。
类似的,
为了检验模型(5)的正确性,首先用 OLS 估计模型
(1)以得到拟合值,并记为 Y 。
在新模型
Y =β+βlog( X ) +βlog( X ) + L L +βlog( X ) +θYˆ +μ
01122kk1
ˆ
(8)
ˆˆ
中计算 Y 的 t 统计量,利用 t 检验拒绝或接受假定 H 0 :
θ1 = 0 。
以上两种检验方法可以用于检验任意两个具有相同的
12
被解释变量的非嵌套模型。
非嵌套检验存在一些问题。
首先,不一定会出现一个
明显好的模型。
两个模型可能都被拒绝,也可能没有
一个被拒绝。
在后一种情形中,我们可以使用调整的
R-平方进行选择。
如果两个模型都被拒绝,则有更多
的工作要做。
不过,重要的是知道使用这种或那种函
数形式的后果,如果关键性解释变量对被解释变量的
影响没有多大差异,那么使用那个模型实际上并不要
紧。
第二个问题是,比如说使用 Davison and MacKinnon
检验拒绝了模型(5),这并不意味着模型
(1)就是正
确的模型。
模型(5)可能会因为多种误设的函数形式
而被拒绝。
一个更为可能的问题是,在解释变量不同的模型之间
进行比较时,如何实施非嵌套检验。
一个典型的情况
是,一个解释变量是 Y ,一个解释变量是 log(Y ) 。
使用调整
的 R-平方进行比较,需要小心从事。
13
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 模型 各种 检验 方法