1、1第三章 双变量线性回归模型第三章 双变量线性回归模型 （简单线性回归模型）（Simple Linear Regression Model）2第一 量性回模型的估节 双变线归计第二 最小二乘估量的性节计质第三 合度的度节 拟优测第四 量回中的估和假节 双变归区间计 设检验第五 节 预测第六 有最小二乘法的一步节关进讨论3第一节 双变量线性回归模型的估计 一.双变量线性回归模型的概念 设 Y=消费,X=收入,我们根据数据画出散点图 Y *这意味着 *Y=+X (1)*写出计量经济模型 *Y=+X+u (2)*其中 u=扰动项或 误差项 Y 为因变量或被解释变量 图 1 X X 为自变量或解释变量
2、 和 为未知参数 4 设我们有 Y 和 X 的 n 对观测值数据，则根据(2)式，变量 Y 的每个观测值应由下式决定：Yi=+Xi+ui,i=1,2,.,n (3)(3)式称为双变量线性回归模型双变量线性回归模型或简单线性回归模简单线性回归模型型。其中 和 为未知的总体参数，也称为回归模型的系数（系数（coefficients）。）。下标 i 是观测值的序号。当数据为时间序列时，往往用下标 t 来表示观测值的序号，从而（3）式变成 Yt=+Xt+ut,t=1,2,.,n (3)5为何要在模型中包括扰动项为何要在模型中包括扰动项 u 我们在上一章中已初步介绍了为什么要在模型中包括扰动项 u，下面
3、进一步说明之：（1）真正的关系是 Y=f(X1，X2，)，但 X2,X3,相对不重要，用 u 代表之。（2）两变量之间的关系可能不是严格线性的，u 反映了与直线的偏差。（3）经济行为是随机的，我们能够用 Y=+X 解释“典型”的行为，而用 u 来表示个体偏差。（4）总会出现测量误差，使得任何精确的关系不可能存在。XX6二.普通最小二乘法(OLS 法,Ordinary Least squares)1.双变量线性回归模型的统计假设双变量线性回归模型的统计假设 我们的模型是：Yt=+Xt+ut,t=1,2,.,n 这里 和 为未知总体参数，下一步的任务是应用统计学的方法，由 Y 和 X 的观测值（即
4、样本数据）来估计和 的总体值，常用的估计方法就是最小二乘法。为了应用最小二乘法，得到好的估计量，双变量线性回归模型需要满足一些统计假设条件，这些统计假设是：7双变量线性回归模型的统计假设 (1).E(ut)=0,t=1,2,.,n 即各期扰动项的均值(期望值)为 0.(2).E(uiuj)=0 i j 即各期扰动项互不相关.(3).E(ut2)=2 ,t=1,2,.,n 即各期扰动项方差是一常数.(4).解释变量 Xt 为非随机量 即 Xt 的取值是确定的,而不是随机的.(5).ut N(0,2),t=1,2,.,n 即各期扰动项服从正态分布。8下面简单讨论一下上述假设条件。（1）E(ut)=
5、0,t=1,2,n 即各期扰动项的均值（期望值）均为 0。均值为 0 的假设反映了这样一个事实：扰动项被假定为对因变量的那些不能列为模型主要部分的微小影响。没有理由相信这样一些影响会以一种系统的方式使因变量增加或减小。因此扰动项均值为 0 的假设是合理的。9（2）E(uiuj)=0,ij 即各期扰动项互不相关。也就是假定它们之间无自相关或无序列相关。实际上该假设等同于：cov(ui,uj)=0,ij这是因为：cov(ui,uj)=Eui-E(ui)uj-E(uj)=E(uiuj)根据假设（1）10（3）E(ut2)=2,t=1,2,n 即各期扰动项的方差是一常数，也就是假定各扰动项具有同方差性
6、。实际上该假设等同于：Var(ut)=2,t=1,2,n这是因为：Var(ut)=Eut-E(ut)2=E(ut2)根据假设（1）11（4）Xt 为非随机量 即 Xt 的取值是确定的,而不是随机的。事实上，我们后面证明无偏性时仅需要解释变量 X 与扰动项 u 不相关，但不容易验证之，因而通常采用非随机量的假设。（5）ut N(0,2),t=1,2,.,n 即扰动项服从正态分布。满足条件（1）（4）的线性回归模型称为古典线性回归模型（CLR 模型）。12 2.最小二乘原理 我们的任务是，在给定 X 和 Y 的一组观测值 (X1,Y1),(X2,Y2),.,(Xn,Yn)的情况下,求出 Yt=+X
7、t+ut 中 和 的估计值 和 ,使得拟合的直线为最佳。直观上看，也就是要求在 X 和 Y 的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。13 *et *YXXt 图 2 YttYXY14残差残差 拟合的直线 称为拟合的回归线.对于任何数据点(Xt,Yt),此直线将 Yt 的总值 分成两部分。第一部分是 Yt的拟合值或预测值 ：,t=1,2,n第二部分，et，代表观测点对于回归线的误差，称为拟合或预测的残差残差（residuals）：）：t=1,2,n 即 t=1,2,ntYttXYtttXYetttYYeXY15残差平方和 我们的目标是使拟合出来的直线在某种意义上是最佳的，直观地看
8、，也就是要求估计直线尽可能地靠近各观测点，这意味着应使残差总体上尽可能地小。要做到这一点，就必须用某种方法将每个点相应的残差加在一起，使其达到最小。理想的测度是残差平方和，即22)(tttYYe16最小二乘法 最小二乘法就是选择一条直线，使其残差平方和达到最小值的方法。即选择 和 ，使得达到最小值。222)()(tttttXYYYeS17 运用微积分知识，使上式达到最小值的必要条件为：即)2(0)(2)1(0)(1(20tttttXYXSXYSSS18整理，得：此二式称为正规方程。解此二方程，得：其中：样本均值 离差)4()3(2ttttttXXYXXnY)6()5()()(22XYxyxXX
9、YYXXttttttYYyXXxnXXnYYtttttt,19（5）式和（6）式给出了 OLS 法计算 和 的公式，和 称为线性回归模型 Yt=+Xt+ut 的参数 和 的普通最小二乘估计量 (OLS estimators）。这两个公式可用于任意一组观测值数据，以求出截距和斜率的 OLS 估计值（estimates)，估计值是从一组具体观测值用公式计算出的数值。一般说来，好的估计量所产生的估计值将相当接近参数的真值，即好的估计值。可以证明，对于 CLR 模型，普通最小二乘估计量正是这样一个好估计量。203 例子 例 1 对于第一段中的消费函数，若根据数据得到：n=10,=23,=20 则有因而
10、XY(),()()XXXX YY26437()()().().XX YYXXYXYXiiiii2376405820 058 2367067005821例 2 设 Y 和 X 的 5 期观测值如下表所示，试估计方程 Yt=+Xt+ut 序号 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我们采用列表法计算。计算过程如下：225432150304025302320181014831-4-81603004016011015020100-10-200039010004001000100400估计方程为YYyttXXxttttyx2txtYtX22511
11、0nYY305150nXX39.010003902tttxyx3.103039.022XYttXY39.03.1023第二节 最小二乘估计量的性质一.和 的均值由于从而0)(XnXnXXXXxttt2222)(tttttttttttxxYxYxxYYxxyx22)(tttttttxuXxxYx24)(12ttttttuxXxxx)(12tttttuxXxx)(122tttttuxxXxx)(122ttttuxxx22)(tttttttxuXxxYx25即两边取期望值，有：假设（4）=假设（1）这表明，是 的无偏估计量。在证明 无偏性的过程中,我们仅用到(1)和(4)两条假设条件。2)()(tt
12、txuExE2tttxux26由 ，我们有：即 是 的无偏估计量。XY)()(XYEE)(XuXE)()(EXuEXXX27二二.和 的方差和 的方差 根据定义 由无偏性我们有：由上段结果：2tttxux即 2tttxux22()()()VarEEEbbbbb=-=-()Ebb=28两边取期望值，得：222)()(tttxux2221122).()(1nntuxuxuxx22221()()iiijijijtx ux x uux=+邋222221()()()()iiijijijtEx E ux x E uuxbb-=+邋29由于 根据假设（3）根据假设（2）所以即与此类似，可得出2222222)
13、0()(1)(titxxxE22)(txVar22(),1,2,.,()0,tijE utnE uuijs=222)(ttxnXVar22),(txXCov30三.高斯-马尔柯夫定理（Gauss-Markov Theorem）对于满足统计假设条件(1)-(4)的线性回归模型 Yt=+Xt+ut ,，普通最小二乘估计量 (OLS 估计量)是最佳线性无偏估计量（BLUE,The Best Linear Unbiased Estimator）。）。或 对于古典线性回归模型（CLR 模型）Yt=+Xt+ut，普通最小二乘估计量（OLS 估计量）是最佳线性无偏估计量（BLUE）。31我们已在前面证明了无
14、偏性，此外，由于：由上段结果，=其中 这表明，是诸样本观测值 Yt（t=1,2,n）的线性函数，故 是线性估计量。剩下的就是最佳性了，即 的方差小于等于 的其他任何线性无偏估计量的方差，我们可以证明这一点，但由于时间关系，从略。有兴趣的同学请参见教科书 P46-47。ttYk2tttxxk2tttxYx32四、和 的分布我们在前面列出的假设条件（5）表明，ut N(0,2),t=1,2,.,n 即各期扰动项服从均值为 0、方差为 2的正态分布。考虑到假设条件（4），即 Xt 为非随机量，则由前面结果：=其中，ttuk2tttxxk2tttxux33这表明，是 N 个正态分布变量 u1，u2，,
15、un的线性函数，因而亦为正态分布变量，即 类似的有：),(22txN),(222ttxnXN34第三节 拟合优度的测度 一、拟合优度(Goodness of fit)的概念 用最小二乘法得到的回归直线 至少从残差平方和为最小这一意义上来说是所有可能直线中最佳的拟合线。它是对 Y 和 X 之间关系的一种描述，但该直线是不是 Y 和 X 之间关系的一种恰当的描述呢？如果各观测点紧密地聚集在这条直线的周围，则表明该直线对 Y 和 X 之间关系的描述是好的；否则，用直线来描述这两个变量之间的关系就未必恰当，如下图所示：ttXY35 （a）恰当描述 （b）不恰当描述 图 2-336 应该指出，对于任意两
16、个变量的一组观测值，我们总是可以运用最小二乘法得到一条直线，问题是该直线能否较好地拟合所给定的观测值，这就是拟合优度问题。拟合优度是两变量之间关系强度的测度。在这里，指的是两变量间线性关系强度的测度。如果所有观测值都落在回归直线上，则称为“完全拟合”，这种情况是罕见的。在一般情况下，总会出现正负残差（et），通过对这些残差的分析，有助于衡量回归直线拟合样本数据点的程度。37二、Y 的变差的组成 让我们来考察一下 Y 的变差的组成情况。我们有 Y 的 N 个观测值，Y 的总变差的一个测度是 ，Y 的变差（）中有一部分是可以由 X 的取值变动所解释的。还有一部分是不能由 X 所解释的变差，如下图所
17、示：2)(YYtYYt3839对于第 t 个观测值，有：对于全部 N 项观测值平方求和，有：(7)()(ttttYYYYYYtteYY)(ttttteYYeYYYY)(2)()(22240由于（7）式中最后一项变为：ttXYXY)(XXYYtttttteXXeYY)(2)(2)(2ttteXeX41由(1)式、(2)式（书 P41 3.8 和 3.9 式）和残差的定义，显然有：和 因此，（7）式中最后一项为 0，我们得到如下结果：（8）即 总变差 =由 X 解释的变差+未解释变差0te0tteX222)()(ttteYYYY42三.拟合优度的测度 1.决定系数 不难看出，总变差中由 X 解释的
18、变差比例越大，则 就越小，各观测值聚集在回归直线周围的紧密程度就越大，说明直线与观测值的拟合越好。我们将（8）式两端都除以总变差 ，得：并定义决定系数(coefficient of determination)为：=2te2)(YYt1)()()(2222YYeYYYYtttt2R总变差解释变差2R22)()(YYYYtt22)(1YYett2R43用符号表示为：其中，ESSExplained Sum of Squares RSSResidual Sum of Squares TSSTotal Sum of Squares 决定系数 R2 计量了 Y 的总变差中可以归因于 X 和 Y 之间关系
19、的比例，或者说 Y 的变动中可以由 X 的变动来解释的比例。它是回归线对各观测点拟合紧密程度的测度。2R=TSSESS=TSSRSS1 44我们有：R2=1：完全拟合，R2=0：X 与 Y 完全不存在线性关系，R2 的值越高，拟合得越好。但什么是高？并没有绝对的标准，要根据具体问题而定。此外，回归中使用时间序列数据还是横截面数据也有不同的标准。对时间序列数据来说，R2 的值在 0.8、0.9 以上是很常见的事,而在横截面数据的情况下，0.4、0.5 的 R2 值也不能算低。102R02te2te2)(YYt452.相关系数 r 由 R2 很容易联想到我们在统计中学过的相关系数。相关系数 r 与
20、决定系数的关系为：R2=(r)2，相关系数的计算公式为：相关系数 r 也是拟合优度的测度，其符号取决于的符号（即 的符号）我们有：-1 r 1 r=1：完全正相关 r=-1：完全负相关 r=0：无线性关系22ttttyxyxrttyx46 相关系数和决定系数的计算很简单，事实上，我们只要在原列表计算 的表格中加上一个计算 的栏目就行了。对于我们前面的例子，列表计算得：因此：r =R2 =（0.9938）2 =0.9876 它表明，在我们的例子中，X 与 Y 存在着很强的线性关系，拟合甚佳。2ty1542ty9938.0154100039047第四节 双变量回归中的区间估计和假设检验一、的置信区
21、间我们在第二节中已得出，在 5 条假设条件成立的情况下，有 与估计量相联系的概率分布的标准差(standard deviation)，通常称为标准误差(standard error)，用 Se或 SE 表示。的标准误差为：Se()=),(22txN2tx48 如果 为已知，则我们可以立即给出总体参数 的 95%的置信区间为：1.96 或 1.96 Se()但实际上，我们一般无法知道扰动项分布的方差 2，而必须根据样本数据估计出 2，然后再来考虑 的置信区间的计算问题。2tx491、2 的估计我们可以用残差来估计扰动项 ut 的方差 2：可以证明，是 2 的无偏估计量.上式中的 ，我们可以直接从
22、残差的定义式 计算得到，也可以通过下面的公式求出：（推导从略，参见教材 P52-53）222net2tttXYettttyxye222te502、的置信区间我们重新定义 的标准误差为：Se()=则检验统计量 t=t(n-2)故 的置信区间为：即 2tx)()(SeE2/tx)(2/Set22/txt51 即为 0.10 至 1.06。也就是说，我们有 95%的把握说 在 0.10 至 1.06 之间。例 设回归方程为：ttXY58.070.6且 2x=64，xy=37，2y=44，n=10求的95%置信区间解：222net=22nyxyttt=21037*58.044=2.82 Se()=2t
23、x=6482.2=0.21的95%置信区间为：)()8(025.0Set=0.582.306*0.2152二、假设检验1.假设检验的逻辑和步骤 假设检验始于一个给定的假设，即所谓“原假设”，亦称“零假设”，然后计算检验统计量，这个检验统计量在原假设成立的假定下的概率分布是已知的。下一步是判断计算出的检验统计量的值是否不大可能来自此分布，如果判断是不大可能，则表明原假设不大可能成立。我们用一个例子来说明上述有关假设检验的思路。设有一个原假设规定的值 为 ，这里 是研究人员选择的一个值，如果这个原假设（H0：）成立，我们知道统计量b0bb0b0b53如果原假设不成立，则备择假设 H1：成立。用于计
24、算 t 的所有的量都是已知的，可以用估计值 及其标准误差 Se()算出 t 的值，因此 t 可作为检验统计量用于假设检验，如果算出的 t 值绝对值过大，落入 t 分布的尾部，意味着原假设不大可能成立，因为在原假设成立的情况下，得到这样一个 t 值的概率很小。应服从自由度为(n-2)的 t 分布，即0(2)()tt nSebbb-=-:0bbbb0()tSebbb-=54 由上面的说明不难看出，假设检验可以说就是检验是否出现了小概率事件，如果出现小概率事件，则拒绝原来关于总体参数的假设；如果检验表明得到的样本值并不属于小概率事件，即若我们的假设成立，得到该样本值的概率不算小，则我们不能拒绝原来的
25、假设，或者说，我们“接受”原假设。问题是，我们上面提到的概率究竟应该小到什么程度才算小。一般说来，这取决于我们愿意承担的拒绝一个正确的假设和接受一个错误的假设这两方面的风险。在实践中，一般习惯于取 5%作为拒绝假设的临界水平，称为 5%的显著性水平。55假设检验的具体步骤是：（1）建立关于总体参数的原假设和备择假设；（2）计算检验统计量，检验原假设（是否出现小概率事件）；（3）得出关于原假设是否合理的结论。56例 1：仍用上一段例中的数据，我们要检验的是：原假设：H0：=0.8 备择假设：H1：0.8 这是一个单侧检验的问题。我们有：t =-1.05 用=n-2=10-2=8 查 t 表，截断
26、左侧 5%面积的 t 临界值 tc =1.86 t=1.05 ct=2.306 故拒绝原假设H0。结论：显著异于0，X对Y有影响。60图 2-661三、回归结果的提供和分析我们已得到原假设 H0:=0 的 t 值：t=2.76同样可得出原假设 H0:=0 的 t 值：t=1.381、回归结果的提供提供回归分析结果一般有两种方式：（1）=6.70 +0.58X R2=0.49 （1.38）（2.76）这里 6.70 和 0.58 分别为 和 的估计值 和 。括号中数字是 H0:=0 和 H0 :=0 为真时的 t 值。21.058.086.470.6)(Se)(SeY62（2）=6.70 +0.
27、58X R2 =0.49 （4.86)（0.21）括号中提供的是 和 的标准误差。由于存在这两种格式，使得回归结果的读者难以判断出括号中数字究竟是 t 值还是标准误差。因此，要求在提供回归结果时，应予以说明。通常的作法有两种。一种是文字说明，另一种是用符号标示。提供回归分析结果的标准格式中一般还包括检验一阶自相关的 DW 检验值，我们将在后面介绍。Y632、回归结果的分析 结果的分析主要包括以下内容：（1）系数的说明。首先是说明系数的符号和大小是否正确，是否符合经济理论和常识。其次是说明系数的含义，本例中斜率系数为 0.58，表明 X 增加一个单位，Y 增加 0.58 个单位（如收入 X 增加
28、 1 元，消费 Y增加 0.58 元）。截距项有时有经济意义，大多数情况下无，因此通常无需说明。（2）拟合情况。如本例中 R2 不高，作为时间序列数据，拟合不理想。（3）系数的显著性。本例中斜率系数的 t 值为2.76，表明该系数显著异于 0，X 对 Y 有影响。（4）是否存在扰动项的自相关。64第五节 预测 一、预测的概念 预测通常指利用现有信息预测未来。在这里，预测指的是对自变量的某一具体值 X0，来预测与它相对应的因变量值 Y0。它既可以指对未来某个时期因变量值的预测，也可以是对未包括在横截面样本之中的某个实体数值的预测。通常情况下，我们要预测的是与样本观测值范围之外的 X 值对应的 Y
29、 值，如观测值为 1985-2007 年，预测 2008 年的居民消费。但 X0 也可以在样本 X值的范围内。65二、预测的隐含假设 要进行预测，有一个假设前提应当满足。即对于样本观测值数据成立的 X 和 Y 之间的关系对于新的观测值也成立。即若双变量模型的原设定是：Yt =+Xt+ut，t=1,2,n 则要使此模型可以用来作为预测的依据，还应 有：Y0=+X0+u0 也成立。66 三.预测的误差 我们可以得到两种类型的预测值：点预测值点预测值和区间预测值。和区间预测值。在实践中，如果没有某种精度指标的话，点预测值是没有多大用处的。所以，我们必须提供点预测值的预测误差。点预测值由与 X0 对应
30、的回归值给出，即 而预测期的实际 Y 值由下式给出：其中 u0 是从预测期的扰动项分布中所取的值。00XY000uXY67预测误差的来源 由此不难看出，预测误差产生于两个来源：(1)模型中包含扰动项，点预测值是假定预测期扰 动项 u0 为 0，而实际上一般不为 0。(2)点预测值公式中用的是和的估计值 和 ，样本估计值 和 一般不等于总体参数 和。68预测误差可定义为：两边取期望值，得 因此，OLS 预测量 是一个无偏预测量。000YYe00)()(Xu)()()()(000EXEuEeE)()(00X00XY069 预测误差的方差为：其它两项协方差等于 0。这是因为 u0 独立于u1，u2，
31、un，而 和 均为 u1，u2，un 的线性函数，因此它们与 u0 的协方差均为 0。将我们在前面得到的 和 的方差及协方差代入上式，得：)()(),(2)()()(0200CovXVarXVaruVar)()()(000XuVareVar70 注：第二个等号用到 2202220222202)(xXXxXxnXeVar2202220222222)(xXXxXxnXnXX2202220222222xXXxXxXn)(11 2202xXXn222)(XnXXX71四、Y0 的置信区间 从e0 的定义 可看出，e0为正态变量的线性函数，因此，它本身也服从正态分布。故 N（0，1）由于 是未知的，我们
32、用其估计值 代替它，有2200000)(11)()(xXXneeSeeEe)2(2ne000)()(Xue7222000)(11xXXnYY t（n-2）则0Y的95%置信区间为：220025.00)(11)2()(xXXnntX（其中，00)(YX）这一置信区间的宽度从样本均值X处向两边对称地增加，如下图所示：2200)(11xXXne73 0 X0 X Y2202)(11xXXntnt112X74五、例子 例1：设根据样本估计的回归直线为：XY75.11 且40,5.0,4,522xXn,求100X时Y的预测值0Y及0Y的95%置信区间。75 即 15.24 至 21.76，也就是说，我们
33、有 95%的把握预测 Y0 将位于 15.24 至 21.76 之间。解：对于100X 点预测值0Y=1+1.75 10=18.5 0Y的95%置信区间为：220025.00)(11)3(xXXntX =40)410(5115.0182.3)10(75.112 26.35.18 76例 2 且 现有一对新观测值 ,试问它们是否可能来自产生样本数据的同一总体？解：问题可化为“预测误差是否显著地大？”当 时，预测误差 64,23,10,82.222xXn27,2800YXXY58.070.6280X94.222858.070.60Y06.494.2227000YYe77原假设 H0：备择假设 H1：检验：若 H0 为真，则 对于 n-2=8 个自由度，查表得 5%显著性水平检验的 t 临界值为：即98.105.206.464)2328(101182.2006.4)(11)(222000 xXX
