1、直线相关与回归分析第七章平均数平均数标准差标准差方差分析方差分析多重比较多重比较集中点集中点离散程度离散程度差异显著性差异显著性一个变量（产量）施肥量播种密度品种p在实际研究中，事物之间的相互在实际研究中，事物之间的相互关系涉及关系涉及两个或两个两个或两个以上的变量以上的变量，只要其中的一个变量变动了，只要其中的一个变量变动了，另一个变量也会跟着发生变动，另一个变量也会跟着发生变动，这种关系称为这种关系称为协变关系协变关系，具有协，具有协变关系的变量称为变关系的变量称为协变量协变量。确定的函数关系确定的函数关系PV=RT 气体压强S=r2 圆的面积协协变变量量S=a b 长方形面积身高与胸围、
2、体重施肥量与产量溶液的浓度与 OD值人类的年龄与血压 温度与幼虫孵化不完全确定的函数关系(相关关系)协协变变量量相相关关变变量量一个变量的变化受另一个一个变量的变化受另一个变量或几个变量的制约变量或几个变量的制约因果关系因果关系平行关系平行关系两个以上变量之间共同两个以上变量之间共同受到另外因素的影响受到另外因素的影响动物的生长速度受遗传、营养等影响子女的身高受父母身高的影响人的身高和体重之间的关系兄弟身高之间的关系 为了确定相关变量之间的关系，首为了确定相关变量之间的关系，首先应该收集一些数据，这些数据应先应该收集一些数据，这些数据应该是成对的，然后在直角坐标系上该是成对的，然后在直角坐标系
3、上描述这些点，这一组点集称为散点描述这些点，这一组点集称为散点图。图。散点图散点图(scatter di agram)u为了研究父亲与成年儿子身高之间的关系，卡尔.皮尔逊测量了 1078 对父子的身高。把1078 对数字表示在坐标上，如图。用水平轴 X 上的数代表父亲身高，垂直轴 Y 上的数代表儿子的身高，1078 个点所形成的图形是一个散点图。它的形状象一块橄榄状的云，中间的点密集，边沿的点稀少，其主要部分是一个椭圆。散点图散点图(scatter diagram)两个变量间关系的性质（正向协同变化或负向协同变化）和程度（关系是否密切）两个变量间关系的类型（直线型或曲线型）是否有异常观测值的干
4、扰 1 2 3 4 5 64321 1 2 3 4 5 64321 1 2 3 4 5 64321正向直线关系负向直线关系曲线关系散点图直观地、定性地表示了两个变量之间的关系。为了探讨它们之间的规律性，还必须根据观测值将其内在关系定量地表达出来。回归回归(regerssi on)相关相关(correl ati on)定量研究p在生物学中，研究两个变量间的关在生物学中，研究两个变量间的关系，主要是为了探求两变量的内在系，主要是为了探求两变量的内在联系，或从一个变量联系，或从一个变量 X（可以是随（可以是随机变量，也可以是一般的变量），机变量，也可以是一般的变量），去推测另一个随机变量去推测另一个
5、随机变量 Y。xy施肥量施肥量(可以严格地人为控制可以严格地人为控制)产量产量p如果对如果对 x（非随机变量或随机变量）的每一（非随机变量或随机变量）的每一个可能的值，都有随机变量个可能的值，都有随机变量 y 的一个分布相的一个分布相对应，则称随机变量对应，则称随机变量 y 对变量对变量 x 存在回归存在回归(regressi on)关系。关系。自变量(independent variable)因变量(dependent variable)一个变量的变化受另一个变量或几个变量的制约一个变量的变化受另一个变量或几个变量的制约因果关系因果关系p研究研究“一因一果一因一果”，即一个自变量与一个，即一
6、个自变量与一个依变量的回归分析称为一元回归分析依变量的回归分析称为一元回归分析 p研究研究“多因一果多因一果”，即多个自变量与一个，即多个自变量与一个依变量的回归分析称为多元回归分析。依变量的回归分析称为多元回归分析。直线回归分析直线回归分析曲线回归分析曲线回归分析多元线性回归分析多元线性回归分析多元非线性回归分析多元非线性回归分析在大量测量各种身高人群的体重时会发现，虽然在同样身高在大量测量各种身高人群的体重时会发现，虽然在同样身高下，体重并不完全一样。但在每一身高下，都有一个确定的下，体重并不完全一样。但在每一身高下，都有一个确定的体重分布与之相对应体重分布与之相对应;在大量测量各种体重人
7、群的身高时会发现，虽然在同样体重在大量测量各种体重人群的身高时会发现，虽然在同样体重下，身高并不完全一样。但在每一体重下，都有一个确定的下，身高并不完全一样。但在每一体重下，都有一个确定的身高分布与之相对应身高分布与之相对应;p身高与体重之间存在相关关系。X 身高身高Y 体重体重X 体重体重Y 身高身高相关关系相关关系p两变量两变量 x x、y y 均为随机变量，任一变量的每一均为随机变量，任一变量的每一可能值都有另一变量的一个确定分布与之对应可能值都有另一变量的一个确定分布与之对应，则称这两个变量存在相关（，则称这两个变量存在相关（correlationcorrelation）关系。关系。p
8、对两个变量间的直线关系进行相关分析称为简对两个变量间的直线关系进行相关分析称为简单相关分析（也叫直线相关分析）；单相关分析（也叫直线相关分析）；p对多个变量进行相关分析时，研究一个变量与对多个变量进行相关分析时，研究一个变量与多个变量间的线性相关称为复相关分析；研究多个变量间的线性相关称为复相关分析；研究其余变量保持不变的情况下两个变量间的线性其余变量保持不变的情况下两个变量间的线性相关称为偏相关分析。相关称为偏相关分析。第二节：直线回归 Linear Regression一、直线回归方程的建立一、直线回归方程的建立二、直线回归的数学模型和基本假定二、直线回归的数学模型和基本假定三、直线回归的
9、假设检验三、直线回归的假设检验四、直线回归的区间估计四、直线回归的区间估计简单回归简单回归(Simple Regression)一、直线回归方程的建立p直线回归就是用来描述一个变量如何依赖于另一个变量温度温度天数天数Y=a+bx直线回归方程(linear regression equation)截距截距(intercept)回归截距回归截距斜率斜率(slope)回归系数回归系数(regerssion coefficient)自变量自变量与与 x 值相对应的依变量值相对应的依变量 y 的点估计值的点估计值0 xya0,b0a0a0,b0a=0b=0bxay变量变量 1变量变量 2收集数据收集数据
10、散点图温度天数 X Y平均温度（）历期天数（d ）11.8 30.1 14.7 17.3 15.6 16.7 16.8 13.6 17.1 11.9 18.8 10.7 19.5 8.3 20.4 6.7p黏虫孵化历期平均温度与历期天数关系图0 010102020303040401010121214141616181820202222温度温度天数（天）天数（天）（）bxayp回归直线在平面坐标系中的位置取决于回归直线在平面坐标系中的位置取决于 a,b的取值。的取值。y最小最小最小二乘法(method of least square)nyy12)(bxaynnbxayyyQ1212)()(根据微
11、积分学中的求极值的方法，令 Q对a、b的一阶偏导数等于 0，即：nnbxayyyQ1212)()(0)(2bxayaQ0)(2xbxaybQxbyanxxnyxxyb/)(/)(22xxySSSPxxyyxxb2)()(为最小值基本性质bxaynyyQ12)(0)(yy),(yx回归方程的中心化形式bxayxbya)(xxbyy X Y平均温度（）历期天数（d ）11.8 30.1 14.7 17.3 15.6 16.7 16.8 13.6 17.1 11.9 18.8 10.7 19.5 8.3 20.4 6.77.134x19.23232x3.115y03.20392y8n8375.16n
12、xx4125.14nyySUM PRO D UCT：返回若干数组中彼此对应元素的乘积的和：返回若干数组中彼此对应元素的乘积的和1788.55)()(222xxnxxSSx2688.377)()(222yynyySSy6937.139)()()()(yyxxnyxxySPxy5317.2xxySSSPb0400.57xbyaxy5317.20400.570 010102020303040401010121214141616181820202222温度温度天数（天）天数（天）（）11.8-20.4用用 x 估计估计 y，存在随机误差，必须根据回归的，存在随机误差，必须根据回归的数学模型对随机误差进
13、行估计，并对回归方程数学模型对随机误差进行估计，并对回归方程进行检验。进行检验。y误差xy5317.20400.57bxay二、数学模型和基本假定yiy 的总体平均数的总体平均数因因 x 引起引起 y 的变的变异异y 的随机误差的随机误差y)(xx总体回归截踞总体回归截踞总体回归系数总体回归系数随机误差随机误差直线回归的数学模型直线回归的数学模型(m odel of l i near regressi on)(xyxyxy基本假定x 是没有误差的固定变量，或其误差可以是没有误差的固定变量，或其误差可以忽略，而忽略，而 y 是随机变量，且有随机误差。是随机变量，且有随机误差。x 的任一值对应着一
14、个的任一值对应着一个 y 总体，且作正态总体，且作正态分布，其平均数分布，其平均数 +x，方差受偶，方差受偶然因素的影响，不因然因素的影响，不因 x 的变化而改变。的变化而改变。随机误差随机误差 是相互独立的，呈正态分布。是相互独立的，呈正态分布。ybxayxyp若若x和和y变量间并不存在直线关系，但由变量间并不存在直线关系，但由n对观测值（对观测值（xi，yi）也可以根据上面介）也可以根据上面介绍的方法求得一个回归方程绍的方法求得一个回归方程p显然，这样的回归方程所反应的两个变量间 显然，这样的回归方程所反应的两个变量间 的直线关系是不真实的。如何判断直线回的直线关系是不真实的。如何判断直线
15、回归方程所反应的两个变量间的直线关系的真归方程所反应的两个变量间的直线关系的真实性呢？这取决于变量实性呢？这取决于变量x与与y间是否存在直间是否存在直线关系。线关系。bxay三、直线回归的假设检验有意义有意义指导实践指导实践？是否真正存在线性关系是否真正存在线性关系回归关系是否显著回归关系是否显著bxay一、直线回归的变异来源y=a+bxy(x,y)y-yy-yy-y实际值与估计值之差，剩余或残差。y-y估计值与均值之差，它与回归系数的大小有关。)()()(yyyyyy22)()()(yyyyyy)()(2)()(22yyyyyyyy0)()()()()()()()()(2222)(xxxxx
16、ySSSSSPSPSSSPSSbbSPyyxxbxxbyyxxbyyyyxxbyyxxb)()(yyyy22)()()(yyyyyy)()(2)()(22yyyyyyyy22)()(yyyy一、直线回归的变异来源y=a+bxy(x,y)y-yy-yy-y实际值与估计值之差，剩余或残差。y-y估计值与均值之差，它与回归系数的大小有关。依变量 依变量 y 的平方和，总平方和，的平方和，总平方和，SSy,SS总总回归平方和 回归平方和 U离回归平方和 离回归平方和 Q222)()()(yyyyyypy 的离均差，反映了的离均差，反映了 y 的总变异程度的总变异程度，称为，称为 y 的总平方和。的总平
17、方和。说明未考虑说明未考虑 x 与与 y 的回归关系时的回归关系时 y的变异。的变异。2)(yyySSp反映了由于反映了由于 y 与与 x 间存在直线关系所引起的间存在直线关系所引起的y 的变异程度，因的变异程度，因 x 的变异引起的变异引起 y 变异的平变异的平方和，称为回归平方和。方和，称为回归平方和。p它反映在它反映在 y 的总变异中由于的总变异中由于 x 与与 y 的直线的直线关系，而使关系，而使 y 变异减小的部分，在总平方变异减小的部分，在总平方和中可以用和中可以用 x 解释的部分。解释的部分。U值大，说明回归效果好。值大，说明回归效果好。回归平方和回归平方和(regressi o
18、n sum of squares)U2)(yyp误差因素引起的平方和，反映了除去误差因素引起的平方和，反映了除去 x 与与 y 的的直线回归关系以外的其余因素使直线回归关系以外的其余因素使 y 引起变化的引起变化的大小。大小。p反映反映 x 对对 y 的线性影响之外的一切因素对的线性影响之外的一切因素对 y的变异的作用，也就是在总平方和中无法用的变异的作用，也就是在总平方和中无法用x 解释的部分。解释的部分。离回归平方和离回归平方和误差平方和，剩余平方和误差平方和，剩余平方和(resi dual sum of squares)Q在散点图上，各实测点离回归直线越近，在散点图上，各实测点离回归直线
19、越近，Q值越小，说明直线回归的估计误差越小。值越小，说明直线回归的估计误差越小。2)(yy依变量 依变量 y 的平方和，总平方和，的平方和，总平方和，SSy,SS总总回归平方和 回归平方和 U离回归平方和 离回归平方和 Q222)()()(yyyyyyQUSSy222)()()(yyyyyyQUSSyQUydfdfdfxxSSSPbSPSSbxxbyxxbyyyU222222)()()(直线回归分析中，回归自由度等于自变量直线回归分析中，回归自由度等于自变量的个数，只涉及到的个数，只涉及到 1个自变量个自变量df 回归 1df 总 n-1df 离回归 n-2Q/n-2离回归标准差离回归标准差回
20、归估计标准误回归估计标准误剩余标准差剩余标准差离回归方差离回归方差2/nQsxy假 设H 0:两变量间无线性关系两变量间无线性关系H A:两变量间有线性关系两变量间有线性关系在无效假设存在下，回归方差与离回归在无效假设存在下，回归方差与离回归方差的比值服从方差的比值服从 F 分布。分布。df1=1df2=n-2(二）F 检验)2(2/1/nQUnQUFH 0:黏虫孵化历期平均温度黏虫孵化历期平均温度 x 与历期天数与历期天数 y之间之间 不存在线性关系不存在线性关系H A:两变量间有线性关系两变量间有线性关系变异来源 df SS s2 F F0.05 F0.01 回归 1 353.6628 3
21、53.6628 89.89*5.99 13.74 离回归 6 23.6060 3.9343 总变异 7 377.2688p检验线性回归系数的显著性，采用检验线性回归系数的显著性，采用 t 检检验法进行。验法进行。假 设H 0:=0=0 H A:00p检验样本回归系数检验样本回归系数 b是否来自是否来自 =0的的双变量总体，以推断线性回归的显著双变量总体，以推断线性回归的显著性。性。(三）t 检验样本统计量 的分布1.是根据最小二乘法求出的样本统计量，它有自己的分布2.的分布具有如下性质分布形式：正态分布数学期望：标准差：由于 未知，需用其估计量s sy y 来代替得到 的估计的标准差bE)(2
22、xxi2xxssiebE)(2xxssiedf=n-2回归系数的标准误回归系数的标准误bbsbsbtxxyxybSSsxxsxxnyys/22/22)()()2()(9835.12/nQsxy1788.55xSS5317.2b48.91788.55/9835.15317.2/xxybSSsbsbtp否定否定 H 0:=0，接受，接受 H A:0，认为，认为黏虫孵化历期平均温度与历期天数间有黏虫孵化历期平均温度与历期天数间有真实直线回归关系。真实直线回归关系。48.9t707.3)6(01.0t同一概率值同一概率值F（一尾）值（一尾）值（df1=1,df2=n-2）t 值（两尾）（值（两尾）（d
23、f=n-2）48.9bsbt89.892/1/nQUF2tF28704.8989.89tFa 和 b的置信区间（一）y/x 的置信区间和单个的置信区间和单个 y 的预测区间的预测区间（二）y/x 和单个和单个 y 观测值置信区间图示观测值置信区间图示（三）四、直线回归的区间估计四、直线回归的区间估计(一）a 和 b的置信区间df=n-2xbya)1(22/2xxyaSSxnss)1(2/xxyaSSxnssasat(一）a 和 b的置信区间总体回归截距总体回归截距 的置信区的置信区间间aastaLstaL21)1(2/xxyaSSxnss(一）a 和 b的置信区间总体回归系数总体回归系数 的置
24、信区间的置信区间bbstbLstbL21xxybSSss/8375.16nxx9835.12/nQsxy1788.55)()(222xxnxxSSx3009.1)1(2/xxyaSSxnss2670.0/xxybSSss95%的样本回归的样本回归截距落在该区间截距落在该区间内内95%的样本回归的样本回归系数落在该区间系数落在该区间内内707.3447.2)6(01.0)6(05.0tt2233.608567.5321aastaLstaL8784.11850.321bbstbLstbL3009.1as0400.57a2670.0bs5317.2bxy5317.20400.57(二）y/x 的置信
25、区间和单个的置信区间和单个 y 的预测区的预测区间间不包含随机误差不包含随机误差p由回归方程预测由回归方程预测 x 为某一定值时为某一定值时 y 的观测值所在区间，则的观测值所在区间，则 y 观观测值不仅受到测值不仅受到 y 和和 b的影响，也受到随机误差的影响。的影响，也受到随机误差的影响。xy/)(xxbybxayxy5317.20400.57y 总体的平均数总体的平均数单个单个 y 值所在的区间值所在的区间x点估计点估计(二）y/x 的置信区间和单个的置信区间和单个 y 的预测区的预测区间间bxay)(xxydf=n-2y 总体的平均数总体的平均数单个单个 y 值所在的区间值所在的区间x
26、y 总体的平均数总体的平均数xxyySSxxnss22/2)(1xxyySSxxnss2/)(1yxysyt/yystyLstyL21xy/xxyySSxxnss2/)(1黏虫孵化历期平均温度为黏虫孵化历期平均温度为 15 时，历期时，历期天数为多少天（取天数为多少天（取 95置信概率）？置信概率）？8559.0)(12/xxyySSxxnss0645.1915)5317.2(0400.57bxay1589.219701.1621yystyLstyLdf=n-2y 总体的平均数总体的平均数x单个单个 y 值所在的区间值所在的区间单个单个 y 值所在的区间值所在的区间xxyySSxxnss22/
27、2)(11xxyySSxxnss2/)(11ysyytyystyLstyL21yxxyySSxxnss2/)(11某年的历期平均温度为某年的历期平均温度为 15 时，该年的时，该年的历期天数为多少天（取历期天数为多少天（取 95置信概率）置信概率）？1603.2)(112/xxyySSxxnss0645.1915)5317.2(0400.57bxay3508.247782.1321yystyLstyL(二）y/x的置信区间和单个的置信区间和单个 y 的预测区间的预测区间1603.2)(112/xxyySSxxnss3508.247782.1321yystyLstyL8559.0)(12/xxy
28、ySSxxnss1589.219701.1621yystyLstyL(三）y/x 和单个和单个 y 观测值置信区间图示观测值置信区间图示0 05 51010151520202525303035359 91212151518182121预测值均值下限均值上限预测值下限预测值上限正比正比反比反比p愈靠近 愈靠近 x，对，对 y 总体平均值或单个总体平均值或单个 y的估计值就愈精确，而增大样本含量，的估计值就愈精确，而增大样本含量，扩大扩大 x 的取值范围亦可提高精确度。的取值范围亦可提高精确度。xxyySSxxnss2/)(11xxyySSxxnss2/)(1xxxSSnp作回归分析时要有实际意义
29、作回归分析时要有实际意义。直线回归注意问题直线回归注意问题不能把毫无关联的两种现象勉强作回不能把毫无关联的两种现象勉强作回归分析，即便有回归关系也不一定是归分析，即便有回归关系也不一定是因果关系，还必须对两种现象的内在因果关系，还必须对两种现象的内在联系有所认识，即能从专业理论上作联系有所认识，即能从专业理论上作出合理解释或有所依据。出合理解释或有所依据。p进行直线回归分析之前，绘制散点进行直线回归分析之前，绘制散点图。图。当观察点的分布有直线趋势时，才适宜作当观察点的分布有直线趋势时，才适宜作直线回归分析。直线回归分析。散点图还能提示资料有无异常值，即对应散点图还能提示资料有无异常值，即对应
30、于残差绝对值特别大的观测数据。异常点于残差绝对值特别大的观测数据。异常点的存在往往对回归方程中的的存在往往对回归方程中的 a 和和 b 的估计的估计产生较大的影响。因此，需要复查此异常产生较大的影响。因此，需要复查此异常点的值。点的值。直线回归注意问题直线回归注意问题p直线回归的适应范围一般以自变量直线回归的适应范围一般以自变量的取值为限。的取值为限。在自变量范围内求出的估计值，一在自变量范围内求出的估计值，一般称为内插般称为内插(interpolation);超过自变超过自变量取值范围所计算出的估计值，称量取值范围所计算出的估计值，称为外延为外延(extrapolation)。若无充分理由证
31、明超过自变量取值范若无充分理由证明超过自变量取值范围还是直线，应该避免外延。围还是直线，应该避免外延。直线回归注意问题直线回归注意问题p描述两变量间的依存关系。描述两变量间的依存关系。直线回归的应用直线回归的应用p利用回归关系进行预测利用回归关系进行预测(forecast)。将自变量作为预报回子，代入方程对将自变量作为预报回子，代入方程对预报量进行估计，其波动范围可按个预报量进行估计，其波动范围可按个体体 y 值容许区间方法计算。值容许区间方法计算。xy5317.20400.57xy5317.20400.57回归方程进行统计控制回归方程进行统计控制(stati sti cal control)
32、.NO2 浓浓度度Y(NO2 浓度，mg/m3)=-0.064866+0.000133x(车流量，辆小时）直线回归的应用直线回归的应用第三节：直线相关 Linear Correlation一、相关系数和决定系数一、相关系数和决定系数二、相关系数的假设检验二、相关系数的假设检验三、相关系数的区间估计三、相关系数的区间估计一、相关系数和决定系数一、相关系数和决定系数xy线性关系了解 x 和 y 相关以及相关的性质相关系数相关类型相关类型正相关负相关零相关IIIIIIIVIIIIIIIVIIIIIIIV),(yx),(yyxxIIIIIIIV正相关0,0:yyxxI0,0:yyxxII0,0:yyx
33、xIII0,0:yyxxIV0)(yyxxIIIIIIIV正相关IIIIIIIV负相关0)(yyxx0)(yyxxIIIIIIIV零相关0)(yyxx直线相关的两个变量的相关程度和性质直线相关的两个变量的相关程度和性质乘积和乘积和互变量（1)单位问题单位问题（2)x 与与 y 本身的变异不影响本身的变异不影响 x 与与 y 之间的相之间的相关性关性？)(yyxx1)(nyyxxr r)(yyxx22)()()(yyxxyyxxnyxyyxx)()(yyxxyx两个变量的变异程度两个变量的度量单位两个变量的个数r 可以用来比较不同双变量的相关程度和性质。可以用来比较不同双变量的相关程度和性质。22)()()(yyxxyyxxr样本样本总体总体22)()()(yyxxyyxxr22)()()(yxyxyxyx两个变量在相关系数计算两个变量在相关系数计算中的地位是平等的，没有中的地位是平等的，没
