1、数理统计讲义doc数理统计教 案第一章 统计量及其抽样分布第一节 总体与样本教学目的 ：要求学生理解数理统计的两个基本概念 :总体和样本，以及与这两个基本概念相关的统计基本思想和样本分布。教学重点 : 掌握数理统计的基本概念和基本思想 .教学难点 ：掌握数理统计的基本概念和基本思想 .一、总体与个体在一个统计问题中，我们把研究对象的全体称为总体，构成总体的每个成员称为个体。对多数实际问题。总体中的个体是一些实在的人或物。比如，我们要研究某大学的学生身高情况，则该大学的全体学生构成问题的总体，而每一个学生即是一个个体。事实上，每个学生有许多特征：性别、年龄、身高、体重、民族、籍贯等。而在该问题中
2、，我们关心的只是该校学生的身高如何，对其他的特征暂不予以考虑。这样，每个学生（个体）所具有的数量指标值 身高就是个体，而将所有身高全体看成总体。这样一来，若抛开实际背景，总体就是一堆数，这堆数中有大有小，有的出现的机会多，有的出现的机会少，因此用一个概率分布去描述和归纳总体是恰当的。从这个意义上看，总体就是一个分布，而其数量指标就是服从这个分布的随机变量。以后说 “从总体中抽样 ”与“从某分布中抽样 ”是同一个意思。例 1.考察某厂的产品质量，将其产品只分为合格品与不合格品，并以 0 记合格品，以 1 记不合格品，则总体该厂生产的全部合格品与不合格品由 0 或 1 组成的一堆数。若以 p 表示
3、这堆数中 1 的比例（不合格品率），则该总体可由一个二点分布表示：不同的 p 反映了总体间的差异。例如，两个生产同类产品的工厂的产品总体分布为：我们可以看到，第一个工厂的产品质量优于第二个工厂。实际中，分布中的不合格品率是未知的，如何对之进行估计是统计学要研究的问题。二、样本为了了解总体的分布，我们从总体中随机地抽取n 个个体，记其指标值为x1，x2， ，xn，则 x1，x2， ，xn 称为总体的一个样本， n 称为样本容量，或简称样本量，样本中的个体称为样品。我们首先指出，样本具有所谓的二重性：一方面，由于样本是从总体中随机抽取的，抽取前无法预知它们的数值， 因此，样本是随机变量， 用大写字
4、母 X1，X2， ，Xn 表示；另一方面，样本在抽取以后经观测就有确定的观测值，因此，样本又是一组数值。此时用小写字母 x1，x2， ，xn 表示是恰当的。简单起见，无论是样本还是其观测值， 本书中样本一般均用 x1，x2， ，xn 表示，读者应能从上下文中加以区别。例 2.啤酒厂生产的瓶装啤酒规定净含量为 640g，由于随机性，事实上不可能使得所有的啤酒净含量均为 640g ,现从某厂生产的啤酒中随机抽取 10 瓶测定其净含量，得到如下结果：641 635 640 637 642 638 645 643 639 640这是一个容量为 10 的样本的观测值。 对应的总体为该厂生产的瓶装啤酒的净
5、含量。从总体中抽取样本时，为使样本具有代表性，抽样必须是随机抽样。通常可以用随机数表来实现随机抽样。还要求抽样必须是独立的，即每次的结果互不影响。在概率论中，在有限总体（只有有限个个体的总体）中进行有放回抽样，是独立的随机抽样；然而，若为不放回抽样，则是不独立的抽样。但当总体容量 N 很大但样本容量 n 较小 时，不放回抽样可以近似地看做放回抽样，即可近似看做独立随机抽样。下面，我们假定抽样方式总满足独立随机抽样的条件。从总体中抽取样本可以有不同的抽法， 为了能由样本对总体做出较可靠的推断，就希望样本能很好地代表总体。这就需要对抽样方法提出一些要求，最常用的“简单随机抽样 ”有如下两个要求：（
6、 1）样本具有 随机性 ，即要求总体中每一个个体都有同等机会被选入样本，这便意味着每一样品 xi 与总体 X 有相同的分布。（2）样本要有 独立性 ，即要求样本中每一样品的取值不影响其他样品的取值，这意味着 x1，x2， ，xn 相互独立。用简单随机抽样方法得到的样本称为 简单随机样本 ，也简称 样本。除非特别指明，本书中的样本皆为简单随机样本。于是，样本 x1，x2， ， xn 可以看成是相互独立的具有同一分布的随机变量，其共同分布即为总体分布。设总体 X 具有分布函数 F（ x）, x1，x2， ，xn 为取自该总体的容量为 n 的样本，则样本 联合分布函数 为：若总体具有密度函数 f （
7、x），则样本的联合密度函数为若总体 X 为离散型随机变量，则样本的（联合）概率函数为显然，通常说的样本分布是指多维随机变量（ x1， x2， ，xn）的联合分布。例 3.为估计一物件的重量 ，用一架天平重复测量 n 次，得样本 x1，x2， ，xn，由于是独立重复测量， x1，x2， ，xn 是简单随机样本。总体的分布即 x1 的分布（ x1，x2， ，xn 分布相同）。由于称量误差是均值（期望）为零的正态变量，所以 x1 可认2为服从正态分布 N（ ，）（ X1 等于物件重量 ）加上称量误差，即 x1 的概率密度为这样，样本分布密度为。例 4.设某种电灯泡的寿命 X 服从指数分布 E（ ），
8、其概率密度为：则来自这一总体的简单随机样本 x1， x2， ，xn 的样本分布密度为例 5.考虑电话交换台一小时内的呼唤次数 X。求来自这一总体的简单随机样本x1， x2， ，xn 的样本分布。解 由概率论知识， X 服从泊松分布 P（ ），其概率函数，（其中 x 是非负整数 0，1，2， ，k， 中的一个）。从而，简单随机样本x1，x2， ， xn 的样本分布为：第二节 统计量及其分布教学目的 ：要求学生理解数理统计的基本概念：统计量，熟练掌握样本均值、样本方差、样本原点矩、样本中心矩等常用统计量的计算公式，掌握次序统计量及其抽样分布。能用 R 软件来计算这些常用统计量，能用 R 软件来产生
9、分布的随机数以进行随机模拟。教学重点 ：样本均值、样本方差、样本原点矩、样本中心矩等常用统计量的求法；次序统计量的抽样分布。教学难点 ：次序统计量的抽样分布。一、统计量与抽样分布样本来自总体， 样本的观测值中含有总体各方面的信息， 但这些信息较为分散，有时显得杂乱无章。为将这些分散在样本中有关总体的信息集中起来以反映总体的各种特征，需要对样本进行加工。最常用的加工方法是构造样本的函数，不同的函数反映总体的不同特征。定义 1.设 x1，x2， ， xn 为取自某总体的样本，若样本函数 T T（x1， x2， ，xn）中不含有任何未知参数，则称 T 为统计量 。统计量的分布称为 抽样分布 。按照这
10、一定义，若 x1 2n为样本，则，2，x ， ，x都是统计量，而当 ，未知时，等均不是统计量。二、样本均值及其抽样分布定义 2.设 x1，x2， ， xn 为取自某总体的样本，其算术平均值称为样本均值，一般用表示，即 。例 6.某单位收集到 20 名青年人某月的娱乐支出费用数据：79848488929394979899100101101102102 108110113118125则该月这 20 名青年的平均娱乐支出为对于样本均值 的抽样分布，我们有下面的定理。定理 1.设 x1，x2， ， xn 是来自某个总体 X 的样本， 为样本均值。（1）若总体分布为2；N（，），则 的精确分布 为（2）
11、若总体 X 分布未知（或不是正态分布），且2E（X）=，D（ X）=，则当样本容量 n 较大时， 的渐近分布 为 ，这里的渐近分布是指 n 较大时的近似分布。证明 （1）由于 为独立正态变量线性组合，故 仍服从正态分布。另外，故（2）易知 为独立、同分布的随机变量之和，且。由中心极限定理，其中 （x）为标准正态分布。这表明 n 较大时 的渐近分布为 。三、样本方差与样本标准差定义 3.设 x1， x2， ，xn 为取自某总体的样本，则它关于样本均值的平均偏差平方和称为样本方差 ，其算术根 称为样本标准差 。相对样本方差而言， 样本标准差通常更有实际意义，因为它与样本均值具有相同的度量单位。在上
12、面定义中， n 为样本容量， 称为偏差平方和 ，它有 3 个不同的表达式：事实上，偏差平方和的这 3 个表达式都可用来计算样本方差。例 7.在例 6 中，我们已经算得 ，其样本方差与样本标准差为，。方法二s= 31通常用第二种方法计算 s2 方便许多。下面的定理给出样本均值的数学期望和方差以及样本方差的数学期望，它不依赖于总体的分布形式。这些结果在后面的讨论中是有用的。定理 2.设总体 X 具有二阶矩，即E（ x）=,D（ X）=2+x12n为从该总体得到的样本，2分别是样本均值和样本方差，则，x ， ，x和 s此定理表明， 样本均值的均值与总体均值相同， 而样本均值的方差是总体方差的 。证明
13、 由于（1）（2）且有：，而，于是，两边各除以 n-1，即得证。值得读者注意的是：本定理的结论与总体服从什么分布无关。四、样本矩及其函数样本均值和样本方差的更一般的推广是样本矩，这是一类常见的统计量。定义 4.设 x1， x2， ，xn 是样本，则统计量称为样本 k 阶原点矩，特别地，样本一阶原点矩就是样本均值。统计量称为样本 k 阶中心矩。常见的是 k=2 的场合，此时称为二阶样本中心矩。本书中我们将其记为 sn2，以区别样本方差 S2。五、极大顺序统计量和极小顺序统计量定义 5.设总体 X 具有分布函数 F（x），分布密度 f（x） , x1，x2， ，xn为其样本，我们分别称X（ 1）=
14、minx1,x2, xn,x（n） =maxx1,x2, xn为极小顺序统计量和极大顺序统计量。定理 3.若 x(1),x(n)分别为极小、极大顺序统计量，则（1）x(1)1n （1）1n-1f(x)的分布函数F (x)=1-(1-F（x) ,x的分布密度 f (x)=n-(1-F(x)（2）x（n）的分布函数 Fn(x)=F(x)n,x(n)的分布密度 fn(x)=nF(x)n-1f(x)证明 先求出 x（1）及 x（ n）的分布函数 F1（x）及 Fn（ x）：，分别对 F1（x）， Fn（x）求导即得六、正态总体的抽样分布有很多统计推断是基于正态总体的假设的，以标准正态变量为基石而构造的
15、三个著名统计量（其抽样分布分别为 x2 分布， t 分布和 F 分布）在实践中有着广泛的应用。这是因为这三个统计量不仅有明确背景， 而且其抽样分布的密度函数有 “明确的表达式 ”，它们被称为统计中的 “三大抽样分布 ”。1.x2 分布（卡方分布）定义 6.设 X1， X2， ，Xn 独立同分布于标准正态分布 N（ 0， 1），222的分布称为自由度为222（n）。则 x1nn 的 x分布，记为 x x=x + xx2（ n）分布的密度函数见图 1-4当随机变量22（n）时，对给定的222x x（ 0x （n） =的 x（n）是自由度为 n 的开方分布的 分位数。 分位数 x2（ n）可以从附表
16、 4 中查到。例如 n=10，=，那么从附表 4 中查得 x2(10)=p(x)2(10)=px2=注：请读者注意 x2 x2（n）时， n 是自由度，不是容量。分布定义 7.设 x122212独立，则称的分布是自由度 x (m)，x x (n)X与 X为 m 与 n 的 F 分布，记为 F F（m，n），其中 m 称为分子自由度， n 称为分母自由度。自由度为 m 与 n 的 F 分布的密度函数的图像是一个只取非负值的偏态分布 （见图 6-5）。当随机变量 FF（m，n）时，对给定的 （ 0F（m,n）=的数 F（m,n）是自由度为 m 与 n 的 F 分布的 分位数。当 F F（ m，n）
17、时，有下面性质（不证），这说明对小的 ，分位为 F（ m,n）可以从附表 5 中查到，而分位数 F1-（m,n）则可通过上式得到。例 8.若取 m=10,则 n=5, =，那么从附表 5 上（ m=n1,n=n2）查得（ 10,5）=利用（ ）式可得到分布定义 8.设随机变量与 X1 与 X2 独立且 X1N（ 0，1）， X2 X2（ n），则称 的分布为自由度为 n 的 t 的分布，记为 tt （n） .t 分布密度函数的图像是一个关于纵轴对称的分布 （如下图），与标准正态分布的密度函数形态类似，只是峰比标准正态分布低一些，尾部的概率比标准正态分布的大一些。t分布与 N（0,1）的密度函数
18、当随机变量 t t（n）时，称满足 Ptt（n） = 的 t （ n）是自由度为 n 的 t 分布的 分位数，分位数 t （ n）可以从附表 3 中查到，例如当 n=10, =时，从附表3上查得（10）=由于 t 分布的密度函数关于 0 对称，故其分位数有如下关系：t 1-（ n）=- t（ n）例如，（10）=（ 10）=当 n 很大时，（ n30）,t 分布可以用 N（ 0， 1）近似P（ t-t ） =1- ,p（tt 1-） =1-， t1-=-t4.一些重要结论来自一般正态总体的样本均值 和样本方差 S2 的抽样分布是应用最广的抽样分布，下面我们加以介绍。定理 4.设 X1,X2,
19、Xn是来自正态总体 N（ ,2）的样本，其样本均值和样本方差分别为：则有（1） 与 s2 相互独立；（2）特别，若（不证）222并记推论：设， 12=则（不证）本章小结本章的基本要求：（一）知道总体、样本、简单样本和统计量的概念（二）知道统计量 和 s2 的下列性质：2 2E（ s ）=（三）若 x 的分布函数为 F（ x），分布函数为 f（ x），则样本（ x1,x2, xn）的联合分布函数为 F（x1）F（x2） F（ xn）样本（ x1,x2, xn）的联合分布密度为 f（ x1） f（x2） f（xn），样本（x1,x2, xn）的概率函数， p（x1,x 2 , xn）=p（ X=x
20、1）p（X=x2） p（X=xn）因而顺序统计量 x（1）， x（n）中X（ 1） 的分布函数为 1-（1-F（ x） nX（ n） 的分布函数为 F（x）n（四）掌握正态总体的抽样分布2若 XN（，）则有（ 1）（2）（3）（ 4）若=当 时， 。（五）知道样本原点矩与样本中心矩的概念第二章 参数估计从本章开始我们介绍统计推断，所谓统计推断就是由样本推断总体，统计推断包括参数估计和假设检验两部分，它们是统计推断最基本而且是互相有联系的两部分，本章介绍统计推断的第一部分参数估计。参数通常指总体分布中的特征值 和 和各种分布中的参数，例如二点分布 B（1， P）中的 p，泊松分布 P（ ）中的
21、，正态分布 N（ 、 ）的 、 等，习惯用 表示参数，通常参数 是未知的。参数估计的形式有两类，设x1,x2, ,xn是来自总体的样本。我们用一个统计量的取值作为参数 的估计值，则 称为 的点估计（量），就是参数 的点估计，如果对参数 的估计需要对估计作出可靠性判断， 就需要对这一可靠性给出可靠性区间或置信区间，叫区间估计。下面首先介绍点估计第一节 点估计教学目的 ：要求学生了解参数点估计的基本思想，理解参数点估计的基本概念，熟练运用替换原理、矩法估计和最大似然估计对参数进行估计。教学重点 ：矩法估计、最大似然估计 .教学难点 ：运用矩法估计、最大似然估计对参数进行估计 .直接用来估计未知参数
22、 的统计量 称为参数 的点估计量，简称为点估计，人们可以运用各种方法构造出很多 的估计，本节介绍两种最常用的点估计方法。它们是：矩法和极大似然法。一、替换原理和矩法估计用下面公式表示 的方法叫矩法例 1.对某型号的 20 辆汽车记录每 5L 汽油的行驶里程（ km），观测数据如下：这是一个容量为 20 的样本观测值，对应总体是该型号汽车每 5L 汽油的行驶里程，其分布形式尚不清楚，可用矩法估计其均值，方差，本例中经计算有， 由此给出总体均值，方差的估计分别为即矩法估计的统计思想（替换原理）十分简单明确，众人都能接受，使用场合甚广。例 2.设总体为指数分布，其密度函数为x1n，亦即，故 的矩法估
23、计为, ,x是样本，由于例 3.设 x1 n的样本， 0 为未, ,x是来自服从区间（ 0， ）上的均匀分布知参数。求 的矩估计 。解：易知总体 X 的均值为由矩法 的矩估计为比如，若样本值为， 1，则 的估计值2 （+1+） 2例 4.在一批产品取样 n 件，发现其中有 m 件次品，试用此样本求该批产品的次品率 p 的矩估计。解：因为例如抽样总数 n=100，其中次品 m=5.则例 5.电话总机在一分钟间隔内接到呼唤次数 XP（ ）。观察一分种接到呼唤次数共观察 40 次，结果如下接到呼唤次数012345观察次数51012832求未知参数的矩估计解：（ 1）XP（ ）EX=由矩法（2）计算
24、（05+110+212+38+43+5）2 2二、极大似然估计为了叙述极大似然原理的直观想法，先看例 6例 6.设有外表完全相同的两个箱子， 甲箱中有 99 个白球和 1 个黑球，乙箱中有99 个黑球和 1 个白球，现随机地抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪一个箱子中取出的解：不管是哪一个箱子，从箱子中任取一球都有两个可能的结果：A 表示取出白球， B 表示取出黑球，如果我们取出的是甲箱，则A 发生的概率为，而如果取出的是乙箱，则A 发生的概率为，现在一次试验中结果A 发生了，人们的第一印象就是： “此白球（ A）最像从甲箱取出的 ”，或者是说，应该认为试验条件对事件A
25、出现有利，从而可以推断这球是从甲箱中取出的，这个推断很符合人们的经验事实，这里 “最像 ”就是 “极大似然 ”之意。本例中假设的数据很极端， 一般地，我们可以这样设想， 在两个箱子中各有 100个球，甲箱中白球的比例是 P1，乙箱中白球的比例是 P2，已知 P1 P2，现随机地抽取一个箱子并从中抽取一球，假定取到的是白球，如果我们要在两个箱子中进行选择，由于甲箱中白球的比例高于乙箱，根据极大似然原理，我们应该推断该球来自甲箱。下面分别给出离散型随机变量和连续型随机变量的极大似然估计求未知参数的估计 的步骤（一） 离散型随机变量第一步，从总体 X 取出样本 x1,x2, ,xn第二步，构造似然函
26、数L（x1,x2, ,xn， ） P（Xx1）P（Xx2） P（Xxn）第三步，计算 ln L（x1,x2, ,xn， ）并化简第四步，当 时 ln L（x1,x2, ,xn， ）取最大值则取 常用方法是微积分求最值的方法。（二）连续型随机变量若 Xf（ x, ）第一步 从总体 X 取出样本 x1,x2, ,xn第二步 构造似然函数1 2n12n， ）L（ x ,x , ,x， ） f（ x ， ）f （x ， ） f（ x第三步计算 ln L（x12n,x ,x， ）并化简第四步当 时 ln L（x1 2n,x , ,x， ）取最大值则取常用方法是微积分求最值的方法例 7.设总体 XB（1，P）即设 P（ A） ，从总体 X 中抽样 x1,x2, ,xn，问最大似然法求解：当 XB（1，P）时，应有P（X1） P，P（X0）=1P第一步 构造似然函数L（x1,x2, ,xn，P） P（ Xx
