加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

统计学基础-假设检验

(2017-04-11 20:51:52)

一、基本概念

 


1、假设检验就是先对总体的参数或结果做出某种假设,然后用适当的方法根据样本对总体提供的信息,推断此假设应当拒绝或接受。其结果将有助于研究者作出具,采取措施。

2、原假设(零假设 备择假设(对立假设)

原假设:根据检验结果准备予以拒绝或接受的假设,H0表示;备择假设:与原假设不相容(即对立)的假设,H1表示。如:对总体随机变量X的均数μ不小于一给定值μ0的假设的检验(见式(2.1.1));又如:2批不合格品率π1和π2相等(未知)的假设的检验(见式(2.1.2))

H0:μ≥μ0H1:μ<μ0  (2.1.1)  H0:π1=π2H1:π1≠π2   (2.1.2)

 


3、参数检验与非参数检验

 检验统计量的函数依赖于观测值的函数类型的检验,称为参数检验;如当总体的方差未知时,对于原假设“均数等于某给定值”的t检验中, 必须假定总体的是正态的。反之,则称为非参数检验。

4、拒绝域(或否定域)、显著性水平

 拒绝域: 所使用的统计量可能取值的集合的某个子集合。如果根据观测值得出的统计量的数值属于这一集合,拒绝原假设;反之,接受原假设。

 


 

(检验的)显著性水平: 当原假设正确时,而被拒绝的概率的最大值,记为α。α的值一般取为0.050.01

5、单侧检验、双侧检验和临界值

 单侧检验:所用的统计量是一维的,而拒绝域是小于(或大于)某给定数的所有数值的集合;:已知甲药的疗效不会低于乙药,检验的目的是为了得出甲药的疗效是否明显地优于乙药,此时应选用单侧检验。单侧检验容易得愁别显著的结论来,但必须有专业知识为依据。

 双侧检验:所用的统计量是一维的,而拒绝域是小于第1个给定数而大于第2个给定数的所有数值的集合。

临界值:作为上述拒绝域界限的给定数。

6、交互作用

 AB2个试验因素,分别有mn个水平,则它们共有m×n种水平搭配。如果在这m×n种试验条件下获得的试验结果之间差别显著,就说AB之间存在显著的交互作用。换句话说,所谓交互作用,就是一个因素的各水平对试验结果的影响随另一个因素水平的改变而改变。

由此可知:当假设检验的结果发现AB2因素的交互作用显著时, 应将A因素分别控制在它的各水平下,检验B因素所有水平之间的差别是否显著; 同理,还可依次把B因素控制在不同水平下,检验A因素。这样才能弄清这2个因素究竟应分别取什么水平时,其共同作用的结果最符合研究者的专业要求。

在统计学上, 2因素之间的交互作用称为1级交互作用、3因素之间的交互作用称为2级交互作用,…。

7、不显著因素与无用因素

 经假设检验,若发现某因素不显著,不能简单地理解为该因素在此试验中是无用因素。因素在试验中是否有用,取决于专业知识;而假设检验的结果只能说明因素的各水平对试验结果所产生的影响相差是否足够的大。即使某因素在试验中是必不可少的, 但由于所取的水平过于接近,其结果自然相差无几。

8P值计算

 

9、假设检验中的错误类型

 第一类错误:错误地拒绝真原假设。

第二类错误:错误地接受假原假设

 


 

第一类错误的概率

 


 

第二类错误的概率

http://s3/bmiddle/0044BGq5zy7adUnpUZAb2&690


 

 

功效计算

http://s13/bmiddle/0044BGq5zy7adUrdR2Q0c&690

 

二、单样本的假设检验

假设检验需要设立一对统计假设:原假设(零假设)和备择假设(对立假设)。其中原假设一般是一明确的语句:未知的总体参数等于某个特殊的数值,然后对其进行检验。因此,单样本假设检验可用于探测参数的变化,例如:在科学研究中,检验某新型的汽油添加剂是否能增加每升油的行驶公里数?某新型血压药对体温是否有影响?在工业质量控制中,工厂检查其薯片产品是否与列在包装上的脂肪含量一致;检查巧克力的重量是否与包装上重量一致等等。

1、单样本假设检验步骤

单样本假设检验步骤如下:

(1)选择零假设和对立假设;

(2)选择显著水平α;

(3)决定检验统计量,由此统计量及α来确定检验的决策规则,并用P值或临界值描述;

(4)从总体取一随机样本,并从样本计算检验统计量的值,若可能,计算P值;

(5)由样本结果和决策规则决定是拒绝还是接受原假设(零假设);

(6)检验的功效。

 (1)选择零假设和对立假设

 一个零假设和一个对立假设组成一对统计假设(原假设和对立假设的概念描述请回顾:假设检验原理——原假设和备择假设的建立),这样成对的统计假设可以分为两类三种:单侧假设检验和双侧假设检验(两类);无方向对立假设、左向对立假设和右向对立假设(三种)。那如何选择统计假设呢?

 单侧假设检验:只有一个方向上的变化是重要的(某种新型减肥药实际减肥多少)或研究的假设预告了一个具体的变化方向(某种新的治疗肿瘤会减小)时用单侧假设合适。有的需要检验是否变大,有的检验是否变小。

 双侧假设检验:对于探索性研究和质量控制,因为任何一个方向的变化都要检查,单检验就不合适了,应该用双侧假设检验,例如控制产品的重量和产品内某种物质的含量。

(2)选择显著水平α

 回忆估计理论,总体均值的区间估计概率公式如下:

其中,1-α称为置信度或置信系数,(1-α)100%称为置信水平。以双尾为例,如下图:

 


 

在假设检验理论中,α是假设检验的显著水平,这是因为它用以评估样本结果的显著性,如果点估计值与零假设中的假设参数有很大差别,以至于P≤α,则拒绝零假设,该结果称为统计显著;如果P>α,则接受零假设,该结果称为不是统计显著的。如上图所示,临界域即为统计显著域,接受域为非统计显著域。

 显著水平α在试验前设定为0.050.01。例如当α=0.05时,分析人员会在报告中说明“统计假设检验是在0.05显著水平(或5%显著水平)下进行的”,如果P0.05,则拒绝零假设,该结果称为统计显著;如果P>0.05,则接受零假设,该结果称为不是统计显著的。

 从上图中可以看出,如果P0.05,阴影面积比P0.01的大,所以P0.05可说成是“显著的结果”,P0.01可说成是“高度显著的结果”。P0.01P0.05发生第一类错误的概率α小。

(3)决定检验统计量,由此统计量及α来确定检验的决策规则,并用P值或临界值描述;

 (4)从总体取一随机样本,并从样本计算检验统计量的值,若可能,计算P

 根据假设检验的总体参数和已知的信息,选择假设检验的统计量。在上一篇:假设检验的“前世今生”中解释过合适的统计量是假设检验的基础。

 对于总体均值的假设检验,可用下表选择:

 

对于总体方差的假设检验,可以用卡方分布。

 下面以Z统计量为例,说明假设检验原理:

 如果在(1)中设定的总体均值的统计假设是双侧假设:H0:μ=μ0H1:μ≠μ0。假定零假设为真,则可知:如果所有容量为n的随机样本来自于无限大的正态总体(已知标准差为σ),且对每一样本计算均值,该情况下均值的抽样分布是正态分布:

http://s16/mw690/0044BGq5zy7adUFAlyv5f&690

 

因为抽样分布为正态分布,可进行正态变换,将抽样分布统计量变换为Z统计量:

变换后的Z统计量可以用来度量零假设为真的可能性。如果对一个给定样本计算Z统计量的特定值,几座z1,若z1=0,该样本均值一定等于μ0(红框公式),因而H0:μ=μ0很可能为真。然后,当z1是一较大数时,在零的正或负向,即z1=α或z1=-α,则样本均值与μ0有相当距离,因此,H0:μ=μ0不太可能为真。通过计算P值,即可将可能性量化,进而进行统计假设检验决策。如下图所示:

 


 

P值得计算:

对于双侧假设检验,P值就是两个阴影部分的面积和(如上图所示);如果是单侧假设检验,就是左侧面积或者右侧面积。阴影部分面积用标准正态分布表查得。

 (5)由样本结果和决策规则决定是拒绝还是接受原假设(零假设);

 将计算得到的P值与显著水平α比较,P≤α,则拒绝零假设,接受对立假设;如果P>α,则接受零假设。

另外也可以通过比较临界z值来决定是拒绝还是接受零假设。因为P值和z值是等价的,例如,如果z1>1.645成立,则P0.05成立。

 (6)检验的功效

在两类错误介绍中:假设检验——两类错误,可列出下面的表格:

 

从表格可以知道,第一类错误(零假设为真拒绝)的概率α是检验的显著性水平:若P≤α,则拒绝零假设。然而在任何此种统计决策中,存在第二类错误:就是零假设不真被接受,它的概率是β。α和1-α是已知的,由研究者在检验前设置,但β和1-β的值是不能确定的,因为不知道总体的参数,所以无法证明H0的真与不真。但是α和β的关系是相反的:α越大,β越小,反之亦然。如下图所示:α越大,接受域越小,接受不真的零假设的概率β也越小。

 


 

假设检验的功效就是正确拒绝错误零假设的概率1-β。

 范例分析

 如果某电池生产商最近设立了一个改进计算器电池的项目,要求改进的电池比现有的电池使用时间长,已知现在计算器中,电池寿命的量度是正态分布的,均值为100.3min,标准差为6.25min。现在开发了一种改进电池,在理论上可能持续更长时间,由初步检验可以假定期寿命量度也是正态分布,标准差为6.25min。选取了一个n=20的改进电池的样本,得到均值为105.6min,在显著水平α=0.05下,作H0: μ=100.3min的单侧检验,并用P值(z值)叙述决策。

 


假设功效,如下图所示:

三、两样本估计和假设均值差

http://s1/bmiddle/0044BGq5zy7adV6i3MAc0&690

通过对比单样本估计和假设检验的学习,可以列出独立两样本均值差的估计和假设检验在不同情况的置信区间公式,有以下总结:

 

两样本的t分布

t分布在单样本估计和假设检验要求:正态总体,可以使用t分布进行两样本估计和假设检验;两样本估计和假设检验要求:除了正态总体外,还要假设两总体方差相等(方差齐性)才能使用t分布,原因是两总体方差相等,才能得到自由度为n1+n2-2的均值差抽样分布的方差,推导公式如下:

 


 

均值差的置信区间:

1标准差已知的正态分布总体的独立样本

参照上表,标准差已知的正态分布总体均值差抽样分布为正态分布,可以得到独立样本均值差的置信区间,置信区间公式推导过程如下:

 


 

2、均值差的假设检验:

标准差已知的正态分布总体的独立样本;

和单样本假设检验一样(单样本的假设检验),两样本假设检验问题也有一对统计假设:零假设和对立假设;同样也存在两侧和单侧假设检验,而且单侧假设检验又分为右侧检验和左侧检验。两样本假设检验中,一般把零假设为两均值差为0,对立假设根据题意选择双侧假设或是单侧假设;两样本假设检验的步骤和单样本假设检验一样。

 

从上表可知:标准差已知的正态总体均值差的抽样分布为正态分布,进行标准正态变换后可以假设检验,过程见下方范例。

3、均值差的置信区间:

标准差未知,但假定相等的正态分布总体的独立小样本(小于30)

如上表所示,标准差未知,但假定相等的正态分布总体小样本,均值差的抽样分布符合t分布,可用表中置信区间计算公式,计算过程见范例。

 范例3:为研究睡眠对记忆力的影响,一位心理学家在两种条件下对人群进行试验,内容是有关北极野外生活的纪实电影的细节回忆,这两种条件是:(1)电影在早上7点反映,被测人晚上睡眠正常,第二天晚上给他们50个有关电影的多项选择题;(2)电影早7点反映,被测人白天情况如常,未睡觉,同一天晚上7点给他们50个问题,样本是独立的,每组为15人,结果为:第1组,均值为37.2个正确,方差为3.33;第2组,均值为35.6个正确,方差为3.24。假定两种条件下的总体都是正态分布,且方差相等,计算总体均值差95%的置信区间。

http://s7/mw690/0044BGq5zy7adVhmbA266&690

 

4、均值差的假设检验:

标准差未知,但假定相等的正态分布总体的独立小样本(小于30)

 同上(置信区间),该条件下的假设检验适用t分布。

5、均值差的置信区间:

标准差未知的任何总体分布的独立大样本(大于等于30)

 对于独立大样本(样本容量大于等于30),均值差的抽样分布是正态分布,可以转为标准正态分布,进而使用Z分布进行均值差区间估计;当然,如果是正态总体且方差是齐性的,也可以使用t分布。

6、均值差的假设检验:

标准差未知的任何总体分布的独立大样本(大于等于30)

 同上的解释:对于独立大样本(样本容量大于等于30),均值差的抽样分布是正态分布,可以转为标准正态分布,进而使用Z分布进行均值差区间估计;当然,如果是正态总体且方差是齐性的,也可以使用t分布。

7、均值差的置信区间:

成对样本

 对于成对样本,需要用到不同于上面描述的独立两样本的估计方法,而应该用成对样本模型,模型推导如下:

 


 

8、均值差的假设检验:

成对样本

 同上,成对样本均值差的假设检验也用t分布。

 

方差比

两样本均值估计和假设检验用均值差表示,而两样本方差估计和假设检验则应该用方差比。这里就引出了F分布

方差比的置信区间:参数未知的正态分布总体的独立样本

 


 

方差比的假设检验:

参数未知的正态分布总体的独立样本

 同上,用F分布进行假设检验;

范例10:为检测某种激素对失眠的影响,一个医生给两组临睡前的病人服用不同剂量的激素,然后测量他们从服药到入睡的时间,第一组服用的是5mg的剂量,第二组服用的是15mg的剂量,样本是独立的,结果为:第一组,样本容量为10人,均值为14.8min,方差为4.36;第二组,样本容量为12人,均值为10.2min,方差为4.66。假定两总体方差齐性,在0.01显著水平下,用临界值决策规则作这个假定的双侧检验。

http://s12/mw690/0044BGq5zy7adVqnI716b&690

四、多样本的参数估计与假设检验基础

 多个样本推断

单样本和两样本中,一次至多处理两个总体,而在多个样本场合中,将同时处理三个或更多的总体,各总体分别具有均值和标准差,根据来自这些总体的样本进行总体参数的估计与假设检验,这将用到方差分析方法(ANOVA)。方差分析是利用样本信息来检验关于k个总体的均值的假设的方法,还能用于确定总体均值的置信区间和估计各个总体方差的差距。

多样本的统计假设 

多样本假设检验的一对统计假设:原假设和备择假设;

原假设:

http://s6/mw690/0044BGq5zy7adVu0JTL35&690
备择假设:

http://s10/mw690/0044BGq5zy7adVw8rmpb9&690

 

方差分析类型

 方差分析的对象:一个或多个客观存在的独立变量,它们可能会影响到要观测的、不能独立变化的因变量,称为“因子”或“因素”。例如:有一个因子(水稻的品种)可能会影响到因变量(植株的高度)。因子的不同类别称为“水平”,例如:品种1、品种2和品种3

 如果仅有一个因子或因素,称为单向方差分析(单向ANOVA)。依次类推,两个因子的方差分析称为双向方差分析(双向ANOVA),多于两个因子的称为多向方差分析(多向ANOVA)。

 下面以单向方差分析为例,具体说明方差分析的原理和过程。

 单向方差分析假设条件

 单向方差分析事先假设了三个条件:

 1、所有总体(例如:k个水稻的品种)都服从正态分布,都有各自的均值与方差;

2、所有总体方差都相同;

3、所有样本互相独立,取自各自总体,样本容量可以相同也可以不同。

单向方差分析

 以水稻例子来阐述:有三个品种的水稻,针对这它们进行试验:将每个品种各取5株在培养室中培育,然后在其成熟期(发芽后的130天)测量各株的高度(单位:厘米),数据列在下表中:

 

上表是方差分析的数据整理表格,通过上表可以计算得到下列数据:

http://s10/mw690/0044BGq5zy7adVzHeMFf9&690

组内平方和SSWSum of square of within):各个品种内部围绕各自平均值的变差的一种度量,计算如下:

http://s11/mw690/0044BGq5zy7adVBRpBE4a&690




 

组间平方和SSASum of square of among):它是样本间随机变差以及因处理不同而可能导致的样本均值变差的一种度量:

http://s6/mw690/0044BGq5zy7adVCKd3705&690

 

组间平方和SSA的计算公式推导(为什么乘5?总体方差与抽样分布方差关系回顾:抽样分布:详述均值的抽样分布及中心极限定理):

http://s16/mw690/0044BGq5zy7adVDyvaD8f&690

 

总平方和SSTSum of square of total):所有数据变差的总和:

 

SST=SSA+SSW

 

http://s2/mw690/0044BGq5zy7adVEkt7X61&690

总平方和是所有样本值与总均值变差的一种度量,对于单向方差分析,总变差可以分解成两部分:一组样本内部由于随机选取或处理方法不同产生的变差SSW;不同组样本之间由于因素(因子)的原因产生的变差SSA。所以总变差SST等于SSWSSA之和。可以通过上面的计算结果得到验证:

 

SSA=19.6SSW=14.8

 

SSA+SSW=19.6+14.8=34.4=SST

均方

 为了得到总体方差的无偏估计,必须将样本平方和除以一个恰当的自由度,在方差分析中,将这种样本平方和除以自由度得到的方差称为均方(自由度回顾:抽样分布:t分布)

 上面已经计算得到了三个平方和,除以相对应的自由度,得到三个均方MSA,MSW,MST

 MSW的计算:用组内平方和除以自由度,因为组内平方和先计算得到每一组样本的平方和,然后再相加得到,所以自由度为k(n-1)=3*(5-1)=12

http://s11/mw690/0044BGq5zy7adVP9uf82a&690

MSA的计算:用组间平方和除以自由度,因为组间平方和先计算每组样本的均值,然后与总均值计算平方和,所以自由度为k-1=3-1=2

http://s6/mw690/0044BGq5zy7adVPMrzvd5&690

 

MST的计算:用总平方和除以自由度,因为总平方和是所有的样本值与总均值差得平方和,所以自由度为nk-1=5*3-1=14

http://s1/mw690/0044BGq5zy7adVQoWHu10&690

 

F检验

 前面介绍过F检验,有F统计量:

http://s8/mw690/0044BGq5zy7adVZMqbl97&690

 

F检验及F统计量公式推导(回顾:两样本估计和假设检验基础)。

 在单向方差分析中,为了适用F检验,构造了两个方差:组间方差和组内方差;将组内方差(样本内方差)作为分母,组间方差(样本间方差)作为分子。前面假设了所有总体(品种)方差相等,即有共同方差,所以组内方差和组间方差是共同方差的两个点估计,基于这个假设,F统计量可以表示为:

http://s3/mw690/0044BGq5zy7adW1BMTo12&690

单向方差分析基本原理

 一个正态分布可以由两个参数(均值和方差)完全确定,单向方差分析假设所有总体方差相同,所以要检验所有总体均值是否相等,也就是要检验所有样本是否来自一个总体。

 之所以可以用F检验来检验所有总体均值是否相等,是因为单向方差分析假设所有总体方差相同,所以F统计量可以简化为:

http://s14/mw690/0044BGq5zy7adW3W7IV5d&690

MSAMSW都是通过样本数值计算得到的,计算过程包含样本均值,样本均值是总体均值的无偏估计。若零假设为真,样本均值是总体均值的无偏估计,则抽样数据得到的F的值应该接近于1;如果零假设不真,则F值会显著的大于1

这样就可以通过F检验的方式来检验各总体均值是否相等(样本是否来自同一个总体)。

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有