第二十五课         方差分析

 当影响观察结果的影响因素（原因变量或分组变量）的水平数大于2或原因变量的个数大于1个时，一元的常用F检验（也称一元方差分析），多元的用多元方差分析（最常用Wilks’∧检验）。

一、     方差分析概述

方差分析（analysis of variance）又称变异数分析，可简记为ANOVA，主要用于检验计量资料中的两个或两个以上均值间差别显著性的方法。当欲比较几组均值时，理论上抽得的几个样本，都假定来自正态总体，且有一个相同的方差，仅仅均值可以不相同。还需假定每一个观察值都由若干部分累加而成，也即总的效果可分成若干部分，而每一部分都有一个特定的含义，称之谓效应的可加性。所谓的方差是离均差平方和除以自由度，在方差分析中常简称为均方MS（mean square）。

1.            方差分析的基本思想

根据效应的可加性，将总的离均差平方和分解成若干部分，每一部分都与某一种效应相对应，总自由度也被分成相应的各个部分，各部分的离均差平方除以相应部分的自由度得出各部分的均方，然后列出方差分析表算出 值，作出统计推断。

方差分析的关键是总离均差平方和的分解，分解越细致，各部分的含义就越明确，对各种效应的作用就越了解，统计推断就越准确。方差分析表的一般形式如表25.1所示。

表25.1   方差分析表形式

 

表中变异来源一栏，可分为总变异（total），误差（residual）,各个效应（effect）相对应的项。效应项与试验设计或统计分析的目的有关，一般有：主效应（包括各种因素），交互影响项（因素间的多级交互影响），协变量（来自回归的变异项），等等。

当分析和确定了各个效应项S后，根据原始观察资料可计算出各个离均差平方和SS，再根据相应的自由度df，由公式MS=SS/df，求出均方MS，最后由相应的均方，求出各个变异项的F值，F值实际上是两个均方之比值，通常情况下，分母的均方是误差项的均方。根据F值的分子、分母均方的自由度f₁和f₂，在确定显著性水平为 情况下，由 临界值表查得单侧 界限值。当 时，则 ，不拒绝原假设 ，说明不拒绝这个效应项的效应为0的原假设，也即这个效应项是可能对总变异没有实质影响的；如果 ,则 ，拒绝原假设 ，说明拒绝这个效应项的效应为0的原假设，也即这个效应项是很可能对总变异有实质影响的。

2.            方差分析的试验设计

为了确定方差分析表中各个有关效应项，需要在试验设计阶段就作出安排，再根据设计要求进行试验，得出原始观察值，按原来设计方案算出方差分析表中的各项。在试验设计阶段常需要作四个主要方面的考虑：

（1）              研究的主要变量

方差分析的主要变量，也称响应变量或因变量（dependent variable），它是我们试验所要观察的主要指标。一次试验时可以有多个观察指标，方差分析时也可以同时对多个因变量进行分析。

（2）              因素和水平

试验的因素（factor）可以是品种、人员、方法、时间、地区等等，因素所处的状态叫水平（lever）。在每一个因素下面可以分成若干水平。例如，某工厂的原料来自四个不同地区，那么用不同地区的原料生产的产品质量是否一致呢？所要比较的地区就是因素，四个地区便是地区这一因素的四个水平。当某个主要因素的各个水平间的主要因变量的均值呈现统计显著性时，必要时可作两两水平间的比较，称为均值间的两两比较。

（3）              因素间的交互影响

多因素的试验设计，有时需要分析因素间的交互影响（interaction），2个因素间的交互影响称为一级交互影响，例如，因素A与因素B的一级交互影响可记为A×B，3个因素间的交互影响称为二级交互影响，例如，因素A与因素B与因素C的二级交互影响可记为A×B×C。当交互影响项呈现统计不显著时，表明各个因素独立，当呈现统计显著时，就需要列出这个交互影响项的效应，以助于作出正确的统计推断。

二、     单因素方差分析

单因素方差分析（one factor ANOVA 或one-way ANOVA）或称为完全随机设计的方差分析（completely random design ANOVA）。试验设计时按受试对象的抽取或分组的随机程度不同可细分为以下两类：

l   完全随机设计——从符合条件的总体中完全随机地抽取所需数目的受试对象，再将全部受试对象完全随机地分配到k组中去。此时，受试对象与试验因素间无直接联系。

l   组内完全随机设计——按试验因素的k个水平将全部受试对象划分成k个子总体，再分别从k个子总体中完全随机地抽取所需数目的受试对象。此时，试验因素的各水平决定了受试对象各自应该归属的组别。

设因素 有k个水平 ，在每一个水平下考察的指标可以看成一个总体，现有k个水平，故有k个总体，并假定：

①        每一总体均服从正态分布；

②        每一总体的方差相同；

③        从每一总体中抽取的样本相互独立。

我们要比较各个总体的均值是否一致，就是要检验各总体的均值是否相同，设第i个总体的均值为 ，那么就是要检验如下原假设：

其备选假设为：

不全相同

设从第i个总体获得容量为 的样本观察值为 ， ，各样本间还是相互独立的。样本观察值 可看成是来自均值为 的总体，这样 就是其均值 与随机误差 迭加而产生的。上面我们已经假定在 水平下的 服从 分布，则有 。因此，我们有单因素方差分析的统计模型：

(25.1)

为了能更仔细地描述数据，常在方差分析模型中引入一般平均与效应的概念。称各个 的加权平均：

(25.2)

为总平均，其中 。称：

(25.3)

为因素 在第i水平的主效应，也简称为 的效应，同时也表明第i个总体的均值是一般平均与其效应的迭加。容易看出效应间有如下关系式：

(25.4)

此时，单因素方差分析的统计模型可改写成包含效应的形式：

(25.5)

所要检验的原假设也可改写成：

 

现在，我们知道造成各 间差异的原因可能有两个：一个可能是假设 不真，即各水平下总体均值 （或水平效应 ）不同，因此从各总体中获得的样本观察值也就有差异了；另一可能是 为真，差异是由于随机误差引起的。为了进一步定量分析这些差异，我们需要把这些差异表达出来。由式（25.1）可推导出：

(25.6)

其中， ， 。即组内样本观察值的平均值等于组内总体均值加上组内随机误差的平均值。还可由式（25.5）推导出：

(25.7)

其中， ， 。即所有样本观察值的平均值等于总平均（各组均值的加权平均）加上所有随机误差的平均值。这样，每一个观察值 与总平均 的偏差可以分解成两部分：

(25.8)

其中， 称为组内偏差，由式（25.1）和式（25.6）代入得到：

（25.9)

说明组内偏差仅仅反映了随机误差。而 称为组间偏差，由（25.6）、（25.7）和（25.3）代入得到：

说明第i组间偏差除了反映随机误差外还反映了第i个水平的效应 。

各 间总的差异大小可用总偏差平方和 表示：

(25.10)

由式（25.9）随机误差引起的数据间的差异可以用组内偏差平方和表示，也称误差偏差平方和 ：

(25.11)

由于组间偏差除了随机误差外，还反映了效应的差异，故由于效应不同引起的数据差异可以用组间偏差平方和表示，也称因素A的偏差平方和 ：

(25.12)

将表示总差异的平方和进行分解：

(25.13)

其中， 。证明了：总的差异=组内差异 组间差异。由于：

(25.14)

又由 分布的可加性可知：

(25.15)

还可证明，在 为真时，即各组效应 都为0：

(25.16)

因此可采用统计量：

(25.17)

来假设检验。

三、     多重比较

当k组均值比较时，如果经过 检验拒绝原假设，表明因素 是显著的，即k个水平对应的指标均值不全相等，但不一定两两之间都有差异。在一些实际问题中，当方差分析的结论是因素 显著时，还需要我们进一步去确认哪些水平间是确有差异的，哪些水平间无显著差异。同时比较任意两个水平均值间有无显著性差异的问题称为多重比较，即要以显著性水平 ，同时检验以下 个假设：

(25.18)

均值间的多重比较的方法从形式上可分为几类：临界值相对固定的两两比较、临界值不固定的多级检验、全部处理组均值与一个对照组均值比较。每一种类型中，根据所控制误差的类型和大小不同，又有许多不同的具体方法。如T（成组比较t检验法）、Bon（Bonforroni t检验法）、Dunnett（与对照组均数比较）、SNK（Student-Newman-Keuls或称q检验法）、Tukey（学生化极差HSD或称最大显著差）、Duncan（新多极差检验法）、LSD（最小显著差）、SIDAK（Sidak不等式进行校正t检验法）、SCHEFFE（Scheffe的多重对比检验）、Waller-Duncan（k比率t检验）、GT2或SMM（学生化最大模数和Sidak不等式进行校正t检验法）、REGWF（多重F检验）、REGWQ（多重极差检验）。

在多重比较时，选用什么样的检验方法，首先要注意每种方法适用的试验设计条件，其次要关心所要控制的误差类型和大小。例如，某因素有10个水平，若采用通常的t检验进行多重比较，共需要比较的次数为 次，即使每次比较时都把第一类错误 控制在0.05水平上，但经过45次多重比较后，犯第一类错误的概率上升到： 。从中我们可以看到选用t检验法进行多重比较，仅仅控制了每次比较的显著水平，但却大大增加了整体的显著水平。

下面是所要控制的几种误差类型和选用的检验方法：

l   第一类误差率——即犯第一类错误的概率 。

l   比较误差率——即每一次单独比较时，所犯第一类错误的概率。可使用T法、LSD法、DUNCAN法。

l   试验误差率——即完成全部比较后，整体所犯第一类错误的概率。

l   完全无效假设下的试验误差率——即在 假设完全无效下的试验误差率。可使用SNK法。

l   部分无效假设下的试验误差率——即在 假设部分无效下的试验误差率。

l   最大试验误差率——即在 假设完全或部分无效下，完成全部比较后所犯第一类错误的最大概率。可使用BON法、SIDAK法、SCHEFFE法、TUKEY法、GT2/SMM法、GABRIEL法、REGWQ法、REGWF法、DUNNETT法。

（1）              T检验和Bonforroni检验

当因素有k个水平时，对任意两个水平均值间的差异的显著性检验，可用 t统计量：

(25.19)

两两比较的次数共有 = ，因此，共有 个置信水平，每次比较的显著水平：T检验的方法取 。完成所有比较后的整体显著水平等于：

(25.21)

比较次数 越大，试验误差就越大。而Bonforroni检验的方法取 。完成所有比较后的整体显著水平等于：

(25.22)

即最大试验误差率小于 。

（2）              LSD检验

LSD检验既可以通过两两比较的显著水平的特定限制来控制最终的试验误差率，也可以通过两两比较的绝对差异界限来判别显著性。最容易想到的这个界限就是在两两比较中采用的t检验法而得到Fisher最小显著差（LSD）：

(25.23)

当 时，则 。

（3）              SNK检验和Duncan检验

SNK法和Duncan法都属于多级检验法中的一种，使用多级检验可以获得同时检验的更高效率。多级检验分为步长增加法和步长减少法，SAS系统采用步长减少法。当因素有k个水平时，即有k个均值需要比较，检验步骤为：

①        将均值由大到小排队，即 。

②        比较 与 是否有显著差异。此时跨度 。若两者之间无显著差异，说明其他均值之差比它小的任何两个水平均值之间的差别也无显著性，所以停止一切比较；反之，则继续进行下一步。

③        比较 与 ， 与 是否有显著差异。此时这2个比较的跨度 。若两者之间的比较无显著差异，则停止一切比较。如果每一步都有不满足停止比较的对比组存在，最后应达到跨度为2的所有需要比较的相邻两水平均值间都作完比较时为止。

多级检验在作每一级比较时，通过控制比较误差率 的显著水平来实现其最终要控制的试验误差率。要注意的是 在每一级比较时可能是不同的，它是跨度 和整体试验误差率 的函数，即 。另外，要注意的是 其实就是每一级比较时特定统计量分布的显著水平。常用的两种方法是SNK检验和Duncan检验。它们的检验统计量为q（也称学生化极差统计量）：

(25.24)

其中， 是 和 之间的跨度值，q分布的自由度是 和 ，显著水平为 。SNK检验和Duncan检验的区别主要在于 取值：

l  SNK检验： 。注意，当比较次数很大时，最大试验误差率将趋向于1。

l  Duncan检验： 。

四、     随机单位组设计的方差分析

随机单位组设计（randomized block design）又称随机区组设计或随机配伍组设计，它是两样本配对试验的扩大。欲比较因素A中的k个水平的各个均值，试验设计时，先将受试对象按性质相同或相近者组成单位组，每个单位组有k个受试对象，分别随机分配到因素A的k个水平上。这时每个水平的受试对象，不仅数量相同，而且性质也相同或相近，就能缩小误差，提高试验效率。这样的设计可将单位组看作一个因素，就成为两个因素的设计（因素与单位组）。由于两个因素的各水平仅仅交叉1次，因此，重复数为1，在这样的意义下，随机单位组设计可看作为两因素重复数为1的设计，一般这种设计不考虑交互影响。

设有因素A具有k个水平，受试对象按性质相同或相近者分成b个单位组，每个单位组有k个受试对象，分别随机分配到因素A的k个水平上。那么，随机单位组设计的方差分析表如表25.2所示。

表25.2    方差分析表形式

 

五、     析因设计的方差分析

析因设计（factorial design）是一种多因的设计。各因素在试验中所处的地位基本平等，而且因素之间存在一级（即2个因素之间）、二级（即3个因素之间）乃至更复杂的交互作用。例如，两个因素时，第1个因素有3个水平，第2个因素有2个水平，全部水平组合共有3×2=6种组合，每种组合都作试验时就是析因试验设计，也可称为3×2析因试验设计。同样3×4×2析因试验设计，则代表3个因素，分别有3，4，2个水平，全部试验后的水平组合为3×4×2=24种。在每一种组合下，适当重复几次，称为重复数。重复数可以不相等，一般地说，重复数相等时，效率最高。

析因设计能够检验每个因素的各水平间主要变量的平均值的统计差异，也能检验因素间的交互影响。当存在交互影响时，表示一个因素各水平间的差异会随着另一个因素的水平改变而不同；当不存在交互影响时，则各个因素独立，即一个因素的水平改变时不影响另一个因素的各个水平之效应。析因设计的方差分析因为能研究交互影响，所以能提供较多信息。但是，当有较高级（二级以上）的交互影响时，由于涉及多个因素，各有多个水平，情况将错综复杂，可能会引起解释上的困难。

析因设计的方差分析同样是从数据差异的总平方和开始分解。例如，对于A×B双因素方差分析，这个总差异能分解成：A因素的各个水平之间的差异，B因素的各个水平之间的差异，A与B的各种不同组合之间的差异，以及观察数据必然会产生的随机误差这四部分。方差分析的主要目的就是要将这四部分从总平方和中分离出来，再以各个平方和与误差平方和作比较。假设A因素有r个水平，B因素有c个水平，每一种水平下的重复数为m，那么总的观察数据有n=r×c×m个，方差分析表如表25.3所示。

 

表25.3  双因素（r×c）重复数m的方差分析表形式