调查问卷的信度效度分析方法

 

问卷调查法是教育研究中广泛采用的一种调查方法，根据调查目的设计的调查问卷是问卷调查法获取讯息的工具，其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性，在形成正式问卷之前，应当对问卷进行试测，并对试测结果进行信度和效度分析，根据分析结果筛选问卷题项，调整问卷架构，从而提升问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析，本文主要讨论后者。

一、信度分析    信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数来表示：大致可分为三类：稳定系数（跨时间的一致性）、等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。

若以信度系数来表示信度的大小。信度系数越大，表示测量的可信程度越大。究竟信度系数要多少才算有高的信度。学者DeVellis(1991)认为，0.60～0.65（最好不要）；0.65～0.70（最小可接受值）；0.70～0.80（相当好）；0.80～0.90（非常好）。由此，一份信度系数好的量表或问卷，最好在0.80以上，0.70至0.80之间还算是可以接受的范围；分量表最好在0.70以上，0.60至0.70之间可以接受。若分量表的内部一致性系数在0.60以下或者总量表的信度系数在0.80以下，应考虑重新修订量表或增删题项。

 

信度分析的方法主要有以下四种︰

1、重测信度法    这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。显然，重测信度属于稳定系数。重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。

2、复本信度法    复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述模式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。

3、折半信度法    折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。在问卷调查中，态度测量最常见的形式是5级李克特（Likert）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以确保各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式︰ru=2rhh/(1+rhh)求出整个量表的信度系数（ru）。

4、α信度系数法    Cronbachα信度系数是目前最常用的信度系数，其公式为︰

α=(n/n-1)*(1-(∑S_i²)/S_T²)

其中，n为量表中题项的总数，S_i² 为第i题得分的题内方差，S_T²为全部题项总得分的方差。从公式中可以看出，α系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。这种方法适用于态度、意见式问卷（量表）的信度分析。

 

二、效度分析    效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型︰内容效度（Face Validity)、准则效度(Criterion Validity)和架构效度Construct Validity)。效度分析有多种方法，其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种。

1、单项与总和相关效度分析    这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度，它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效。若量表中有反意题项，应将其逆向处理后再计算总分。

2、准则效度分析    准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的联系，若二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中，选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制。

3、结构效度分析    结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。架构效度分析所采用的方法是因子分析。有的学者认为，效度分析最理想的方法是利用因子分析测量量表或整个问卷的架构效度。因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本架构。透过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种架构。在因子分析的结果中，用于评价架构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。为了提升调查问卷的质量，进而提升整个研究的价值，问卷的信度和效度分析绝非赘疣蛇足，而是研究过程中必不可少的重要环节。

 

Cronbachα系数

柯隆巴哈（Cronbach 1951）提出计算一个测量系统（问卷或测验）的信度称为Cronbachα系数（简称α系数），是目前社会科会研究最常使用的信度。当一个研究主题（或构面）由很多项目组合，每个问项都与主题相关，由总分的变异数与问项的变异数做为评量信度的指标即为α系数。

01. Cronbach α系数的定义

利用各问项变异数之和与整份量表分数的变异数的比值，可用来估计一份量表的信度，柯隆巴哈（Cronbach）提出α系数为：

此式为最常作为信度指标，其中s²_i表示第i个问项x_i的变异数，s²_H 表所有问项总和（H= x₁+x₂+ ...+x_n）的变异数（即整份测验分数的变异数），n是问项个数。

02. Cronbach α系数的实施技巧

要做信度分析需先检查每个问项是否都是同方向的（即都是正面问法，也就是题间的相关系数都是正的），如有一题与其它题相关系数都是负的，应考虑将此题先“变号”或“删除”后再进行计算α系数。如有受测者乱答，可将它的数据删除后再算α值。

对问卷调查当有题目与其它题目是负相关时须注意是否反向问法。如是，则应先将得分反向，再计算α信度或是删除该题。若为测验，则不能做反向处理，只能做删除题目。

03.标准化 Cronbach α系数的定义

若一份量表有n题，题间的平均相关系数为r，则此量表的标准化α系数为

 

 

04. 利用SPSS进行信度分析

在SPSS中，专门用来进行测验信度分析的模块为Scale下的Reliability Analysis；使用Data Reduction之下的Factor模块。

Reliability Analysis模块主要功能是检验测验的信度，主要用来检验折半信度、库李及a系数以及Hoyt信度系数值。至于重测信度和复本信度，只需将样本在二次（份）测验的分数的数据合并到同一数据文件之后，利用Correlate之下的Bivariate求其相关系数，即为重测或复本信度；而评分者信度则使用的Spearman等级相关及Kendall和谐系数。

 

 

 

表1   Reliability Analysis模块的Model选项的参数术语

关键词	功  能
Alpha	Cronbach a系数
Split-half	折半信度，n是第二份量表的题数
Guttman	Guttman最低下限真实信度法
Parallel	各题目变异数同质时的最大概率（maximum-likelihood）信度
Strict parallel	各题目平均数与变异数均同质时的最大概率信度

 

 

表2  Reliability Analysis模块的Statistics部分选项的参数术语

关键词	功  能
F test	Hoyt信度系数
Friedman Chi	Friedman等级变异数分析及Kendall和谐系数
Cochran Chi	Cochran’s Q检验，适用于答案为二分（如是非题）的量表
Hotelling’s T	Hotelling’s T2 检验
Tukey’s	Tukey的可加性检验
Intraclass	量表内各题目平均数相关系数

 

 

建议进行因素分析之样本数宜大于330份。

论文：A first course in factor analysis

出处：New York: Academic Press, 1973.

作者：Comrey, A. L.

 

 

在因素分析前先以「KMO抽样适合性衡量」 (Kaiser Meyer Olkin)和「巴列特球型检定」(Bartlett’s Test of Sphericity) ，当KMO值愈大时，表示变项间的共同因素愈多，愈适合进行因素分析，根据学者Kaiser(1974)观点，如果KMO的值小于0.5时，较不宜进行因素分析

Kaiser, H. F. “An Index of Factorial Simplicity,” Psychometrika (39), 1974, pp. 31-36.

 

 

KMO是做主成分分析的效度检验指标之一,以前的文献中写说,KMO在0.9以上，非常适合做因子分析；在0.8-0.9之间，很适合；在0.7-0.8之间，适合；在0.6-0.7之间，尚可；在0.5-0.6之间，表示很差；在0.5以下应该放弃.

 

 

量表题之处理

量表题的运用，通常是因为用一题无法完整测量某一个变量，因而需要使用数道题目来表示一个变量，然而这些题目真的能有效并一致地指涉同一个变项吗？这时我们便需要透过因素分析与信度分析来检视量表的信、效度。

因素分析

量表题组是否具有效度，这组题目是否测量同一面向（或同一因素），其能解释的变异量又有多高，便需要靠因素分析来检验。

 

1.     选择分析、数据缩减下之因子。

2.     将量表题组（请注意，只能同时放一组量表，如同侪关系量表，切勿将多组量表或所有的题目一起点选进去）点选至右边之窗格。

3.     按下描述性统计量，勾选KMO与Bartlett球形检定。

4.     萃取选择「主成分」分析，并选择「陡坡图」。

5.     至选项内勾选「依据因素负荷排序」。全都选完后，即可按下确定。

 

1.     KMO与Bartlett检定，是在检定量表题组之间的相关。

（1） Bartlett：量表题组是用来测量一个变项，因此应具有一定的相关程度，当Bartlett检定达显著（显著性＝.000），即表示此题组具有共同之因素（一或数个因素）。

（2） KMO：然而题组间的相关程度若太高，则会造成多重共线性的问题，也就是说相关程度特别高的题目，事实上就是同一题拆成数题，如此便不符合设计量表题的原意，也会造成重复解释、过度膨胀解释力的后果，因此接着要看KMO取样适切性量数，KMO必须要在0.6以上，KMO越接近1，表示量表题目间的相关情形良好，越适合进行因素分析。 

2.     解说总变异量，在此会从题组中采用主成分分析法选择出数个成分， 并指出成分中的数个题目共同解释的总变异量，通常以第一个成分之解释变异量最高，如自右图中所选出之第一个成分的题组，此一成分所能解释的变异量为46.53％，而本次研究法报告亦以选取第一个成分之题组即可。 

3.     因素陡坡图，亦即解说总变异量中每一成分之总和的图示。如第1到第2成分间之落差特别大，则表示第1成分内有重要的因素，而第2至第3、第4...成分间之坡度十分平缓，表示第2～第6成份并未出现重要的因素，则不采用第2～第6成份之题目。 

4.     从最后的成分矩阵中，SPSS只抽选出一个成分，以及每一道题目在此成分中的因素负荷量。因素负荷量越高，表示该题在此成分中的重要性越高若因素负荷量低于0.6，则此题（如V47.6_1）不被列入该成分中，因此，在做下一阶段的信度分析时，此题亦需被剔除。但下面仍将此题放入，看看该题信度分析之结果。

 

信度分析

具有信度（Reliability）的题目，必须具有稳定性、一致性与精确性。至于量表是由「题组」所构成，这些题目间的稳定性、一致性与精确性，就必须用信度分析来检测。

 

1.     自「分析」下的「量尺法」进入信度分析的对话框。

2.     将一组量表题 （请注意，只能同时放一组量表，如同侪关系量表，切勿将多组量表或所有的题目一起点选进去）的题目自左边点选至右边的「项目」框内。

3.     按下「统计量」，进入另一个窗口，将左上角的描述性统计量对象的三个选项勾选起来。

4.     模式部分，请选取Alpha值（即α值），即可按确定，让SPSS自动执行信度分析。

 

1.     接下来出现的信度分析输出档，首先可以看到最下面出现的Alpha值，α值越高，表示此组量表的信度越高，各题之间也具有更高的一致性。α值若低于0.6，则此量表信度太低，不宜采用。

2.     若α值低时，首先可以看Alpha if Item Deleted，这部分是指在这个量表题组中，若删掉V47.1_1题，则此量表的α值将由0.7314降到0.6733，删掉V47.6_1题 （亦即作因素分析后，被剔除的无效的题目），则量表的α值会提升至0.7946；因此，此一量表题组便 需删去V47.6_1题以提升信度，其它题目则要保留。若整体的α值都低于0.6时，此时只能藉由修改题目内容来提升其信度。

3.     在Corrected Item-Total Correlation的部分看到的是这些题目之间的相关程度，其相关系数越高，表示该题和其它题目间的一致性越高，像V47.6_1，和其它题目间的相关系数低，因此和其它题目较不一致。

总而言之，一组量表的信度（α值）不得低于0.5，若太低则可藉由删掉其中几题以提高α值。另外若此题组具有信度时，不一定需要删去某些题目来提高信度。若怎么试都无法提高量表信度，只有重新修改题目了。

 

/计算

量表做完信度分析的检测后，还不能马上进行统计分析。一组量表虽是由许多题目所构成，但这些题目所要测的其实是一个概念的各个面向，所以也要把这些题目组合成一个变量。其组合的方式如下所示：

 

1.     点选「转换」下的「计算」，进入计算变量的对话框。

2.     要组合的量表题，必须先给他一个新的变量名称，所以要在「目标变量」框中打上此新变量的名称。

3.     将要加总的量表题组一题题自左下的框中点选到右边「数值表达式」的框里，并且将每一题加起来后，除以总题数，再按下确定即可得到一新的变量（如下图四）。

 

量表题加起来后，不一定要除以总题数，除以总题数，得到的数据是所有题目的平均，没有除，看到的是受访者在此一大题所得到的总分，如此而已，看你喜欢用哪一个。

量表题加总时必须要注意的是，这些量表题目的方向必须一致，都是正向题或都是反向题，例如： 

	很同意	同意	不同意	很不同意
1.我有能力面对困难
2.如果碰到困难的事情必须解决，我通常选择放弃它
3.我尽量不去碰那些比较困难的事情

 

第2、3题都是同一个方向，在这两题所得到的分数越高，表示他越会去面对困难的事情，而第1题得到的分数越高，则越不会面对困难，因此，第1题和第2、3题间的方向是相反的，若直接将这三题加起来，则其分数会互相抵销。因此，在处理不同方向的问题时，必须先用「重新编码」的方式，让所有题目的方向都一致后，再进行加总的工作。