加载中…[转载]估计调查问卷信度的方法
(2015-03-09 13:50:40)
第二节
前面已经提出了信度的概念，但只是一个理论上的构想，实际测量过程中，无法对真分数和误差分数进行测量，在实际应用中，通常以同一样本得到的两组资料的相关，作为测量一致性的指标。估计信度有不同的方法，常用的估计的方法有再测信度、复本信度、等值稳定性系数、内部一致性系数、评分者信度等。
一、再测信度（Test-Retest
再测信度，也叫重测信度，也叫稳定性系数。用同一个测验，对同一组被试前后施测两次，对两次测验分数求相关，其相关系数就叫再测信度。其计算公式（皮尔逊积差相关公式的变式）为：
式中X1、X2为同一被试的两次测验分数，、为全体被试两次测验的平均数，S1、S2为两次测验的标准差（样组标准差，参见金瑜的书P183），N为被试人数。
再测法的模式是：施测
例2：假设有一份主观幸福感调查表，先后两次施测于10名学生，时间间隔为半年，结果如表所示，求该测验的重测信度。（为了便于理解和计算，本章估计信度的例子都是小样组，实际应用时应采用大样组。）
表5－1
|
测验 |
被试 |
|||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
X1 |
16 |
15 |
13 |
13 |
11 |
10 |
10 |
9 |
8 |
7 |
|
X2 |
16 |
16 |
14 |
12 |
11 |
9 |
11 |
8 |
6 |
7 |
解：用计算器算出
S1=2.82，S2＝3.38，，，
把以上数据代入公式5－6，可得
此题可用计算机社会科学统计软件做，求皮尔逊积差相关。
相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：
*
*
*
*
*
在测验手册上报告的再测信度，一般要注明被试样本的性质、大小，以及间隔多长时间等，以便使使用者了解样本及时间因素对测验稳定性的影响。
计算再测信度必须注意几个问题：
（1）所测量的特性必须是稳定的。当然绝对的稳定是不可能的，但应该是比较稳定的。所欲测的如果是智力、人格、兴趣等心理特质，则可以采用再测法；如果是知识、情绪等心理特质就不能使用再测法，因为这些心理特质是不稳定的。
（2）遗忘和练习的效果基本上相互抵消。
在做第一次测验时，被试可能会获得某种技巧，但只要间隔时间适度，这种练习的效果会基本上被遗忘掉。
因此，再测信度要考虑时间间隔的问题。到底多长合适呢？一般来说，相隔时间越长，稳定系数越低。最适宜的时距随测验的目的、性质及被试的特点而异。对于年幼儿童，两次施测的时间间隔应比年纪较大的被试短些，这是因为在个体发展的早期变化较快。一般来说，无论对于那种被试，初测与再测的间隔最好不要超过六个月。
另外，还有一种情况，例如，我们可能在间隔许多年后对被试施测同一个智力测验，此时我们的目的主要是考察智力随年龄的发展变化，而不是用来估计测验的信度。
（3）再测法适用于速度测验而不适用于难度测验。
速度测验题目较多，时间较紧，被试无法记住测验内容，所以受第一次测验的影响小，记忆效果可以忽略不计。
（4）应注意提高被试者的积极性。由于再测法是把原测验原封不动地重测一次，所以被试者容易兴趣索然，采取不积极合作的态度，使第二次测验的质量下降。所以，提高被试者的积极性，使他们如同第一次那样认真负责地完成测验，这是再测法计算信度能够成功的一个重要条件。
由于测验的再测信度受时间和其它多种因素的影响，故任何一个测验就可有不止一个再测信度系数。所以在测验手册中报告此种信度时应说明时间间隔以及在此间隔中被试的经历，如有无受过何种教育训练、心理治疗以及有何学习经历等。
二、复本信度
复本信度（Alternate
用两个平行（等值）的测验对同一组被试施测，得到两组测验分数，求这两组测验分数的相关系数，这就是复本信度。因为这反应了两个测验的等值程度，因此又称等值性系数。计算方法与再测法是一样的。
复本信度的模式是：复本A
例3：假设用A、B两型创造力复本测验对初中一年级10个学生施测。结果见表5－2。（此题可以让学生自己计算）
表5－2
|
测验 |
被试 |
|||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
X1 |
20 |
19 |
19 |
18 |
17 |
16 |
14 |
13 |
12 |
10 |
|
X2 |
20 |
20 |
18 |
16 |
15 |
17 |
12 |
11 |
13 |
9 |
解：先用计算器计算得出以下值：
，，，，
代入公式5－6，得
复本信度应用时应注意以下几点：
（1）复本信度的关键在于两个量表必须等值，即必须具有相同的难度、区分度、长度、题型等。只有达到这一要求，根据两次测验分数求出的复本信度才有意义。施测过程中的条件当然应该一致。
（2）两次测验的时距应尽可能短促，以便避免知识的积累、练习效应等因素的影响。最短的时距时在一次测验中先后用两个量表施测被试。
（3）由于量表的两个复份在许多方面近似，所以信度系数有稍稍偏高的倾向。
（4）被试易出现疲劳、失去积极性等反应，还会出现迁移（由于第二个测验只改变了题目的具体内容，已经掌握的解题原则很容易迁移到同类问题）。这些称为顺序效应，为了抵消顺序效应，可随机分配一半被试先做复本A再做复本Ｂ，另一半被试先做复本Ｂ再做复本A，以平衡顺序效应。
（5）复本法只能减少而不能完全排除练习和记忆的影响。
（6）对于许多测验来说，建立复本是相当困难的。一般来说，成就测验、特殊能力测验容易建立复本，因为较容易出题，但对于一些不易测量的特质，如人格、动机等，则不易找到等值的测题，复本的编制较困难。
同再测信度一样，在报告复本信度时，也应说明两次测验的时间间隔，以及在此间隔内被试的有关经历。
三、等值稳定性系数
等值稳定性系数是用两个平行的（等值的）测验，间隔适当时距施测于同一组被试得到两组测验分数，求这两组测验分数的相关，其相关系数就是等值稳定性系数。
等值稳定性系数的模式是：测验A
计算方法同稳定性系数和等值性系数。
等值稳定性系数也是采用复本对被试施测，但等值性系数的测验要求两次测验的时间间隔尽可能短，而计算等值稳定性系数的两次测验却要求有一个适当的时距。时距的规定可参照稳定性系数。
优点：（1）因两次测试有适当的时间间隔，减少了复本法中的练习、疲劳效应。
注意：
等值稳定性信度系数的值一般要比等值性系数和稳定性系数要低。因为，时间因素会引起我们所要测量的心理特质的变化以及测题的取样不同会影响两次测验分数的一致性。因此，等值稳定性系数是测验信度的最严格的考察，得到的是信度系数的下限。
四、内部一致性系数
前面所讲的估计信度的方法，都必须对被试测验两次，然后计算两次测验得分的相关系数。但是，有的测验没有复份，如人格测验，等值的测题很难编，编制复本很难。有的测验在施行一次以后，由于被试流动或不易召集，再测一次比较困难。因此，我们还要设法利用一次测验所获得的资料来计算信度系数。这样计算出来的信度系数反应的是测验内部的一致性，即测验项目的同质性，也就是测验内部所以题目间的一致性，叫做内部一致性系数或同质性系数或同质性信度。
计算内部一致性系数的方法有两种，下面逐一介绍。
（一）分半法（分半信度）
分半信度（Split-half
分半法实际上是一种特殊的复本法。可以把对等的两半测验看成是在最短的时间内施测的两个平行的测验。
分半的方法很多，常见的方法是把一个量表按题目番号分为两半，一半是奇数题，另一半数偶数题。求出每个人的奇数题的总得分和偶数题的总得分，然后求出奇数题总得分和偶数题总得分的相关系数，最后对相关系数进行校正。为什么要进行校正呢？因为，分半以后，我们实际上计算的是测验的一般题目的信度，而非整个测验的信度，也就是说我们把一个完整的测验分成了两个等值的复本，所计算的只是其中一个复本的信度，这就会造成对整个测验的信度的低估，因为信度会随着测验长度的增加而提高。所以，要对求出的相关系数进行校正。
校正公式有：
（1）斯皮尔曼－布朗（Spearman-Brown）公式
弗朗那根公式：
式中，
卢伦公式：
式中，为两半测验分数之差的变异数，为测验总分的变异数。r为信度值。
例4：有一个由100题构成的量表施测于10个高三学生。测验一次后，应试者即毕业离校。现在怎样评介测验结果的信度？
解：因不能再次测验，只能求分半信度。
步骤：
（1）计算出每个应试者的奇数题总分（X1）和偶数题总分（X2），见表5－3。
|
得分 |
被试 |
|||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
X1 |
38 |
37 |
38 |
41 |
40 |
36 |
38 |
39 |
40 |
35 |
|
X2 |
37 |
37 |
36 |
39 |
39 |
34 |
38 |
39 |
39 |
36 |
，，，，，，
（1）斯皮尔曼－布朗（Spearman-Brown）公式（平均数和标准差差异显著性检验略）
（rhh可以通过计算机计算得到）
（2）弗朗那根公式：
（3）卢伦公式：
采用分半信度应注意以下几个问题：
（1）若用分半法时，以按奇数题和偶数题分半为宜。若把整个测验分成前后两半，一方面前半部分题目和后半部分题目未必等值，另一方面可能会因疲劳、厌倦等原因而影响回答质量，以致前后反应不一致而影响信度。
（1）在使用斯皮尔曼－布朗公式时要求全体被试在两半测验上的得分的变异数相等。当一个测验不宜分成对等的两半时分半信度不宜采用。
（2）当试卷中存在任选题时，不宜采用分半法。速度测验也不宜采用分半法。因为速度测验中试题的难度低，被试得分的多少主要是看答题的多少，分半法易使得分相同，从而夸大分半法的信度估计。
（3）如遇到有牵连的项目或一组解决同一问题的项目时，这些项目应放在同一半，否则会高估信度的值。
（4）将一个测验分成两半的方法很多（如，按题号的奇偶性分半、按题目的难度分半、按题目的内容分半等），因此，一个测验可以有多个分半信度值。提供分半信度值时，要说明分半的方法。
（二）其它计算内部一致性系数的方法
分半法实际上是对测验内部一致性的一个粗略估计。但对于同一个测验分半的方法是很多的，而且用不同的分半方法求出的分半信度都不一样，因此分半信度不是最好的内部一致性的估计。为了弥补分半法的不足，可以采用其它的方法。
1.库德－理查逊公式（K－R20公式）
库德（Kuder）、理查逊（Richardson）针对分半法的不足，提出以项目统计量为转移，利用项目统计量来计算信度。称为K-R20公式。
式中k表示构成测验的题目数，为通过第i题的人数比例，为未通过第i题的人数比例，为测验总分的变异数。
如果对测验的结果已经做了项目分析，已经知道了各个项目的难度，那么采用上述公式计算信度较为方便。
例5：有一种包含6个问题的测验，10个应试者的得分如表5－4（答对得1分，答错得0分），试估计应试者反应的一致性程度。
|
被试 |
题目得分 |
||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
||
|
1 |
1 |
0 |
0 |
0 |
0 |
0 |
1 |
|
2 |
1 |
0 |
0 |
1 |
0 |
0 |
2 |
|
3 |
0 |
0 |
0 |
0 |
1 |
1 |
2 |
|
4 |
1 |
1 |
1 |
0 |
0 |
0 |
3 |
|
5 |
0 |
1 |
0 |
0 |
1 |
1 |
3 |
|
6 |
1 |
1 |
1 |
0 |
0 |
0 |
3 |
|
7 |
1 |
1 |
1 |
1 |
0 |
0 |
4 |
|
8 |
1 |
1 |
1 |
1 |
0 |
0 |
4 |
|
9 |
1 |
1 |
0 |
1 |
1 |
1 |
5 |
|
10 |
1 |
1 |
1 |
1 |
1 |
1 |
6 |
|
8 |
7 |
5 |
5 |
4 |
4 |
|
|
|
P |
0.8 |
0.7 |
0.5 |
0.5 |
0.4 |
0.4 |
|
|
q |
0.2 |
0.3 |
0.5 |
0.5 |
0.6 |
0.6 |
|
|
pq |
0.16 |
0.21 |
0.25 |
0.25 |
0.24 |
0.24 |
|
2.
当测验项目难度接近时可以采用库德－理查逊提出的简便公式，称为K－R21公式。这一公式以各个应试者总分的平均数和方差为基础进行计算，无需提供各题的难度信息，计算起来较为方便。但必须保证各项目的难度接近，如果难度相差较大，就可能有低估的倾向。
K－R21公式为：
式中k表示构成测验的题目数，为测验总分的平均数，为测验总分的变异数。
如上例用K－R21公式计算为：
<，因为各个项目难度不是接近，所以用K－R21公式估计难度出现低估倾向。
3.克伦巴赫（Cronbach）的α系数
库德－理查逊公式只适用于两级记分的测验，而对多级记分的测验，则可以采用克伦巴赫（Cronbach）的α系数，克伦巴赫的α系数对两级记分的测验也是适用的。其计算公式为：
式中，K为测验的题目数，为某一测验题目分数的变异数，
例6：有一种包含6个论文式题目的测验，对5个应试者施行，得分见下表5－5，试求该测验的信度。
|
题号 |
被试 |
|||||
|
A |
B |
C |
D |
E |
||
|
1 |
7 |
11 |
8 |
11 |
11 |
3.04 |
|
2 |
6 |
9 |
7 |
8 |
9 |
1.36 |
|
3 |
6 |
10 |
6 |
8 |
9 |
2.56 |
|
4 |
8 |
11 |
6 |
8 |
3 |
6.96 |
|
5 |
7 |
11 |
8 |
11 |
11 |
3.04 |
|
6 |
7 |
11 |
8 |
11 |
11 |
3.04 |
|
40 |
62 |
41 |
54 |
52 |
||
解：（1）求每题各应试者得分的方差、方差和＝18.65
（2）求测验总分各应试者得分的方差（即求40、62、41、54、52的方差），
（3）代入公式求信度系数
五、评分者信度（Scorer
客观性测验不存在评分者之间不一致的情况，因此无需计算评分者信度，但在涉及主观性测验的题目中，评分者的不同会造成测验分数的差异，从而导致测验误差，此时，要计算评分者信度。如，心理测量中的投射测验、教育测验中的作文考题、职业选拔中的面试等。
评分者信度：随机抽取部分试卷，由两个或多个评分者独立按评分标准打分，然后求其间的相关，所得的相关系数即为评分者信度。
评分者信度的计算：
1.评分者为两个人时
若是连续变量的评分，且分布是正态则计算皮尔逊积差相关系数（可用计算机直接计算），若是等级评定或虽是等距或等比的数据但分布非正态，则计算斯皮尔曼等级相关。
斯皮尔曼等级相关公式：
式中D为各对偶等级之差，是各D平方之和，N为等级数目。
当有相同的等级出现时，计算斯皮尔曼等级相关的公式为：
，
，
，
式中，N为成对数据数目，n为相等等级数目。
例7：甲乙两位教师评阅10份试卷，他们对每一试卷各自所评的分数列入下表5－6，问这两位教师评分的一致性如何？
|
试卷 |
得分 |
名次 |
等级之差 D |
D2 |
||
|
甲评分 |
乙评分 |
甲评分 |
乙评分 |
|||
|
A |
94 |
93 |
1 |
1 |
0 |
0 |
|
B |
90 |
92 |
2 |
2.5 |
-0.5 |
0.25 |
|
C |
86 |
92 |
3.5 |
2.5 |
1 |
1 |
|
D |
86 |
70 |
3.5 |
7 |
-3.5 |
12.25 |
|
E |
72 |
82 |
5 |
4 |
1 |
1 |
|
F |
70 |
76 |
6 |
5.5 |
0.5 |
0.25 |
|
G |
68 |
65 |
7 |
9 |
-2 |
4 |
|
H |
66 |
76 |
8 |
5.5 |
2.5 |
6.25 |
|
I |
64 |
68 |
9 |
8 |
1 |
1 |
|
J |
61 |
60 |
10 |
10 |
0 |
0 |
解：，
如果是两个评分者，一般认为经过训练的成对评分者之间的一致性达0.90以上，评分才是客观的。
2.评分者为多个时
采用肯德尔和谐系数（Kendall
式中，W为和谐系数，K为评分者人数，N为被评对象数，Ri为每一对象被评的等级之和。
出现相同等级时采用下面的公式：
，
式中，W为和谐系数，K为评分者人数，N为被评对象数，Ri为每一对象被评的等级之和，n为相同等级数目。
例8：六位教师各自评阅相同的五篇作文，每位教师给每一篇作文都评了等级（共五等）并列入下表5－7。求六位老师所评等级的一致性程度。
|
评分者 K＝6 |
试卷编号（N＝5） |
||||
|
1 |
2 |
3 |
4 |
5 |
|
|
A |
3 |
5 |
2 |
4 |
1 |
|
B |
3 |
5 |
2 |
4 |
1 |
|
C |
3 |
4 |
1 |
5 |
2 |
|
D |
3 |
5 |
1 |
4 |
2 |
|
E |
3 |
5 |
2 |
4 |
1 |
|
F |
3 |
5 |
2 |
4 |
1 |
|
Ri |
18 |
29 |
10 |
25 |
8 |
解：K＝6，N＝5，，
例9：三位教师评阅四份试卷，所评等级列入下表5－8。他们所评的等级的一致性程度怎样？
|
评卷教师 K＝3 |
作文编号（N＝4） |
|||
|
1 |
2 |
3 |
4 |
|
|
张 |
3 |
1 |
4 |
2 |
|
王 |
2 |
1 |
4 |
1 |
|
李 |
2 |
2 |
3 |
2 |
|
Ri |
7 |
4 |
11 |
5 |
解：N＝4，K＝3，，
＝
＝
评分一致性程度不高。
3.肯德尔和谐系数W的检验
（1）当3
（2）当N
总结：以上介绍的各种估计信度的方法都是对测验的一致性进行估计，但由于误差来源不同，它们研究的侧面各不相同，说明的是信度的不同方面。其中，
再测信度：估计信度中跨时间的一致性
复本信度：估计测验跨形式的一致性
等值稳定性系数：估计测验跨时间和形式的一致性
内部一致性系数：估计测验跨项目或两个分布测验之间的一致性
评分者信度：估计测验跨评分者的一致性
各种方法具有不同的意义，每一种信度系数不能代替其他的信度系数，所以编制或使用测验时，应该尽可能收集各种信度证据。
喜欢
0
赠金笔