加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

[转载]多位评委对多个对象打分的成绩数据严密处理程序

(2011-07-21 17:16:57)
标签:

转载

今年的初中生研究性学习成果共上交30篇,由于新学科还没有十分权威的老师,我想先叫一批已经进入这个领域的老师集体初次评审。那天在办公室,电话打了一天,联系好方方面面的事。

当天参加初评的一共11位老师,我主要指导大家统一行动,做后勤工作,有空时也在看,但不参与打分。对于评审分数有影响的要求是

1.每位老师要对每篇文章打分,除自己为指导师作品外。

2.以百分制打分,第一档(A)规定在90分以上,第二档(B)在70分以上,第三档在(C)50分以上。第四档为50分以下。

3.四个档次比率或篇数不作规定,每人以实际情况自己确定。(这是根据学科现状定的。)

有些老师提出以90、80、70、60为临界打分,我解释了原因,此类评比刚开展不久,大家水平不够高,临界分应定低一点,其实对整体是没有影响的。不过,大家统一方法和临界分这是很关键的。事实上有一位老师,D档没有打分,有些老师档次的临界分不是我们规定的分数,这给后来的数据处理带来一些困难。

结论一:集体打分,必须说明统一要求,档次临界分明确,打分方法、尺度统一。

先将原始分以30行,11列的形式列出。检查评分者自己的项目,如果有打分的,要删除。然后在新一列求出原始分的平均分,再后一列求出它的排序。实际上,有一位老师交了两篇,我忘了,到了最后才发现,又重新做有关的步骤。

对于整体,每位老师打分的尺度总是有些不一样,有些整体偏高,有些整偏低,这是一个要考虑处理的因素。对于同一篇文章,不同评委也难取得一致的意见,是不是就是取平均作为结果,这样的合理度也不是很好,这是考虑处理的第二个因素。

接下来的目的是找出哪些评委对哪些对象的打分是不太合理的,也就是离大家的平均值偏差较大的。前面说了,原始分并不客观。方法有两种,方法一:以一评委为单位,对所有对象打分的排序,不同评委间比序次;方法二:以某种方法将原始分转换为标准分,比较标准分。要转换,就要确定两个对象为基础,其它分数才能转换,这个问题又回到它的前提,所以暂时不可取。

在原来的所有对象下方,再用一样多的行数,求得一位评委给所有对象打分的名次,其他所有评委均如此处理。增加2列,分别是同一对象,不同评委所给的名次平均值,名次平均值的序,各名次值的标准差,标准差的序。从标准差序来看,最大的,就是评委之间打分误差最大的。标准差最小的,就是评委之间认同程度最大的,按一般规律,对于原始得分平均最高几个,也是评委们认同度最一致的。本次对于平均分从高到低的1,2,3,4,5名,标准差的序分别是1,4,2,6,7。

为转换标准分,我们必须指定两个评委认同度比较高对象,作为基准,如果我们取原始分的第1名、第3名,也就是标准最小的两人,感觉两人的得分非常接近。所以要取一个标准小,而平均得分比较差一点的作为标准,会更好一些。按标准的从小到到,再往下看,发现标准第3小的是平均得分为29,非常符合作为转换的参考对象。

结论二:通过原始分的名次的标准差,选出标准小,而原始平均得分相差较大的2个对象,作为转换为标准分的基础。选哪两人个对象,有一定的主观性,但越遵守这个原则,最后的结果越理想。

这样我选定名次标准差从小到大第1和第3的,即评委认同度第1和第3的,原始得分从大到小是第1和第29的两个对象为基准,设计一种标准分转换方法。转换的原则是所有评委的打分都按比例转换到一个标准,这个标准就是将第1名、第29名分数平均分作为新标准的参考分,每位评委的打分可以看成一列数据,其中两个分数要转换到平均分,这个比例算法同样应用在其它的的打分上,就可以转换所有的原始分。

第1名的所有评委给分平均分为92.27,命名为标准高分,记为bg

第29名的所有评委给分平均分为63.27,命名为标准低分,记为bd

标准高分与低分差值,命名为标准高低差,记为bc,bc=29.00

对于每位评委,可以找到对这第1名和第29名两个对象的打分,分别命名为标准点1原始打分(高者),标准点2原始打分(低者),分别记为yg,yd。以第一位评委打分情况为例,分别是96和65。它们的差距记为yc,yc=31,原始分与转换后的标准分就是以差距31到29的规律来计算。

如果要转换的分数记为yi,转换后的标准分记为bi,任意一个原始打分转换的计算方法和公式为: (yi—yd)/(bi—bd)=(yg-yd)/(bg-bd)这个比例式实现了前后转换思想。

值得注意的是,整体二维数据方阵,只有一个bg,一个bd,而每位评委,对于先定的两人个标准对象,都有一个各自的yg和yd。

结论三:这种转换的计算机方法虽然有点繁,但思想是比较简单的比例式。应用时要注意分清各变量、常量,以及对应的值。

将所有评委所有打分按各自的公式转换后得到标准分,是不是就计算标准分的得分呢?还不行。刚才说了对于一个对象,评委们的看法虽然有些是比较一致的,也有些是相差较大的,所以我们要找一个标准,说哪些是相差较大的,根据经验判断,我决以总人数的1/4为基准,各评委对某一对象打分的名次对比于名次的平均值有一个超出总人数的1/4,由认为是相差较大,这个对象的平均分,在计算前,要减去一个最高分,再减去一个最低分,以部分消除不合理打分的目的。不管是打得太低超出。

说明:1.为什么取总人数的1/4为基础,因为对于标准分,对于一个对象,各评委所给的分数,分布在平均分的上下两侧,应该是比较平均地分布,然后对于任意的一半,某评委的给分如果超出其中的一半,可以看成是离标准分相关较大,这样平均就是1/4的总人数。2.按标准分排名和原始名排名,序号是一致的,因为转换是按比例转换的。

结论四:判定哪位评委给哪位对象打分是偏差较大,这里还是有一定的主观性,期待有更学科的方法。有些比赛是统一给所有对象都减最高分和最低分。

这样,有些人是所有评委的标准分计算平均分,有些是减去2个,再求平均,而由于我的这项工作有些参评对象本身是评委,所有有些回避了给自己的打分,就少了3个分数。这样重新计算各对象的标准分的平均分,可以称为修改分,或最后得分,最后再排序,所得就是最终的我们要的结果。

上面所说的过程,全部在EXCEL中实现。


 

0

  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有