一个标准的认知诊断测验该如何编制？这是一个相当关键的专业化技术问题。

    第一步工作，由认知心理学专家、学科专家（如，数学）、教育测量学家共同组成一个专家组，然后由他们对学科考试（测验）目标，进行认知心理学分析，确定所诊断的知识结构、认知技能（一般称为‘认知属性’），通常把这一过程，称之为认知模型构建。

    第二步，是要确定这些不同认知属性之间的相互关系（常用‘属性阶层关系图’来表示）。也就是说，要得出测验蓝图（或Q矩阵）。

    这里，我们介绍Tatsuoka，K.K的规则空间模型(Rule Space Model,1982-1995)。该模型的基本假设是:测验项目可以用特定的认知属性来刻画，而个体的某种认知结构,可用一组通常无法直接观察的认知属性掌握模式来表征。同时,这种不可观察的认知属性掌握模式,又能用恰当的可观察的项目反应类型来表征。

    其分析步骤由两部分构成:

    第一步是确立Q矩阵理论(Q-matrixtheory)。

    该理论主要是要确定测验项目所测的不可观察的认知属性,并把它转化为可观察的项目反应模式。首先,要建立项目与所测认知属性的关系:若项目测验了某属性用“1”表示,未测验某属性则用“0”来表示。这样,就可以构建一个N×K的矩阵(N个项目K个属性),用这个矩阵来表征项目与属性间的关系。

    其次,再确定被试与属性的关系:若被试对所测属性己经掌握,就用“1”表示,未掌握用“0”表示。这样,被试对测验所测属性的掌握与否可用一个K维的属性向量(attribute vector)来进行表征。Tatsuoka把这种属性向量称为知识状态(knowledge states,Tatsuoka,1990,1995),也即认知结构。

    第二步是规则空间的构建及判别。

    在规则空间中将被试的作答反应模式与理想反应模式(亦称典型项目反应模式),按距离判别法以及贝叶斯方法进行判别,对被试的认知结构进行诊断。Tatsuoka把由θ和ζ构成的二维空间称为规则空间,而将典型项目反应模式在规则空间中的位置称为纯规则点;在特定测验获取实测资料后,就可按前述距离判别法等将被试划归为上述纯规则点中的某一个,从而实现对被试认知结构的诊断。（规则空间模型主要应根据项目反应理论(IRT)计算出一组序偶{(θ，ζ)}, θ是IRT中被试的潜在能力变量, ζ是一个基于IRT的警戒指标,它表示能力为θ的被试,其实际接受测验项目时的作答反应模式,偏离其能力水平相对应的典型项目反应模式的程度,它是函数f(x)的标准化形式:

     ζ=f(x)/[Varf(x)]^1/2

    该模型不仅能估出被试的能力(θ),还能对学生的掌握属性模式进行判别、诊断。这样,学生、老师、家长都可以很清楚地了解学生掌握了哪些知识技能,没掌握哪些知识技能,学生处于何种能力水平,并进而能分析教师教学中教育方法与教育思想上有哪些不足。根据这些诊断信息,就可有效地提出针对各类学生的补救措施,真正做到因材施教。因此,规则空间模型可以克服传统考试只给出一个总分(或能力水平)的不足,提供丰富而有效的信息,为学生改进学习和教师改进教学提供有效的帮助,从而既可为评价学生学习、又可为评价教师和学校的教学,提供切实可靠的依据。

    目前，认知诊断测验在我国实际教育考试中还没有大规模地开展起来，更多的还是停留在研究领域或小规模的应用状态之中（美国发展了一种大规模的认知诊断测验PSAT），主要原因是一般考试开发成员认知心理学知识基础不够，教育测量还涉及比较复杂的数学模型及计算机软件分析工作。