课堂是教育教学的主阵地，是学生获取知识和掌握技能的重要场所^[1]。认知投入作为一种实质性的心理投入，对课堂有效学习的发生起着重要作用。因此，课堂认知投入评测作为理解有效学习过程机制、改善学业表现、评估课堂教学质量的重要依据，备受研究者的关注^[2][3]。然而，由于课堂认知投入具有复杂性、内隐性和动态性等特点，导致其精准评测极具挑战性，其中认知投入的复杂性既体现为内隐认知的难以表征，也体现为外显行为的动态变化^[4]。此外，传统认知投入评测研究以自我报告、访谈或课堂观察等人工方法为主，但这类方法具有主观性、滞后性和规模受限等不足，难以大规模实时追踪复杂课堂情境下认知投入的动态变化^[5][6]。相比之下，基于机器学习的自动评测方法具有更客观、更省时和易推广等优势，更符合真实课堂认知投入评测的现实需求，但是目前该类方法仍沿用单维评测框架，并未真正反映课堂认知投入的内涵，导致评测结果的准确性和可靠性难以保证，从而不能直接服务于课堂教学。可见，课堂认知投入自动评测在情境关联、多维表征、多模态感知等方面亟待突破。

基于此，本研究从复杂动态系统理论的视角出发，深刻剖析真实课堂情景和认知投入的复杂性，构建了课堂认知投入评测层次模型。在该模型的构建过程中，本研究基于ICAP框架、Pekrun模型和Bloom分类体系，建立了融合学生行为、情感和言语的认知投入表征指标，设计了基于深度学习的双模态认知投入识别方法，旨在为感知课堂认知投入状态、洞悉认知投入本质和揭示认知投入演化规律提供理论指导和技术支撑。

一 课堂认知投入评测理论基础

1 复杂动态系统理论

复杂动态系统理论（Complex Dynamic Systems Theory，CDST）是一种跨学科的研究领域，旨在理解自然和人造系统中出现的复杂、非线性、动态的行为，其核心理念是通过研究系统内部各组成部分之间的相互作用，以及这些相互作用所导致的整体行为，来理解系统的演化^[7]。Crick^[8]首次使用CDST来解释学习投入，认为学习投入的发生和演化受时间与情境的影响。该理论还强调测量方法的非线性特征，这符合深度学习算法的本质。认知投入作为学习投入的重要成分，其内部的相互作用机制可能存在于认知行为、认知情感和认知策略等认知成分之间，这些认知成分所构成的复杂网络结构符合复杂动态系统的显著特征^[9]。同时，CDST所强调的情境作用、非线性测量等特点可以深化研究者对认知投入动态和内隐过程的理解。因此，在CDST的视角下，可实现从物理场域、信息流、内外联动和非线性测量等方面来洞察认知投入的演化与动因。

2 认知投入相关理论

认知投入可以从行为、情感和言语等方面进行洞察，与之相关的理论包括ICAP框架、Pekrun模型和Bloom分类体系：

ICAP框架用于解释行为与认知投入的关系^[10]。该框架定义并描述了个体外显行为以及认知加工情况，涵盖被动、主动、建构和交互四种行为模式，分别对应学生注意、操作、生成和协作的认知过程。该顺序也可以说明认知投入的复杂程度依次递增，虽然该框架并未纳入脱离行为模式，但也强调了脱离状态可以作为认知投入发生的界限，这为课堂认知投入的行为表征提供了依据。

Pekrun模型用于解释情感和认知投入之间的关系^[11]。该模型建立了情感唤醒与认知冲突之间的假设关系，认为学生在注意和接收信息、产生认知冲突和达到认知一致的过程中，会出现积极情感（如对知识呈现的惊讶、对知识充满兴趣的好奇、问题解决时的愉悦等）或消极情感（如严重干扰原有认知结构时的困惑和焦虑、无法完成任务时的沮丧、脱离任务时的无聊等），这与课堂情境的认知情感发生条件高度契合，但其表征的有效性仍待考究。

Bloom分类体系用于解释言语和认知投入之间的关系^[12]。Bloom根据教学目标将认知过程划分为记忆、理解、应用、分析、评价和创造六个层次，论述了简单陈述性言语、探索建设性言语与浅层认知、深层认知之间的对应关系。Bloom分类体系既考虑了思维与认知目标之间的连接，也结合了认知目标与策略性言语之间的关系，可以作为认知投入在言语维度的表征，检验学生认知投入的言语水平。

二 基于CDST的课堂认知投入评测层次模型

本研究将CDST所强调的情境作用、非线性测量等特点应用于认知投入建模，构建了基于CDST的课堂认知投入评测层次模型，如图1所示。该模型通过四层结构、三维表征和双模态数据将学生认知投入的发生、保持、转移和脱离的全过程动态连接起来。其中，“四层”是指情境层、激活层、表征层和识别层，“三维”是指认知行为、认知情感和认知言语，“双模态”是指图像和文本两个模态。

图1 基于CDST的课堂认知投入评测层次模型

1 课堂认知投入评测的层次结构

情境层是认知投入的外部牵引，其中发生的学习活动是学生信息加工的主要来源，结合真实课堂的特征，本研究将情境层中的学习活动分为课堂导入、学习指导、促进迁移和课堂总结四个环节，以契合学生的认知发展动态规律。激活层用于体现外部活动所激活的内部认知加工阶段。表征层根据ICAP框架、Pekrun模型和Bloom分类体系建立了行为、情感、言语与认知投入之间的联系，将内部激活外显化，既考虑了认知投入的“投入-脱离”动态性，又考虑了其外显化。识别层对外显表征指标进行量化，采用深度学习方法提取多模态非线性认知投入特征。

2 三维认知投入外显表征指标

由于认知投入与行为、情感和言语之间具有复杂的关系，且单维数据表征易造成偏差，因此认知投入的多维表征是提升其评测准确性的关键。接下来，本研究将从三个维度描述认知投入外显表征指标，如表1所示。

表1 三维认知投入外显表征指标

认知行为由身体动作来表征。根据ICAP框架将认知行为划分为被动、主动、建构、交互和脱离五种类别：被动行为是学生面向教学材料接收信息的过程；主动行为是积极加工处理信息的行为，包括思考问题、查找资料等过程；建构行为表示学生表达新的观点和想法的过程；交互行为是指在建构知识过程中发起轮流对话；脱离行为表示学生行为没有认真投入课堂活动。

认知情感由面部表情来表征。基于Pekrun模型将认知情感划分为积极、消极和脱离三类：积极情感是面对新知识或问题解决时的愉悦感，如享受；消极情感是由于问题未解决所引起的认知不一致的挫折感，如沮丧；脱离情感表示与学习活动无关的情感，如无聊。

认知言语由学生话语来表征。基于Bloom分类体系和言语与课堂活动的相关性，将认知言语划分为低阶、高阶和脱离三类水平：低阶言语涉及对知识的理解和辨认过程；高阶言语是对抽象概念和知识的深度加工结果；脱离言语表示与课堂无关的言语。

3 双模态认知投入识别方法

双模态认知投入识别方法是识别层的核心内容，其中图像模态涉及的识别方法包括面向认知行为的YOLOv8模型和面向认知情感的Efficient模型；文本模态涉及的识别方法是面向认知言语的TextCNN模型^[13][14][15]。具体的双模态认知投入识别方法如图2所示，图中面向认知行为的YOLOv8模型由骨干层、瓶颈层和检测层三部分组成：骨干层用于提取动作浅层特征，瓶颈层用于融合动作深度特征，检测层用于检测学生在课堂中的位置和行为。面向认知情感的Efficient模型由卷积激活层、主干网络、特征金字塔网络、池化层和全连接层组成：卷积激活层用于提取面部低级特征，主干网络通过深度、宽度和缩放因子等参数调整提取的表情高级特征，特征金字塔网络用于融合不同层级的表情特征图，池化层将整个特征图转化为一个固定长度的向量，全连接层用于确定图像所属情感类别的概率分布。面向认知言语的TextCNN模型由词嵌入层、卷积层、池化层和全连接层组成：词嵌入层将认知文本映射为连续的低维向量表示，卷积层用于捕捉文本局部特征，池化层用于减少文本特征图的维度以保留最重要的信息，全连接层将文本特征映射为认知类别的概率分布。

图2 双模态认知投入识别方法

三 研究设计

为了验证基于CDST的课堂认知投入评测层次模型的有效性，本研究通过案例设计来提供真实的课堂情境，并构建数据集以满足课堂认知投入评测的数据需求，然后进行实验设置以指导课堂认知投入识别的实施过程，上述设计将用于支撑课堂认知投入评测结果的解读和讨论。

1 研究案例

本研究共采集了云南省大理市D小学一年级19名学生（含10名女生、9名男生）的两节数学课的音视频数据，授课内容为“7以内的加减法运算”。数据时长共计86分钟，视频帧率为30帧/秒，音频采样频率为44.1kHz。用于案例分析的数据总时长为40分钟，其中情境层和激活层的创设如下：

课堂导入（约3分钟）。教师引导学生回忆已学数字，通过数字比较的方式呈现学习材料，进入动机阶段和领会阶段。

学习指导（约26分钟）。教师通过案例、视频等形式来呈现教学内容，根据学生的提问、回答、复述和演示等学习反馈实时调整教学活动，进入习得阶段和保持阶段。

促进迁移（约8分钟）。通过开展数字算式挑战赛，促进学生对数字加减法的迁移应用，加强学生在新场景下对数字计算的认知，进入回忆阶段和概括阶段。

课堂总结（约3分钟）。教师总结课堂知识点，进入作业阶段和反馈阶段。

2 数据集构建

从研究案例中挑选完整的授课记录（总时长为46分钟）用于模型训练，首先按照3秒/次的规律自动提取课堂视频帧，共得到925张全体学生图像，由经过培训的3名教育技术学专业的研究生标注每位学生的认知行为，不一致的部分由3名研究生讨论决定（下同），得到认知行为数据集（被动行为9539张、主动行为1956张、建构行为2017张、交互行为349张、行为脱离2750张）。然后，采用OpenCV库从925张图像中自动截取20013张人脸数据，经过数据清洗和归一化后，得到并标注18296张认知情感图像，形成认知情感数据集（积极情感10870张、消极情感6031张、情感脱离1395张）。最后，将音频转录为文本，通过声纹识别自动提取学生的文本数据，并以句子单元进行切割，得到168条文本数据，经标注获得认知言语数据集（低阶言语119条、高阶言语39条、言语脱离10条）。

3 环境设置

在本研究中，训练集、验证集和测试集的比例均设置为6：2：2，YOLOv8模型和EfficienctNet模型的epochs=100，batch_size=16。由于言语样本较少，设置TextCNN模型的参数为epochs=50，batch_size=8。此外，硬件环境设置为：CPU采用Intel（R）Core（TM）i7-10700，GPU采用NVIDIA GeForce RTX 3080。软件环境设置为：操作系统采用Win10，Python版本为3.9.12，深度学习框架采用PyTorch 1.8.0。

四 研究结果

1 识别精度分析

本研究采用准确率（ACC）、精确率（P）、召回率（R）和F1值评价模型性能，其中P、R和F1值的结果如表2所示。本研究所采用的YOLOv8模型、EfficientNet模型和TextCNN模型识别的ACC分别为82.5%、94.2%和75%，达到了较高的识别精度。研究结果表明，YOLOv8模型能较好地区分五类行为模式，说明使用身体动作表征认知行为具有可靠性，但“主动行为”的识别精度较低，可能是主动行为类内差异大导致的。EfficientNet模型实现了三类课堂认知情感自动识别，表明使用面部表情来表征认知情感的可靠性较高，且“积极情感”的识别精度最高。TextCNN模型可以区分不同的言语类型，基于文本数据的认知言语表征可靠性较高，但是学生的课堂言语多以短句短词的形式出现，更多复杂的言语文本建模有待挖掘。

表2 学生课堂认知投入自动识别结果

2 三维可视化分析

本研究以认知行为均值为x轴（脱离行为=0，被动行为=1，主动行为=2，建构行为=3，交互行为=4），认知情感均值为y轴（脱离情感=0，消极情感=1，积极情感=2），认知言语均值为z轴（脱离言语=0，低阶言语=1，高阶言语=2），分析群体课堂认知投入随时间变化的三维可视化情况，如图3所示。图中频繁的凸起曲面表明群体的认知投入在时间维度上存在较大的差异，向上的凸起比向下的凹陷更加密集，说明在认知言语维度上，更高阶的言语表达伴随的认知行为和认知情感的差异更大，出现得更频繁。深入分析后可以发现，认知行为和认知情感维度呈现弱正相关性（r=0.119，p＜0.01），说明学生在更高阶的行为模式上可能也会伴随出现更加愉悦的情感；但认知情感和认知言语维度呈现负相关性（r=-0.025，p=0.436），可以推测更高阶的言语表达和更消极的情感可能会同时出现。

图3 学生认知行为-认知情感-认知言语的三维可视化图

3 认知投入动态演化分析

本研究以时间为横轴，以课堂认知行为均值、认知情感均值和认知言语类别为纵轴，统计学生课堂认知投入演化情况，如图 4 所示。其中，认知行为在学习指导阶段的起伏最大，此阶段也出现了高频的高阶言语和积极情感，可推测在学生认知发展的习得阶段和保持阶段，师生的密切交互有助于群体进一步加工和组织知识，以构成新的认知结构。学习脱离的迹象在课堂总结阶段最明显，可推测此阶段的课堂氛围较混乱，学生的学习积极性正逐渐下降。综上，群体的认知行为频率差异大，但总体偏被动学习的状态，积极情感是课堂的主导情感，课堂较活跃，认知言语起伏逐渐频繁，课堂交流的状态逐渐从浅层走向深层。

图4 学生课堂认知投入演化图

4 个群对比分析

本研究从班级中随机选择一名学生，统计该个体与群体的课堂认知投入频率占比，如图 5所示。由图可知，该生的认知脱离平均占比（13.63%）高于群体水平（10.04%）。具体地，该生的主动、建构和交互行为比例均高于群体平均水平，这与回溯视频观察的结果一致——该生的肢体行为表现丰富。此外，该生的消极情感和脱离情感占比较群体的更高，可推测该生的情绪管理能力不强，容易出现情绪低落甚至脱离的状态。在认知言语方面，低阶言语是个体和群体的主要认知言语水平，这也与回溯视频观察结果一致——虽然师生言语交互频繁，但言语交互仍停留于浅层，难以促进学生进行深层认知加工。

图5 个群课堂认知投入频率占比

五 研究结论与启示

认知投入的本质与动机和自我调节的整合、心理性投入、学习策略等有关，但其概念的界定并未达成一致结论^[16]。实质上，认知与行为、情感有重叠之处，因此本研究采用一种综合性的视角来理解认知投入^[17]。认知投入之于课堂，具有情境性、复杂性和动态性的特征。基于上述特征，本研究提出基于双模态数据的课堂认知投入测量方法，该方法体现了对教育主体的计算、认知投入成分的可测量性、多模态数据测量的全面性和非线性算法的适切性^[18][19]。结合案例，本研究得到的具体结论与启示如下：

1 认知投入具有多维性

案例在复杂动态系统、认知投入等相关理论的指导下，使用基于CDST的课堂认知投入评测层次模型，将认知投入概念化为认知行为、情感与言语的三维外显结构，强调认知投入的复杂性。除结构之外，根据投入的完整性原则，投入是一种从完全脱离到完全沉浸的连续过程^[20]。因此，在课堂情境中，更多与课堂有关的脱离行为（如注意力不集中、睡觉等）、脱离情感（如无聊）以及脱离言语（如未经允许大声讲话、哭闹等）指标也是构成其复杂系统的重要成分，这为刻画完整的认知脱离至投入提供了视觉、文本等多模态感知信息，并为认知投入的多维机理研究提供了借鉴。

建议未来在更复杂的学习情境下，挖掘更多维度（如社交的）、使用更多模态（如生理的）数据来评测认知投入，这可能会进一步完善认知投入复杂动态系统的研究。实践上，建议教师通过开展小组讨论、游戏化教学、项目式学习等形式，强化学生的积极行为、言语和情感表达，让学生不仅理解知识，还要勇于表达情感，进行主动学习。对于具体的维度，教师可以考虑个性化的教学指令，如请学生动手操作、鼓励或夸赞学生的回答等。

2 认知投入具有动态性

案例证实了认知投入的动态性：首先，认知行为在学习指导阶段大幅度起伏的现象与Chi等^[21]的发现一致，无论教师如何指导学习，中小学生都倾向于做出积极的反应。其次，认知行为在总体上呈现被动的趋势，这符合小学数学教学的特点，即教师常见的数学教学活动是要求学生在其解释新内容或解决数学时注意倾听等^[22]。此外，认知脱离在课堂总结阶段最明显，这是由于教师并未提出新概念，学生没有感知到新信息，导致其信息加工过程未被完全激活，从而演变为自由散漫的状态，这也为教师在教学事件和时间尺度上的干预提供了指导。此外，案例还发现认知情感的波动并不大，且以积极情感为主导，这与Dubovi^[23]的结论一致，也就是说即使存在多种活动，学生仍会在所有活动中获得更多快乐的情绪，并通过面部表情体现出来。

挖掘认知投入的动态规律，需要在研究范式上实现从横断式研究到纵向研究的思维转变，这种转变的核心是建立基于连续时间线的多模态数据采集和分析流程，对于揭示课堂认知投入的演化趋势具有重要意义。具体到实践上，建议教师在学习指导阶段采取多种行为激活措施来促进学生对信息的编码，包括时常停顿、反复强调、及时纠正学生反馈的错误信息。进一步地，建议教师在课堂总结阶段持续营造积极向上的课堂氛围，提高学生的注意力，使他们保持积极的投入状态。此外，积极的情感有助于保持学生的专注力，教师在后续的课堂中仍需继续施加以学生为中心的活动来促进学生拥有更积极的情感体验。

3 认知投入具有个体差异性

首先，案例揭示了个体认知投入水平的差异性，赵春等^[24]也得出了类似的结果，这为面向学生的认知投入诊断和个性化发展提供了决策支持。其次，案例个体的认知脱离频率较高，且以认知情感脱离最为严重，这可能是由于情感脱离阻碍了投入的发生。此外，案例还表明无聊情感极大地抑制了行为与言语，从而呈现出整体脱离的状态。也有研究强调了认知情感的复杂性，当学生处理多种情绪时，会增加认知负荷，从而对学习产生负面影响^[25]。由此来看，脱离的复杂性和认知情感的作用都回应了认知投入成分的复杂特性。进一步地，案例个体频繁的低阶言语和活跃的认知行为现象，与回溯视频观察的结果一致，活跃的行为也意味着案例个体在非言语表达和交互方面的潜能。（来源：“现代教育技术杂志社”微信公众号2024年12月26日）