引用本文

戴瑞芬, 王芳, 郭雷. 大回归模型的自适应学习. 自动化学报, 2025, 51(10): 2256−2268 doi: 10.16383/j.aas.c250286

Dai Rui-Fen, Wang Fang, Guo Lei. Adaptive learning of large regression models. Acta Automatica Sinica, 2025, 51(10): 2256−2268 doi: 10.16383/j.aas.c250286

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250286

关键词

自适应学习，大回归模型，收敛性理论，一般数据条件，饱和观测，司法量刑

摘要

随着信息技术的快速发展, 特别是计算能力和数据收集能力的持续提升, 利用大参数模型对复杂场景进行建模已成为显著的发展趋势. 然而, 关于一般反馈输入下此类模型的学习问题, 在控制系统领域却鲜有研究. 鉴于此, 针对饱和观测下的大回归模型, 设计一种在线扩展型自适应学习算法. 该算法可随着新数据的增加自动更新算法维数和计算结果, 在无需存储历史数据的前提下, 实现学习结果的动态调整与输出的实时预测. 具体而言, 在一般的非持续激励数据条件下证明了所提出算法的收敛性, 该结果可以适用于一般反馈控制系统. 此外, 在无需任何数据激励条件的情况下, 证明了所提出算法的预测“遗憾”具有良好的收敛性. 最后, 基于真实的故意伤害罪判决数据开展司法量刑预测实验, 检验了所提出算法的计算效率和预测精度.

文章导读

随着信息技术的迅猛发展, 特别是计算能力和数据收集能力的显著提升, 大参数模型在众多领域得到广泛应用, 尤其是近几年发展迅猛的大语言模型[1−2]. 此类模型通常包含大量乃至无穷的未知参数, 能够更加有效地刻画复杂系统的动态特性和潜在规律. 本文将考虑一类具体的大参数模型称为大回归模型. 这类模型能够描述现实世界中许多无穷阶系统, 将非参数问题转化为参数化问题来处理, 将某些非凸优化问题转化为凸优化问题来研究, 甚至还能处理某些传统框架下难以应对的有限阶系统问题. 因此, 对大回归模型进行相关算法设计与理论研究具有重要意义.

特别地, 在众多复杂动力系统中, 数据的固有属性以及观测器的测量局限常常影响输出观测的完整性, 饱和观测数据在实际应用中普遍存在. 此类观测数据往往只能反映输出信号的部分信息: 当输出位于某一可观测区间内时, 可被精确测量, 而一旦超出该区间, 观测值则会“饱和”, 即被限制在区间边界. 饱和输出观测数据的存在使得即便对于经典的有限阶线性回归系统, 包含输出的回归向量也无法完整获取. 因此, 传统的系统辨识方法难以适用, 而有必要发展适用于此类情形的大回归模型辨识方法.

进一步, 尽管机器学习等极大推动了自动化与智能化进程, 目前相关理论与技术仍面临诸多困难与挑战: 首先, 传统的机器学习计算方法与理论主要基于统计学范式, 通常要求输入数据满足独立同分布(Independent and identically distributed, i.i.d.)或平稳遍历等理想化假设, 这些假设在可进行模拟实验设计的理想环境中或许是可行的, 但在许多真实世界的应用场景中却难以验证或满足. 尤其是在带有反馈回路的复杂动态系统中, 输入数据的性质通常由复杂的非线性动力学方程所决定, 其远不满足独立性和平稳性等经典统计学假设[3−5]. 其次, 在实际机器学习任务中, 海量数据随时间不断累积, 为计算设备带来极大的存储压力. 尤其是针对大规模的学习任务, 庞大的存储需求导致数据存储成本急剧上升, 可能会降低整个系统的计算效率与响应速度.

因此, 在饱和输出观测和更一般输入数据条件下建立大回归模型的学习方法和理论, 并在不事先存储所有数据的前提下实现自适应学习的目的, 成为重要的研究方向.

近期, 文献[31]基于文献[29−30]的理论和方法, 针对饱和观测下的大回归模型提出一种拟牛顿型辨识算法, 并在Non-PE条件下对该算法的辨识与预测性能进行理论分析. 然而, 该算法缺乏自适应机制, 在处理大规模高维数据时可能面临存储需求大、计算效率低等一系列挑战. 因此, 为克服上述研究中(如文献[29−31])算法的存储与计算瓶颈, 本文针对饱和观测条件下的大回归模型, 设计一种高效的自适应学习算法, 并在适用于反馈输入信号的一般数据条件下, 建立算法的自适应辨识与预测理论. 本文的主要贡献如下:

1)设计一种在线扩展型自适应学习算法高效估计饱和观测下的大回归模型的未知参数. 该算法不仅能够随着新数据的增加自动更新算法维数, 且适应动态流数据环境, 在无需存储历史数据的前提下实现在线学习与预测, 在时间和空间复杂度上显著优于现有相关方法, 适用于大规模高维数据的快速响应与实时处理.

2)在一般的非持续激励数据条件下, 利用随机李雅普诺夫函数方法及鞅估计理论, 得到所提出算法的收敛性和收敛速度. 该结果无需输入数据满足i.i.d. 或平稳遍历性等严苛假设, 且适用于随机反馈控制系统. 此外, 在无需任何数据激励的条件下, 通过对输出与观测的预测“遗憾”的收敛性证明, 验证了所设计的自适应预测器具备良好性能.

3)基于真实的故意伤害罪判决数据, 开展司法量刑预测实验, 通过分析预测精度随参数规模递增的变化趋势, 为量刑预测任务中的较优参量选取提供有效参考. 此外, 通过与文献[31]中算法的对比实验, 直观展示了本文算法在保证精准量刑预测的同时显著降低存储开销并提升运算效率.

本文的结构安排如下: 第1节介绍饱和观测下大回归模型的具体形式, 并引入本文所需的基本符号与假设条件; 第2节提出一种自适应投影学习算法, 用于估计模型中的未知参数; 第3节给出本文主要的理论结果; 第4节给出相关结果的详细证明; 第5节基于实际司法判决数据开展量刑预测实验, 验证所提出算法的预测性能与计算效率; 第6节对全文进行总结, 并就未来的研究方向进行展望.

图1  随着参数规模递增的轻伤案件平均预测精度趋势变化

图2  随着参数规模递增的重伤案件平均预测精度趋势变化

图3  随着参数规模递增的轻伤案件平均预测遗憾趋势变化

本文针对饱和观测下的大回归模型, 设计一种新的高效在线学习算法, 并在一般复杂数据条件下建立其自适应辨识与预测理论, 在保障学习精度的同时, 显著降低运算代价. 此外, 基于真实司法判决数据开展量刑预测实验. 通过分析预测精度随参数规模增长的变化趋势, 为量刑模型规模选取问题提供重要参考; 通过对比实验检验本文算法的计算效率和预测精度. 未来研究可进一步探讨更一般的非线性大参数模型(如深度神经网络)自适应学习的收敛性理论及参数规模选取问题; 同时, 也可在本文模型基础上进一步研究自适应控制系统的理论问题, 为相关具身智能系统的研究提供理论和方法基础.

作者简介

戴瑞芬

山东大学数据科学研究院博士研究生. 主要研究方向为非线性随机系统的学习与控制及其在法律人工智能中的应用. E-mail: dairuifen@mail.sdu.edu.cn

王芳

山东大学数据科学研究院教授. 主要研究方向为计算法学, 数据科学, 复杂社会系统管理. E-mail: wangfang226@sdu.edu.cn

郭雷

中国科学院院士, 中国科学院数学与系统科学研究院研究员. 主要研究方向为系统与控制科学, 特别是自适应与不确定性动态系统的学习、滤波、控制与博弈. 本文通信作者.E-mail: lguo@amss.ac.cn