引用本文

黄慕轶, 朱佳雯, 戴鑫, 杜文莉, 钱锋. 基于强化学习的流程工业智能决策研究与展望. 自动化学报, 2025, 51(10): 2163−2177 doi: 10.16383/j.aas.c250272

Huang Mu-Yi, Zhu Jia-Wen, Dai Xin, Du Wen-Li, Qian Feng. A review and perspective on reinforcement learning for intelligent decision-making in process industries. Acta Automatica Sinica, 2025, 51(10): 2163−2177 doi: 10.16383/j.aas.c250272

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250272

关键词

强化学习，流程工业，大规模，不确定性

摘要

流程工业是现代制造体系的重要组成部分, 其生产过程的优化决策直接关系到企业的经济效益与资源利用效率. 随着生产规模扩大与系统复杂性提升, 传统依赖机理建模或启发式规则的优化方法在应对高维耦合、非线性及不确定性等工业特性时逐渐显现出局限性. 强化学习因其无需依赖过程模型, 具备高效决策、自适应调整和应对不确定性的能力, 有望解决上述问题, 成为流程工业智能决策研究的重要方向. 然而, 流程工业中强化学习的落地应用仍面临诸多挑战, 如状态−动作空间维度庞大、结构多样, 过程约束复杂, 工况非平稳性强. 本文系统梳理强化学习在流程工业中的应用现状与关键技术, 重点讨论其在复杂决策空间、约束处理、大规模系统及不确定性环境中的算法演进与应用探索, 最后展望未来的发展趋势与潜在研究方向, 为复杂工业系统的智能优化提供理论基础与方法支撑.

文章导读

流程工业作为现代制造业的核心组成部分, 在国民经济中占据着举足轻重的地位. 石油化工、钢铁冶金、生物制药等典型流程工业具有生产连续性强、工艺复杂、能耗高等显著特点, 其生产过程的优化决策直接影响企业的经济效益和市场竞争力. 传统的优化方法主要依赖于精确的机理模型或专家经验, 如基于数学规划的优化方法[1−2]或元启发式智能优化方法[3−5]. 然而, 随着生产规模的扩大和工艺复杂度的提升, 这些传统方法在应对高维度、强耦合、非线性等工业特性时逐渐显现出局限性, 特别是在处理原料波动、市场变化和设备故障等不确定性因素时, 往往难以高效地实现全局最优决策.

近年来, 强化学习[6]作为人工智能领域的重要分支, 凭借其在高维动态系统中的优越表现, 逐渐成为流程工业智能决策与优化控制研究的热点方向. 不同于传统方法对模型的依赖, 强化学习通过智能体与环境的交互, 在“试错−反馈−优化”的循环中自主学习策略, 无需事先构建明确的机理模型, 能够在缺乏精确数学描述或建模成本极高的流程系统中直接进行策略学习与优化控制. 这一特性对于结构复杂、建模困难的工业过程具有重要意义. 强化学习的另一个显著优势在于其高效的在线决策能力[7]. 与传统优化算法在每次执行前需重新求解不同, 强化学习在训练完成后将最优策略以神经网络的形式进行参数化表示. 在推理阶段, 智能体只需通过一次前向传播即可输出动作, 无需遍历解空间或求解复杂模型, 从而实现快速决策. 同时, 强化学习计算效率不随问题实例显著变化, 而传统优化方法的求解时间通常随问题规模呈指数级增长. 这些特点使得强化学习方法在面对实时性要求较高的任务时具备极强的应用价值, 能够显著缩短求解时间并提升决策效率. 此外, 强化学习的自学习能力也赋予其较强的可扩展性与适应性. 在实际应用中, 当生产环境或工况条件发生变化时, 强化学习智能体可以继续通过交互不断修正和优化已有策略, 无需完全重建模型或重新设计优化结构. 这一持续学习机制尤其适合流程工业中高度动态、非稳定的运行环境, 有助于提升系统的鲁棒性与自主调整能力[8]. 值得注意的是, 强化学习在处理不确定性与扰动问题方面展现出天然优势[9]. 不同于确定性优化方法仅针对固定输入求解最优解, 强化学习可在不确定性场景中充分考虑当前行为对未来状态和长期收益的影响. 例如, 在装置运行中出现传感器漂移、设备波动等情况时, 强化学习智能体可以通过对历史交互的经验积累, 自动学习如何做出最优调整. 这一能力为工业系统提供了对突发事件和不可预见扰动的快速响应手段, 显著增强了系统运行的稳定性与安全性.

然而, 将强化学习技术应用于实际流程工业中的调度与决策任务, 仍面临诸多关键挑战. 首先, 流程工业的生产过程通常涉及数百个实时监测变量和大量可调操作参数, 构成了极其高维的状态与决策空间, 使得策略的学习与收敛变得异常复杂. 其次, 调度方案必须严格遵循安全、环保、质量与资源等多重生产约束, 在此基础上实现有效探索与策略优化是强化学习面临的核心难题之一. 同时, 全厂级的生产调度往往涵盖多个相互关联的装置单元和作业流程, 要求算法不仅具备良好的可扩展性, 还能在有限时间内完成高效决策, 满足工业现场对实时性的刚性需求. 此外, 设备老化、原料波动以及外部市场变化等不确定因素, 导致生产环境呈现显著的非平稳性, 进一步考验算法在动态环境下的鲁棒性与适应能力. 这些因素共同构成了强化学习在流程工业智能调度决策中实现落地应用所必须跨越的技术壁垒.

为系统梳理强化学习在流程工业中的应用现状和发展趋势, 本文从多个维度展开深入分析: 第1节介绍强化学习的基础概念; 第2节系统回顾流程工业高维决策空间中强化学习方法的技术演进路径; 第3节重点分析复杂工程约束条件下强化学习算法的适应性改进研究; 第4节介绍强化学习在大规模工业系统过程中的典型应用; 第5节探讨强化学习在不确定性环境中的研究进展; 第6节对全文内容进行总结; 最后, 第7节基于人工智能前沿发展趋势, 归纳了强化学习在流程工业中未来可能的研究方向与技术突破路径.

图1  参数化DQN结构

图2  层级策略结构

图3  注意力模块设计

本文系统综述了强化学习在流程工业决策优化中的研究进展, 围绕变量类型、生产约束、系统规模与不确定性等典型工业决策特征, 梳理并归纳了当前主流方法与关键技术. 针对离散、连续及混合变量问题, 强化学习方法在建模表达与策略搜索上展现出显著差异, 分别形成了针对性的算法体系; 在复杂生产约束场景中, 引入环境先验知识与受限马尔科夫决策过程成为提升可行性与安全性的有效路径; 面对大规模系统, 状态表征、动作降维及任务分解等策略为强化学习在工业级问题上的应用提供了可行性支撑; 而在不确定性条件下, 预防性策略与反应性策略的结合则提升了策略的稳健性与适应能力.

作者简介

黄慕轶

华东理工大学信息科学与工程学院博士研究生. 主要研究方向为原油调度, 强化学习. E-mail: y20190058@mail.ecust.edu.cn

朱佳雯

华东理工大学信息科学与工程学院博士研究生. 主要研究方向为计划排产, 数学规划和强化学习. E-mail: y20230100@mail.ecust.edu.cn

戴鑫

华东理工大学博士后. 2023年获得华东理工大学博士学位. 主要研究方向为过程优化, 不确定优化和强化学习. E-mail: xindai@ecust.edu.cn

杜文莉

华东理工大学信息科学与工程学院教授. 主要研究方向为控制理论与应用, 系统建模, 先进控制和过程优化. E-mail: wldu@ecust.edu.cn

钱锋

中国工程院院士, 华东理工大学信息科学与工程学院教授. 主要研究方向为复杂石化工业过程建模、控制与优化, 智能控制. 本文通信作者. E-mail: fqian@ecust.edu.cn