引用本文

席磊, 周礼鹏. 分布式多区域多能微网群协同AGC算法. 自动化学报, 2020, 46(9): 1818−1830 doi: 10.16383/j.aas.c200105

Xi Lei, Zhou Li-Peng. Coordinated AGC algorithm for distributed multi-region multi-energy micro-network group. Acta Automatica Sinica, 2020, 46(9): 1818−1830 doi: 10.16383/j.aas.c200105

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200105

关键词

综合能源，多能微网，自动发电控制，强化学习，双重Q学习 

摘要

综合能源多区域协同是电网发展趋势, 而核心问题是采用何种方法对多区域进行协同. 本文基于Q ( σ )融入了资格迹及双重Q学习, 提出一种面向多区域多能微网群的多智能体协同控制算法, 即DQ ( σ,λ ), 避免传统强化学习动作探索值高估的同时, 来获取分布式多区域的协同. 通过对改进的IEEE两区域负荷频率控制模型及三区域多能微网群自动发电控制(Automatic generation control, AGC)模型仿真, 结果表明, 与传统方法相比, 所提算法具有快速收敛性和更优动态性能, 能获得分布式多区域多能微网群的协同.

文章导读

发展新能源能够解决化石燃料燃烧引起的环境恶化问题, 集成了源、荷、气、热、储等多种分布式能源[1]的综合能源系统[2-3]势在必行, 但规模化的分布式新能源并网将带来强随机扰动, 以及由于传统机组惯性降低、缺乏辅助频率支持、调频容量不足等引起的频率失稳问题[4], 给现代电力系统的运行和控制提出了新的挑战. 因此, 本文从自动发电控制(Automatic generation control, AGC)角度面向多区域多能微网群提出一种新的频率控制方法以实现多区域协同控制.

当前AGC控制方法主要分为传统解析式和机器学习两大类. 基于传统解析式的控制方法, 以PID控制方法为代表[5-6]. 文献[7]提出了基于灰狼优化算法的分数阶PID控制器参数优化整定方案, 解决了网络化时滞互联电网的负荷频率控制(Load frequency control, LFC)问题. 文献[8]提出了一种基于社会学习自适应细菌觅食算法的最优PI/PID控制器设计方法, 以解决互联电网AGC控制器参数优化整定问题. 文献[9]提出了基于随机帝国竞争算法的级联模糊分数阶CFFOPI–FOPID控制器, 以解决AGC问题. 传统控制方法主要根据区域控制偏差误差(Area control error, ACE)单一化地确定总调节功率, 控制机组出力. 然而电力系统新形态下区域间互动变化灵活, 需要根据长期历史数据进行学习、分析、存储, 以对多区域进行协同控制[10].

随着人工智能的崛起, 一些学者将人工智能方法应用于AGC, 试图解决上述问题. 基于人工智能的强化学习能够通过与环境探索试错积累经验分析获取最优策略, 机器学习体系应用在AGC, 尤以基于强化学习的Q学习应用最为广泛. 文献[11]基于Q学习提出了一种改进的极限Q学习算法, 对微电网的下垂控制进行参数整定, 从而实现频率调节与经济调度的一体化. 文献[12]提出了一种孤岛运行模式下基于平均报酬模型的多步R( λ )算法的AGC控制器, 以实现对微电网的智能发电控制与频率调整. 文献[13]提出了一种基于模型预测控制的孤岛微电网频率二次控制策略, 以解决不确定延时对系统频率的影响, 并采用小信号模型和参与因子分析系统的稳定性. 然而上述文献为单区域模型, 同样算法也为单智能体算法, 这种无多区域协同的模式, 可等效看作“集中式”控制, 无法满足日益发展的综合能源模式下分布式多区域协同发展趋势.

多智能体强化学习是解决多智能体系统问题的一种有效方法, 而协作多智能体强化学习专注于解决协作问题. 协作多智能体强化学习与分布式优化有非常密切的联系, 因此求解分布式优化的高效最优化方法可以引入求解协作多智能体强化学习问题[14]. 文献[15]针对多区域互联微网系统, 结合线性自抗扰控制算法和基于原对偶梯度算法的多智能体系统, 提出了一种新的分布式优化控制算法, 有效地结合系统动态特性与优化过程解决负荷频率控制问题. 文献[16]在微网分层控制结构的框架下, 提出多智能体自适应控制算法, 使频率恢复额定值, 且有功功率按各分布式电源的额定功率比例分配. 文献[17]在Q学习基础上提出了一种面向混合交互环境的基于多智能体系统（Multi-agent system, MAS）和元胞自动机的微网分布式协调自趋优控制策略, 调节微源的有功和无功出力及系统频率. 文献[18]提出一种基于多智能体微电网控制框架的多智能体协作学习算法, 有效管理微网中的微电源促使微网协调控制. 文献[19]面向分布式能源提出一种基于虚拟狼群控制策略的分层分布式控制—PDWoLF-PHC ( λ ), 算法中融入资格迹[20], 能够解决算法的时间信度分配问题, 以提高算法收敛速度, 进而来获得区域的最优控制. 然而上述的控制算法均为基于传统强化学习算法, 此类算法在随机环境中容易出现动作值在探索过程中的“高估”现象, 会导致决策质量低. 且上述算法均属于离策略, 其面临的主要问题是离策略算法难以收敛、收敛速度慢以及收敛精度低.

因此, 为解决上述问题, 通过引入参数 σ 统一离策略与在策略的优缺点, 提出了基于“将各种看似不同的算法思想联合统一以产生更好的算法”思想的Q (σ) 算法[21]. 为解决随机环境中传统强化学习算法的高估动作值, 提高算法收敛速度, 以实现多区域电力系统协同控制, 本文根据协作多智能体强化学习在Q (σ) 算法基础上融入资格迹与双重学习[22], 提出了一种基于多步统一强化学习的多智能体协同DQ (σ,λ) 控制算法. 算法中固有的偏差与方差权衡主要取决于参数 σ, 当 σ=0 时, DQ (σ,λ) 处于全采样Double Q (λ) 算法; 当 σ=1 时, DQ (σ,λ) 处于纯期望Double Expected-Sarsa (λ) 算法; 当 σ=0.5 时, DQ (σ,λ) 处于采样和期望的混合算法. 通过对改进的IEEE标准两区域负荷频率控制模型以及分布式三区域多能微网AGC模型进行仿真, 验证所提算法的有效性.

图 1  多能微网群多区域协同控制架构

图 2  DQ ( σ,λ )的算法流程

图 3  BESS仿真模型

为了对综合能源模式下的分布式多区域进行协同控制, 本文搭建了融入大量分布式能源的分布式多区域多能微网群协同的AGC模型, 并针对该模型提出了一种多智能体协同的DQ ( σ,λ )控制算法.

所提算法融入了资格迹, 不仅用于解决强化学习的时间信度分配问题, 而且“后向估计”机理提供了一个逼近最优值函数Q*的渐进机制, 可提高AGC机组功率调节快速性; 同时为解决策略探索过程中动作值的高估, 所提算法在Q( σ,λ )的基础上采用去耦“动作选择”和“动作评估”相结合的双重学习.

通过对改进的IEEE标准两区域负荷频率控制模型以及分布式3区域多能微网AGC模型进行仿真, 结果显示, 与其他智能算法相比, 所提算法能提高收敛速度93.92% ∼ 98.98%; 在能源出力不确定、负荷随机波动的情况下, DQ ( σ,λ ) 仍能保持稳定的控制效果, 区域|Δf|降低61.54% ∼ 88.89%、区域联络线功率偏差降低18.51% ∼ 79.62%、CPS1提高0.023% ∼ 0.25%、ACE降低47.82% ∼ 84.76%, 能获得综合能源模式下分布式多区域协同.

作者简介

席磊

三峡大学副教授. 2016年于华南理工大学获得博士学位. 主要研究方向为电力系统运行与控制, 自动发电控制, 智能控制方法. 本文通信作者. E-mail: xilei2014@163.com

周礼鹏

三峡大学硕士研究生. 主要研究方向为自动发电控制. E-mail: zlp197@126.com