引用本文

刘鑫, 陈强, 王兰豪, 代伟. 非对称偏斜噪声条件下一种鲁棒概率系统辨识算法研究. 自动化学报, 2024, 50(10): 2022−2035 doi: 10.16383/j.aas.c230624

Liu Xin, Chen Qiang, Wang Lan-Hao, Dai Wei. Research on robust probabilistic system identification method with asymmetric and skewed noise. Acta Automatica Sinica, 2024, 50(10): 2022−2035 doi: 10.16383/j.aas.c230624

关键词

鲁棒系统辨识，非对称偏斜噪声，广义双曲倾斜学生氏t分布，期望最大化算法 

摘要

在现有的系统辨识算法中, 常用的高斯、学生氏t (Student＇s t, St)、拉普拉斯等噪声分布均呈现出对称的统计特性, 难以描述非对称性、有偏的输出噪声, 使得在非对称偏斜噪声条件下算法的性能下降. 基于此, 研究一类广义双曲倾斜学生氏t (Generalized hyperbolic skew student＇s t, GHSkewt)分布, 并在非对称偏斜噪声条件下, 提出一种线性系统鲁棒辨识算法. 首先, 对GHSkewt分布的重尾特性和偏斜特性进行详细阐述, 数学上证明了标准学生氏t分布可看作是GHSkewt分布的一个特例; 其次, 引入隐含变量将GHSkewt分布进行数学分解, 以方便算法的推导和实现; 最后, 在期望最大化(Expectation-maximization, EM)算法下, 重构具有隐含变量系统的代价函数, 通过迭代优化的方式, 不断从被污染数据集中学习过程的动态特性和噪声分布, 实现噪声参数和模型参数的联合估计.

文章导读

工业过程的复杂性使第一原理建模方法的使用受到限制, 系统辨识作为一种过程数据驱动的建模方法, 已在工业过程建模中受到了广泛关注[1-6]. 与传统建模方法相比, 系统辨识方法的优势在于无需探索系统内部的复杂机理, 只需有效利用系统输入输出数据, 便可简单、高效地实现系统等价模型的构建[7-11]. 但在实际工业过程中, 数据采集过程未知的外部干扰、设备耦合、测量设备故障等因素常导致数据集中包含服从未知分布的噪声或异常值. 上述问题会严重降低辨识数据集的质量, 对系统辨识算法提出了更高要求. 在系统辨识领域, 由于数据集的质量不能得到稳定保证, 因此如何提高辨识算法的鲁棒性, 一直是研究的重点[12-15]. 阈值检测删除法是当输出数据超出一定阈值即判定为异常值, 仅保留非异常值数据用于参数估计. 显然, 数据点的删除会造成有用信息的缺失, 并且在复杂工业过程中选择适当阈值是困难的. 最早的鲁棒辨识算法是具有分段损失函数的Huber鲁棒回归. Huber估计将最小绝对偏差损失函数应用于异常值, 将普通最小二乘方法应用于正常数据[16-18]. 

鲁棒概率建模是降低异常值对算法性能影响的有效方法. 传统基于高斯分布推导的辨识算法为正常数据点和异常数据点分配等值权重是导致算法性能下降的本质原因[1, 17]. 高斯分布尾部较短, 对异常值缺乏鲁棒性, 无法降低异常值在算法参数估计中的权重. 针对这个问题, 文献[19]采用2个高斯分布混合对噪声建模, 以提高算法的鲁棒性; 利用方差较大的高斯分布对异常值建模, 利用方差较小的高斯分布拟合普通高斯白噪声, 在概率推导框架下得到分段线性自回归系统的鲁棒参数估计公式. 但是当异常值分布完全不规则时, 单个方差较大的高斯分布难以刻画其统计性质. 近年来, 研究者们注意到采用重尾分布建模噪声能够保障算法的鲁棒性. 常用重尾分布有学生氏t (Student＇s t, St)分布、拉普拉斯(Laplace)分布及其多元形式. 这些重尾分布理论上能统计任意特征的异常值, 因为其在数学上能分解成无限子高斯分布的混合. 文献[4]针对线性自回归系统, 研究了基于学生氏t分布的鲁棒递推辨识算法. 进一步, 文献[20]在线性参数变化系统上, 基于学生氏t分布完成鲁棒概率建模, 提高了算法的鲁棒性; 文献[21]以状态空间模型为例, 采用学生氏t分布的重尾特性抑制异常值的影响, 提高了模型参数估计的精度; 文献[22]讨论了非线性状态空间的鲁棒辨识问题, 论述了采用学生氏t分布建模噪声的优越性, 并从数学角度对辨识算法的鲁棒性进行了清晰和明确的解释. 相比于学生氏t分布, 拉普拉斯分布的概率密度函数较为简单, 其有着更尖锐的峰值和更长尾部. 因此, 拉普拉斯分布驱动的鲁棒辨识算法在参数估计上有着更小的计算成本, 在算法收敛速度上有显著提高. 文献[17]为提高算法收敛速度, 采用拉普拉斯分布代替学生氏t分布统计系统的噪声特性, 提出一种线性系统在线鲁棒辨识算法; 文献[23]针对工业过程数据存在复杂非高斯和多模态特征问题, 采用了多元拉普拉斯分布进行鲁棒建模. 

上述鲁棒系统辨识算法都是基于对称重尾分布得到的, 利用分布的重尾特性保障算法的鲁棒性. 由于脉冲干扰、测量值异常和人为建模误差等因素, 非对称噪声在实际工业过程中普遍存在. 作为对称分布的推广, 非对称分布能够灵活地反映测量噪声中出现的偏态及重尾特性, 已在机电定位系统、超宽带测距定位、生物统计学和经济学等领域应用[24-31]. 如在编码器和驱动轴间的错误连接, 可导致机电定位系统中编码器的脉冲丢失, 从而引入位置偏差[24]; 在超宽带测距定位领域, 多径效应和非视距误差会导致非负的测量误差[31]. 因此, 在输出噪声服从非对称分布情况下, 现有基于对称分布建模的辨识算法估计误差会出现明显的偏斜, 导致算法性能下降. 为解决上述问题, 文献[29]研究了非对称量测噪声条件下线性状态空间系统辨识问题, 引入偏斜t分布描述数据呈现出的偏态和重尾特性, 以保证模型的精确度; 文献[32]研究了多模型的鲁棒线性参数变化模型, 采用非对称拉普拉斯分布描述实际工业过程非对称噪声. 上述工作进一步提高了算法的鲁棒性, 但所采用的分布较为固定, 难以统计实际过程中灵活多变的噪声分布特性. 

广义双曲倾斜学生氏t (Generalized hyperbolic skew student＇s t, GHSkewt)分布拥有着更多的参数调整空间, 其重尾和偏斜特性能保障算法的鲁棒性, 并且能灵活调节其超参数, 以实现噪声分布特性的统计, 有着更广的适用范围[33-34]. 基于此, 本文考虑输出数据受到非对称偏斜噪声污染的问题, 有针对性地研究了GHSkewt分布的重尾特性和偏斜特性, 并基于此, 提出一种线性系统鲁棒辨识算法. 首先, 对GHSkewt分布进行详细介绍, 在数学上证明了标准学生氏t分布可以看作是GHSkewt分布的一个特例; 然后引入隐含变量, 将GHSkewt分布进行数学分解, 以方便算法的推导和实现; 最后, 在期望最大化(Expectation-maximization, EM)算法下, 重构具有隐含变量系统的代价函数, 通过迭代优化的方式, 不断从被污染数据集中, 学习过程的动态特性和噪声分布, 实现噪声参数和模型参数的联合估计. 本文主要贡献包括以下3点: 

1)考虑到输出数据中非对称偏斜测量噪声的污染问题, 系统地研究了GHSkewt分布的重尾特性和偏斜特性, 提出一种适用范围更广的鲁棒辨识算法; 

2)在数学上证明了标准学生氏t分布可以看作是GHSkewt分布的一个特例, 并且引入隐含变量, 将GHSkewt分布分解, 使得算法的推导和实现更加高效; 

3)在EM算法框架下构建系统的概率模型, 算法能自适应地学习过程的动态特性和噪声分布, 以实现噪声参数和模型参数的联合估计. 

图 1  对称分布与参数值β和υ不同的GHSkewt分布对比

图 2  真实输出和含15%异常值比例输出的对比

图 3  偏斜噪声G₀的概率密度曲线

本文在非对称偏斜测量噪声条件下, 利用GHSkewt分布对输出噪声进行建模, 并提出线性系统鲁棒辨识(GHSkewt-Iden算法). 从数学上证明了标准学生氏t分布可看作是GHSkewt分布的一个特例, 验证了本文提出的算法适用范围更广、泛化性能更强. 实验结果表明: 1)针对输出异常值问题, 本文GHSkewt-Iden算法的效果与基于学生氏t、拉普拉斯分布的算法具有可对比性, 表明GHSkewt分布的重尾特性保障了算法的鲁棒性; 2)针对非对称偏斜噪声问题, 本文GHSkewt-Iden算法效果明显优于基于学生氏t、拉普拉斯分布算法, 表明GHSkewt分布的偏斜特性使其能够自适应地调整超参数, 以描述偏斜噪声的统计特性, 进而保障了算法对非对称偏斜噪声的有效性和稳定性. 

综上, 针对偏斜噪声问题, 本文提出的GHSkewt-Iden鲁棒辨识算法与现有的鲁棒辨识算法相比, 适用范围更广、泛化性能更强. 在本文研究基础上, 未来的研究工作可集中在以下2个方面: 

1)进一步对算法的收敛性和初值选取进行理论研究; 

2)实际工业过程除受偏斜噪声、异常值等干扰外, 常具有时变特性且新数据以流的方式传输, 因此研究基于流数据的在线辨识算法尤为重要. 

作者简介

刘鑫

中国矿业大学人工智能研究院副教授. 2019年获得哈尔滨工业大学博士学位. 主要研究方向为系统辨识, 数据驱动的过程建模和软测量方法. E-mail: 15B904027@hit.edu.cn

陈强

中国矿业大学信息与控制工程学院硕士研究生. 主要研究方向为系统辨识. E-mail: qiangchen@cumt.edu.cn

王兰豪

中国矿业大学炼焦煤资源绿色开发全国重点实验室副教授. 主要研究方向为复杂工业过程的工艺参数检测、优化决策与智能控制. 本文通信作者. E-mail: wanglanhao888@163.com

代伟

中国矿业大学信息与控制工程学院、人工智能研究院教授. 主要研究方向为复杂工业过程建模、运行优化与控制. E-mail: weidai@cumt.edu.cn