引用本文

李慧芳, 黄姜杭, 徐光浩, 夏元清. 基于多维度特征融合的云工作流任务执行时间预测方法. 自动化学报, 2023, 49(1): 67−78 doi: 10.16383/j.aas.c210123

Li Hui-Fang, Huang Jiang-Hang, Xu Guang-Hao, Xia Yuan-Qing. Multi-dimensional feature fusion-based runtime prediction approach for cloud workflow tasks. Acta Automatica Sinica, 2023, 49(1): 67−78 doi: 10.16383/j.aas.c210123

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210123

关键词

云数据中心，工作流，集成学习，特征融合，执行时间预测 

摘要

任务执行时间估计是云数据中心环境下工作流调度的前提. 针对现有工作流任务执行时间预测方法缺乏类别型和数值型数据特征的有效提取问题, 提出了基于多维度特征融合的预测方法. 首先, 通过构建具有注意力机制的堆叠残差循环网络, 将类别型数据从高维稀疏的特征空间映射到低维稠密的特征空间, 以增强类别型数据的解析能力, 有效提取类别型特征; 其次, 采用极限梯度提升算法对数值型数据进行离散化编码, 通过对稠密空间的输入向量进行稀疏化处理, 提高了数值型特征的非线性表达能力; 在此基础上, 设计多维异质特征融合策略, 将所提取的类别型、数值型特征与样本的原始输入特征进行融合, 建立基于多维融合特征的预测模型, 实现了云工作流任务执行时间的精准预测; 最后, 在真实云数据中心集群数据集上进行了仿真实验. 实验结果表明, 相对于已有的基准算法, 该方法具有较高的预测精度, 可用于大数据驱动的云工作流任务执行时间预测.

文章导读

云资源的按使用付费模式以及弹性扩展能力, 为大规模科学应用的分布式管理与高效执行提供了快速、灵活、可扩展的部署环境[1-3]. 科学应用的分布式管理与高效执行的关键在于工作流调度, 而调度算法的设计、调度性能的优劣以及调度方案的可实施性, 直接取决于任务执行时间的估计精度[4-5].

在实际云数据中心环境下, 大量、频繁的用户服务请求与响应, 使数据中心的运行数据规模呈指数级增长. 其中, 工作流执行日志数据包含了大量的任务执行时间历史及其相关影响因素数据, 并在数据驱动的任务执行时间预测中发挥着重要作用. 任务执行时间的影响因素数据, 可根据其特征划分为类别型数据和数值型数据. 类别型数据与任务和资源的多样性、异构性相关, 其数值离散且取值范围广, 如任务名称和机器ID等; 数值型数据则与云环境的动态特性相关, 其数值连续, 且在一定范围内波动, 如资源利用率和网络带宽等. 在大数据环境下, 类别型数据的高维稀疏特性会扩大模型的搜索空间, 数值型数据的低维稠密特性会降低部分特征之间的差异性, 从而加大了模型寻优和学习的难度, 给任务执行时间预测带来了巨大挑战[6].

本文提出了一种基于多维度特征融合(Multi-dimensional feature fusion, MDFF)的云工作流任务执行时间预测算法. 针对类别型数据和数值型数据的特点, 设计不同的特征提取方法, 分别提取类别型和数值型特征. 同时, 通过将提取的特征和原始数据特征进行有选择地融合, 并采用轻量梯度提升机算法对融合特征进行挖掘与利用, 实现云工作流任务执行时间的精准预测.

本文的主要贡献如下:

1)构建具有注意力机制的堆叠残差循环网络, 将类别型数据从高维稀疏空间映射到低维稠密空间, 通过减小搜索空间, 提升模型对类别型数据的解析能力, 同时增强模型对类别型特征的关注度, 以有效提取类别型特征, 提高预测精度.

2)引入极限梯度提升算法, 对数值型数据进行离散化编码, 通过将过于稠密的数值型数据稀疏化, 突出特征之间的差异性, 避免模型训练陷入局部最优的可能, 提升模型的非线性信息表达能力, 有效提取数值型特征, 改善预测精度.

3)设计多维异质特征融合策略, 将具有注意力机制的堆叠残差循环网络提取的类别型特征、极限梯度提升(Extreme gradient boosting, XGB)模型提取的数值型特征与原始样本数据进行选择性融合, 以充分挖掘与利用任务执行时间的多维度特征, 学习更全面的任务执行时间知识, 降低预测误差.

图 1  基于多维度特征融合的云工作流任务执行时间预测模型

图 2  基于SARR的类别型特征提取器

图 3  基于XGB的数值型特征提取器

云计算中的工作流调度和资源配置依赖于任务执行时间的准确估计. 本文针对工作流任务执行时间预测问题, 提出了一种基于多维度特征融合的预测方法. 首先, 构建具有注意力机制的堆叠残差循环网络, 对类别型数据进行特征提取, 增强了模型对类别型数据的解析能力. 其次, 引入XGB对数值型数据进行离散化编码, 提取数值型特征, 提高了模型的非线性表达能力. 然后, 融合提取到的特征和原始样本特征, 获得多维异质特征, 给预测模型提供了更全面的任务执行时间知识. 最后, 利用LGBM对多维异质特征进行充分挖掘, 构建预测模型, 实现对云工作流任务执行时间的精准预测, 并采用阿里巴巴的集群数据集进行了实验验证. 实验结果表明, 该方法优于现有的基线预测算法, 在MAE、RMSE、RMSLE以及R2四种评价指标下, 均达到了更好的性能. 因此, 本文所提出的基于多维度特征融合的预测方法, 能够满足大数据环境下云工作流任务执行时间预测的需求. 然而, 本文仅在集群数据集上进行了预测模型的搭建, 如何将预测模型部署到实际云数据中心, 实现工作流任务执行时间的在线预测, 仍需进一步探索研究.

作者简介

李慧芳

北京理工大学自动化学院副教授. 主要研究方向为Petri网, 工作流, 云计算, 任务调度, 故障诊断和深度学习的应用. E-mail: huifang@bit.edu.cn

黄姜杭

北京理工大学自动化学院硕士研究生. 主要研究方向为工作流, 云计算和任务调度. E-mail: 3220190687@bit.edu.cn

徐光浩

北京理工大学自动化学院硕士研究生. 主要研究方向为工作流, 云计算和任务调度.E-mail: 3220200812@bit.edu.cn

夏元清

北京理工大学自动化学院教授. 主要研究方向为云控制, 云数据中心优化调度管理, 智能交通, 模型预测控制, 自抗扰控制, 飞行器控制和空天地一体化网络协同控制. 本文通信作者. E-mail: xia_yuanqing@bit.edu.cn