引用本文

王肖锋, 石乐岩, 杨璐, 刘军, 周海波. F范数度量下的鲁棒张量低维表征. 自动化学报, 2023, 49(8): 1799−1812 doi: 10.16383/j.aas.c210375

Wang Xiao-Feng, Shi Le-Yan, Yang Lu, Liu Jun, Zhou Hai-Bo. Low-dimensional representation of robust tensor under F-norm metric. Acta Automatica Sinica, 2023, 49(8): 1799−1812 doi: 10.16383/j.aas.c210375

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210375

关键词

张量主成分分析，低维表征，特征提取，鲁棒性，重构误差 

摘要

张量主成分分析(Tensor principal component analysis, TPCA)在彩色图像低维表征领域得到广泛深入研究, 采用F范数平方作为低维投影的距离度量方式, 表征含离群数据和噪声图像的鲁棒性较弱. L1范数能够抑制噪声的影响, 但所获的低维投影数据缺乏重构误差约束, 其局部表征能力也较弱. 针对上述问题, 利用F范数作为目标函数的距离度量方式, 提出一种基于F范数的分块张量主成分分析算法(Block TPCA with F-norm, BlockTPCA-F), 提高张量低维表征的鲁棒性. 考虑到同时约束投影距离与重构误差, 提出一种基于比例F范数的分块张量主成分分析算法(Block TPCA with proportional F-norm, BlockTPCA-PF), 其最大化投影距离与最小化重构误差均得到了优化. 然后, 给出其贪婪的求解算法, 并对其收敛性进行理论证明. 最后, 对包含不同噪声块和具有实际遮挡的彩色人脸数据集进行实验, 结果表明, 所提算法在平均重构误差、图像重构与分类率等方面均得到明显提升, 在张量低维表征中具有较强的鲁棒性.

文章导读

在数据处理领域, 最重要的就是从海量高维数据样本中寻求最优的低维子空间表征这些样本的时空结构信息. 近年来, 以张量形式表示的多通道高维数据如彩色图像、高光谱图像、彩色视频等应用日趋增多, 张量数据处理技术也随之快速发展, 已广泛应用于信号处理[1-2]、数据挖掘[3]、模式识别[4]等众多领域. 因此, 研究张量低维表征技术, 挖掘张量数据时空结构信息及样本间相关信息, 显得尤为必要.

基于图像矩阵的低维表征技术已取得长足发展, 其中主成分分析(Principal component analysis, PCA)[5]较为典型, 其应用成果最为丰硕, 理论研究也最为深入. PCA的目标是寻找所有数据样本最优投影方向, 使得提取的低维特征能更好地表征原始数据, 更大程度实现“主成分分解”与“信息压缩”[6]. PCA以向量形式实现了图像的低维表征, 但破坏了图像的整体空间结构. 随后, 二维主成分分析 (Two-dimensional PCA, 2DPCA)[7]算法直接以矩阵的形式表征图像的低维特征. 为了进一步表征图像的深层次结构和局部特征, Wang等[8]提出了块主成分分析(Block PCA, BPCA)算法, 将图像分块重组后再进行数据投影与低维表征. 这些二维算法均采用F范数平方进行距离度量, 在其表征方向上满足PCA 投影方差最大的优化目标, 鲁棒性较差.

现今, 彩色图像与视频流等张量数据处理技术需求快速增加, 如直接采用上述一阶向量或二阶矩阵的算法进行低维表征, 则大量时空结构信息丢失[17], 并且其数据的操作量、计算的复杂度等也呈指数级增长. 因此, 基于张量对象的多线性主成分分析算法(Multilinear PCA, MPCA)[18]可以提升对张量目标的低维表征能力. 进而, 增量式张量主成分分析算法(Incremental TPCA, ITPCA)[19]和在线MPCA算法[20] 等提升了张量数据的实时处理能力, 在前景分割及目标追踪等领域得到了应用. Wu等[21]从张量的深度学习网络出发, 将传统的PCA扩展到了多线性主成分分析网络(MPCA network, MPCAnet), 实现了多维张量图像的高层语义表征. 为了提高对张量数据的局部表征能力, Li等[22] 将分块处理技术引入到TPCA算法, 对协方差矩阵的分块矩阵进行特征分解以寻求最优的表征特征. 上述张量算法在数据表征过程中其鲁棒性较弱, 对噪声极为敏感.

同样, 鲁棒张量表征算法也分为基于张量分解的低秩表征和基于距离度量的低维表征. 在张量低秩表征研究中, 基于张量奇异值分解(Tensor singular value decomposition, t-SVD)[23-24]、交替方向乘子法(Alternating direction method of multipliers, ADMM)[25]以及近似梯度法[26]等低秩表征算法较为典型. 将稀疏模型引入到目标函数[27-28], 使得表征张量数据的低秩特征的同时具有稀疏性与鲁棒性. 基于张量核范数的相关算法[29-30]在处理非线性噪声污染时具有一定的鲁棒性能. 这类张量低秩表征算法通过高阶张量分解提取特征, 其计算复杂度较高. 而基于距离度量的张量低维表征算法则更具优势. 研究者提出了基于L1范数的张量主成分分析贪婪求解算法(Tensor PCA with L1-norm greedy, TPCA-L1-G)[31]和非贪婪求解算法(Tensor PCA with L1-norm non-greedy, TPCA-L1-NG)[32], 算法具有较强的鲁棒性. 这些张量低维表征算法采用L1范数作为距离度量方式, 寻求低维表征方向上的最大投影距离, 但失去了F范数平方的旋转不变性.

与此不同, F范数保留了F范数平方的旋转不变性[33], 在基于距离度量的低维表征算法中具有显著优势. Angle-2DPCA 算法[34]和双向的Bilateral Angle-2DPCA 算法[35]将F范数作为距离度量方式, 并且考虑了重构误差与投影距离之间的关系, 给出了其非贪婪的求解算法. 这些算法无法完整表征张量数据的时空结构及样本间的相关性. 为此, Ge等[36]提出基于F范数的张量主成分分析(TPCA with F-norm, TPCA-F)算法, 以最大化投影距离作为优化目标, 在保留其旋转不变性的同时实现了对张量数据的鲁棒低维表征. 但该算法忽略张量行列之间的时空结构信息, 其重构误差也并未得到优化, 故算法的鲁棒性受到了限制.

本文总结前人研究成果, 将F范数引入鲁棒张量低维表征中, 并在行列方向对张量数据进行分块处理, 充分挖掘张量数据内部的时空结构信息, 降低噪声对低维表征的影响. 先后提出基于F范数的分块张量主成分分析算法(BlockTPCA-F)和基于比例F范数的分块张量主成分分析算法(BlockTPCA-PF. 分别给出了其贪婪的求解算法, 并对其收敛性进行了理论证明. 本文结构如下: 第1节对张量低维表征的相关算法进行简单回顾与分析; 第2节基于F范数的目标优化函数, 提出BlockTPCA-F和BlockTPCA-PF算法并进行理论分析; 第3节在Aberdeen、GT和AR彩色人脸数据集上分别进行实验与对比分析; 第4节进行总结.

图 1  BlockTPCA-F算法

图 2  BlockTPCA-PF算法

图 4  GT彩色人脸数据集样本

本文提出基于F范数和基于比例F范数的分块张量主成分分析算法. 当混入较多噪声数据时, 算法仍然具有较好的鲁棒性和较强的低维表征能力. 基于比例F范数的分块张量主成分分析算法, 将误差张量与投影张量之间的比值作为目标函数. 在追寻投影距离最大的同时确保重构误差尽可能小, 其张量低维表征效果得到了进一步提升. 给出了其贪婪求解算法, 并对收敛性进行了理论证明. 最后选用GT、Aberdeen和含有现实意义噪声的AR 彩色人脸数据集进行了实验验证, 并与MPCA算法、TPCA-L1-G 算法、TPCA-L1-NG算法以及TPCA-F算法进行了对比分析. 结果表明本文提出的算法在平均重构误差、图像重构和分类率等方面均得到了提升, 在张量低维表征领域具有较强的适用性. 后续将围绕鲁棒距离投影分析、目标函数的普适形式、求解方式等方面进一步加以研究, 不断提高张量低维表征的鲁棒性和适用性.

作者简介

王肖锋

博士, 天津理工大学机械工程学院副教授. 2018年获得河北工业大学工学博士学位. 主要研究方向为发育机器人, 模式识别与机器学习. E-mail: wangxiaofeng@tjut.edu.cn

石乐岩

天津理工大学机械工程学院硕士研究生. 2020年获得天津理工大学机械工程学院学士学位. 主要研究方向为数据降维和机器学习. E-mail: shileyan1998@163.com

杨璐

博士, 天津理工大学机械工程学院副教授. 2011年获得吉林大学工学博士学位. 主要研究方向为计算机视觉与模式识别. 本文通信作者. E-mail: yanglu8206@163.com

刘军

博士, 天津理工大学机械工程学院教授. 2002年获得日本名古屋大学工学博士学位. 主要研究方向为转子故障信号的特征提取与分类识别. E-mail: liujunjp@tjut.edu.cn

周海波

博士, 天津理工大学机械工程学院教授. 2005年获得吉林大学工学博士学位. 主要研究方向为机器人技术, 图像处理和机器视觉, 人工智能.E-mail: zhouhaibo@tjut.edu.cn