引用本文

 

吕承侃, 沈飞, 张正涛, 张峰. 图像异常检测研究现状综述. 自动化学报, 2022, 48(6): 1402−1428 doi: 10.16383/j.aas.c200956

Lv Cheng-Kan, Shen Fei, Zhang Zheng-Tao, Zhang Feng. Review of image anomaly detection. Acta Automatica Sinica, 2022, 48(6): 1402−1428 doi: 10.16383/j.aas.c200956

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200956?viewType=HTML

文章简介

关键词

图像异常检测, 计算机视觉, 深度学习, 神经网络, 背景重构

摘   要

图像异常检测是计算机视觉领域的一个热门研究课题, 其目标是在不使用真实异常样本的情况下, 利用现有的正常样本构建模型以检测可能出现的各种异常图像, 在工业外观缺陷检测, 医学图像分析, 高光谱图像处理等领域有较高的研究意义和应用价值. 本文首先介绍了异常的定义以及常见的异常类型. 然后, 本文根据在模型构建过程中有无神经网络的参与, 将图像异常检测方法分为基于传统方法和基于深度学习两大类型, 并分别对相应的检测方法的设计思路、优点和局限性进行了综述与分析. 其次, 梳理了图像异常检测任务中面临的主要挑战. 最后, 对该领域未来可能的研究方向进行了展望.

引   言

异常检测是机器学习领域中一项重要的研究内容. 它是一种利用无标注样本或者正常样本构建检测模型, 检测与期望模式存在差异的异常样本的方法. 异常检测在各种领域中都有广泛的应用, 如网络入侵检测, 信号处理, 工业大数据分析, 异常行为检测和图像与视频处理等.

早期的异常检测算法大多应用于数据挖掘领域, 而近年来随着计算机视觉和深度学习等相关技术的发展, 许多相关工作将异常检测引入到图像处理领域来解决样本匮乏情况下的目标检测问题.

传统的目标检测算法中很大一部分方法属于监督学习的范畴, 即需要收集足够的目标类别样本并进行精确的标注, 比如图像的类别、图像中目标的位置以及每一个像素点的类别信息等. 然而, 在许多应用场景下, 很难收集到足够数量的样本. 例如, 在表面缺陷检测任务当中, 实际收集到的图像大部分属于正常的无缺陷样本, 仅有少部分属于缺陷样本, 而需要检测的缺陷类型又十分多样, 这就使得可供训练的缺陷样本的数量十分有限. 又比如在安检任务当中, 不断会有新的异常物品出现. 而对于医学图像中病变区域的识别任务, 不仅带有病变区域的样本十分稀少, 对样本进行手工标注也十分耗时. 在这些情况下, 由于目标类别样本的缺乏, 传统的目标检测和图像分割的方法已不再适用.

而异常检测无需任何标注样本就能构建检测模型的特点, 使得其十分适用于上述几种情况. 在图像异常检测当中, 收集正常图像的难度要远低于收集异常图像的难度, 能显著减少检测算法在实际应用中的时间和人力成本. 而且, 在异常检测中模型是通过分析与正常样本之间的差异来检测异常样本, 这使得异常检测算法对各种类型甚至是全新的异常样本都具有检测能力. 虽然标注样本的缺失给图像异常检测带来了许多问题和挑战, 不过由于上述各种优点, 如表1所示, 已经有许多方法将图像异常检测应用在各种领域中.因此, 图像异常检测问题具有较高的研究价值和实际应用价值.

表 1  图像异常检测的应用领域

随着对异常检测研究的深入, 大量研究成果不断涌现, 也有许多学者开展了一些综述性工作. 如Ehret等根据不同的图像背景, 对大量图像异常检测方法进行了综述, 不过对基于深度学习的方法还缺乏一定的梳理. Pang等和Chalapathy等则是从更为广阔的角度对基于深度学习的异常检测方法进行了梳理, 不过由于数据类型的多样性, 这些工作对异常检测在图像中的应用还缺乏针对性. 陶显等对异常检测在工业外观缺陷检测中的应用进行了一些总结, 不过重心落在有监督的检测任务上, 对无监督的异常检测方法欠缺一定的整理和归纳. 而本文则针对无监督的图像异常检测任务, 以工业、医学和高光谱图像作为具体应用领域, 对传统和基于深度学习的两大类方法进行梳理. 上述三种应用领域都有相同的特点即可使用的带标注异常样本数量稀少, 因此有许多工作针对这几个领域内的异常目标检测问题开展了研究.

本文整体结构安排如下: 第1节将介绍异常的定义以及常见的形态. 第2节根据模型构建过程中有无神经网络的参与, 将现有的图像异常检测算法分为传统方法和基于深度学习两大类并分别进行综述与分析. 第3节将介绍图像异常检测中常用的数据集. 第4节将介绍在图像异常检测当中面临的主要挑战. 第5节将综合图像异常检测的研究现状对未来可能的发展方向进行展望. 最后第6节将对本文内容进行总结.

图 1  异常的类型. (a)点异常 (b)上下文异常 (c)集群异常

图 2  图像异常分类图

图 20  需要构建负样本的几种方法的示意图. (a)基于随机噪声的方法 (b)基于随机图像的方法 (c)基于GAN的方法 (d)基于梯度上升的方法

文章简介

吕承侃

中国科学院自动化研究所精密感知与控制研究中心博士研究生. 2017年获得山东大学学士学位. 主要研究方向为神经网络, 计算机视觉与图像处理.

E-mail: lvchengkan2017@ia.ac.cn

沈   飞

中国科学院自动化研究所精密感知与控制研究中心副研究员. 2012年获得自动化研究所博士学位. 主要研究方向为视觉检测, 机器人视觉控制与微装配.

E-mail: fei.shen@ia.ac.cn

张正涛

中国科学院自动化研究所精密感知与控制研究中心研究员. 2010年获得自动化研究所博士学位. 主要研究方向为视觉测量, 微装配与自动化. 本文通信作者.

E-mail: zhengtao.zhang@ia.ac.cn

张   峰

中国科学院自动化研究所精密感知与控制研究中心副研究员. 2012年获得自动化研究所博士学位. 主要研究方向为机器人控制, 机器人视觉控制与微装配.

E-mail: feng.zhang@ia.ac.cn

相关文章

[1]  吕晴, 赵奎, 曹吉龙, 魏景峰. 基于文本与图像的肺疾病研究与预测. 自动化学报, 2022, 48(2): 531-538. doi: 10.16383/j.aas.c190645

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190645?viewType=HTML

[2]  崔文靓, 王玉静, 康守强, 谢金宝, 王庆岩, MIKULOVICHVladimir Ivanovich. 基于改进YOLOv3算法的公路车道线检测方法. 自动化学报. doi: 10.16383/j.aas.c190178

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190178?viewType=HTML

[3]  张泽辉, 富瑶, 高铁杠. 支持数据隐私保护的联邦深度神经网络模型研究. 自动化学报, 2022, 48(5): 1273-1284. doi: 10.16383/j.aas.c200236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200236?viewType=HTML

[4]  姚足, 龚勋, 陈锐, 卢奇, 罗彬. 面向行人重识别的局部特征研究进展、挑战与展望. 自动化学报, 2021, 47(12): 2742-2760. doi: 10.16383/j.aas.c190821

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190821?viewType=HTML

[5]  蒋方玲, 刘鹏程, 周祥东. 人脸活体检测综述. 自动化学报, 2021, 47(8): 1799-1821. doi: 10.16383/j.aas.c180829

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180829?viewType=HTML

[6]  卫星, 李佳, 孙晓, 刘邵凡, 陆阳. 基于混合生成对抗网络的多视角图像生成算法. 自动化学报, 2021, 47(11): 2623-2636. doi: 10.16383/j.aas.c190743

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190743?viewType=HTML

[7]  李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341-2363. doi: 10.16383/j.aas.c190859

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859?viewType=HTML

[8]  许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报. doi: 10.16383/j.aas.c200148

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200148?viewType=HTML

[9]  陈小鼎, 盛常冲, 匡纲要, 刘丽. 唇读研究进展与展望. 自动化学报, 2020, 46(11): 2275-2301. doi: 10.16383/j.aas.c190531

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190531?viewType=HTML

[10]  余文勇, 张阳, 姚海明, 石绘. 基于轻量化重构网络的表面缺陷视觉检测. 自动化学报. doi: 10.16383/j.aas.c200535

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200535?viewType=HTML

[11]  李良福, 马卫飞, 李丽, 陆铖. 基于深度学习的桥梁裂缝检测算法研究. 自动化学报, 2019, 45(9): 1727-1742. doi: 10.16383/j.aas.2018.c170052

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170052?viewType=HTML

[12]  罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展. 自动化学报, 2019, 45(11): 2032-2049. doi: 10.16383/j.aas.c180154

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180154?viewType=HTML

[13]  陈加, 张玉麒, 宋鹏, 魏艳涛, 王煜. 深度学习在基于单幅图像的物体三维重建中的应用. 自动化学报, 2019, 45(4): 657-668. doi: 10.16383/j.aas.2018.c180236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180236?viewType=HTML

[14]  刘丽, 赵凌君, 郭承玉, 王亮, 汤俊. 图像纹理分类方法研究进展和展望. 自动化学报, 2018, 44(4): 584-607. doi: 10.16383/j.aas.2018.c160452

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160452?viewType=HTML

[15]  陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886-1897. doi: 10.16383/j.aas.2017.c160690

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160690?viewType=HTML

[16]  罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160425?viewType=HTML

[17]  张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望. 自动化学报, 2017, 43(8): 1289-1305. doi: 10.16383/j.aas.2017.c160822

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160822?viewType=HTML

[18]  耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425?viewType=HTML

[19]  奚雪峰, 周国栋. 面向自然语言处理的深度学习研究. 自动化学报, 2016, 42(10): 1445-1465. doi: 10.16383/j.aas.2016.c150682

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150682?viewType=HTML

[20]  乔俊飞, 潘广源, 韩红桂. 一种连续型深度信念网的设计与应用. 自动化学报, 2015, 41(12): 2138-2146. doi: 10.16383/j.aas.2015.c150239

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c150239?viewType=HTML