引用本文

伍麟, 郝鸿宇, 宋友. 基于计算机视觉的工业金属表面缺陷检测综述. 自动化学报, 2024, 50(7): 1261−1283 doi: 10.16383/j.aas.c230039

Wu Lin, Hao Hong-Yu, Song You. A review of metal surface defect detection based on computer vision. Acta Automatica Sinica, 2024, 50(7): 1261−1283 doi: 10.16383/j.aas.c230039

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230039

关键词

表面缺陷检测，计算机视觉，金属表面缺陷，自动化检测 

摘要

针对平面及三维结构金属材料的工业表面缺陷检测, 概述了视觉检测技术的基本原理和研究现状, 并总结出视觉自动检测系统的关键技术包括光学成像技术、图像预处理技术与缺陷检测器. 首先介绍了如何根据检测对象的光学特性选择合适的二维、三维光学成像技术; 其次介绍了图像降噪、特征提取、图像分割和拼接等预处理技术的重要作用; 然后根据缺陷检测器的实现原理将其分为模板匹配、图像分类、图像语义分割、目标检测和图像异常检测五类, 并对其中的经典算法进行了归纳分析. 最后, 探讨了工业场景下金属表面缺陷检测技术实施中的关键问题, 并对该技术的发展趋势进行了展望.

文章导读

金属表面缺陷是产品生产工艺的不确定性造成的结果, 对于金属铸造、机加工制品而言, 表面缺陷是常见的质量问题, 一般的表面缺陷包括磕碰、划痕、夹杂、气孔、开裂、麻点、翘曲和脆化等[1]. 这些缺陷不仅会影响产品的外观, 更重要的是它们还会影响产品的机械性能. 对于某些产品而言, 表面缺陷是致命的. 

表面检测是指为了确定产品是否满足质量标准和技术要求而进行的测试或测量活动. 传统方法主要通过人工目视检测, 不仅会出现人员疲劳、评价标准不一致等情况, 同时人眼的时间及空间分辨率有限, 在许多工业场景下只能进行抽检, 难以满足生产过程中高速在线实时检测的需求. 热轧、浇铸等工艺过程对人员还有一定危险性, 因此人工抽检往往在工艺过程结束后进行, 即使发现缺陷, 过程损失也已发生, 无法对工艺参数进行及时调整. 

自动光学检测技术(Automated optical inspection, AOI)[2]是一种以计算机视觉为基础, 通过自动光学系统获取检测目标图像, 运用算法进行分析决策, 判断目标是否符合检测规范的非接触式检测方法. 计算机视觉检测技术相对于人工检测, 具备实时性强、效率高、节省人力成本、不易受主观因素干扰的优势, 逐渐成为金属制品表面缺陷检测的重要手段, 目前在工业领域, 尤其是热轧钢板、带钢、精密铝带为代表的金属板带类产品中应用广泛. 

表面缺陷检测系统的基本原理是利用金属表面的光学物理性质, 在特定的光学成像条件下, 令缺陷表现出区别于背景的图像特征, 然后通过图像处理技术和缺陷检测算法进行缺陷识别和定位. 其基本流程如图1所示, 大致可分为以下步骤: 

图 1  金属表面缺陷检测基本流程

光学成像: 通过光学图像传感方式来获取产品表面二维灰度图像或三维深度图像信息. 

图像预处理: 对采集到的图像进行降噪、增强、分割、拼接等图像预处理操作, 以便获得感兴趣区域(Region of interest, ROI)或更适用于图像检测算法的输入尺寸, 并通过各种图像处理算法或它们的组合, 提取出最容易区分缺陷和背景的特征. 

缺陷检测: 采用图像对比、统计模式识别、机器学习或深度学习等算法, 从背景中识别出可能存在的缺陷, 对其进行分类和定位. 

根据金属表面缺陷检测的背景和成像方式, 通常可分为二维(2D)视觉检测和三维(3D)视觉检测. 前者主要针对具有平整表面或圆弧型连续规则结构的表面, 又可进一步分为均匀背景、周期性背景和随机纹理背景下的缺陷检测, 在冷轧、热轧金属板带表面缺陷、精密加工件和金属外壳外观件瑕疵检测等领域得到了广泛应用[3]. 后者针对具有三维复杂结构背景的金属制成品表面缺陷进行检测. 二维视觉检测技术发展至今已经有30余年, 目前技术已经十分成熟, 在自动化生产和产品质量控制体系中发挥着重要作用. 但二维视觉仅仅能获得二维灰度图像信息, 难以获得金属表面的深度、细微纹理、法线方向等信息. 随着成像技术、感光元器件技术的快速发展, 成像技术已经从二维灰度图像发展到多光谱、三维成像技术, 与之对应的数字图像处理技术也在飞速发展, 近几年来取得了极大的进步, 为金属表面缺陷检测提供了越来越丰富的手段. 

工业金属表面缺陷检测技术是一项融合了光学技术、传感器技术、图像处理技术、人工智能和深度学习等多门学科的复杂任务, 在这一领域仍有许多理论和关键应用技术亟待解决. 例如: 

1)由于检测对象的表面光学特性复杂多变、种类繁多, 如何设计合适的视觉成像系统来捕获检测对象的图像特征, 突出缺陷与背景的特征差异, 使之达到并超越肉眼检测的效果, 是所有工业表面缺陷检测任务的关键问题. 

2)针对二维图像的缺陷检测算法已经相对成熟, 但基于三维深度信息的缺陷检测技术尚未普及. 而工业金属制成品实际大都具有复杂的表面结构, 需求比二维背景表面检测更加广泛, 这些领域背后蕴藏着巨大的商业价值有待发掘. 

3)金属表面缺陷检测数据集相对匮乏, 尤其是三维深度图像数据. 基于商业或其他因素影响, 许多研究未能公开它们的数据集. 另一方面, 由于工业产品不断改进生产工艺, 缺陷样本数量稀少, 并且样本类别极度不均衡. 同时在生产工艺改进的过程中, 还有可能出现未曾定义过的缺陷模式, 这进一步增加了检测任务的难度. 

目前该领域的综述大多以研究针对现有图像、视频数据的缺陷检测算法为主. 文献[2]虽然以光学成像技术为主要综述内容, 但缺乏对三维成像、复合成像多模态数据融合特征技术的探讨. 文献[4]综述了金属平面材料二维三维缺陷检测的常用方法, 但主要介绍传统方法. 文献[5-6]分别对基于有监督、无监督和半监督的深度学习方法进行了系统性的综述, 但局限于基于卷积神经网络(Convolutional neural network, CNN)的方法, 而近年来基于视觉转换器(Vision transformer, ViT)[7] 的方法在计算机视觉领域大放异彩, 在很多任务上超越了基于CNN的方法. 目前尚无针对工业金属表面缺陷检测关键技术的全面细致的文献综述, 因此本文重点着眼于该领域的新方法进行介绍. 其中光学成像技术、图像预处理技术和缺陷检测器是表面缺陷检测系统的关键技术, 通过详细梳理这些技术的常用方法和研究现状, 本文分析并指出了该领域存在的研究难点, 并对未来的发展趋势进行了分析和展望. 

图 2  自动光学成像系统

图 3  表面散射模型

随着计算机视觉技术的高速发展, 各种二维、三维成像技术的硬件成本不断降低, 工业金属表面自动缺陷检测技术在智能制造领域必将发挥越来越广泛的作用. 同时视觉检测系统要作为工业信息系统中不可缺少的设备, 打通机联网数据, 形成数据闭环上的关键节点, 通过实时信息反馈, 指导生产过程管理进行智能决策. 

工业生产不同于实验室研究, 必须综合考虑实施条件、硬件成本、算法精度、人工参与度低等要求, 选择合适的光学成像技术、图像处理技术和缺陷检测算法来达到理想的效果. 光学成像技术可分为二维、三维两类, 其中二维成像技术已经广泛用于产品外观、尺寸测量、定位和分类; 而三维成像技术对具有表面微观凹凸纹理特征的缺陷具有更好的检测效果, 但三维图像缺陷检测技术尚不成熟, 其中基于光度立体法的三维表面缺陷检测技术具有明显的成本优势, 并且可以兼容目前的二维缺陷检测算法, 有着良好的市场前景和研究价值. 在获取图像信息以后, 还需通过图像处理技术进行预处理, 获取增强图像、缺陷特征和感兴趣区域, 以便提高缺陷检测算法的计算效率和稳定性. 最后再根据检测任务的目标, 选择合适的算法进行样本分类、缺陷定位、缺陷区域分割和异常检测. 

随着产业智能化和精密制造的不断发展, 通用工业光源、相机、检测算法的简单组合已经无法满足复杂多样的生产场景需求, 必须根据检测目标的光学性质、表面纹理特点、缺陷的统计分布, 并充分考虑生产环境的限制, 选择针对性的成像方法和图像处理技术, 并不断发展新的检测算法, 这也是本文详细综述的重点内容. 

在统计质量控制(Statistical quality control, SQC)体系中, 表面缺陷检测方法仅仅是手段和工具, 自动表面缺陷检测系统的最终目的是运用质量数据使质量控制可量化和科学化, 保证所有工序产出尽可能接近期望值, 提高生产过程的稳定性. 当缺陷数量较少时, 以统计推断为基础的线性分类器效果往往不比深度学习算法效果差, 同时可解释性和可信度更强, 能够更好地指导我们建立机理模型, 进行生产工艺优化. 但当样本量增加、特征维度增大时, 特征选择和相关性分析变得极为困难, 而深度学习则尝试自动从数据中学习高级特征, 在模型设计过程中尽量避免引入强假设, 这毫无疑问会降低模型的可解释性. 因此在实际工程应用中, 传统方法和深度学习方法都有很大的研究价值, 只有综合多种方法, 在数据标注成本、算法可信度和预测精度之间取得平衡, 才能满足实际工业生产需求.

作者简介

伍麟

北京航空航天大学硕士研究生. 主要研究方向为计算机视觉, 目标检测和表面缺陷检测. E-mail: zf2021349@buaa.edu.cn

郝鸿宇

北京航空航天大学硕士研究生. 主要研究方向为计算机视觉, 图神经网络和少样本学习. E-mail: JoeyHao@buaa.edu.cn

宋友

北京航空航天大学教授. 主要研究方向为软件工程, 异常信号检测, 算法分析与设计. 本文通信作者. E-mail: songyou@buaa.edu.cn