引用本文

 

陈叶飞, 赵广社, 李国齐, 王鼎衡. 无监督多重非局部融合的图像去噪方法. 自动化学报, 2022, 48(1): 87−102 doi: 10.16383/j.aas.c200138

Chen Ye-Fei, Zhao Guang-She, Li Guo-Qi, Wang Ding-Heng. Unsupervised Multi-non-local Fusion Image Denoising Method. Acta Automatica Sinica, 2022, 48(1): 87−102 doi: 10.16383/j.aas.c200138

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200138?viewType=HTML

文章简介

关键词

图像去噪, 非局部均值, 自相似性, 加权移动平均滤波

摘   要

非局部均值去噪 (Non-local means, NLM) 算法利用图像的自相似性, 取得了很好的去噪效果. 然而, NLM 算法对图像中不相似的邻域块分配了过大的权重, 此外算法的搜索窗大小和滤波参数等通常是固定的且无法根据图像内容的变化做出自适应的调整. 针对上述问题, 本文提出一种无监督多重非局部融合 (Unsupervised multi-non-local fusion, UM-NLF) 的图像去噪方法, 即变换搜索窗等组合参数得到多个去噪结果, 并利用 SURE (Stein's unbiased risk estimator) 对这些结果进行无监督的随机线性组合以获得最终结果. 首先, 为了滤除不相似或者相似度较低的邻域块, 本文引入一种基于可微分硬阈值函数的非局部均值 (Non-local means with a differential hard threshold function, NLM-DT) 算法, 并结合快速傅里叶变换 (Fast Fourier transformation, FFT), 初步提升算法的去噪效果和速度; 其次, 针对不同的组合参数, 利用快速 NLM-DT 算法串联生成多个去噪结果; 然后, 采用蒙特卡洛随机采样的思想对上述多个去噪结果进行随机的线性组合, 并利用基于 SURE 特征加权的移动平均滤波算法来抑制多个去噪结果组合引起的抖动噪声; 最后, 利用噪声图像和移动平均滤波后图像的 SURE 进行梯度的反向传递来优化随机线性组合的系数. 在公开数据集上的实验结果表明: UM-NLF 算法去噪结果的峰值信噪比 (Peak signal to noise ratio, PSNR) 超过了 NLM 及其大部分改进算法, 以及在部分图像上超过了 BM3D 算法. 同时, UM-NLF 相比于 BM3D 算法在视觉上产生更少的振铃伪影, 改善了图像的视觉质量.

引   言

噪声是正确辨识图像信息的一个障碍, 在对图像进行识别、复原或者分割等操作之前, 需要对噪声图像进行去噪以提供清晰、准确的图像. 目前, 已有大量的图像去噪算法被提出, 图像的去噪效果和去噪时间也在不断的改善. 一般来说, 根据具体的去噪算法所在计算域的不同, 可以将去噪算法分为变换域方法和空间域方法.

变换域方法是将直观的图像灰度值域信息通过某种方法变换到目标域内, 然后对目标域中的信息进行操作, 最后再通过逆变换将信息转换回图像本身所在的空间域, 如傅里叶变换、小波变换等. 虽然变换域方法可以有效去除噪声, 保留图像的边缘和纹理信息, 但它们也引入了由吉布斯现象造成的振铃伪影, 严重影响了图像的主观视觉质量. 然而, 空间域方法在抑制噪声的同时, 几乎很少产生振铃伪影. 近些年, Buades等提出的非局部均值的图像去噪算法, 充分利用了图像内容的自相似性, 通过像素点间相似性权重的加权平均达到去噪的目的. 非局部均值算法在去除噪声的同时, 较好地保持了原始无失真图像的细节信息, 但是NLM算法仍存在一些不足: 比如算法的时间复杂度过高, 导致运行时间过长而无法应用到实际场景; 去噪效果过度依赖算法参数的选择等. 具体而言, 近年来基于非局部均值去噪(Non-local means, NLM) 算法的改进, 主要集中在优化算法的时间复杂度和算法的去噪效果这两个角度.

1) 针对算法时间复杂度的改进, 大致可以划分为以下4类: a) 减少不相似邻域块权重的计算. Mahmoudi等通过计算图像子块的平均灰度和平均梯度进行预分类, 剔除不相似的邻域块. 虽然平均梯度可以反映图像的细节信息, 但是对噪声过于敏感. 于是, Coupe等采用图像子块的平均灰度和局部方差对邻域进行选择, 此方法虽然可以反映像素灰度值的变化, 但仍无法表达图像的边缘、纹理等信息. 上述两种方法虽然在一定程度上减少了时间复杂度, 但是降低了邻域块预选择的有效性, 影响了图像去噪的效果. 因而, Vignesh等研究采用了概率统计的方法滤除不相似的图像子块, 改善了邻域估计的可靠性. b) 减少图像数据的维度. Tasdizen提出的基于主成分分析的非局部均值图像去噪算法, 将图像子块投影至低维特征向量空间, 并选取一定维数的特征向量计算相似权重系数, 在减少计算量的同时提高了去噪效果, 缺点在于图像的向量化操作在一定程度上损失了图像空域结构的信息. c) 蒙特卡洛随机采样的思想. Chan等利用蒙特卡洛随机采样的思想, 根据设定的模型随机选取邻域块的距离, 通过计算邻域块距离的小子集来加速算法, 对于高维度的图像数据的加速尤为明显; 进一步, Karam等利用蒙特卡洛随机卷积核代替固定的值域核, 求取多个NLM的平均输出, 大幅度降低了算法在处理高维度图像时的时间复杂度. d) 此外, Wang等利用快速傅里叶变换和积分图来加速图像邻域块间距离的计算, 提升了去噪的速度.

2) 针对算法去噪效果的改进, 大致可以划分为以下3类: a) 采用更合理、鲁棒性更强的邻域块间的相似度度量. Chaudhury等采用欧氏中值替代欧氏均值作为邻域块距离的度量, 克服了NLM算法易模糊图像边缘的缺点, 尤其适用于噪声较大的情况; Wu等提出的PNLM (Probabilistic non-local means)采用卡方分布的概率密度函数代替传统NLM算法的权重, 更好地表示邻域块间的相似性; Deledalle等针对不同特征的区域, 采用不同几何形状的图像邻域块代替原先的矩形邻域块, 在减少时间复杂度的同时提升了去噪的效果; Grewenig等利用旋转不变性在块匹配的过程中将候选块旋转一定的角度来与中心邻域块匹配, 提升了算法的鲁棒性. 除了利用邻域块的几何特性, Wu等和Nguyen等分别从不同的角度修正了邻域块中心像素的权重, 提升了去噪的效果. b) 算法参数的优化. Salmon提出一种双参数优化方法, 对非局部均值算法的搜索窗大小和中心邻域块的权重进行优化; Van等利用斯坦无偏风险估计作为图像内容的度量来拟合均方差(Mean square error, MSE)的变化趋势, 从而通过搜索SURE最小值时所对应的参数来选择非局部均值算法的滤波参数. c) 结合稀疏表示、低秩分解等理论. Dong等联合局部稀疏性, 提出一种基于非局部的中心稀疏表示模型, 利用图像的自相似性获得原始无失真图像稀疏编码的估计系数, 然后使得降质图像的稀疏编码系数不断地逼近这些估计系数, 取得了很好的去噪效果; May等联合低秩分解理论, 提出了一种通过计算非局部均值算子的低阶近似值, 提升了去噪效果; Dabov等结合频域滤波提出了块匹配三维(Block-matching and 3D filtering, BM3D)协同滤波算法, 具有较强的纹理细节保持能力, 是目前常被用来作为性能对比的基准算法, 然而, BM3D算法在噪声等级较大时, 易引入振铃伪影, 严重影响去噪图像的视觉质量; Li等结合小波分析理论提出了无偏距离的自适应非局部均值算法, 进一步提升了去噪的效果.

然而, 上述算法并没有解决以下两个问题:

1) 在高斯噪声等级较大时, 由于噪声对邻域块计算的影响, NLM算法对图像中不相似的邻域块分配了过大的权重, 容易模糊图像的边缘, 极大地影响了图像的去噪效果.

2) 同时, 对于不同噪声等级的噪声图像, NLM算法选取的参数, 比如搜索窗的大小、邻域块的大小和滤波系数等通常是固定且无法根据图像的内容变化做出自适应的调整.

针对上述问题, 本文首先引入基于可微分硬阈值函数的非局部均值算法, 并结合快速傅里叶变换, 初步提升算法的去噪效果和速度; 然后, 提出一种多重可微分硬阈值函数的非局部均值算法的融合方式, 即采用蒙特卡洛随机搜索的思想, 以一定的概率随机变换搜索窗和邻域块等组合参数, 得到多个去噪结果并对其随机线性组合, 而后采用基于SURE特征加权的移动平均滤波算法, 抑制组合图像数据的随机浮动; 最后, 利用噪声图像和移动平均滤波后图像的SURE值来无监督地优化不同去噪结果的线性组合系数. 具体而言, 本文主要有以下三个贡献点:

1) 针对问题1, 提出了一种可微分的硬阈值函数, 并通过自适应的硬阈值来过滤不相似或者相似度较低的图像邻域块.

2) 针对问题2, 提出了一种多重可微分硬阈值函数的非局部均值算法的融合方式, 并解决了在未知原始无失真图像下, 利用SURE值来无监督、自适应地确定不同去噪图像的线性组合系数的问题.

3) 在公开数据集上, 本文提出的UM-NLF算法去噪结果的峰值信噪比PSNR超过了NLM及其大部分改进算法, 在部分图像上超过了BM3D算法. 同时, 相比于BM3D算法, UM-NLF算法产生了更少的振铃伪影, 在一定程度上改善了图像的主观视觉质量.

本文其余章节的安排如下: 第1节主要介绍传统的非局部均值算法的去噪原理. 第2节介绍无监督多重非局部融合的图像去噪方法的流程, 并详细介绍了流程中各部分的局部细节. 第3节介绍本文提出的算法在不同高斯噪声等级的噪声图像上的实验结果和分析. 第4节对本文的方法进行总结, 并提出对未来工作的思考.

图 3  UM-NLF去噪算法的整体流程图

图 6  不同算法对噪声等级σ=20的Airplane噪声图像的去噪结果PSNR

图 9  不同算法对Baboon噪声图像去噪后并经过XDoG滤波的结果

作者简介

陈叶飞

西安交通大学电子与信息学部自动化科学与工程学院硕士研究生. 主要研究方向为模式识别, 图像去噪.

E-mail: yefeichen@stu.xjtu.edu.cn

赵广社

西安交通大学电子与信息学部自动化科学与工程学院教授. 主要研究方向为深度学习与图像识别, 大数据与群体智能, 多智能体系统协同导航与控制.

E-mail: zhaogs@mail.xjtu.edu.cn

李国齐

清华大学精密仪器系类脑计算研究中心副教授. 主要研究方向为信号处理, 类脑计算, 复杂网络. 本文通信作者.

E-mail: liguoqi@mail.tsinghua.edu.cn

王鼎衡

西安交通大学电子与信息学部自动化科学与工程学院博士研究生. 主要研究方向为图像处理, 模型优化.

E-mail: wangdai11@stu.xjtu.edu.cn

相关文章

[1]   盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法. 自动化学报, 2020, 46(12): 2672-2680. doi: 10.16383/j.aas.c180271

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180271?viewType=HTML

[2]   彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报. doi: 10.16383/j.aas.c190845

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190845?viewType=HTML

[3]   邢笑笑, 王海龙, 李健, 张选德. 渐近非局部平均图像去噪算法. 自动化学报, 2020, 46(9): 1952-1960. doi: 10.16383/j.aas.c190294

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190294?viewType=HTML

[4]   常振春, 禹晶, 肖创柏, 孙卫东. 基于稀疏表示和结构自相似性的单幅图像盲解卷积算法. 自动化学报, 2017, 43(11): 1908-1919. doi: 10.16383/j.aas.2017.c160357

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160357?viewType=HTML

[5]   刘涵, 梁莉莉, 黄令帅. 基于分块奇异值分解的两级图像去噪算法. 自动化学报, 2015, 41(2): 439-444. doi: 10.16383/j.aas.2015.c130909

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c130909?viewType=HTML

[6]   张瑞, 冯象初, 王斯琪, 常莉红. 基于稀疏梯度场的非局部图像去噪算法. 自动化学报, 2015, 41(9): 1542-1552. doi: 10.16383/j.aas.2015.c140903

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c140903?viewType=HTML

[7]   潘宗序, 禹晶, 肖创柏, 孙卫东. 基于光谱相似性的高光谱图像超分辨率算法. 自动化学报, 2014, 40(12): 2797-2807. doi: 10.3724/SP.J.1004.2014.02797

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.02797?viewType=HTML

[8]   潘宗序, 禹晶, 胡少兴, 孙卫东. 基于多尺度结构自相似性的单幅图像超分辨率算法. 自动化学报, 2014, 40(4): 594-603. doi: 10.3724/SP.J.1004.2014.00594

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.00594?viewType=HTML

[9]   薛倩, 杨程屹, 王化祥. 去除椒盐噪声的交替方向法. 自动化学报, 2013, 39(12): 2071-2076. doi: 10.3724/SP.J.1004.2013.02071

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.02071?viewType=HTML

[10]   王旭东, 冯象初, 霍雷刚. 去除乘性噪声的重加权各向异性全变差模型. 自动化学报, 2012, 38(3): 444-451. doi: 10.3724/SP.J.1004.2012.00444

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00444?viewType=HTML

[11]   刘旭, 易东云. 基于局部相似性的复杂网络社区发现方法. 自动化学报, 2011, 37(12): 1520-1529. doi: 10.3724/SP.J.1004.2011.01520

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.01520?viewType=HTML

[12]   孟祥林, 王正志. 基于视觉掩蔽效应的图像扩散. 自动化学报, 2011, 37(1): 21-27. doi: 10.3724/SP.J.1004.2011.00021

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00021?viewType=HTML

[13]   杨恢先, 王绪四, 谢鹏鹤, 冷爱莲, 彭友. 改进阈值与尺度间相关的小波红外图像去噪. 自动化学报, 2011, 37(10): 1167-1174. doi: 10.3724/SP.J.1004.2011.01167

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.01167?viewType=HTML

[14]   郭强, 郁松年. 基于三变量模型的剪切波去噪方法. 自动化学报, 2010, 36(8): 1062-1072. doi: 10.3724/SP.J.1004.2010.01062

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01062?viewType=HTML

[15]   练秋生, 陈书贞. 基于平移不变性类Contourlet变换的图像去噪. 自动化学报, 2009, 35(5): 505-508. doi: 10.3724/SP.J.1004.2009.00505

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.00505?viewType=HTML

[16]   王志明, 张丽. 局部结构自适应的图像扩散. 自动化学报, 2009, 35(3): 244-250. doi: 10.3724/SP.J.1004.2009.00244

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2009.00244?viewType=HTML

[17]   李波, 苏志勋, 刘秀平. 基于Lp范数的局部自适应偏微分方程图像恢复. 自动化学报, 2008, 34(8): 849-853. doi: 10.3724/SP.J.1004.2008.00849

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00849?viewType=HTML

[18]   冯祖仁, 吕娜, 李良福. 基于最大后验概率的图像匹配相似性指标研究. 自动化学报, 2007, 33(1): 1-8. doi: 10.1360/aas-007-0001

http://www.aas.net.cn/cn/article/doi/10.1360/aas-007-0001?viewType=HTML

[19]   郎方年, 袁晓, 周激流, 何坤. 小波变换系数冗余性分析. 自动化学报, 2006, 32(4): 568-577.

http://www.aas.net.cn/cn/article/id/14394?viewType=HTML

[20]   杨波, 徐光祐. 纹理相似性度量研究及基于纹理特征的图像检索. 自动化学报, 2004, 30(6): 991-998.

http://www.aas.net.cn/cn/article/id/16216?viewType=HTML