引用本文

 

黄彦宁, 李伟红, 崔金凯, 龚卫国. 强边缘提取网络用于非均匀运动模糊图像盲复原. 自动化学报, 2021, 47(11): 2637−2653 doi: 10.16383/j.aas.c190654

Huang Yan-Ning, Li Wei-Hong, Cui Jin-Kai, Gong Wei-Guo. Strong edge extraction network for non-uniform blind motion image deblurring. Acta Automatica Sinica, 2021, 47(11): 2637−2653 doi: 10.16383/j.aas.c190654

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190654?viewType=HTML

文章简介

关键词

强边缘提取, 梯度特征, 卷积神经网络, 非均匀运动模糊图像, 模糊图像盲复原

摘   要

基于深度学习的非均匀运动图像去模糊方法已经获得了较好的效果. 然而, 现有的方法通常存在对边缘恢复不清晰的问题. 因此, 本文提出一种强边缘提取网络(Strong-edge extraction network, SEEN), 用于提取非均匀运动模糊图像的强边缘以提高图像边缘复原质量. 设计的强边缘提取网络由两个子网络SEEN-1和SEEN-2组成, SEEN-1实现双边滤波器的功能, 用于提取滤除了细节信息后的图像边缘. SEEN-2实现L_0平滑滤波器的功能, 用于提取模糊图像的强边缘. 本文还将对应网络层提取的强边缘特征图与模糊特征图叠加, 进一步利用强边缘特征. 最后, 本文在GoPro数据集上进行了验证实验, 结果表明: 本文提出的网络可以较好地提取非均匀运动模糊图像的强边缘, 复原图像在客观和主观上都可以达到较好的效果.

引   言

模糊图像盲复原用于弥补由于硬件设备缺陷造成的图像模糊, 被广泛应用于太空探索、人脸识别、视频监控、医学影像识别等诸多领域. 运动模糊是一种典型的图像模糊类型, 主要是由于相机抖动和被拍摄物体间相对运动造成的. 图像模糊模型一般可由式(1)描述.

其中, x为清晰图像, *为卷积运算, k为模糊核, n为噪声, y为模糊图像.

实际中模糊核k通常是未知的, 模糊图像复原过程是一个严重的病态问题, 即盲复原. 当一幅图像中各个区域被同一个均匀的运动模糊核污染, 为均匀运动模糊图像, 如图1 (a), 1 (b)所示. 当一幅图像的不同区域被不同程度的运动模糊核污染时, 则为非均匀运动模糊图像, 如图1 (c), 1 (d)所示.

图 1  均匀运动模糊图像和非均匀运动模糊图像及其模糊核示意图

均匀运动模糊图像复原方法的基本思路是将病态问题转化为良态来解决, 大致分为两类, 一类是先验辨识法, 即通过人工挖掘图像和模糊核的先验知识, 估计出精确的模糊核, 再采用非盲复原方法复原出清晰图像. 另一类是联合辨识法, 即估计模糊核的同时复原出清晰图像. 前期我们开展的研究工作主要针对均匀模糊图像盲复原, 其中文献[4]采用先验辨识法, 提出根据图像的先验信息在频域估计出模糊核, 并将估计出的模糊核用于均匀运动模糊图像复原, 该方法对模糊核尺寸较小的均匀运动模糊图像复原效果较好. 文献[5]采用联合辨识法, 通过对模糊核正则项的约束, 得到潜在清晰图像. 该方法可以较好地复原均匀运动模糊图像, 也可用于背景单一、细节不丰富的非均匀运动模糊图像. 但该方法正则化参数较多、复原时间较长. 对于非均匀运动模糊图像的复原, 人们也展开了针对性的研究工作, 其基本方法是将图像分块进行模糊核估计, 再通过估计出的不同模糊核对不同图像块进行复原. 不过目前的方法均存在各种局限性, 比如对运动模糊核的运动方向、模糊核的种类等有所限制. Shen等使用一种模糊核映射正则化方法来解决非均匀运动模糊图像复原问题, 该方法考虑了图像块之间具有的一致性, 从而提高了图像块模糊核估计的精度. 但是该方法对于图像细节恢复效果差, 模糊程度的不同也会使算法失效, 因此在非均匀模糊图像复原上仍不能达到较好的效果. 近年来, 深度学习的快速发展, 使基于卷积神经网络的模糊图像复原取得较大的进展. Chakrabarti利用卷积神经网络在频域预测模糊核的傅里叶系数, 由此估计出模糊核. 再采用传统非盲复原方法复原图像. 该方法在均匀运动模糊图像复原上效果较好, 但复原时间非常长. Xu等提出利用卷积神经网络在梯度域提取模糊图像的边缘信息, 通过边缘信息补充图像模糊核的先验信息, 提高模糊核估计的准确性, 进而提高复原效果. 该方法可以较好地复原均匀运动模糊图像, 但由于非均匀模糊图像边缘特征不明显, 在图像黑暗处, 该方法无法提取到图像边缘信息, 估计出的模糊核不准确, 复原效果较差. Xu等提出端到端的卷积神经网络实现模糊图像盲复原, 该方法的优点是不需要估计模糊核, 直接输出潜在清晰图像, 主要用于散焦模糊图像的复原. Tao等设计了一个多尺度卷积神经网络(Scale-recurrent network, SRN)用于模糊图像复原, 它可在同一幅模糊图像的3个尺度上提取模糊特征. 由于卷积神经网络具有强大的自动学习特征的能力, 该网络可以较好地复原非均匀运动模糊图像, 不足的是对模糊图像中的明显边缘复原效果不理想. 2014年, 生成对抗网络(Generative adversarial net, GAN)被提出, 它可以令端到端图像处理网络生成更加细腻的图像. 吴梦婷等基于GAN提出了一种双框架端到端模糊图像复原方法, 该方法可以复原模糊尺度较小的均匀模糊图像, 但该方法只是在模糊图像复原领域基于GAN的尝试, 并没有很好的鲁棒性, 对非均匀运动模糊图像的复原效果较差. Kupyn等基于GAN, 提出一种端对端的模糊图像复原方法-DeblurGAN. 该方法可以较好地复原出模糊尺度较小的均匀和非均匀运动模糊图像. 但由于设计的卷积神经网络结构比较单一, 使网络的感受野较小, 不能较好地复原模糊尺度较大的非均匀模糊图像.

从上述分析可见, 由于非均匀运动模糊图像的模糊核不确定、模糊程度不均匀, 且边缘信息损失严重, 使非均匀运动模糊图像的复原成为目前极具挑战的课题. 在现有研究方法中, 端到端的图像复原方法虽然方便有效, 但是在图像复原过程中始终是在输入图像和输出图像之间建立网络映射, 在有限的训练集下完成对输入和标签的未知转换, 网络的特征提取能力和去模糊学习过程局限在了输入到网络的这些图像对中, 无法得到更多有助于图像复原的信息, 这种映射通常是不确定的, 需要大量经验进行调参才能将网络参数约束到一个较理想的范围内, 难以保证网络有方向性地“学习” 到真正的去模糊功能, 这也导致了现有方法鲁棒性通常较差, 因此不容易在此基础上取得更大突破. 而在传统方法中, 我们可以使用很多数字图像处理工具来得到有关于一幅图像的更多先验信息, 甚至可以在处理图像的过程中不仅仅局限于空间域, 这些处理方法的综合使用使图像处理领域日新月异. 那么在深度学习领域, 我们仍可以利用传统方法的优势来提升图像复原的效果. 图像的强边缘是图像的边缘中能够描述图像轮廓的部分, 边缘包含大量使人们获得清晰图像的重要信息, 经过主观观察, 对模糊图像强边缘的恢复效果实际上直接影响复原图像的主观效果.

基于此, 本文提出一种基于强边缘提取的非均匀运动模糊图像复原网络, 用于非均匀运动模糊图像复原. 其中核心部分是设计的强边缘提取网络, 它用于提取非均匀运动模糊图像的强边缘特征, 利用提取到的强边缘特征图与对应网络层的特征图融合, 这些强边缘特征将作为图像复原网络训练的“先验知识” 和约束条件, 在图像复原网络训练中约束网络特征提取和反向传播优化过程, 使网络参数的解空间缩小到“去模糊” 范围内, 最终得到真正用于去模糊的网络映射参数. 结合卷积神经网络强大的特征自动学习能力, 本文的方法能够加强网络对不同类型、不同模糊程度的非均匀运动模糊图像的自适应复原能力. 最后, 本文在GoPro数据集上进行了相应的实验, 验证了提出方法的有效性.

图 2  提出的非均匀运动模糊图像复原网络结构图

图 12  对比实验结果

作者简介

黄彦宁

重庆大学光电工程学院硕士研究生. 主要研究方向为图像处理技术.

E-mail: 20122858@cqu.edu.cn

李伟红

重庆大学光电工程学院教授. 主要研究方向为图像处理技术, 模式识别. 本文通信作者.

E-mail: weihongli@cqu.edu.cn

崔金凯

重庆大学光电工程学院博士研究生. 主要研究方向为图像处理技术.

E-mail: jinkaicui@cqu.edu.cn

龚卫国

重庆大学光电工程学院教授. 主要研究方向为图像处理技术.

E-mail: wggong@cqu.edu.cn

相关文章

[1]  林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述. 自动化学报, 2020, 46(1): 24-37. doi: 10.16383/j.aas.c180275

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180275?viewType=HTML

[2]  史加荣, 王丹, 尚凡华, 张鹤于. 随机梯度下降算法研究进展. 自动化学报, 2021, 47(9): 2103-2119. doi: 10.16383/j.aas.c190260

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190260?viewType=HTML

[3]  刘小波, 刘鹏, 蔡之华, 乔禹霖, 王凌, 汪敏. 基于深度学习的光学遥感图像目标检测研究进展. 自动化学报, 2021, 47(9): 2078-2089. doi: 10.16383/j.aas.c190455

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190455?viewType=HTML

[4]  李金新, 黄志勇, 李文斌, 周登文. 基于多层次特征融合的图像超分辨率重建. 自动化学报. doi: 10.16383/j.aas.c200585

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200585?viewType=HTML

[5]  李公平, 陆耀, 王子建, 吴紫薇, 汪顺舟. 基于模糊核估计的图像盲超分辨率神经网络. 自动化学报. doi: 10.16383/j.aas.c200987

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200987?viewType=HTML

[6]  陈清江, 张雪. 基于并联卷积神经网络的图像去雾. 自动化学报, 2021, 47(7): 1739-1748. doi: 10.16383/j.aas.c190156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190156?viewType=HTML

[7]  盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法. 自动化学报, 2020, 46(12): 2672-2680. doi: 10.16383/j.aas.c180271

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180271?viewType=HTML

[8]  杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报. doi: 10.16383/j.aas.c200217

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200217?viewType=HTML

[9]  吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180453?viewType=HTML

[10]  林金花, 姚禹, 王莹. 基于深度图及分离池化技术的场景复原及语义分类网络. 自动化学报, 2019, 45(11): 2178-2186. doi: 10.16383/j.aas.2018.c170439

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170439?viewType=HTML

[11]  周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建. 自动化学报, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180334?viewType=HTML

[12]  汤鹏杰, 王瀚漓, 许恺晟. LSTM逐层多目标优化及多层概率融合的图像描述. 自动化学报, 2018, 44(7): 1237-1249. doi: 10.16383/j.aas.2017.c160733

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160733?viewType=HTML

[13]  张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报, 2018, 44(6): 961-977. doi: 10.16383/j.aas.2018.c170190

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170190?viewType=HTML

[14]  田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170153?viewType=HTML

[15]  唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法. 自动化学报, 2018, 44(5): 855-864. doi: 10.16383/j.aas.2018.c170470

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170470?viewType=HTML

[16]  孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展. 自动化学报, 2017, 43(5): 697-709. doi: 10.16383/j.aas.2017.c160629

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160629?viewType=HTML

[17]  胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建. 自动化学报, 2017, 43(5): 814-821. doi: 10.16383/j.aas.2017.c150634

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c150634?viewType=HTML

[18]  罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160425?viewType=HTML

[19]  刘明, 李国军, 郝华青, 侯增广, 刘秀玲. 基于卷积神经网络的T波形态分类. 自动化学报, 2016, 42(9): 1339-1346. doi: 10.16383/j.aas.2016.c150817

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150817?viewType=HTML

[20]  常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络. 自动化学报, 2016, 42(9): 1300-1312. doi: 10.16383/j.aas.2016.c150800

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150800?viewType=HTML

[21]  张天序, 王新赛, 王岳环. 红外海面目标图像序列兴趣点的自动识别算法研究. 自动化学报, 2002, 28(3): 477-480.

http://www.aas.net.cn/cn/article/id/15547?viewType=HTML