引用本文

 

李永福, 崔恒奇, 朱浩, 张开碧. 一种基于改进AOD-Net的航拍图像去雾算法. 自动化学报, 2022, 48(6): 1543−1559 doi: 10.16383/j.aas.c210232

Li Yong-Fu, Cui Heng-Qi, Zhu Hao, Zhang Kai-Bi. A defogging algorithm for aerial image with improved AOD-Net. Acta Automatica Sinica, 2022, 48(6): 1543−1559 doi: 10.16383/j.aas.c210232

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210232?viewType=HTML

文章简介

关键词

航拍图像去雾, AOD-Net算法, 多尺度网络结构, 复合损失函数, 分段式训练

摘   要

针对航拍图像易受雾气影响, AOD-Net (All in one dehazing network)算法对图像去雾后容易出现细节模糊、对比度过高和图像偏暗等问题, 本文提出了一种基于改进AOD-Net的航拍图像去雾算法. 本文主要从网络结构、损失函数、训练方式三个方面对AOD-Net进行改良. 首先在AOD-Net的第二个特征融合层上添加了第一层的特征图, 用全逐点卷积替换了传统卷积方式, 并用多尺度结构提升了网络对细节的处理能力. 然后用包含有图像重构损失函数、SSIM (Structural similarity)损失函数以及TV (Total variation)损失函数的复合损失函数优化去雾图的对比度、亮度以及色彩饱和度. 最后采用分段式的训练方式进一步提升了去雾图的质量. 实验结果表明, 经该算法去雾后的图像拥有令人满意的去雾结果, 图像的饱和度和对比度相较于AOD-Net更自然. 与其它对比算法相比, 该算法在合成图像实验、真实航拍图像实验以及算法耗时测试的综合表现上更好, 更适用于航拍图像实时去雾.

引   言

随着无人机航拍技术的日益成熟, 无人机航拍技术逐渐被频繁地应用于复杂环境地图测绘, 辅助驾驶以及道路监控等领域. 然而, 由于航拍无人机与拍摄对象的距离通常较远, 因此航拍图像更容易受雾霾环境的影响. 在雾霾环境中, 地面拍摄的普通图像中近景受到雾霾的影响较小, 而航拍图像整体都会包含浓度较高的雾霾, 这极大地影响了航拍图像的成像质量. 此外, 航拍图像的比例尺较大, 这要求航拍图像具有极高的成像质量从而保证拍摄对象清晰可见, 而雾霾环境中采集的航拍图像的信息量会严重下降, 其实用价值也会大打折扣. 因此, 为了降低雾霾环境对航拍图像的影响, 需要对无人机采集的有雾航拍图像进行去雾处理, 同时需要增强去雾图的视觉效果, 强化图像中的特征信息以便于后续高级计算机视觉系统进行二次处理.

图像去雾算法可以分为基于传统数字图像处理与物理模型结合的方法和基于深度学习设计的去雾网络模型的方法. 基于传统数字图像处理与物理模型结合的方法一般以大气散射物理模型为基础, 在此基础上针对大气光值与透射矩阵设计求解算法以期获取准确的数值. 其中具有代表性的算法有如下三种：He等人提出了基于暗通道先验(Dark channel prior, DCP)的去雾方法, 该方法通过寻找图像中的暗通道图像来求解透射矩阵, 再结合估计的大气光值来消除图像中的雾气. Berman等人利用了一种边界约束和正则化(Boundary constraint and contextual regularization, BCCR)的方式来配合大气散射模型对图像进行去雾. Zhu的团队利用颜色衰减先验假设(Color attenuation prior, CAP)来获取透射图, 再结合大气散射模型进行图像去雾.

随着深度学习在图像领域的发展, 许多学者尝试通过设计合适的去雾神经网络来进行图像去雾. 基于深度学习设计的图像去雾模型能够被进一步细分为基于大气散射模型的间接参数求解型网络模型和直接图像生成型网络模型. 其中,基于大气散射模型的间接参数求解型网络模型一般是通过对大气光值或者传输矩阵进行网络设计, 通过构建高效的特征提取网络结构来准确获取二者的数值, 然后进而通过大气散射物理模型生成无雾图像. 其中近年来具有代表性的算法有: Cai等人提出了一种可以端到端进行训练的卷积神经网络模型DehazeNet, 该网络可以学习有雾图像于介质传输图之间的映射关系, 但是仅仅四层的单尺度直线型卷积网络的特征提取能力非常有限, 很容易造成传输图的估计出现错误. Ren等人提出了一种多尺度卷积神经网络(Multi-Scale Convolutional Neural Network, MSCNN)用于去雾, 该网络使用精细介质传输网络对粗糙介质传输网络进行传输特征的细化, 有效提升了去雾图的细节特征, 然而庞大的网络结构使得该网络并不能短时高效地去雾, 需要依赖强大的图形化硬件设备. Li等人提出了AOD-Net去雾算法, 该方法简化了去雾模型, 通过对大气散射模型进行变形使大气光值以及大气透射率合并为一个参数变量, 并设计了一种简单高效的特征融合型卷积神经网络来有效获取该变量的值. 但是该算法处理真实雾图的时候非常容易使图像的色调丢失并且损失较多色值. 而直接图像生成型去雾网络模型与间接参数求解型网络模型不同, 该网络能够直接学习到有雾图像与清晰图像之间的映射关系, 将这种关系以权重文件的形式保存起来, 每张图像在经过加载了该权重文件的神经网络后能够直接生成清晰图像, 无需依赖大气散射模型. 例如, Ren等人设计了一种门控融合网络(Gated Fusion Network, GFN), 该网络通过融合白平衡派生图、对比度增强派生图以及伽马增强派生图直接端到端生成无雾图像. Chen等人设计了一种门控聚合网络(Gated context aggregation network, GCANet), 该网络通过编码-解码的网络结构学习到原图和有雾图之间的残差, 通过将雾气的特征残差附加在雾图上即可获得去雾图像, 恢复的图像会出现区域色调失衡以及图像饱和度过低的现象. Qin等人设计了一种端到端的特征融合注意网络(Feature fusion attention network, FFANet)来获取雾气的残差特征, 去雾后的图像通常会出现颜色失真和对比度下降的问题. 虽然端到端图像生成型网络可以不依赖大气散射模型, 但是对雾气分布不均匀的图像进行去雾时非常容易出现去雾不彻底的问题, 并且容易出现大量的噪点.

由于AOD-Net的网络结构非常轻巧, 算法耗时极短, 因此该算法非常适用于无人机航拍图像实时去雾. 本文重点针对AOD-Net去雾图的细节信息丢失严重, 去雾图的对比度过强以及去雾图噪音过多的问题, 提出一种基于AOD-Net的多尺度航拍图像去雾算法. 本文的主要创新点如下：

1) 本文在AOD-Net的基础上学习FPC-Net对网络层的优化方式对AOD-Net的网络层进行了改良, 并将改良的AOD-Net嵌入到多尺度结构中. 改良后的网络结构能够有效提升神经网络对图像细节部分的处理能力, 并且能有效削减远景部分的雾气.

2) 与以往一些文献中仅仅关注图像重构的像素差异而设计的损失函数不同, 本文设计的损失函数在训练网络时不仅监视了生成图与标准清晰图之间的结构差异, 还关注了生成图的视觉主观感受以及图像的平滑度.

3) 与以往研究中采用唯一损失函数训练模型的方式不同, 本文训练所提网络模型时采用了分段训练的方法, 这种通过优化训练方式来提升网络的去雾性能的方式能够有效保留网络的模型复杂度, 并且能够极大程度地保证算法的实时性.

图 1  AOD-Net的网络结构

图 2  本文所提的网络结构

图 10  不同去雾算法在真实航拍有雾图像上的客观评价结果 ((a) BIQME; (b) FADE; (c) VI;(d) RI; (e) CB; (f) VIF; (g) GB; (h) Entropy)

作者简介

李永福

博士, 重庆邮电大学自动化学院教授. 主要研究方向为智能网联汽车, 空地协同控制. 本文通信作者. 

E-mail: liyongfu@cqupt.deu.cn

崔恒奇

重庆邮电大学硕士研究生, 主要研究方向为航拍图像处理.

E-mail: cuihengqi2020@163.com

朱   浩

博士, 重庆邮电大学自动化学院教授. 主要研究方向为智能车环境感知与信息融合.

E-mail: zhuhao@cqupt.edu.cn

张开碧

硕士, 重庆邮电大学自动化学院副教授. 主要研究方向为计算机应用与图像处理.

E-mail: zhangkb@cqupt.edu.cn

相关文章

[1]  周洁容, 李海洋, 凌军, 陈浩, 彭济根. 基于非凸复合函数的稀疏信号恢复算法. 自动化学报. doi: 10.16383/j.aas.c200666

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200666?viewType=HTML

[2]  孙超文, 陈晓. 基于多尺度特征融合反投影网络的图像超分辨率重建. 自动化学报, 2021, 47(7): 1689-1700. doi: 10.16383/j.aas.c200714

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200714?viewType=HTML

[3]  杨爱萍, 李晓晓, 张腾飞, 王朝臣, 王建. 基于误差回传机制的多尺度去雾网络. 自动化学报. doi: 10.16383/j.aas.c210264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210264?viewType=HTML

[4]  陈清江, 张雪. 基于并联卷积神经网络的图像去雾. 自动化学报, 2021, 47(7): 1739-1748. doi: 10.16383/j.aas.c190156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190156?viewType=HTML

[5]  乔俊飞, 丁海旭, 李文静. 基于WTFMC算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367-2378. doi: 10.16383/j.aas.c180847

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180847?viewType=HTML

[6]  王海羽, 刘浩然, 张力悦, 张春兰, 刘彬. 基于节点块序列约束的局部贝叶斯网络结构搜索算法. 自动化学报, 2020, 46(6): 1210-1219. doi: 10.16383/j.aas.c180108

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180108?viewType=HTML

[7]  杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报. doi: 10.16383/j.aas.c200217

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200217?viewType=HTML

[8]  练秋生, 富利鹏, 陈书贞, 石保顺. 基于多尺度残差网络的压缩感知重构算法. 自动化学报, 2019, 45(11): 2082-2091. doi: 10.16383/j.aas.c170546

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170546?viewType=HTML

[9]  杨燕, 陈高科, 周杰. 基于高斯权重衰减的迭代优化去雾算法. 自动化学报, 2019, 45(4): 819-828. doi: 10.16383/j.aas.c170369

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170369?viewType=HTML

[10]  韩敏, 闫阔, 秦国帅. 基于改进KAZE的无人机航拍图像拼接算法. 自动化学报, 2019, 45(2): 305-314. doi: 10.16383/j.aas.2018.c170521

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170521?viewType=HTML

[11]  陈书贞, 任占广, 练秋生. 基于改进暗通道和导向滤波的单幅图像去雾算法. 自动化学报, 2016, 42(3): 455-465. doi: 10.16383/j.aas.2016.c150212

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150212?viewType=HTML

[12]  南栋, 毕笃彦, 马时平, 凡遵林, 何林远. 基于分类学习的去雾后图像质量评价算法. 自动化学报, 2016, 42(2): 270-278. doi: 10.16383/j.aas.2016.c140854

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c140854?viewType=HTML

[13]  鞠铭烨, 张登银, 纪应天. 基于雾气浓度估计的图像去雾算法. 自动化学报, 2016, 42(9): 1367-1379. doi: 10.16383/j.aas.2016.c150525

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150525?viewType=HTML

[14]  吴迪, 朱青松. 图像去雾的最新研究进展. 自动化学报, 2015, 41(2): 221-239. doi: 10.16383/j.aas.2015.c131137

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c131137?viewType=HTML

[15]  潘宗序, 禹晶, 肖创柏, 孙卫东. 基于多尺度非局部约束的单幅图像超分辨率算法. 自动化学报, 2014, 40(10): 2233-2244. doi: 10.3724/SP.J.1004.2014.02233

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.02233?viewType=HTML

[16]  张小刚, 唐美玲, 陈华, 汤红忠. 一种结合双区域滤波和图像融合的单幅图像去雾算法. 自动化学报, 2014, 40(8): 1733-1739. doi: 10.3724/SP.J.1004.2014.01733

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01733?viewType=HTML

[17]  潘宗序, 禹晶, 胡少兴, 孙卫东. 基于多尺度结构自相似性的单幅图像超分辨率算法. 自动化学报, 2014, 40(4): 594-603. doi: 10.3724/SP.J.1004.2014.00594

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.00594?viewType=HTML

[18]  郭璠, 蔡自兴. 图像去雾算法清晰化效果客观评价方法. 自动化学报, 2012, 38(9): 1410-1419. doi: 10.3724/SP.J.1004.2012.01410

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01410?viewType=HTML

[19]  王春桃, 倪江群, 卓华硕, 黄继武. 基于可变形多尺度变换的几何不变鲁棒图像水印算法. 自动化学报, 2011, 37(11): 1368-1380. doi: 10.3724/SP.J.1004.2011.01368

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.01368?viewType=HTML

[20]  禹晶, 李大鹏, 廖庆敏. 基于物理模型的快速单幅图像去雾方法. 自动化学报, 2011, 37(2): 143-149. doi: 10.3724/SP.J.1004.2011.00143

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00143?viewType=HTML