引用本文

 

陈武阳, 赵于前, 阳春华, 张帆, 余伶俐, 陈白帆. 基于可见光与红外热图像的行车环境复杂场景分割. 自动化学报, 2022, 48(2): 460−469 doi: 10.16383/j.aas.c210029

Chen Wu-Yang, Zhao Yu-Qian, Yang Chun-Hua, Zhang Fan, Yu Ling-Li, Chen Bai-Fan. Complex scene segmentation based on visible and thermal images in driving environment. Acta Automatica Sinica, 2022, 48(2): 460−469 doi: 10.16383/j.aas.c210029    

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210029?viewType=HTML

文章简介

关键词

场景分割, 可见光图像, 红外热图像, 双模分割网络, 双路特征空间自适应模块

摘   要

复杂场景分割是自动驾驶领域智能感知的重要任务, 对稳定性和高效性都有较高的要求. 由于一般的场景分割方法主要针对可见光图像, 分割效果非常依赖于图像获取时的光线与气候条件, 且大多数方法只关注分割性能, 忽略了计算资源. 本文提出一种基于可见光与红外热图像的轻量级双模分割网络(DMSNet), 通过提取并融合两种模态图像的特征得到最终分割结果. 考虑到不同模态特征空间存在较大差异, 直接融合将降低对特征的利用率, 本文提出了双路特征空间自适应(DPFSA)模块, 该模块能够自动学习特征间的差异从而转换特征至同一空间. 实验结果表明, 本文方法提高了对不同模态图像的利用率, 对光照变化有更强的鲁棒性, 且以少量参数取得了较好的分割性能.

引   言

环境感知作为自动驾驶系统的重要环节, 对于车辆与外界环境的理解、交互起关键作用. 然而, 真实情景中的行车环境感知, 需要解决复杂场景下感知精度不高、实时性不强等关键技术问题. 行车环境感知主要包括目标检测与语义分割. 语义分割在像素级别上理解所捕获的场景, 与目标检测相比, 能够产生更加丰富的感知信息, 并且分割结果可以进一步用来识别、检测场景中的视觉要素, 辅助行车环境感知系统进行判断. 目前, 相关的公共图像分割数据集与语义分割网络大多数都是基于可见光图像. 可见光图像能够记录物体丰富的颜色和纹理特征, 但在光照条件不足或光照异常时(如: 暗黑中迎面的大灯照射), 可见光图像的质量会大幅降低, 导致网络无法正确分割对象, 进而影响行车环境感知系统在这些环境下的准确性. 红外热成像相机与可见光相机不同, 其通过探测物体热量获取红外辐射信息, 因此对光线与天气的变化更加鲁棒, 缺点在于红外热图像提供的信息量较少, 视觉效果模糊. 由此可见, 若仅依靠单一传感器, 难以精确分割不同环境下的场景. 本文主要研究行车环境下基于可见光与红外热图像的复杂场景分割, 尝试利用深度学习技术挖掘不同传感器之间的互补信息提升分割性能, 使车辆能够充分感知其周围环境.

场景分割作为行车环境感知的基本技术需求, 一直以来受到研究人员的关注. 目前, 绝大部分研究集中在可见光图像上, 分割方法从初期的基于阈值、区域、边缘等由人工设计特征的传统算法, 向基于深度学习的语义分割网络过渡; 研究内容则根据可见光图像分割的难点大致从增加分割精细度、增强网络对多尺度的泛化能力和学习物体空间相关性三个方向提升网络性能. 如文献[2]利用膨胀卷积模块用来保留特征图中的细节信息, 预测更加准确的结果; 文献[3]使用一个共享参数的卷积神经网络训练不同尺度的图像获得多尺度特征; 文献[4]利用循环神经网络适用于序列数据编码的特性, 捕捉物体的空间关系等. 虽然上述研究提高了分割准确率并解决了某些技术难题, 但大多数方法只注重提升精度而忽略了网络大小和分割速度, 导致所提出的方法难以在行车环境感知系统中落地. 此外, 基于可见光图像的分割方法无论如何改进, 其输入数据来源决定了这些方法无法避免因光线不足、分割对象与背景颜色纹理一致等导致的分割误差.

红外热成像相机由于其能够全天时、全天候有效工作的特性, 在车辆驾驶领域中的应用越来越广泛. 例如, 对红外图像中的行人进行识别, 能提供危险区域、安全距离等重要信息, 从而辅助行车系统更好地进行路径规划, 提高其可靠性与鲁棒性. 一般来说, 面向红外图像的分割算法都是通过人工设计特征来描述前景与背景的差异, 如基于阈值、模糊集和最短路径等方法, 但它们通常对场景变化和噪声很敏感, 无法适应车辆所处的复杂环境.

近年来, 有学者开始关注基于多种传感器的感知方法, 尝试通过融合多模态数据充分挖掘信息, 提高行车感知系统的性能. Ha等首次尝试结合可见光与红外热图像进行场景分割, 提出了基于卷积神经网络的MFNet分割模型, 并创建了一个可见光与红外热图像的场景分割数据集. RTFNet在MFNet的基础上引入残差结构进一步加强了信息的融合, 提高了场景分割结果的准确性, 由于该网络结构过于庞大且参数数量显著增加, 与行车环境感知系统需要轻量级、实时性高的分割模型相违背, 有待进一步改进. 在此之前, 针对多传感器感知的研究集中在应用点云与可见光融合进行目标检测, 可见光与深度图像进行分割, 以及针对多光谱图像进行目标检测等.

本文提出一种基于可见光与红外热图像的复杂场景分割模型DMSNet (Dual modal segmentation network), 该模型通过构建轻量级的双路特征空间自适应(Dual-path feature space adaptation, DPFSA)模块, 将红外热特征与可见光特征变换到同一空间下进行融合, 然后学习融合后的多模态特征, 并提取这些特征中的低层细节与高层语义信息, 从而实现对复杂场景的分割. 实验结果表明, 该模型可减少由于不同模态特征空间的差异带来的融合误差, 即使在光线发生变化时也表现出较强的鲁棒性, 分割结果相对其他方法也有明显改进.

图 1  DMSNet模型结构图

图 4  DMSNet、FuseNet和MFNet在数据集A上的分割结果对比

作者简介

陈武阳

中南大学自动化学院和计算机学院硕士研究生. 主要研究方向为计算机视觉与智能感知.

E-mail: chenwuyanghn@163.com

赵于前

中南大学自动化学院教授. 主要研究方向为计算机视觉, 智能感知, 机器学习, 精准医疗. 本文通信作者.

E-mail: zyq@csu.edu.cn

阳春华

中南大学自动化学院教授. 主要研究方向为复杂工业过程建模与优化控制, 智能自动化控制系统, 自动检测技术与仪器装置.

E-mail: ychh@csu.edu.cn

张   帆

中南大学自动化学院讲师. 主要研究方向为图像处理, 激光制造.

E-mail: zhangfan219@csu.edu.cn

余伶俐

中南大学自动化学院教授. 主要研究方向为智能车辆路径规划与导航控制.

E-mail: llyu@csu.edu.cn

陈白帆

中南大学自动化学院副教授. 主要研究方向为智能驾驶, 环境感知, 计算机视觉.

E-mail: chenbaifan@csu.edu.cn

相关文章

[1]  陈芳, 张道强, 廖洪恩, 赵喆. 基于序列注意力和局部相位引导的骨超声图像分割网络. 自动化学报. doi: 10.16383/j.aas.c210298

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210298?viewType=HTML

[2]  赵兴科, 李明磊, 张弓, 黎宁, 李家松. 基于显著图融合的无人机载热红外图像目标检测方法. 自动化学报, 2021, 47(9): 2120-2131. doi: 10.16383/j.aas.c200021

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200021?viewType=HTML

[3]  黄庭鸿, 聂卓赟, 王庆国, 李帅, 晏来成, 郭东生. 基于区块自适应特征融合的图像实时语义分割. 自动化学报, 2021, 47(5): 1137-1148. doi: 10.16383/j.aas.c180645

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180645?viewType=HTML

[4]  陈虹, 郭露露, 宫洵, 高炳钊, 张琳. 智能时代的汽车控制. 自动化学报, 2020, 46(7): 1313−1332 doi: 10.16383/j.aas.c190329

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190329?viewType=HTML

[5]  高雪琴, 刘刚, 肖刚, BAVIRISETTIDurga Prasad, 史凯磊. 基于FPDE的红外与可见光图像融合算法. 自动化学报, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180188?viewType=HTML

[6]  王传云, 秦世引. 动态场景红外图像的压缩感知域高斯混合背景建模. 自动化学报, 2018, 44(7): 1212-1226. doi: 10.16383/j.aas.2017.c170061

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c170061?viewType=HTML

[7]  许允喜, 陈方. 特征联合和旋转不变空间分割联合的局部图像描述符. 自动化学报, 2016, 42(4): 617-630. doi: 10.16383/j.aas.2016.c150206

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150206?viewType=HTML

[8]  周东国, 高潮, 郭永彩. 一种参数自适应的简化PCNN图像分割方法. 自动化学报, 2014, 40(6): 1191-1197. doi: 10.3724/SP.J.1004.2014.01191

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01191?viewType=HTML

[9]  李权合, 毕笃彦, 许悦雷, 查宇飞. 雾霾天气下可见光图像场景再现. 自动化学报, 2014, 40(4): 744-750. doi: 10.3724/SP.J.1004.2014.00744

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.00744?viewType=HTML

[10]  刘松涛, 王慧丽, 殷福亮. 基于图割和模糊连接度的交互式舰船红外图像分割方法. 自动化学报, 2012, 38(11): 1735-1750. doi: 10.3724/SP.J.1004.2012.01735

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01735?viewType=HTML

[11]  李映, 崔杨杨, 韩晓宇. 基于线特征和控制点的可见光和SAR图像配准. 自动化学报, 2012, 38(12): 1968-1974. doi: 10.3724/SP.J.1004.2012.01968

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01968?viewType=HTML

[12]  廉蔺, 李国辉, 张军, 涂丹. 基于边缘最优映射的红外和可见光图像自动配准算法. 自动化学报, 2012, 38(4): 570-581. doi: 10.3724/SP.J.1004.2012.00570

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00570?viewType=HTML

[13]  魏巍, 申铉京, 千庆姬. 工业检测图像灰度波动变换自适应阈值分割算法. 自动化学报, 2011, 37(8): 944-953. doi: 10.3724/SP.J.1004.2011.00944

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00944?viewType=HTML

[14]  王英华, 韩崇昭. 基于张量空间中的均值漂移聚类的极化SAR图像分割. 自动化学报, 2010, 36(6): 798-806. doi: 10.3724/SP.J.1004.2010.00798

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.00798?viewType=HTML

[15]  王晏, 孙怡. 自适应Mean Shift算法的彩色图像平滑与分割算法. 自动化学报, 2010, 36(12): 1637-1644. doi: 10.3724/SP.J.1004.2010.01637

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01637?viewType=HTML

[16]  张秀伟, 张艳宁, 杨涛, 张新功, 邵大培. 基于Co-motion的可见光--热红外图像序列自动配准算法. 自动化学报, 2010, 36(9): 1220-1231. doi: 10.3724/SP.J.1004.2010.01220

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01220?viewType=HTML

[17]  王森, 张伟伟, 王阳生. 指纹图像分割中新特征的提出及其应用. 自动化学报, 2003, 29(4): 622-627.

http://www.aas.net.cn/cn/article/id/13915?viewType=HTML

[18]  陈果, 左洪福. 图像的自适应模糊阈值分割法. 自动化学报, 2003, 29(5): 791-796.

http://www.aas.net.cn/cn/article/id/13890?viewType=HTML

[19]  桑农, 张天序. 基于Hopfield神经网络的FLIR图像分割. 自动化学报, 2001, 27(3): 303-309.

http://www.aas.net.cn/cn/article/id/16483?viewType=HTML

[20]  郑南宁, 刘健勤, 王庆元. 用于图像分割的并行自适应层次化网络模型. 自动化学报, 1993, 19(1): 78-84.

http://www.aas.net.cn/cn/article/id/14280?viewType=HTML

[21]  黄玉明, 徐光祐, 叶培建. 基于物理模型的彩色图像分割. 自动化学报, 1992, 18(4): 421-429.

http://www.aas.net.cn/cn/article/id/14457?viewType=HTML