引用本文

 

崔文靓, 王玉静, 康守强, 谢金宝, 王庆岩, MIKULOVICH Vladimir Ivanovich. 基于改进YOLOv3算法的公路车道线检测方法. 自动化学报, 2022, 48(6): 1560−1568 doi: 10.16383/j.aas.c190178

Cui Wen-Liang, Wang Yu-Jing, Kang Shou-Qiang, Xie Jin-Bao, Wang Qin-Yan, Mikulovich Vladimir Ivanovich. Road lane line detection method based on improved YOLOv3 algorithm. Acta Automatica Sinica, 2022, 48(6): 1560−1568 doi: 10.16383/j.aas.c190178

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190178?viewType=HTML

文章简介

关键词

车道线检测, 深度学习, YOLOv3, K-means++, 计算机视觉

摘   要

针对YOLOv3算法在检测公路车道线时存在准确率低和漏检概率高的问题, 提出一种改进YOLOv3网络结构的公路车道线检测方法.该方法首先将图像划分为多个网格, 利用K-means++聚类算法, 根据公路车道线宽高固有特点, 确定目标先验框数量和对应宽高值; 其次根据聚类结果优化网络Anchor参数, 使训练网络在车道线检测方面具有一定的针对性; 最后将经过Darknet-53网络提取的特征进行拼接, 改进YOLOv3算法卷积层结构, 使用GPU进行多尺度训练得到最优的权重模型, 从而对图像中的车道线目标进行检测,并选取置信度最高的边界框进行标记.使用Caltech Lanes数据库中的图像信息进行对比试验, 实验结果表明, 改进的YOLOv3算法在公路车道线检测中平均准确率(Mean average precision, mAP)为95%, 检测速度可达50帧/s, 较YOLOv3原始算法mAP值提升了11%, 且明显高于其他车道线检测方法.

引   言

车道线检测是智能驾驶领域的关键技术之一, 广泛应用于汽车辅助驾驶系统、车道偏离预警系统以及车辆防碰撞系统中. 随着计算机科学、人工智能和目标检测技术的飞速发展, 研究端到端的智能化车道线检测方法是自动驾驶领域的一条全新途径. 因此, 研究基于深度学习的公路车道线检测方法对于提高公路交通安全具有重要意义.

对于车道线检测问题, 国内外学者已开展了相关研究, 取得了一定的研究成果. 基于传统方法的车道线检测实质是通过图像特征和车载传感器来感知车辆当前环境并进行建模. 存在检测速度慢、检测精度差、抗环境干扰能力差等问题. 文献[11]在常见的直线模型、多项式曲线模型、双曲线模型和样条曲线模型等二维模型的基础上, 提出了基于车道线特征的检测方法. 文献[12]在霍夫变换的基础上使用道路拟合算法精确标出道路俯视图中的车道线位置, 该方法可有效改善图像中其他车辆位置对检测效果的影响. 文献[13]提出了基于立体视觉的路缘边线检测方法, 该方法在真实路况条件下具有较强的稳定性. 文献[14]提出了基于车道线颜色和方向的几何特征结构化检测方法, 综合颜色和方向两个方面的信息对车道线进行拟合, 实现了车道线的检测. 文献[15]提出了基于视觉更具有鲁棒性的检测方法, 通过并行约束和多路模型拟合的方法提高了车道线检测的准确性.

近年来, 卷积神经网络(Convolutional neural network, CNN)在图像分类、目标检测、图像语意分割等领域取得了一系列突破性的研究成果. 基于深度学习方法的车道线检测常通过卷积神经网络对图像特征进行学习、分类和检测. 文献[18-20]先后提出了区域卷积神经网络、快速区域卷积神经网络和超快区域卷积神经网络, 将网络应用到目标检测问题中, 并在检测速度和准确率方面不断提高. 文献[21]将改进的CNN应用在公路车道线检测方面, 测试效果较霍夫变换和随机抽样一致算法大幅提升. 为了进一步提高目标检测的速度, 文献[22]又提出了一种端到端的目标检测算法YOLO (You only look once), 将目标检测问题转化为回归问题, 进而将目标和背景进行更好的区分. 文献[23]提出的YOLOv2算法在简化网络结构的同时提高了目标检测的准确率. 文献[24]将YOLOv2算法应用在无人机航拍定位领域并得到理想效果, 在一定程度上验证了算法的普适性. 文献[25]提出了一种端到端的可训练网络VPGNet (Vanishing point guide network), 通过对大量图片的训练得到图像中的车道线位置, 为车道线检测问题提供了一种全新的解决思路. 文献[26]提出的YOLOv3算法借鉴了残差神经网络的思想, 成为目标检测算法中集检测速度和准确率于一身的优秀方法, 但其较YOLOv2算法相比, 网络结构更为复杂, 卷积层数目大幅增加, 加大了小目标在深层卷积过程中特征消失的风险.

为提高算法在车道线检测方面的适用性和准确性, 本文在YOLOv3算法的基础上进行改进, 采用随机性更小的K-means++算法替代K-means算法对车道线标签进行聚类分析, 确定最优的聚类数目和相应的宽高值, 并据此修改YOLOv3算法中的Anchor参数. 针对车道线检测实时性和检测目标较小的特点, 改进YOLOv3算法卷积层结构, 在保证检测准确率的同时, 提高算法的检测速度, 从而实现对公路车道线的检测.

图 3  改进YOLOv3算法的网络结构

图 4  公路车道线检测框图

图 8  车道线测试效果

作者简介

崔文靓

哈尔滨理工大学电气与电子工程学院硕士研究生. 主要研究方向为目标检测与计算机视觉.

E-mail: cuiwliang@163.com

王玉静

哈尔滨理工大学电气与电子工程学院副教授. 2015年获哈尔滨工业大学博士学位. 主要研究方向为非平稳信号处理, 故障诊断, 状态评估与预测技术, 模式识别.

E-mail: mirrorwyj@163.com

康守强

哈尔滨理工大学电气与电子工程学院教授. 2011年获得白俄罗斯国立大学博士学位.主要研究方向为非平稳信号处理, 故障诊断, 状态评估与预测技术, 模式识别.

E-mail: kangshouqiang@163.com

谢金宝

哈尔滨理工大学电气与电子工程学院副教授. 2012年获得白俄罗斯国立大学博士学位.主要研究方向为计算机视觉和自然语言处理.

E-mail: xjbpost@163.com

王庆岩

哈尔滨理工大学电气与电子工程学院讲师. 2018年获得哈尔滨工业大学工学博士学位.主要研究方向为图像处理与模式识别, 遥感图像处理. 本文通信作者.

E-mail: wangqy@hrbust.edu.cn

MIKULOVICH Vladimir Ivanovich

白俄罗斯国立大学教授. 1975年获白俄罗斯国立大学博士学位.主要研究方向为非平稳信号处理, 故障诊断、状态评估与预测技术, 模式识别.

E-mail: falcon@tut.by

相关文章

[1]  田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170153?viewType=HTML

[2]  李文英, 曹斌, 曹春水, 黄永祯. 一种基于深度学习的青铜器铭文识别方法. 自动化学报, 2018, 44(11): 2023-2030. doi: 10.16383/j.aas.2018.c180152

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180152?viewType=HTML

[3]  吕承侃, 沈飞, 张正涛, 张峰. 图像异常检测研究现状综述. 自动化学报. doi: 10.16383/j.aas.c200956

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200956?viewType=HTML

[4]  刘小波, 刘鹏, 蔡之华, 乔禹霖, 王凌, 汪敏. 基于深度学习的光学遥感图像目标检测研究进展. 自动化学报, 2021, 47(9): 2078-2089. doi: 10.16383/j.aas.c190455

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190455?viewType=HTML

[5]  陈文帅, 任志刚, 吴宗泽, 付敏跃. 基于深度学习的极性电子元器件目标检测与方向识别方法. 自动化学报, 2021, 47(7): 1701-1709. doi: 10.16383/j.aas.c190037

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190037?viewType=HTML

[6]  陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述. 自动化学报, 2021, 47(5): 1017-1034. doi: 10.16383/j.aas.c190811

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190811?viewType=HTML

[7]  姚足, 龚勋, 陈锐, 卢奇, 罗彬. 面向行人重识别的局部特征研究进展、挑战与展望. 自动化学报, 2021, 47(12): 2742-2760. doi: 10.16383/j.aas.c190821

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190821?viewType=HTML

[8]  卫星, 李佳, 孙晓, 刘邵凡, 陆阳. 基于混合生成对抗网络的多视角图像生成算法. 自动化学报, 2021, 47(11): 2623-2636. doi: 10.16383/j.aas.c190743

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190743?viewType=HTML

[9]  李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341-2363. doi: 10.16383/j.aas.c190859

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859?viewType=HTML

[10]  蒋方玲, 刘鹏程, 周祥东. 人脸活体检测综述. 自动化学报, 2021, 47(8): 1799-1821. doi: 10.16383/j.aas.c180829

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180829?viewType=HTML

[11]  许玉格, 钟铭, 吴宗泽, 任志刚, 刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报. doi: 10.16383/j.aas.c200148

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200148?viewType=HTML

[12]  陈小鼎, 盛常冲, 匡纲要, 刘丽. 唇读研究进展与展望. 自动化学报, 2020, 46(11): 2275-2301. doi: 10.16383/j.aas.c190531

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190531?viewType=HTML

[13]  李良福, 马卫飞, 李丽, 陆铖. 基于深度学习的桥梁裂缝检测算法研究. 自动化学报, 2019, 45(9): 1727-1742. doi: 10.16383/j.aas.2018.c170052

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170052?viewType=HTML

[14]  陈加, 张玉麒, 宋鹏, 魏艳涛, 王煜. 深度学习在基于单幅图像的物体三维重建中的应用. 自动化学报, 2019, 45(4): 657-668. doi: 10.16383/j.aas.2018.c180236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180236?viewType=HTML

[15]  罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展. 自动化学报, 2019, 45(11): 2032-2049. doi: 10.16383/j.aas.c180154

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180154?viewType=HTML

[16]  刘丽, 赵凌君, 郭承玉, 王亮, 汤俊. 图像纹理分类方法研究进展和展望. 自动化学报, 2018, 44(4): 584-607. doi: 10.16383/j.aas.2018.c160452

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160452?viewType=HTML

[17]  陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886-1897. doi: 10.16383/j.aas.2017.c160690

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160690?viewType=HTML

[18]  罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160425?viewType=HTML

[19]  张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望. 自动化学报, 2017, 43(8): 1289-1305. doi: 10.16383/j.aas.2017.c160822

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160822?viewType=HTML

[20]  尹宏鹏, 陈波, 柴毅, 刘兆栋. 基于视觉的目标检测与跟踪综述. 自动化学报, 2016, 42(10): 1466-1489. doi: 10.16383/j.aas.2016.c150823

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150823?viewType=HTML

[21]  邱茂林, 马颂德, 李毅. 计算机视觉中摄像机定标综述. 自动化学报, 2000, 26(1): 43-55.

http://www.aas.net.cn/cn/article/id/14697?viewType=HTML

[22]  徐文立. 计算机视觉的PNP问题的最优解. 自动化学报, 1992, 18(5): 522-531.

http://www.aas.net.cn/cn/article/id/14441?viewType=HTML