引用本文

孙沁璇, 苑晶, 张雪波, 高远兮. PLVO: 基于平面和直线融合的RGB-D视觉里程计. 自动化学报, 2023, 49(10): 2060−2072 doi: 10.16383/j.aas.c200878

Sun Qin-Xuan, Yuan Jing, Zhang Xue-Bo, Gao Yuan-Xi. PLVO: Plane-line-based RGB-D visual odometry. Acta Automatica Sinica, 2023, 49(10): 2060−2072 doi: 10.16383/j.aas.c200878

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200878

关键词

RGB-D视觉里程计，平面−直线融合，机器人定位，自适应融合，多特征联合关联 

摘要

针对利用平面特征计算RGB-D相机位姿时的求解退化问题, 提出平面和直线融合的RGB-D视觉里程计(Plane-line-based RGB-D visual odometry, PLVO). 首先, 提出基于平面−直线混合关联图(Plane-line hybrid association graph, PLHAG)的多特征关联方法, 充分考虑平面和平面、平面和直线之间的几何关系, 对平面和直线两类几何特征进行一体化关联. 然后, 提出基于平面和直线主辅相济、自适应融合的RGB-D相机位姿估计方法. 具体来说, 鉴于平面特征通常比直线特征具有更好的准确性和稳定性, 通过自适应加权的方法, 确保平面特征在位姿计算中的主导作用, 而对平面特征无法约束的位姿自由度(Degree of freedom, DoF), 使用直线特征进行补充, 得到相机的6自由度位姿估计结果, 从而实现两类特征的融合, 解决了单纯使用平面特征求解位姿时的退化问题. 最后, 通过公开数据集上的定量实验以及真实室内环境下的机器人实验, 验证了所提出方法的有效性.

文章导读

视觉里程计(Visual odometry, VO)在移动机器人定位和导航等任务中发挥着越来越重要的作用[1-4]. 近年来, 高层几何特征, 如平面、直线、边缘等, 在视觉里程计以及同步定位与建图(Simultaneous localization and mapping, SLAM)中得到了越来越多的关注[5-7]. 室内环境是移动机器人的重要作业环境之一, 由于室内场景属于典型的人造环境, 其中存在大量平面、直线等几何结构, 能够为机器人定位与建图提供重要的高层环境特征[8-10]. 与目前最常用的点特征相比[11], 高层几何特征对环境纹理缺失以及光照变化有更强的鲁棒性[12-13]. 另外, 几何特征是对原始传感数据的高层参数化表示, 能够在尽可能减小数据存储量的前提下保留环境的结构信息, 为机器人的自主导航[14]及场景理解[15]提供导航地图和语义描述.

在众多高层几何特征(平面、直线、线段、边缘、轮廓等)中, 平面特征具有鲁棒性强、易稳定提取和表示简便等优势, 因而在VO和SLAM领域得到了较好的应用[16-18]. 然而, 在使用平面参数计算视觉里程计时, 常常面临因约束不足而导致的相机位姿求解退化问题[5, 19-20]. Taguchi等[19]同时使用点特征和平面特征, 给出了可以完全约束相机位姿的特征组合方式, 但并没有对只使用平面特征时的退化情况进行具体的分析. Cupec等[20]在基于平面和线段特征的场景识别中, 假设环境包含至少两个非平行平面, 此时平面特征对相机位姿估计提供至少5自由度(Five degree of freedom, 5 DoF)约束, 使用扩展卡尔曼滤波(Extended Kalman filter, EKF)对该5 DoF位姿进行估计, 之后再利用平面与线段的投票机制对剩余的一个自由度进行计算. 然而, 由于RGB-D相机视野范围以及观测距离的限制, 会出现难以满足环境包含至少两个非平行平面的假设, 如只能观测到平行的桌面和地面的情况. Sun等[5]根据平面特征在三维空间的分布情况, 检测出用平面计算位姿时的退化情况, 并提出基于STING (Statistical information grid)的扫描匹配方法, 对无法被平面约束的位姿自由度进行计算.

除了平面特征外, 直线特征也广泛应用于移动机器人室内环境VO和SLAM[21-24]. 与平面特征相比, 直线特征在室内场景中的数量更多, 也更不容易出现退化情况(只要存在两条非平行直线即可完全约束位姿的计算). 同时, 相比于点特征, 直线特征对低纹理环境具有更强的鲁棒性[22-23]. 然而, 通常情况下直线都分布于物体的边缘区域, 导致其深度值与RGB值存在很大的观测噪声[25], 因此, 直线参数估计的准确性和稳定性不及平面特征.

鉴于上述问题以及平面和直线特征在机器人位姿估计方面的互补性, 本文提出基于平面和直线融合的RGB-D视觉里程计(Plane-line-based RGB-D visual odometry, PLVO). 首先, 针对多几何特征的关联问题, 本文对Sun等[5]提出的平面关联图(Plane association graph, PAG)进行扩展, 提出平面−直线混合关联图(Plane-line hybrid association graph, PLHAG), 在PAG的基础上, 加入对平面与直线之间几何关系的考虑, 实现对两类不同几何特征的统一关联. 其次, 提出基于平面和直线融合的RGB-D相机位姿估计方法, 在用平面计算位姿出现退化情况时, 引入直线特征作为平面特征的补充, 通过二者的自适应融合, 完成6 DoF位姿的计算. 值得说明的是, 由于平面特征参数的准确性和稳定性均优于直线特征, 故本文根据平面特征对位姿的约束情况来控制直线特征对位姿求解的贡献, 使得直线特征只对平面特征无法约束的自由度进行约束, 因此, 即使在用平面特征求解时出现退化的情况, 也尽可能保证平面特征占主导作用, 充分利用平面特征良好的准确性和稳定性, 提升位姿估计的效果.

图 1  PLVO系统框图

图 2  PLHAG结构示意图

图 3  5 DoF约束情况下直线权值

本文提出了一种基于平面和直线自适应融合的视觉里程计算法. 通过对相邻两帧的平面和直线特征统一构建PLHAG, 充分考虑了平面与平面、平面与直线之间的几何关系, 实现了两类特征的混合关联, 提高了多特征关联结果的准确率和召回率. 而在估计RGB-D相机位姿时, 充分发挥了平面特征准确、稳定的优点及其在机器人位姿估计中的主导作用. 针对平面特征在位姿估计中存在的退化问题, 引入直线特征对平面无法约束的自由度进行约束, 并设计能够充分体现约束强度的权重, 实现了两类特征的主辅相济与自适应融合. 多角度的实验验证充分证明了本文提出算法的准确性和有效性.

作者简介

孙沁璇

南开大学人工智能学院博士研究生. 主要研究方向为移动机器人导航和同步定位与建图. E-mail: sunqinxuan@outlook.com

苑晶

南开大学人工智能学院教授. 主要研究方向为机器人控制, 目标跟踪以及同步定位与建图. 本文通信作者. E-mail: nkyuanjing@gmail.com

张雪波

南开大学人工智能学院教授. 主要研究方向为运动规划, 视觉伺服以及同步定位与建图. E-mail: zhangxb@robot.nankai.edu.cn

高远兮

南开大学人工智能学院博士研究生. 主要研究方向为无人机和移动机器人的同步定位与建图. E-mail: gyx0801@163.com