引用本文

 

许翔, 帅惠, 刘青山. 基于卦限卷积神经网络的3D点云分析. 自动化学报, 2021, 47(12): 2791−2800 doi: 10.16383/j.aas.c200080

Xu Xiang, Shuai Hui, Liu Qing-Shan. Octant convolutional neural network for 3D point cloud analysis. Acta Automatica Sinica, 2021, 47(12): 2791−2800 doi: 10.16383/j.aas.c200080

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200080?viewType=HTML

文章简介

关键词

深度学习, 点云, 卦限卷积神经网络, 局部几何特征

摘   要

基于深度学习的三维点云数据分析技术得到了越来越广泛的关注, 然而点云数据的不规则性使得高效提取点云中的局部结构信息仍然是一大研究难点. 本文提出了一种能够作用于局部空间邻域的卦限卷积神经网络(Octant convolutional neural network, Octant-CNN), 它由卦限卷积模块和下采样模块组成. 针对输入点云, 卦限卷积模块在每个点的近邻空间中定位8个卦限内的最近邻点, 接着通过多层卷积操作将8卦限中的几何特征抽象成语义特征, 并将低层几何特征与高层语义特征进行有效融合, 从而实现了利用卷积操作高效提取三维邻域内的局部结构信息; 下采样模块对原始点集进行分组及特征聚合, 从而提高特征的感受野范围, 并且降低网络的计算复杂度. Octant-CNN通过对卦限卷积模块和下采样模块的分层组合, 实现了对三维点云进行由底层到抽象、从局部到全局的特征表示. 实验结果表明, Octant-CNN在对象分类、部件分割、语义分割和目标检测四个场景中均取得了较好的性能.

引   言

随着自动驾驶和机器人应用技术的兴起, 3D点云数据分析引起了广泛关注. 近年来, 由于基于深度学习的神经网络在图像分类、目标检测和图像分割等任务中取得了很大的成功, 基于深度学习的点云数据分析也成为了研究的热点. 现有的基于深度学习的点云数据分析方法大体可以分为以下两类:

一类是基于无序点云规则化的深度学习方法, 这类方法先将3D点云转换为规则的体素结构或多视图图像, 然后使用卷积神经网络 (Convolutional neural network, CNN)方法来学习特征表示. 由于体素化过程存在量化误差, 多视图投影则压缩了数据维度, 这些都会不同程度上导致3D点云中几何信息的丢失. 另一类方法是直接基于点云的深度学习方法. 这类方法又可以分为基于多层感知机(Multi-layer perceptron, MLP)的方法、 基于卷积的方法和基于图的方法. 其中基于多层感知机的方法的核心思想是通过参数共享的MLP独立地提取每个点的特征, 然后通过一个对称函数聚合得到全局特征, 这类方法往往不能充分考虑到3D点之间的关系. 基于卷积的方法的核心思想是根据邻域点之间的空间位置关系去学习点之间的权重参数, 并根据学习到的权重参数自适应地聚合局部特征, 这类方法已经取得了极大的成功. 基于图的方法在近年来也受到了广泛的关注, 它们将每个点都作为图的顶点, 通过学习顶点之间边的权重来更新顶点的特征, 这类方法通常在构图的过程中会产生相当大的计算量.

在上述方法中, 基于MLP的方法是最直接简单的方法. PointNet是这类方法中的开创性工作, 其核心思想是通过参数共享的多层感知机独立地将每个点的坐标信息映射至高维特征空间, 再通过一个对称函数聚合最终的高维特征以获得全局表示, 从而解决了点云的无序性问题; 此外, PointNet还使用T-Net网络学习变换矩阵对点云进行旋转标定, 从而保证点云的旋转不变性; 在分割任务中, PointNet将全局特征与每个点的局部特征级联, 通过多层MLP提取每个点的语义特征, 实现对每个点的分类. 虽然该方法简单有效, 但是由于其是对每个点进行独立地处理, 因此该网络并没有有效提取点云的局部特征. 对此, PointNet++提出了一种层次化的网络结构, 通过在每一层级递归使用采样、分组和PointNet网络来抽象低层次的特征; 面对语义分割任务, PointNet++提出基于欧氏距离的插值法对点进行上采样, 并将通过插值计算所得语义特征与低层学习的语义特征进行融合以更准确地学习每个点的语义特征. 但是在每一个子区域中, PointNet++仍然独立地处理每个点的信息. PointSIFT引入卦限约束来有效探索各个点周围的局部模式, 其主要思想是以每个点为原点, 在周围8个卦限中找到特定范围内的最近点, 然后沿着X, Y, Z轴使用三阶段2D卷积来提取局部模式, 其三阶段的卷积操作会受到因点云旋转而造成的不同卦限顺序的影响, 从而使得提取的局部模式具有方向敏感性; 此外, 在下采样阶段, PointSIFT沿用PointNet++的网络结构, 采用可学习的方式聚合局部特征, 这为其引入额外的参数, 从而大大增加了其计算量.

为了克服上述问题, 本文提出了一种新的卦限卷积神经网络(Octant-CNN)来提取点云的局部几何结构. 该网络主要由卦限卷积模块和下采样模块两部分组成. 具体来说, 卦限卷积模块首先搜索每个点在8个卦限内的最近邻点, 由于点云的密度特性可以通过近邻点的距离来表征, 为了使Octant-CNN能更好地反映这一特性, 本文取消了对搜索半径的限制, 从而保证远离中心点的近邻点同样可以被度量. 卦限卷积模块使用单阶段卷积操作同时作用在8个卦限的近邻点, 从而克服了三阶段卷积操作对卦限顺序敏感这一问题, 并且配合T-Net的使用, 能够对点云旋转具有更好的鲁棒性. 最后通过级联各层的特征和残差连接方式实现了多层次特征的融合. 下采样模块根据空间分布对点云进行分组聚合, 扩大了中间特征的感受野, 构成了层次化的网络连结结构, 并且该模块并没有引入额外的可学习参数, 从而大大降低了Octant-CNN的计算复杂度. 通过对卦限卷积模块和下采样模块的多层堆叠, Octant-CNN实现了从局部模式中不断抽象出全局特征.

图 5  KITTI目标检测可视化结果

请点击左下角“阅读原文”了解更多！

作者简介

许   翔

南京信息工程大学自动化学院硕士研究生. 2018年获得南京信息工程大学信息与控制学院学士学位. 主要研究方向为三维点云场景感知.

E-mail: xuxiang0103@gmail.com

帅   惠

南京信息工程大学博士研究生. 2018年获得南京信息工程大学信息与控制学院硕士学位. 主要研究方向为目标检测, 3D点云场景感知.

E-mail: huishuai13@163.com

刘青山

南京信息工程大学计算机学院、软件学院、网络空间安全学院院长, 教授. 2003年获得中国科学院自动化研究所博士学位. 主要研究方向为图像理解, 模式识别, 机器学习. 本文通信作者.

E-mail: qsliu@nuist.edu.cn

相关文章

[1]  彭秀平, 仝其胜, 林洪彬, 冯超, 郑武. 一种面向散乱点云语义分割的深度残差−特征金字塔网络框架. 自动化学报, 2021, 47(12): 2831−2840 doi: 10.16383/j.aas.c190063

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190063?viewType=HTML

[2]  王龙, 宋慧慧, 张开华, 刘青山. 反馈学习高斯表观网络的视频目标分割. 自动化学报, 2022, 48(3): 834-842. doi: 10.16383/j.aas.c200288

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200288?viewType=HTML

[3]  张泽辉, 富瑶, 高铁杠. 支持数据隐私保护的联邦深度神经网络模型研究. 自动化学报. doi: 10.16383/j.aas.c200236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200236?viewType=HTML

[4]  单铉洋, 孙战里, 曾志刚. RFNet: 用于三维点云分类的卷积神经网络. 自动化学报. doi: 10.16383/j.aas.c210532

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210532?viewType=HTML

[5]  范家伟, 张如如, 陆萌, 何佳雯, 康霄阳, 柴文俊, 石珅达, 宋美娜, 鄂海红, 欧中洪. 深度学习方法在糖尿病视网膜病变诊断中的应用. 自动化学报, 2021, 47(5): 985-1004. doi: 10.16383/j.aas.c190069

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190069?viewType=HTML

[6]  熊峰, 刘成菊, 陈启军. 基于垂直约束的激光扫描机构外参标定算法. 自动化学报, 2021, 47(5): 1058-1066. doi: 10.16383/j.aas.c190264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190264?viewType=HTML

[7]  司念文, 张文林, 屈丹, 罗向阳, 常禾雨, 牛铜. 卷积神经网络表征可视化研究综述. 自动化学报. doi: 10.16383/j.aas.c200554

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200554?viewType=HTML

[8]  王正文, 宋慧慧, 樊佳庆, 刘青山. 基于语义引导特征聚合的显著性目标检测网络. 自动化学报. doi: 10.16383/j.aas.c210425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210425?viewType=HTML

[9]  王功明, 乔俊飞, 关丽娜, 贾庆山. 深度信念网络研究现状与展望. 自动化学报, 2021, 47(1): 35-49. doi: 10.16383/j.aas.c190102

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190102?viewType=HTML

[10]  林文瑞, 丛爽. 基于深度学习LDAMP网络的量子状态估计. 自动化学报. doi: 10.16383/j.aas.c210156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210156?viewType=HTML

[11]  孟琭, 孙霄宇, 赵滨, 李楠. 基于卷积神经网络的铁轨路牌识别方法. 自动化学报, 2020, 46(3): 518-530. doi: 10.16383/j.aas.c190182

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190182?viewType=HTML

[12]  薄迎春, 张欣, 刘宝. 延迟深度回声状态网络及其在时间序列预测中的应用. 自动化学报, 2020, 46(8): 1644-1653. doi: 10.16383/j.aas.c180264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180264?viewType=HTML

[13]  林金花, 姚禹, 王莹. 基于深度图及分离池化技术的场景复原及语义分类网络. 自动化学报, 2019, 45(11): 2178-2186. doi: 10.16383/j.aas.2018.c170439

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170439?viewType=HTML

[14]  蔡云飞, 石庭敏, 唐振民. 基于双多线激光雷达的非结构化环境负障碍感知技术. 自动化学报, 2018, 44(3): 569-576. doi: 10.16383/j.aas.2018.c160453

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160453?viewType=HTML

[15]  陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886-1897. doi: 10.16383/j.aas.2017.c160690

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160690?viewType=HTML

[16]  胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建. 自动化学报, 2017, 43(5): 814-821. doi: 10.16383/j.aas.2017.c150634

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c150634?viewType=HTML

[17]  罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160425?viewType=HTML

[18]  常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络. 自动化学报, 2016, 42(9): 1300-1312. doi: 10.16383/j.aas.2016.c150800

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150800?viewType=HTML

[19]  唐朝辉, 朱清新, 洪朝群, 祝峰. 基于自编码器及超图学习的多标签特征提取. 自动化学报, 2016, 42(7): 1014-1021. doi: 10.16383/j.aas.2016.c150736

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150736?viewType=HTML

[20]  耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425?viewType=HTML

[21]  随婷婷, 王晓峰. 一种基于CLMF的深度卷积神经网络模型. 自动化学报, 2016, 42(6): 875-882. doi: 10.16383/j.aas.2016.c150741

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150741?viewType=HTML