引用本文

 

彭秀平, 仝其胜, 林洪彬, 冯超, 郑武. 一种面向散乱点云语义分割的深度残差−特征金字塔网络框架. 自动化学报, 2021, 47(12): 2831−2840 doi: 10.16383/j.aas.c190063

Peng Xiu-Ping, Tong Qi-Sheng, Lin Hong-Bin, Feng Chao, Zheng Wu. A deep residual — feature pyramid network framework for scattered point cloud semantic segmentation. Acta Automatica Sinica, 2021, 47(12): 2831−2840 doi: 10.16383/j.aas.c190063

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190063?viewType=HTML

文章简介

关键词

散乱点云, 语义分割, 立方体卷积, 残差网络, 特征金字塔网络

摘   要

针对当前基于深度学习的散乱点云语义特征提取方法通用性差以及特征提取不足导致的分割精度和可靠性差的难题, 提出了一种散乱点云语义分割深度残差−特征金字塔网络框架. 首先, 针对当前残差网络在卷积方式上的局限性, 定义一种立方体卷积运算, 不仅可以通过二维卷积运算实现三维表示点的高层特征的抽取, 还可以解决现有的参数化卷积设计通用性差的问题;其次, 将定义的立方体卷积计算与残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 实现三维表示点高层特征多尺度学习与散乱点云场景语义分割. 实验结果表明, 本文提出的立方体卷积运算具有良好的适用性, 且本文提出的深度残差−特征金字塔网络框架在分割精度方面优于现存同类方法.

引   言

三维点云数据理解在计算机视觉和模式识别领域是一项非常重要的任务, 该任务包括物体分类, 目标检测和语义分割等. 其中, 语义分割任务最具有挑战性, 传统的方法大多是在对点云数据进行必要特征提取的基础上, 应用支持向量机(Support vector machine, SVM)一类的分类算法, 通过训练一组特征分类器来完成散乱点云数据的语义分割任务. 显然, 这类方法的性能很大程度上依赖点云特征的设计、特征提取的精度以及特征分类器的性能. 虽然国内外学者提出了几十种点云特征和大量的分类算法, 但是依然没有一种或几种特征能完全适用于所有语义分割场景, 算法适用性、精度和可靠性都得不到保障.

近年来, 随着深度学习技术的发展, 涌现出许多端对端的学习算法, 这种端对端的学习方式不依赖于手工设计的特征, 只需给定输入数据和对应的数据标签, 将其输入神经网络, 即可通过反向传播算法自动学习一组可以抽象高级特征的权重矩阵, 最后再由全连接层(Fully connected layer, FC)对高级特征进行分类, 从而完成分割任务. 现有的基于深度学习的点云分割研究方法大体可分为如下两类:

一类是基于散乱点云数据结构规则化的深度学习方法, 这类方法通常是先通过体素化处理或八叉树、KD树等树形结构, 将无序和不规则的散乱点云处理成规则的结构化数据, 再将结构化数据输入三维卷积神经网络(Convolutional neural network, CNN)进行训练. 基于体素化方法的提出首次将深度学习技术应用于三维点云数据理解任务, 通过将三维点云体素化为规则的结构化数据, 解决了其无序性和不规则性问题. 但是, 使用体素占用表示三维点云带来了量化误差问题, 为了减小这种误差必须使用更高的体素分辨率表示, 高分辨率的体素表示又会在训练神经网络过程中带来大内存占用问题. 因此, 受限于目前计算机硬件的发展水平, 基于体素化的散乱点云深度学习方法往往难以完成诸如大规模室内三维场景一类的复杂、需要细粒度的三维场景的语义分割和场景理解任务. 基于八叉树和KD树结构方法的提出解决了直接体素化点云所带来的大内存占用问题, 但是这种树形结构对三维点云旋转和噪声敏感, 从而导致卷积内核的可训练权重矩阵学习困难, 算法的鲁棒性往往不够理想.

另一类是基于参数化卷积设计的深度学习方法, 这类方法以原始三维点云作为输入, 通过设计一种能够有效抽象高层次特征的参数化卷积, 再使用堆叠卷积架构来完成点云分割任务. PointNet是这类方法的代表, 其首先使用共享参数的多层感知机(Multi-layer perception, MLP)将三维点云坐标映射到高维空间, 再通过全局最大池化(Global max pooling, GMP)得到点云全局特征, 解决了点云的无序性问题; 此外, 文献[7]还提出了一种T-net网络, 通过学习采样点变换矩阵和特征变换矩阵解决了散乱点云的旋转一致性问题, 但是由于缺乏点云局部特征信息局限了其在点云分割任务中的性能. 随后PointNet++提出一种分层网络, 通过在每一图层递归使用采样、分组、PointNet网络来抽象低层次特征和高层次特征, 再经过特征反向传播得到融合特征, 最终使用全连接层预测点语义标签, 解决了文献[7]方法对点云局部特征信息提取不足的问题. RSNet通过将无序点云特征映射为有序点云特征, 再结合循环神经网络(Recurrent neural network, RNN)来提取更丰富的语义信息, 从而进行语义标签预测. PointCNN则定义了一种卷积, 通过学习特征变换矩阵将无序点云特征变换成潜在的有序特征, 再使用堆叠卷积架构来完成点云分割任务.

总体而言, 基于参数化卷积设计的深度学习为散乱三维点云场景的理解提供了具有广阔前景的新方案. 然而, 目前该领域的研究尚处于萌芽阶段, 许多切实问题尚待解决, 如: 由于卷积方式的局限性, 用于二维图像处理的主流深度神经网络构架(如: U-Net, ResNet, Inception V2/V3, DenseNet等)无法直接用于三维散乱点云数据的处理; 由于针对点云特征提取设计的参数化卷积的局限性, 现有的方法普遍存在特征抽象能力不足、无法将用于二维图像处理的一些主流神经网络框架适用于三维点云分割任务等问题.

基于此, 本文设计了一种立方体卷积运算, 不仅可以通过二维卷积实现三维表示点的高层特征的抽取, 还可以解决当前参数化卷积设计通用性差的问题; 其次, 将定义的立方体卷积计算和残差网络相结合, 构建面向散乱点云语义分割的深度残差特征学习网络框架; 进一步, 将深度残差网络与特征金字塔网络相结合, 以实现三维表示点高层特征多尺度学习和语义分割.

http://image.sciencenet.cn/home/202205/19/122221e6t2cwqgw6cyzgq4.jpg

图 1  深度残差−特征金字塔网络框架

http://image.sciencenet.cn/home/202205/19/122227uqquufeu5ndn8yvd.jpg

图 5  三维点云特征金字塔网络

作者简介

彭秀平

燕山大学信息科学与工程学院副教授. 主要研究方向为扩频序列设计, 组合设计编码, 智能信息处理.

E-mail: pengxp@ysu.edu.cn

仝其胜

燕山大学信息科学与工程学院硕士研究生. 主要研究方向为计算机视觉, 点云感知.

E-mail: tsisen@outlook.com

林洪彬

燕山大学电气工程学院副教授. 主要研究方向为点云处理, 模式识别与计算机视觉. 本文通信作者.

E-mail: honphin@ysu.edu.cn

冯   超

燕山大学信息科学与工程学院硕士研究生. 主要研究方向为计算机视觉, 同步定位与建图. 

E-mail: chaofenggo@163.com

郑   武

燕山大学信息科学与工程学院硕士研究生. 主要研究方向为计算机视觉, 点云感知. 

E-mail: zweducn@163.com

相关文章

[1]  王上. 金字塔结构逻辑运用二值脉冲对简单图形处理. 自动化学报, 2022, 48(2): 615-626. doi: 10.16383/j.aas.c190619

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190619?viewType=HTML

[2]  单铉洋, 孙战里, 曾志刚. RFNet: 用于三维点云分类的卷积神经网络. 自动化学报. doi: 10.16383/j.aas.c210532

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210532?viewType=HTML

[3]  储珺, 束雯, 周子博, 缪君, 冷璐. 结合语义和多层特征融合的行人检测. 自动化学报, 2022, 48(1): 282-291. doi: 10.16383/j.aas.c200032

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200032?viewType=HTML

[4]  王正文, 宋慧慧, 樊佳庆, 刘青山. 基于语义引导特征聚合的显著性目标检测网络. 自动化学报. doi: 10.16383/j.aas.c210425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210425?viewType=HTML

[5]  黄庭鸿, 聂卓赟, 王庆国, 李帅, 晏来成, 郭东生. 基于区块自适应特征融合的图像实时语义分割. 自动化学报, 2021, 47(5): 1137-1148. doi: 10.16383/j.aas.c180645

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180645?viewType=HTML

[6]  许翔, 帅惠, 刘青山. 基于卦限卷积神经网络的3D点云分析. 自动化学报, 2021, 47(12): 2791-2800. doi: 10.16383/j.aas.c200080

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200080?viewType=HTML

[7]  卢运西, 李晓光, 张辉, 张菁, 卓力. 中医舌象分割技术研究进展: 方法、性能与展望. 自动化学报, 2021, 47(5): 1005-1016. doi: 10.16383/j.aas.c180807

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180807?viewType=HTML

[8]  徐鹏斌, 瞿安国, 王坤峰, 李大字. 全景分割研究综述. 自动化学报, 2021, 47(3): 549-568. doi: 10.16383/j.aas.c200657

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200657?viewType=HTML

[9]  蒋芸, 谭宁. 基于条件深度卷积生成对抗网络的视网膜血管分割. 自动化学报, 2021, 47(1): 136-147. doi: 10.16383/j.aas.c180285

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180285?viewType=HTML

[10]  刘凤, 刘浩哲, 张文天, 陈嘉树, 沈琳琳, 王磊. 一种鲁棒的基于对抗结构的生物特征ROI提取方法. 自动化学报. doi: 10.16383/j.aas.c200156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200156?viewType=HTML

[11]  练秋生, 富利鹏, 陈书贞, 石保顺. 基于多尺度残差网络的压缩感知重构算法. 自动化学报, 2019, 45(11): 2082-2091. doi: 10.16383/j.aas.c170546

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170546?viewType=HTML

[12]  周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建. 自动化学报, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180334?viewType=HTML

[13]  骆小飞, 徐军, 陈佳梅. 基于逐像素点深度卷积网络分割模型的上皮和间质组织分割. 自动化学报, 2017, 43(11): 2003-2013. doi: 10.16383/j.aas.2017.c160464

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c160464?viewType=HTML

[14]  时增林, 叶阳东, 吴云鹏, 娄铮铮. 基于序的空间金字塔池化网络的人群计数方法. 自动化学报, 2016, 42(6): 866-874. doi: 10.16383/j.aas.2016.c150663

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150663?viewType=HTML

[15]  张靖, 周明全, 张雨禾, 耿国华. 基于马尔科夫随机场的散乱点云全局特征提取. 自动化学报, 2016, 42(7): 1090-1099. doi: 10.16383/j.aas.2016.c150627

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150627?viewType=HTML

[16]  崔汉国, 刘健鑫, 李正民. 基于金字塔技术的STL模型数字水印算法. 自动化学报, 2013, 39(6): 852-860. doi: 10.3724/SP.J.1004.2013.00852

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.00852?viewType=HTML

[17]  何楚, 刘明, 冯倩, 邓新萍. 基于多尺度压缩感知金字塔的极化干涉SAR图像分类. 自动化学报, 2011, 37(7): 820-827. doi: 10.3724/SP.J.1004.2011.00820

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.00820?viewType=HTML

[18]  庞旭芳, 庞明勇, 肖春霞. 点云模型谷脊特征的提取与增强算法. 自动化学报, 2010, 36(8): 1073-1083. doi: 10.3724/SP.J.1004.2010.01073

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2010.01073?viewType=HTML

[19]  王珏, 戴汝为. 一种语义网络. 自动化学报, 1986, 12(4): 399-346.

http://www.aas.net.cn/cn/article/id/15111?viewType=HTML

[20]  刘汉龙. 立方体图及开关函数极小化. 自动化学报, 1983, 9(3): 169-174.

http://www.aas.net.cn/cn/article/id/15348?viewType=HTML