引用本文

钱银中, 沈一帆. 姿态特征与深度特征在图像动作识别中的混合应用. 自动化学报, 2019, 45(3): 626-636. doi: 10.16383/j.aas.2018.c170294

QIAN Yin-Zhong, SHEN Yi-Fan. Hybrid of Pose Feature and Depth Feature for Action Recognition in Static Image. ACTA AUTOMATICA SINICA, 2019, 45(3): 626-636. doi: 10.16383/j.aas.2018.c170294

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170294

关键词

动作识别，姿态特征，poselet，深度特征

摘要

人体姿态是动作识别的重要语义线索，而CNN能够从图像中提取有很强判别能力的深度特征，本文从图像局部区域提取姿态特征，从整体图像中提取深度特征，探索两者在动作识别中的互补作用.首先介绍了一种姿态表示方法，每个肢体部件的姿态由描述该部件姿态的一组Poselet检测得分表示.为了抑制检测错误，设计了基于部件的模型作为检测上下文.为了从数量有限的数据集中训练CNN网络，本文使用了预训练和精细调节的方法.在两个数据集中的实验表明，本文介绍的姿态特征与深度特征混合使用，动作识别性能得到了极大提升.

文章导读

动作识别是计算机视觉中的研究热点.一个特定动作通常由一连串人体的肢体运动组成, 因此长期以来研究者从视频研究动作识别[1-5].生活经验告诉我们, 人类具有从图像中识别动作的能力.例如, 图 6中的每幅图像都有一个人在执行一个动作, 我们一眼就能看出这个人在干什么.随着图像分类和物体检测技术的进步, 近十年来出现了很多从静止图像识别动作的研究工作[6].

图 6  静止图像数据集中的部分图像

从静止图像中识别动作具有广阔的应用前景.首先, 可以促进视频识别动作的研究.视频由一组按照时间顺序排列的帧图像组成, 如果能够设计新的算法, 从少量图像中识别动作, 就可以减少冗余帧, 提高计算效率.这种算法还可以与视频中的时间维度结合, 提出新的算法, 进一步提高动作识别性能.其次, 有助于图像自动标注.由于Internet的兴起, 人们能够从网络上获得海量图像数据.如果计算机能够识别图像中的动作, 就可以把像素信息作为输入, 自动标注这些图像的动作类别.另外, 还有助于动作图像的检索和管理.目前搜索引擎检索图像主要还是依赖图像周围的文字, 如果能够从图像中提取动作信息, 无疑将更准确、更方便地检索和收集动作图像.

图 1  打高尔夫球动作中部分胳膊Poselet训练实例

图 2  层次部件树

静止图像中的动作可以通过图像局部中的姿态线索识别, 也可以对整体图像训练CNN网络识别.姿态特征描述人体的姿态语义信息, 深度网络中的高层特征是经过深度学习得到的抽象特征, 本文通过实验验证了两者在动作识别中的互补关系.为了在训练实例数量有限的数据集上提取深度特征, 通过预训练和精细调节的方法训练深度网络, 然后提取C5、F6、F7三层的输出作为深度特征.实验结果表明, 这三层特征与姿态特征混合使用, 性能均得到很大提升, 且远远超过了单独使用CNN的性能.两个数据集上的实验结果表明, F6层深度特征与姿态特征混合使用性能最好, 且最稳定.

作者简介

沈一帆

复旦大学计算机科学技术学院教授.研究方向为计算机图形学和科学计算的可视化.E-mail:yfshen@fudan.edu.cn

钱银中    

复旦大学计算机科学技术学院博士研究生, 常州信息职业技术学院副教授.主要研究方向为计算机视觉和机器学习.本文通信作者.E-mail:yinzhongqian10@fudan.edu.cn