引用本文

 

邵晓雯, 帅惠, 刘青山. 融合属性特征的行人重识别方法. 自动化学报, 2022, 48(2): 564−571 doi: 10.16383/j.aas.c190763

Shao Xiao-Wen, Shuai Hui, Liu Qing-Shan. Person re-identification based on fused attribute features. Acta Automatica Sinica, 2022, 48(2): 564−571 doi: 10.16383/j.aas.c190763

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190763?viewType=HTML

文章简介

关键词

行人重识别, 属性识别, 深度学习, 自适应权重

摘   要

行人重识别旨在跨监控设备下检索出特定的行人目标. 由于不同的行人可能具有相似的外观, 因此要求行人重识别模型能够捕捉到充足的细粒度特征. 本文提出一种融合属性特征的行人重识别的深度网络方法, 将行人重识别和属性识别集成在分类网络中, 进行端到端的多任务学习. 此外, 对于每张输入图片, 网络自适应地生成对应于每个属性的权重, 并将所有属性的特征以加权求和的方式结合起来, 与全局特征一起用于行人重识别任务. 全局特征关注行人的整体外观, 而属性特征关注细节区域, 两者相互补充可以对行人进行更全面的描述. 在行人重识别的主流数据集DukeMTMC-reID和Market-1501上的实验结果表明了本文方法的有效性, 平均精度均值(Mean average precision, mAP)分别达到了74.2%和83.5%, Rank-1值分别达到了87.1%和93.6%. 此外, 在这两个数据集上的属性识别也得到了比较好的结果.

引   言

行人重识别指跨监控设备下的行人检索问题, 在公共安全、智能监控等领域具有广泛的应用. 具体而言, 给定一张行人图片, 行人重识别用来在其他摄像头拍摄的大型图片库中找出该行人的图片. 由于监控图片的分辨率低, 且不同的图片之间存在光照、姿态、摄像头视角等方面的差异, 行人重识别目前仍是一个很有挑战性的问题.

相关研究

早期行人重识别的研究思路通常是先对行人图片提取手工特征, 如颜色直方图、方向梯度直方图(Histogram of oriented gradient, HOG)等, 然后使用相似性度量方法, 如大边界最近邻算法(Large margin nearest neighbor, LMNN)、交叉二次判别分析算法(Cross-view quadratic discriminant analysis, XQDA)等来学习度量矩阵. 为了克服光照、成像条件等因素影响, 采用多特征分析是常用的一种方式. 随着深度学习技术的兴起, 深度学习广泛应用于行人重识别任务中. 目前, 基于深度学习的行人重识别方法在性能上大大超过了传统方法, 主要有如下两个原因: 1) 手工设计的特征描述能力有限, 而深度学习使用深度卷积神经网络可以自动学习出更复杂的特征; 2) 深度学习可以将特征提取和相似性度量联合在一起, 实现端到端的学习, 从而得到全局最优解.

目前基于深度学习的行人重识别方法主要分为度量学习和表征学习方法. 度量学习通过设计不同的度量损失来约束特征空间, 使得同一个行人的不同图片在特征空间上距离很近, 而不同行人的距离很远, 如三元组损失(Triplet loss)、四元组损失(Quadruplet loss)和群组相似性学习(Group similarity learning)等方法. 这类方法的关键在于样本对的选取, 由于大量样本对简单易于区分, 随机采样将会导致网络的泛化能力有限, 因而需要挑选出一些难样本对进行训练. Zhu等对困难和简单的负样本设计不同的目标函数来学习距离度量方法, 以充分利用负样本中的信息. 相对于表征学习, 度量学习的训练时间更长, 收敛也更困难. 因此, 表征学习方法得到了更加广泛的研究.

表征学习方法在训练网络时将行人重识别当作身份分类任务来学习行人特征, 关键问题是如何设计网络以学习到更具有判别力的特征. Sun等根据人体结构的先验知识, 在垂直方向上对特征图均匀分块, 然后提取每个区域的局部特征. 还有一些方法利用额外的语义信息, 例如骨骼关键点、分割结果等, 定位行人的各个部位. Su等借助关键点检测模型对人体区域定位、裁剪、归一化后, 拼接成新的图片作为网络的输入. Sarfraz等将行人14个关键点的位置响应图和原图片一起输入到网络中, 让网络自动地学习对齐. Kalayeh等在LIP (Look into person)数据集上训练人体解析模型来预测4个人体部位和背景, 然后在特征图上提取这些部位的特征.

由于不同的行人可能具有相似的外观, 而同一个行人在不同的环境下存在很大差异, 只从全局外观的角度无法进行正确匹配. 行人的属性, 例如性别、是否背包、头发长短等, 包含丰富的语义信息, 可以为行人重识别提供关键的判别线索. 早期的研究中, Layne等手工标注了15种语义属性来描述行人, 包括性别、服装种类、是否携带物品等, 并使用支持向量机(Support vector machine, SVM)训练属性分类器, 最后与底层特征融合得到行人图像的最终特征描述. 随着深度学习的广泛应用, Zhu等在一个卷积神经网络中同时预测多个属性, 在PETA (Pedestrian attribute)数据集上的属性识别性能明显优于基于SVM的方法. Schumann等先在PETA数据集上训练属性识别模型, 然后在行人重识别模型中利用属性预测的结果, 使得网络可以学习到与属性互补的特征. 该方法分开训练两个网络, 无法充分利用属性标签和身份标签, 导致行人重识别的性能比较低. Lin等在行人重识别数据集DukeMTMC-reID[23]和Market1501上标注了行人属性, 并提出APR (Attribute-person recognition)模型实现行人重识别和属性识别的多任务学习, 同时将属性预测的结果和全局特征一起用于行人重识别任务. 该方法使用属性的预测结果, 当属性识别错误时, 会给行人重识别引入噪声. Tay等提出了AANet (Attribute attention network), 将行人属性和属性的激活区域图集成到分类网络中来解决行人重识别问题, 得到了比较好的检索结果. 上述方法同等对待所有属性, 忽略了每个属性对每张图片的重要性是不同的.

针对以上问题, 本文提出了融合属性特征的行人重识别方法, 主要工作如下: 1) 将行人重识别和属性识别集成到分类网络中进行端到端的学习; 2) 为了减小属性识别错误对行人重识别的影响, 从特征的角度利用属性信息; 3) 自适应地生成对应于每个属性的权重, 并将所有属性特征以加权求和的方式结合起来, 与全局特征一起用于行人重识别任务. 在DukeMTMC-reID和Market-1501数据集上的实验结果表明了本文方法的有效性.

图 3  各个属性的可视化结果及对应的权重值

图 4  使用不同特征检索到的图片

作者简介

邵晓雯

南京信息工程大学自动化学院硕士研究生. 2018年获得南京信息工程大学电子与信息工程学院学士学位. 主要研究方向为计算机视觉, 行人重识别.

E-mail: xiaowen_shao@nuist.edu.cn

帅   惠

南京信息工程大学博士研究生. 2018年获得南京信息工程大学信息与控制学院硕士学位. 主要研究方向为目标检测, 3D 场景解析.

E-mail: huishuai13@163.com

刘青山

南京信息工程大学自动化学院院长, 教授. 2003年获得中国科学院自动化研究所博士学位. 主要研究方向为图像理解, 模式识别, 机器学习. 本文通信作者.

E-mail: qsliu@nuist.edu.cn

相关文章

[1]  钱锦浩, 宋展仁, 郭春超, 赖剑煌, 谢晓华. 基于时空共现模式的视觉行人再识别. 自动化学报, 2022, 48(2): 408-417. doi: 10.16383/j.aas.c200897

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200897?viewType=HTML

[2]  何星辰, 郭勇, 李奇龙, 高唱. 基于深度学习的抗年龄干扰人脸识别. 自动化学报. doi: 10.16383/j.aas.c190256

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190256

[3]  陈晋音, 沈诗婧, 苏蒙蒙, 郑海斌, 熊晖. 车牌识别系统的黑盒对抗攻击. 自动化学报, 2021, 47(1): 121-135. doi: 10.16383/j.aas.c190488

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190488

[4]  范苍宁, 刘鹏, 肖婷, 赵巍, 唐降龙. 深度域适应综述: 一般情况与复杂情况. 自动化学报, 2021, 47(3): 515-548. doi: 10.16383/j.aas.c200238

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200238

[5]  张泽辉, 李庆丹, 富瑶, 何宁昕, 高铁杠. 面向非独立同分布数据的自适应联邦深度学习算法. 自动化学报. doi: 10.16383/j.aas.c201018

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c201018

[6]  陈文帅, 任志刚, 吴宗泽, 付敏跃. 基于深度学习的极性电子元器件目标检测与方向识别方法. 自动化学报, 2021, 47(7): 1701-1709. doi: 10.16383/j.aas.c190037

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190037

[7]  张玉康, 谭磊, 陈靓影. 基于图像和特征联合约束的跨模态行人重识别. 自动化学报, 2021, 47(8): 1943-1950. doi: 10.16383/j.aas.c200184

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200184

[8]  姚足, 龚勋, 陈锐, 卢奇, 罗彬. 面向行人重识别的局部特征研究进展、挑战与展望. 自动化学报, 2021, 47(12): 2742-2760. doi: 10.16383/j.aas.c190821

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190821

[9]  孟琭, 孙霄宇, 赵滨, 李楠. 基于卷积神经网络的铁轨路牌识别方法. 自动化学报, 2020, 46(3): 518-530. doi: 10.16383/j.aas.c190182

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190182

[10]  周波, 李俊峰. 结合目标检测的人体行为识别. 自动化学报, 2020, 46(9): 1961-1970. doi: 10.16383/j.aas.c180848

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180848

[11]  刘一敏, 蒋建国, 齐美彬, 刘皓, 周华捷. 融合生成对抗网络和姿态估计的视频行人再识别方法. 自动化学报, 2020, 46(3): 576-584. doi: 10.16383/j.aas.c180054

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180054

[12]  周勇, 王瀚正, 赵佳琦, 陈莹, 姚睿, 陈思霖. 基于可解释注意力部件模型的行人重识别方法. 自动化学报. doi: 10.16383/j.aas.c200493

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200493

[13]  胡建芳, 王熊辉, 郑伟诗, 赖剑煌. RGB-D行为识别研究进展及展望. 自动化学报, 2019, 45(5): 829-840. doi: 10.16383/j.aas.c180436

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180436

[14]  吴彦丞, 陈鸿昶, 李邵梅, 高超. 基于行人属性先验分布的行人再识别. 自动化学报, 2019, 45(5): 953-964. doi: 10.16383/j.aas.c170691

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c170691

[15]  罗浩, 姜伟, 范星, 张思朋. 基于深度学习的行人重识别研究进展. 自动化学报, 2019, 45(11): 2032-2049. doi: 10.16383/j.aas.c180154

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180154

[16]  李幼蛟, 卓力, 张菁, 李嘉锋, 张辉. 行人再识别技术综述. 自动化学报, 2018, 44(9): 1554-1568. doi: 10.16383/j.aas.2018.c170505

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170505

[17]  李文英, 曹斌, 曹春水, 黄永祯. 一种基于深度学习的青铜器铭文识别方法. 自动化学报, 2018, 44(11): 2023-2030. doi: 10.16383/j.aas.2018.c180152

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c180152

[18]  耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425

[19]  金连文, 钟卓耀, 杨钊, 杨维信, 谢泽澄, 孙俊. 深度学习在手写汉字识别中的应用综述. 自动化学报, 2016, 42(8): 1125-1141. doi: 10.16383/j.aas.2016.c150725

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150725

[20]  朱煜, 赵江坤, 王逸宁, 郑兵兵. 基于深度学习的人体行为识别算法综述. 自动化学报, 2016, 42(6): 848-857. doi: 10.16383/j.aas.2016.c150710

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150710