引用本文

王多瑞, 杜杨, 董兰芳, 胡卫明, 李兵. 基于特征变换和度量网络的小样本学习算法. 自动化学报, 2024, 50(7): 1305−1314 doi: 10.16383/j.aas.c210903

Wang Duo-Rui, Du Yang, Dong Lan-Fang, Hu Wei-Ming, Li Bing. Feature transformation and metric networks for few-shot learning. Acta Automatica Sinica, 2024, 50(7): 1305−1314 doi: 10.16383/j.aas.c210903

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210903

关键词

特征变换，度量学习，小样本学习，残差学习 

摘要

在小样本分类任务中, 每个类别可供训练的样本数量非常有限. 因此在特征空间中同类样本分布稀疏, 异类样本间边界模糊. 提出一种新的基于特征变换和度量网络(Feature transformation and metric networks, FTMN)的小样本学习算法用于小样本分类任务. 算法通过嵌入函数将样本映射到特征空间, 并计算输入该样本与所属类别中心的特征残差. 构造一个特征变换函数对该残差进行学习, 使特征空间内的样本特征经过该函数后向同类样本中心靠拢. 利用变换后的样本特征更新类别中心, 使各类别中心间的距离增大. 算法进一步构造了一种新的度量函数, 对样本特征中每个局部特征点的度量距离进行联合表达, 该函数能够同时对样本特征间的夹角和欧氏距离进行优化. 算法在小样本分类任务常用数据集上的优秀表现证明了算法的有效性和泛化性.

文章导读

近年来, 深度神经网络相关研究快速发展, 现有的深度神经网络模型在大规模任务上[1−4]有着非常可观的表现, 且经过训练的网络在面对新任务时, 通常可对网络模型参数进行微调来完成任务. 但在面对仅有几个样本的分类任务时, 即使对预训练过的深度神经网络模型进行微调, 也很难达到较好的识别效果. 因此, 近几年小样本学习的研究热度很高, 早期一些小样本学习模型[5−9]获得了不错的结果, 但这些模型几乎只适用于一些特定问题, 不具备良好的扩展能力. 将在大型数据集上表现良好的深度网络模型迁移至小样本任务并保持原有性能, 是小样本学习的主要研究方向之一[10−18]. 

小样本分类任务希望模型具有快速学习能力, 即面对样本数量有限的类别时, 也可以达到不错的分类精度. 直接使用预训练好的深度网络模型对小样本分类任务进行微调, 很容易产生过拟合现象, 因此引入基于度量的小样本学习算法. 这类算法需要使用由卷积网络构成的嵌入函数对输入数据提取特征, 但提取出的特征通常在特征空间内分布稀疏, 导致分类任务的难度增大. 因此, 本文提出一种特征变换策略, 可在特征空间中减小同类样本的类内距离, 并增大异类样本的类间距离. 同时, 分析余弦相似度和欧氏距离在特征度量上的局限, 提出一种同时考虑两种度量方式影响的特征度量策略. 

图 1  特征变换和度量网络模型

图 2  网络中关键函数的结构

本文提出一种特征变换度量网络, 该网络模型由嵌入函数模块、特征变换网络模块和特征度量网络模块构成. 特征变换网络能够通过学习残差使特征向量发生偏移, 以此缩小同类支持样本在特征空间中的特征表示间隔, 并能改变不同特征类别中心的位置, 来达到增大特征类间差异的目的. 最后, 设计了新的特征度量距离和度量网络, 同时考虑余弦相似度和欧氏距离对特征度量的影响, 从角度和几何空间距离两种方式同时对特征进行度量, 并通过度量函数将局部对特征的度量距离联合地表达, 作为查询样本的最终度量结果. 本文将提出的模型在小样本通用数据集Omniglot、miniImageNet、ti-eredImageNet、CUB-200和CIFAR-FS上进行了测试, 测试结果取得了最优表现或仅次于最优模型的表现, 验证了本文模型的有效性和泛化性. 

作者简介

王多瑞

2021年获得中国科学技术大学硕士学位. 主要研究方向为小样本学习, 目标检测.E-mail: wangduor@mail.ustc.edu.cn

杜杨

2019年获得中国科学院自动化研究所博士学位. 主要研究方向为行为识别, 医学图像处理.E-mail: jingzhou.dy@alibaba-inc.com

董兰芳

中国科学技术大学副教授. 1994年获得中国科学技术大学硕士学位. 主要研究方向为图像与视频智能分析, 知识图谱与对话系统, 数值模拟与三维重建.E-mail: lfdong@ustc.edu.cn

胡卫明

中国科学院自动化研究所研究员. 1998年获得浙江大学博士学位. 主要研究方向为视觉运动分析, 网络不良信息识别和网络入侵检测. 本文通信作者.E-mail: wmhu@nlpr.ia.ac.cn

李兵

中国科学院自动化研究所研究员. 2009年获得北京交通大学博士学位. 主要研究方向为网络内容安全, 智能图像信号处理.E-mail: bing.li@ia.ac.cn