引用本文

许夙晖, 慕晓冬, 柴栋, 罗畅. 基于极限学习机参数迁移的域适应算法. 自动化学报, 2018, 44(2): 311-317. doi: 10.16383/j.aas.2018.c160818

XU Su-Hui, MU Xiao-Dong, CHAI Dong, LUO Chang. Domain Adaption Algorithm with ELM Parameter Transfer. ACTA AUTOMATICA SINICA, 2018, 44(2): 311-317. doi: 10.16383/j.aas.2018.c160818

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c160818

关键词

域适应，迁移学习，极限学习机，正则化，中层语义特征，深度特征 

摘要

针对含少量标签样本的迁移学习问题，本文提出了基于极限学习机（Extreme learning machine，ELM）参数迁移的域适应算法，其核心思想是将目标域的ELM分类器参数投影到源域参数空间中，使其最大限度地与源域的分类器参数分布相同.此外，考虑到迁移中有可能带来负迁移的情况，在目标函数中引入正则项约束.本文算法与以往的域适应算法相比优势在于，其分类器参数以及转移矩阵是同时优化得到的，并且其目标函数求解过程相对简单.实验结果表明，与主流的域适应算法相比，本文算法在精度与效率上都表现出明显的优势.

文章导读

当前在机器学习领域面临有标签的新样本数据匮乏的问题, 而原有的大量带标签数据可能随着时间的推移变得不适用, 人为的对训练样本进行标注扩充非常费时费力[1].针对上述问题, 迁移学习方法得以提出, 它放宽了传统机器学习中训练样本和测试样本独立同分布的假设, 通过迁移已有的知识来解决目标领域中有少量标签甚至无标签样本数据的学习问题[2-3].迁移学习已经成功运用在文本情感分类[4-5]、图像分类[6-11]、软件故障预测[12].

作为迁移学习的一种特例, 基于特征的域适应方法把各个领域的数据映射到同一空间下, 使源域与目标域有相同的分布, 并利用源域中的训练数据来解决目标域的学习问题[1].此类方法的关键是合理度量不同域之间的距离, 以减少源域和目标域的分布差异.为此, Kulis等[6, 13]提出通过学习正则化的非线性变换将源域中的点映射到目标域中的点.文献[13]学习到的结果是对称的转换矩阵, 无法解决两个特征类型与维度不同时的情况, 文献[6]提出了非对称正则化跨领域变换算法(Asymmetric regulized cross-domain tranformation, ARC-t)得到的变换矩阵是非对称的, 解决了文献[13]中方法的局限.然而, ARC-t是基于成对约束的, 算法的求解时间随着训练样本的增加而显著增加.文献[7]提出了一种异构特征增强方法(Heterogeneous features augmented, HFA), 该方法将两个域的数据通过两个转换矩阵投影到了一个共同的子空间, 其实验精度要高于ARC-t, 然而该算法容易产生早收敛.文献[14]提出了核化的数据表示方法(Geodesic flow kernel, GFK), 该方法等同于沿着源域和目标域子空间之间的测地流在无限子空间中计算内积, 由于该核定义是对称的, 因此GFK算法不能解决源域与目标域不同维度时的情况.文献[15]提出了最大间隔域转换方法(Max-margin domain transforms, MMDT), 其核心思想是, 目标域到源域数据的映射矩阵与分类器的参数同时固化到一个优化目标函数中, 能够直接优化得到最终的SVM (Support vector machine)分类器参数, 因此更能高效地应对大样本训练的情况.然而, MMDT的目标函数是典型的非凸问题, 采用了交替下降法分步优化, 使原问题转化成两个凸优化QP (Quadratic programming)子问题进行求解, 过程较为复杂, 且耗时较长.

2004年黄广斌教授提出了极限学习机(Extreme learning machine, ELM)[16], 其特点是输入层与隐藏层的权值矩阵和偏置只通过一次性随机产生, 而不需要迭代优化; 唯一要求解的参数是隐藏层与输出层的权值矩阵, 通过广义逆矩阵的方式得到, 因此求解过程更加快速. ELM在许多领域得到应用, 并表现出优异性能[17-18].本文针对含少量标签样本的迁移学习问题, 提出了一种基于极限学习机参数迁移的域适应算法(Domain adaption with parameter transfer, DAPT), 其核心思想是迁移目标域的ELM分类器参数到源域中, 使两个域的分类器享有共同的参数空间. DAPT方法利用ELM求解过程快的优势, 并通过参数迁移构建了目标域到源域的适应关系, 与现有文献算法相比, 其适用范围更广(如表 1所示), 在分类精度和效率上也有明显的优势.

图 1  极限学习机网络结构

图 2  bing-caltech数据集分类精度

图 3  分类精度随L变化曲线

针对含少量标签样本的迁移学习问题, 本文提出了一种新的基于极限学习机参数迁移的域适应算法.将目标域的ELM分类器参数投影到源域参数空间中, 使两个域的分类器参数尽可能分布相同, 同时为了避免负迁移, 在目标函数中加入正则项约束, 提高了算法的分类精度和鲁棒性.算法在目标优化过程中同时得到了分类器参数和转移矩阵, 并且其求解过程相对简单, 实验分析也验证算法在时间性能上的优势.虽然本文方法展现出较好的学习能力, 但要求目标域中包含少量标签样本, 对于目标域无标签样本的学习问题仍需要进一步探讨研究.