引用本文

 

汪雷, 黄剑, 段涛, 伍冬睿, 熊蔡华, 崔雨琦. 基于气压肌动图和改进神经模糊推理系统的手势识别研究. 自动化学报, 2022, 48(x): 1−13 doi: 10.16383/j.aas.c200901

Wang Lei, Huang Jian, Duan Tao, Wu Dong-Rui, Xiong Cai-Hua, Cui Yu-Qi. Research on gesture recognition based on pressure-based mechanomyogram and improved neural fuzzy inference system. Acta Automatica Sinica, 2022, 48(x): 1−13 doi: 10.16383/j.aas.c200901

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200901?viewType=HTML

文章简介

关键词

手势识别, 肌动图, 神经模糊推理系统, 自适应学习算法

摘   要

手势识别是人机交互领域的重要研究内容, 为截肢患者控制智能假肢手提供基础. 当前主流方法之一是利用表面肌电图识别手部运动意图, 但肌电信号存在信号弱、易受噪声、汗液、疲劳影响等缺点. 同时肌电图在识别准确率方面, 尤其是截肢患者手势识别方面仍然具有较大的提升空间. 针对这些问题, 本文设计了基于气压肌动图的穿戴式信号采集装置, 为手势识别提供了优质的信号源. 结合深度神经网络中全连接层结构、典型抽样和标准正则化技术, 提出了一种改进多类神经模糊推理系统, 与传统神经模糊推理系统相比泛化能力得到显著提升. 我们招募了7名健康受试者和1名截肢受试者, 并用八种算法开展离线实验. 所提方法在残疾人手势识别实验中取得了97.25%的最高平均准确率, 在健康人手势识别实验中取得了98.18%的最高平均准确率. 与近年公开报道的多种手势识别研究相比, 本文所提方法的综合性能更优.

引   言

手势作为一种自然、有效的交流方式, 在人机交互的应用中发挥着重要的作用, 并已成为操纵人机接口的主流方法之一. 对于手部截肢患者等在运动控制和运动功能方面有困难的残障人群, 基于手势识别技术的人机接口和应用有助于通过智能假肢恢复他们缺失的自然手部功能, 因而相关研究对于此类弱势群体而言至关重要.

当前基于穿戴式生物信号采集装置的手势识别研究大多利用肌电图(Electro myo gram, EMG) 实现. 由于EMG信号通常比较微弱(亚毫伏级别), 因而存在对于电噪声敏感、需要笨重的滤波放大电路等外围设备、不可重复等缺点. 此外, 肌肉通常在皮肤下交错以肌肉群的方式出现, 且在获取EMG信号时, 传感器必须直接附着在皮肤上甚至侵入皮肤, 所以EMG也存在串扰、易受汗液和肌肉疲劳影响等缺陷. 近年来, 肌动图(Mechano myo graphy, MMG) 逐渐受到科研人员的重视, 它具有信号强、采集方便、非侵入等优点. 更重要的是MMG对于出汗、电噪声等不利影响有很好的鲁棒性.

此外, MMG与肌力呈近似线性关系, 这种线性关系受肌肉疲劳影响很小. 这些优点使得MMG可为人机交互提供优质的信号来源. 然而, 截至目前国内利用肌动图信号进行手势识别、特别是识别截肢者手势并用于假肢手控制的相关研究尚不多见.

从方法上来看, 设计分类能力强和具有学习能力的智能模式识别方法仍是这一领域的主要研究方向. 一些典型的研究工作包括基于人工神经网络和基于模糊系统的手势识别方法等. 自适应神经模糊推理系统 (Adaptive neural fuzzy inference system, ANFIS) 由于其具备模糊系统的可解释性和神经网络的学习性的优点, 在处理非线性问题上有很好的效果, 也是手势识别领域潜在的有效工具之一. 但传统ANFIS只有一个输出节点, 通常适合于解决二分类问题, 而在解决多分类问题时存在泛化性能差、训练速度慢等缺点. 如何提高ANFIS的学习效率和分类精度, 是其应用于手势识别领域亟待解决的难点问题.

考虑到在获取MMG时一般会用到加速度计和麦克风, 这两种传感器仅适用于实验室环境, 而基于气压的肌动图(Pressure-based mechano myo graphy, pMMG) 能够很好地解决适用范围的问题, 本文采用pMMG作为健康人和残疾人手势识别研究的信号来源, 设计了基于气压肌动图的穿戴式信号采集装置. 同时针对多分类问题中ANFIS存在的训练效率低的问题, 提出了一种高效的多分类自适应神经模糊推理系统 (Multi-classification adaptive neural fuzzy inference system, MC_ANFIS), 其特点在于仅需要训练一个MC_ANFIS, 就可以完成对于多种手势的分类任务, 用以实现多手势分类中分类器的高效训练.

本文的主要工作归纳如下: 

1) 通过拓展传统Takagi-Sugeuo-Kang (TSK) 模糊系统的解模糊层, 提出了一种适用于多分类任务的神经模糊推理系统, 该系统具有很高的训练效率和快速的分类速度; 提出了一种新的高性能自适应多分类算法MC_TS_UR, 用改进的抽样方法和正则化技术又极大地提升了所提系统的训练效率, 解决了传统ANFIS泛化能力差的问题; 

2) 设计了穿戴式气压肌动图信号采集装置, 开展了健康人和残疾人两类受试者的手势识别实验, 与经典的机器学习算法以及近期相关研究结果进行性能对比, 验证了所提系统和方法的有效性.

图 1  pMMG原理图

图 2  手势识别装置及其佩戴位置

图 7  本文研究的六种手势

表 5  与近期同类研究工作文献的比较

作者简介

汪   雷

华中科技大学人工智能与自动化学院硕士研究生. 2019年获得华中科技大学自动化学院学士学位. 主要研究方向为机器学习, 手势识别. 

E-mail: wml0531@hust.edu.cn

黄   剑

华中科技大学人工智能与自动化学院教授. 1997年毕业于中国华中科技大学. 2000年获得华中科技大学工程硕士学位. 2005年获得华中科技大学博士学位. 2006年至2008年, 在日本名古屋大学微纳米系统工程系、机械信息与系统系担任博士后研究员. 主要研究方向为康复机器人、机器人装配、网络控制系统和生物信息学. 本文通信作者.

E-mail: huang_jan@mail.hust.edu.cn

段   涛

华中科技大学人工智能与自动化学院硕士研究生. 2020年获得华中科技大学人工智能与自动化学院硕士学位. 主要研究方向为智能机器人, 模式识别.

E-mail: tao_duan@hust.edu.cn

伍冬睿

华中科技大学人工智能与自动化学院教授. 主要研究方向为机器学习, 脑机接口, 计算智能, 情感计算.

E-mail: drwu@hust.edu.cn

熊蔡华

华中科技大学机械科学与工程学院数字制造装备与技术国家重点实验室教授. 1998年毕业于于华中理工大学(现华中科技大学)机械电子工程专业获博士学位. 主要研究方向为为机器人学, 生机电一体化, 康复工程装备.

E-mail: chxiong@hust.edu.cn

崔雨琦

华中科技大学人工智能与自动化学院博士研究生. 2017年获得华中科技大学电子信息工程学士学位. 主要研究方向为模糊系统, 脑机接口, 可穿戴设备.

E-mail: yqcui@hust.edu.cn

相关文章

[1]  鹿智, 秦世引, 李连伟, 张鼎豪. 智能人机交互中第一视角手势表达的一次性学习分类识别. 自动化学报, 2021, 47(6): 1284-1301. doi: 10.16383/j.aas.c190754

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190754?viewType=HTML

[2]  赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350-2358. doi: 10.16383/j.aas.c200100

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200100?viewType=HTML

[3]  李自由, 王丰焱, 赵新刚, 丁其川, 张道辉, 韩建达. 基于Myo旋转偏移估计与自适应校正的手势识别方法. 自动化学报, 2020, 46(9): 1896-1907. doi: 10.16383/j.aas.c190028

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190028?viewType=HTML

[4]  张宇献, 郭佳强, 钱小毅, 王建辉. 有混合数据输入的自适应模糊神经推理系统. 自动化学报, 2019, 45(9): 1743-1755. doi: 10.16383/j.aas.2018.c170698

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170698?viewType=HTML

[5]  李擎, 唐欢, 迟健男, 邢永跃, 李华通. 基于改进最大类间方差法的手势分割方法研究. 自动化学报, 2017, 43(4): 528-537. doi: 10.16383/j.aas.2017.c150862

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c150862?viewType=HTML

[6]  陶洪峰, 霰学会, 杨慧中. 输入饱和非线性系统的周期自适应补偿学习控制. 自动化学报, 2014, 40(9): 1998-2004. doi: 10.3724/SP.J.1004.2014.01998

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.01998?viewType=HTML

[7]  张黎, 刘山. 非最小相位系统的基函数型自适应迭代学习控制. 自动化学报, 2014, 40(12): 2716-2725. doi: 10.3724/SP.J.1004.2014.02716

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2014.02716?viewType=HTML

[8]  吴玉香, 王聪. 基于确定学习的机器人任务空间自适应神经网络控制. 自动化学报, 2013, 39(6): 806-815. doi: 10.3724/SP.J.1004.2013.00806

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2013.00806?viewType=HTML

[9]  邓妍, 张卫强, 刘加. 基于音素解码的语种识别系统联合自适应算法研究. 自动化学报, 2012, 38(4): 652-658. doi: 10.3724/SP.J.1004.2012.00652

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00652?viewType=HTML

[10]  陈为胜, 王元亮, 李俊民. 周期时变时滞非线性参数化系统的自适应学习控制. 自动化学报, 2008, 34(12): 1556-1560. doi: 10.3724/SP.J.1004.2008.01556

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.01556?viewType=HTML

[11]  池荣虎, 隋树林, 侯忠生. 非线性时变参数不确定系统的自适应迭代学习控制. 自动化学报, 2008, 34(7): 805-808. doi: 10.3724/SP.J.1004.2008.00805

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00805?viewType=HTML

[12]  张立权, 邵诚. 利用数据产生模糊推理系统的自适应学习方法. 自动化学报, 2008, 34(1): 80-84. doi: 10.3724/SP.J.1004.2008.00080

http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00080?viewType=HTML

[13]  李佳宁, 易建强, 赵冬斌, 西广成. 一种新的基于神经模糊推理网络的复杂系统模糊辨识方法. 自动化学报, 2006, 32(5): 695-703.

http://www.aas.net.cn/cn/article/id/14408?viewType=HTML

[14]  邹伟, 原魁, 杜清秀, 徐春. 基于模糊神经网络的静态手语词汇识别. 自动化学报, 2003, 29(4): 616-621.

http://www.aas.net.cn/cn/article/id/13930?viewType=HTML

[15]  张茁生, 刘贵忠, 张宗平. 基于小波框架的自适应径向基函数网络. 自动化学报, 2002, 28(2): 229-237.

http://www.aas.net.cn/cn/article/id/16358?viewType=HTML

[16]  任海兵, 祝远新, 徐光祐, 张晓平, . 复杂背景下的手势分割与识别. 自动化学报, 2002, 28(2): 256-261.

http://www.aas.net.cn/cn/article/id/16418?viewType=HTML

[17]  张新学, 王桂增, 大町真一郎, 阿曾弘具. 自学习模糊逻辑推理网络及模糊控制器的构成. 自动化学报, 1999, 25(5): 687-691.

http://www.aas.net.cn/cn/article/id/16650?viewType=HTML

[18]  孙富春, 孙增圻, 张钹. 基于观测器的机械手神经网络自适应控制. 自动化学报, 1999, 25(3): 295-302.

http://www.aas.net.cn/cn/article/id/16725?viewType=HTML

[19]  黄继武, Shi Yun Q. 一种自适应图象水印算法. 自动化学报, 1999, 25(4): 476-482.

http://www.aas.net.cn/cn/article/id/16661?viewType=HTML

[20]  权太范. 高精度RBP-模糊推理复合学习系统. 自动化学报, 1995, 21(4): 392-399.

http://www.aas.net.cn/cn/article/id/13960?viewType=HTML