引用本文

 

吕晴, 赵奎, 曹吉龙, 魏景峰. 基于文本与图像的肺疾病研究与预测. 自动化学报, 2022, 48(2): 531−538 doi: 10.16383/j.aas.c190645

Lv Qing, Zhao Kui, Cao Ji-Long, Wei Jing-Feng. Research and prediction of lung diseases based on text and images. Acta Automatica Sinica, 2022, 48(2): 531−538 doi: 10.16383/j.aas.c190645

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190645?viewType=HTML

文章简介

关键词

深度学习, 神经网络, 多头注意力机制, bi-LSTM, 肺癌

摘   要

通过对目前现有的肺癌检测技术研究, 发现大部分研究人员主要针对肺癌(Computed tomography, CT)影像进行研究, 忽略了电子病历所隐藏的肺癌信息, 本文提出一种基于图像与文本相结合的肺癌分类方法, 从现有的基于深度学习的肺癌图像分类出发, 引入了电子病历信息, 使用Multi-head attention以及(Bi-directional long short-term memory, Bi-LSTM)对文本建模. 实验结果证明, 将电子病历信息引入到图像分类模型之后, 对模型的性能有进一步的提升. 相对仅使用电子病历进行预测, 准确率提升了大约14 %, 精确率大约提升了15 %, 召回率提升了14 %. 相对仅使用肺癌CT影像来进行预测, 准确率提升了3.2 %, 精确率提升了4 %, 召回率提升了4 %.

引   言

模态是指人接受信息的特定方式, 由于多媒体数据往往是多种信息的传递媒介, 多模态学习已逐渐发展为多媒体内容分析和理解的主要手段. 在医学领域, 也有研究者应用多模态学习. 针对Alzheimer病, 韩坤等提出结合磁共振图像(Magnetic resonance imaging, MRI)和正电子发射型计算机断层显像(Positron emission computed tomography, PET)图像模态的特征信息相融合的方法, 实验结果表明该方法在准确率上取得了较好的成绩. 为了解决传统模态医学图像缺陷, 张淑丽等提出了自由变形法对多模态的医学图像进行融合. 然而大多数研究人员主要融合多模态的医学图像, 没有加入电子病历等文本模态的数据. 调查发现, 肺癌是世界发病率和死亡率最高的疾病之一. 病人在进行肺疾病诊断时, 需要CT检查, 影像科医生对CT影像进行检查描述, 但在实际的诊断和治疗过程中, 常常是由主治医生根据检查描述以及CT影像进行进一步的判断. 这一过场不仅增加了主治医生的工作量, 也导致了医疗资源的不合理应用.

基于此, 本文在影像CT基础上, 融入影像医生对CT影像描述的文本信息, 以及一些其他检验结果(比如癌胚抗原测定、鳞状上皮细胞癌抗原测定等), 构建深度学习模型对肺疾病进行预测, 将影像医生给出的CT影像和检查描述以及其他检验结果输入到模型中, 对疾病进行判别并给出得病概率, 患病概率大的病人则交由主治医生更进一步地诊断和治疗, 以减轻主治医生的工作量, 提高工作效率.

图 1  模型结构图

图 2  图像模型结构图

作者简介

吕  晴

中国科学院沈阳计算技术研究所硕士研究生. 2017年获得曲阜师范大学信息科学与工程专业学士学位. 主要研究方向为医学图像处理.

E-mail: lvqing17@mails.ucas.ac.cn

赵  奎

中国科学院沈阳计算技术研究所研究员. 2017年获得中国科学院大学硕士学位. 主要研究方向为人工智能, 大数据, 物联网. 本文通信作者.

E-mail: zhaokui@sict.ac.cn

曹吉龙

中国医科大学附属第四医院信息中心主任. 2013年获得东北大学硕士学位. 主要研究方向为医疗信息化, 医疗健康物联网, 医疗信息安全.

E-mail: jlcao@cmu.edu.cn

魏景峰

辽宁省医疗器械检验检测院高级工程师. 2011年获得中国医科大学生物医学工程专业硕士学位. 主要研究方向为源医疗器械检验, 电磁兼容检测, 检测实验室质量体系管理.

E-mail: 13898154351@163.com

相关文章

[1]  田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401-424. doi: 10.16383/j.aas.2018.c170153

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170153?viewType=HTML

[2]  尹明, 吴浩杨, 谢胜利, 杨其宇. 基于自注意力对抗的深度子空间聚类. 自动化学报, 2022, 48(1): 271-281. doi: 10.16383/j.aas.c200302

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200302?viewType=HTML

[3]  张泽辉, 富瑶, 高铁杠. 支持数据隐私保护的联邦深度神经网络模型研究. 自动化学报. doi: 10.16383/j.aas.c200236

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200236?viewType=HTML

[4]  杨爱萍, 李晓晓, 张腾飞, 王朝臣, 王建. 基于误差回传机制的多尺度去雾网络. 自动化学报. doi: 10.16383/j.aas.c210264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210264?viewType=HTML

[5]  王功明, 乔俊飞, 关丽娜, 贾庆山. 深度信念网络研究现状与展望. 自动化学报, 2021, 47(1): 35-49. doi: 10.16383/j.aas.c190102

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190102?viewType=HTML

[6]  吕承侃, 沈飞, 张正涛, 张峰. 图像异常检测研究现状综述. 自动化学报. doi: 10.16383/j.aas.c200956

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200956?viewType=HTML

[7]  林文瑞, 丛爽. 基于深度学习LDAMP网络的量子状态估计. 自动化学报. doi: 10.16383/j.aas.c210156

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210156?viewType=HTML

[8]  李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341-2363. doi: 10.16383/j.aas.c190859

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859?viewType=HTML

[9]  张亚茹, 孔雅婷, 刘彬. 多维注意力特征聚合立体匹配算法. 自动化学报. doi: 10.16383/j.aas.c200778

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200778?viewType=HTML

[10]  薄迎春, 张欣, 刘宝. 延迟深度回声状态网络及其在时间序列预测中的应用. 自动化学报, 2020, 46(8): 1644-1653. doi: 10.16383/j.aas.c180264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180264?viewType=HTML

[11]  林金花, 姚禹, 王莹. 基于深度图及分离池化技术的场景复原及语义分类网络. 自动化学报, 2019, 45(11): 2178-2186. doi: 10.16383/j.aas.2018.c170439

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170439?viewType=HTML

[12]  耿杰, 范剑超, 初佳兰, 王洪玉. 基于深度协同稀疏编码网络的海洋浮筏SAR图像目标识别. 自动化学报, 2016, 42(4): 593-604. doi: 10.16383/j.aas.2016.c150425

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150425?viewType=HTML

[13]  随婷婷, 王晓峰. 一种基于CLMF的深度卷积神经网络模型. 自动化学报, 2016, 42(6): 875-882. doi: 10.16383/j.aas.2016.c150741

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150741?viewType=HTML

[14]  奚雪峰, 周国栋. 面向自然语言处理的深度学习研究. 自动化学报, 2016, 42(10): 1445-1465. doi: 10.16383/j.aas.2016.c150682

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150682?viewType=HTML

[15]  乔俊飞, 潘广源, 韩红桂. 一种连续型深度信念网的设计与应用. 自动化学报, 2015, 41(12): 2138-2146. doi: 10.16383/j.aas.2015.c150239

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2015.c150239?viewType=HTML

[16]  梁久祯, 何新贵, 周家庆. 神经网络BP学习算法动力学分析. 自动化学报, 2002, 28(5): 729-735.

http://www.aas.net.cn/cn/article/id/15582?viewType=HTML

[17]  朱刚, 周贤伟, 张凯, 尤昌德, 胡保生. 一种神经网络自学习控制结构与算法. 自动化学报, 2000, 26(4): 568-571.

http://www.aas.net.cn/cn/article/id/16092?viewType=HTML

[18]  朱大铭, 马绍汉, 魏道政. 二进制映射神经网络的几何学习算法及其应用. 自动化学报, 2000, 26(3): 339-346.

http://www.aas.net.cn/cn/article/id/16061?viewType=HTML

[19]  王耀南. 基于神经网络的机器人自学习控制器. 自动化学报, 1997, 23(5): 698-702.

http://www.aas.net.cn/cn/article/id/16965?viewType=HTML

[20]  倪先锋, 陈宗基, 周绥平. 基于神经网络的非线性学习控制研究. 自动化学报, 1993, 19(3): 307-315.

http://www.aas.net.cn/cn/article/id/14238?viewType=HTML

[21]  西广成. 神经网络系统学习过程初探. 自动化学报, 1991, 17(3): 311-316.

http://www.aas.net.cn/cn/article/id/14589?viewType=HTML