傅昊阳-基于多模态数据的医疗智能应用探索.pdf

1、基于多模态数据的基于多模态数据的医疗智能应用探索医疗智能应用探索傅昊阳2023.05目录一、医疗+人工智能应用背景二、基于多模态数据的医疗智能应用三、多模态医疗智能应用面临的挑战四、总结与思考医疗+人工智能应用背景AI+能源智慧城市AI+医疗AI+政务 数字孪生城市AI+物流自动驾驶AI制造AI+金融AI+商业随着技术的发展，人工智能与多个领域得到应用，如能源、医疗、制造业、金融业和商业等人工智能赋能产业发展已经成为主流趋势医疗+人工智能应用背景习近平总书记指出，“把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量，努力实现高质量发展”。医疗+人工智能2017年 国务

2、院关于印发新一代人工智能发展规划的通知推广应用人工智能治疗新模式新手段，建立快速精准的智能医疗体系。探索智慧医院建设，开发人机协同的手术机器人、智能诊疗助手，研发柔性可穿戴、生物兼容的生理监测系统，研发人机协同临床智能诊疗方案，实现智能影像识别、病理分型和智能多学科会诊。2018年 国务院办公厅关于促进“互联网+医疗健康”发展的意见 加强临床、科研数据整合共享和应用，支持研发医疗健康相关的人工智能技术、医用机器人、大型医疗设备、应急救援医疗设备、生物三维打印技术和可穿戴设备等。2020年 国家新一代人工智能标准体系建设指南在智能医疗领域，围绕医疗数据、医疗诊断、医疗服务、医疗监管等，重点规范人

3、工智能医疗应用在数据获取、数据隐身管理等方面内容，包括医疗数据特征表示、人工智能医疗质量评估等标准。2021年 中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要培育壮大人工智能、大数据、区块链、云计算、网络安全等新兴数字产业，提升通信设备、核心电子元器件、关键软件等产业水平。构建基于5G的应用场景和产业生态，在智能交通、智慧物流、智慧能源、智慧医疗等重点领域开展试点示范。2022年“十四五”生物经济发展规划面向心脑血管疾病、肿瘤、呼吸系统疾病、糖尿病等重大疾病，依托人工智能技术、生物医学和健康大数据资源，发展智能辅助决策知识模型和算法，辅助个性化新药研发，为疾病诊断治疗

4、提供决策支持。医疗+人工智能应用背景人工智能赋能医疗应用检查诊断科研治疗AI+PACSAI+病理AI+内镜CDSS智慧病案DRGs、DIP处方推荐手术方案规划数据分析数据挖掘新药研发AI医疗机器人医疗+人工智能应用背景93.10%59.10%67.80%15.50%病灶的自动检出病灶的自动分割病灶良恶性的鉴别制定治疗方式医院使用AI影像功能比例医院在辅助诊断中使用的AI医学影像产品肺结节AI筛查89.5%冠脉后处理及冠脉报告结构化58.1%肋骨AI自动筛查38.3%脑卒中AI检测23.6%乳腺数字影像AI辅助检测10.2%骨关节相关AI6.8%脑肿瘤4.1%影像质量评分3.4%*数据来源：亿欧

5、智库在医疗人工智能应用中，AI影像发展较早，技术较为成熟，已成为医疗AI的代表性应用医疗+人工智能应用背景目前人工智能在医疗行业的应用多基于单一模态的数据，例如在肺结节检出与良恶性诊断中，常采用影像组学方法或深度学习方法，根据输入的肺部CT影像图片进行分析后输出结果影像组学方法输出结果深度学习方法是否肺结节是良性？恶性？医疗+人工智能应用背景真实世界的诊疗：医生综合多模态的数据，如同时结合CT影像、超声检查和检验报告等，进行综合判断。诊断临床知识与经验治疗方案医疗+人工智能应用背景多样化、复杂化、规模化多样化、复杂化、规模化医疗数据：处方、医嘱、检验结果、检查报告、治疗记录以及超声、病理、放射

6、、心电图、内窥镜等存储形式：文本、语音、图像、视频结构化、半结构化非结构化疾病防控精准医疗健康管理智慧服务新药研发费用控制目标目标如何利用好医疗中产生的多模态数据？医疗+人工智能应用背景多模态数据预处理多模态融合输出结果多模态数据融合治疗诊断HISEMRPACSLIS数据存储在临床医疗业务产生的大量数据以不同的模态存储与于数据库中，对这些数据进行整理、清洗，然后经过预处理后进行多模态融合。多模态融合可以有机整合不同的信息，相比单模态信息更加全面数据整理清洗筛查科研医疗+人工智能应用背景特征融合决策融合混合融合多核学习方法图像模型方法神经网络方法基于模型的融合方法模型无关的融合方法多模态融合方法